ويبدو أن دمية دب محملة بشكل كبير

في نهاية يونيو ، تولى نوفوسيبيرسك برنامج HighLoad ++ للمرة الثانية. إذا كان تأثير الجدة في العام الماضي قد لعب دوراً هاماً في حقيقة أن الجميع كانوا سعداء بكل شيء ، فهناك هذه المرة كنا بحاجة إلى الاستعداد بعناية أكبر من أجل الحفاظ على الانطباع وتجاوزه. بادئ ذي بدء ، مع قوة ثلاثة أضعاف ، اتخذنا الشيء الرئيسي - البرنامج. الآن وقد تم إلقاء الخطب وحتى بعد مراجعتها بشكل انتقائي في الجولة الثانية ، تم جمع تعليقات المشاركين في المؤتمر ومعالجتها ، يمكننا أن نقول بثقة إنها كانت ناجحة.

كان أساس HighLoad ++ سيبيريا 38 تقريرا ممتازا ، والكامل للخبرة والخبرة المتعمقة. تشارك جميع الشركات العالمية العملاقة والشركات الإقليمية خبراتها في العمل مع المهام من أجل حل الأدوات القياسية التي لا وجود لها. وقد عقد مؤتمر خاص من قبل الناس. حاولنا بصدق أن نفهم ما هو الأمر وكيف نفعل نفس الأحداث المخلصة في أماكن أخرى ، لكن لا - في جو ودي لا يوصف ، كان علينا الذهاب إلى سيبيريا مرة أخرى ، وكنا جميعًا من أجل ذلك. بالإضافة إلى ذلك ، نحن نفكر بالفعل في منتجات جديدة.



أحضروا الدب معهم ، ولم يصب أي ممثل واحد للحيوانات المحلية.

لكن ما لن نغيره هو النهج في اختيار التقارير. ما لم نبدأ في التأكيد على الموضوعات السابقة التي نطبقها بالفعل: HighLoad ++ في موسكو خلال 4 أشهر وقد تم بالفعل الإعلان عن بعض التقارير. حتى الآن ، يعد هذا المؤتمر هو المؤتمر الوحيد في سيبيريا الذي يحتوي على كميات كبيرة من المعلومات ، وكانت كمية المعلومات المفيدة والتفاصيل الفنية المتشددين حوالي ثلث الأخ الأكبر لموسكو ، وإذا تحولنا إلى الكثافة على أرواح المشاركين ، فقد كان أعلى بكثير. يمكن إضافة بعض التقارير ، وفقًا للجنة البرنامج ، بأمان إلى أعلى جميع التقارير المتعلقة بالأحمال الكبيرة على مدار العقد الماضي. هذا ما تؤكده أيضًا تقييمات الجمهور - متوسط ​​درجة التقارير هو 4.2.

من أجل جعل انطباعك عن برنامج HighLoad ++ Siberia ، نقدم بعض الملخصات الموجزة. هذا ليس الجزء العلوي من التصويت ، وليس عليك أن تهتم بالترتيب - إنه مجرد مجموعة من الموضوعات المثيرة للاهتمام التي تختلف بما يكفي لتكون عينة تمثيلية صغيرة. سننشر جميع مقاطع الفيديو بشكل تدريجي على الصورة الكاملة على قناة youtube (الاشتراك ، على سبيل المثال ، انقر فوق الجرس - هذه كلها تدون أشياء لمشاهدة التحديثات).

مكالمات الفيديو: من الملايين يوميًا إلى 100 مشارك في مؤتمر واحد

ألكساندر توبول (زملاء الدراسة)

الآن في جميع الرسل الفوريين المشهورين ، هناك فرصة للاتصال بالمحاور. بالطبع ، من المريح استخدام الأداة نفسها في أي اتصال. لذلك ، إذا كان لديك وسيلة اتصال مشتركة ، ولكن لا توجد مكالمات هناك حتى الآن ، فهي تستحق الإضافة. من أين تبدأ ، ما هي البروتوكولات والتقنيات المستخدمة ، يعرف ألكساندر توبول ( الألوبول ). حتى إذا كنت لا تخطط لتطوير خدمة مكالمات الفيديو في المستقبل القريب ، فإن تقرير Alexander مليء بالتفاصيل المتشددين حول شبكات البيانات بشكل عام. ربما هذا هو السبب في أن تقريره حصل ، على ما يبدو ، على تصنيف قياسي للمستمعين عند 4.9 من أصل 5.



في العام الماضي ، تحدث ألكساندر بالتفصيل عن جهاز مكالمات P2P ، لكن هذه المرة لم يتذكر سوى النقاط الرئيسية وانتقل إلى الميزات ، على سبيل المثال ، الإشارة والتشفير للمكالمات من واحد إلى كثير. من السهل أن نفهم أنه إذا كان لدى أحد المشاركين جودة اتصال رديئة (ومعظم حركة المرور هذه تمر عبر شبكات للهاتف المحمول) ، فسيتعين خفض معدل البت لجميع المشاركين في المحادثة. ولكن من أجل تحديد ما يجب القيام به مع هذا ، فمن المنطقي أن ننظر إلى ما أنجزه الآخرون في هذا الاتجاه ، و- من الواضح- أن يأخذوا أفضل ما في إصلاح الأخطاء.



في Odnoklassniki المحدد:

• لا تستخدم برامج الترميز ، ولكن ترميز H.264 ؛
• استخدام القناة بأكملها تحت دفق واحد ، أي لا تشفر أو ترسل الفيديو في قرارين ؛
• استخدام نهاية الخلط لجودة عالية ، ودائرة مركزية منخفضة.
• ما يصل إلى 3-4 مشاركين ، الخيار المفضل هو Mesh.

في المقارنة النهائية ، يكون هذا الحل مشابهاً لتكبير زمن الوصول واستهلاك البطارية وجودتها ، لكن Zoom لا يتوافق مع WebRTC (وكلنا نقرأ الأخبار عنه). عندما تقرر تكرار الإجراء وكذلك مقارنة المنافسين - لا تنس موافق. أو استفد على الفور من نصيحة ألكساندر ، كان تقريره مليئًا مرة أخرى بالتفاصيل الفنية المهمة ، والتي يبدو أنها تعليمة DIY تمامًا.

كيفية إنشاء نظام إعلام الحدث محملة للغاية

أرتيوم جاشكين (CFT)

شركة CFT هي ممثل مشرق لخصائص تكنولوجيا المعلومات الإقليمية - وهي شركة كبيرة ذات تقنية عالية. تناول هذا التقرير عمل مركز معالجة CardStandard ، والذي - مجرد التفكير في الأمر - يعالج المدفوعات لكل بطاقة ثالثة في البلد.



بمجرد أن تدفع ثمن شيء ما ، فإن هذه المعالجة هي التي تخبرك عبر الرسائل القصيرة أو الدفع. البنك الذي أصدر بطاقتك - يريد المصدر أيضًا استلام مثل هذا الإخطار عبر الإنترنت. هذا هو هدف المشروع ، الذي تحدثت عنه Artyom Gashkin: لتنفيذ وحدة إرسال الإشعارات التي من شأنها أن تتعامل مع عبء مزدوج. لسوء الحظ ، لم يكن لدى Artyom الحق في تسمية البيانات الدقيقة ، وقال فقط إن الحمل على الوحدات الفردية يصل إلى 200 معاملة في الثانية. في الوقت نفسه ، كان العمل جارٍ لتقليل الحمل عن طريق تغيير إعدادات النظام. أراد المطورون جعل هذا الهامش للأداء حتى لا يعودوا إلى هذه المشكلة لأطول فترة ممكنة. متطلبات الحل قياسية إلى حد ما ، ولكن الأهم من ذلك ، يجب ألا يزيد وقت معالجة الترخيص.

تقليديًا ، يتم استخدام Oracle لشركة الشركة ، والتي يصعب جدًا توسيع نطاقها ، إن أمكن ، بشكل أفقي. لذلك ، من أجل عدم زيادة الحمل على قاعدة البيانات ، أي الحفاظ على الحد الأدنى لعدد اتصالات قاعدة البيانات ، تم اختيار Apache Kafka.

اقترب المهندسون من اختيار خيار التنفيذ كما يجب أن يكون للمهندسين - قمنا بقياس الوقت لنقل 400000 سجل من موضوع إلى آخر. يمكن تفسير هذه البيانات على أنها الوقت الذي ستستعيد فيه المعالجة قدرتها على العمل بعد الفشل. توقفنا عند أحد المنتجين بانتظار غير متزامن للتسليم ، معتقدين أن 20-30 ثانية هو وقت استرداد مقبول. تحدث Artyom أيضًا عن تطبيق معين - فمن ناحية ، كل شيء موجود على السطح ، لأن Kafka تضمن أنه إذا تم إرسال سجلين إلى قسم الموضوع بشكل تسلسلي ، فسيتم تسليمهما بنفس الترتيب. من ناحية أخرى ، كان على المطورين الغوص بعمق في ميزات العمل والتوثيق. في الوقت الحالي ، يتم إرسال إخطارات المعاملة إلى البنك في حوالي 0.5 ثانية.

يعد قياس النظام الناتج أمرًا سهلاً - إذا زاد الحمل ، فستحتاج إلى زيادة عدد المعالجات المحددة. تعمل وحدات التوجيه والإعلام دون تغييرات ، وتكون الوحدة النمطية التي تنشئ الإشعارات مسؤولة عن منطق العمل. عندما تحتاج أيضًا إلى إرسال كلمات مرور سريعة لمرة واحدة ، على سبيل المثال ، ستكون كافية لتنفيذ معالجات جديدة. لن يؤثر هذا التحسين على النظام الحالي ، وسوف تمر جميع اختبارات الانحدار دون مشاكل.

منذ ذكر CFT ، سنخبرك كيف قامت شراكتهم بتزيين المؤتمر. قاموا بتنظيم منطقة صالة كاملة أقيمت فيها مسابقات وألعاب لمدة يومين. لكن أبرز ما في البرنامج هو StudioCFT - وهو استوديو في الموقع لتسجيل المدونة الصوتية مع مكبرات الصوت ومعلم المؤتمرات. ومن بين الضيوف: فلاديسلاف بلينوف وفاليريا بارانوفا من بنك تينكوف ، وسيرجي سبوريشيف من ITSumma ، وفيكتور يرمشنكو من ميرو ، وسيرجي بولوفكو من ياندكس ، وكذلك أوليغ بونين وأليكسي أوبروفيتس ( محادثة يتحدث عنها الرجال في عام 2019). مقابلات نشرت على قناة يوتيوب الشركة.

أفضل جيوديست () غرب ريو غراندي

اندري اكسينوف (افيتو ، سفنكس)

"استخدم الاستيفاء الخطي ، الأولاد."

بدأ أندريه بالأسلوب الساخر المعتاد ، كما يقولون ، إذا كان هذا مفهومًا ، فيمكنك التباعد. إذا فهمنا ذلك ، فهذا أمر مفهوم ، لكن إذا أضفت أيضًا تجربة مطور Sphinx ، والذي يعمل عليه البحث في Avito ، فسيكون كل شيء أفضل. اختار Andrey وظيفة GEODIST () ، والتي تستخدم بشكل خاص للفرز والمرشحات والبحث على الخريطة ، إلخ ، كموضوع HighLoad ++ Siberia.



المهمة: العثور على المسافة بين نقطتين التي قدمها اثنين من الإحداثيات. يبدو أن الصف السابع ، في الربع الثاني. ولكن إذا تم حساب المسافة ليس ضمن حدود دفتر الملاحظات ، ولكن على الأقل على نطاق منطقة واحدة من الاتحاد الروسي ، ثم يجب النظر في المسافة على "المجال". أو بالأحرى ، إهليلجي. وبالضبط ، جيودي. بعد كل شيء ، كيف لا نشارك في الجيود ، وما تقريب وتقنيات التحسين القديمة تعمل في الإنتاج الضخم ، لن نعيد سردها - انظر التقرير.

تجربة النمذجة من فريق ComputerVision Mail.ru

ادوارد Tyantov Mail.ru المجموعة

يعمل فريق رؤية الكمبيوتر على حل مشكلات مشروعات المنتجات الخاصة بـ Cloud و Mail و Vision. هذا التعرف على الوجوه ومناطق الجذب للصور والنص من الصور للبريد ، إلخ. بدأ إدوارد تيانتوف ( EdT ) الجزء الأكبر من تقريره ببيان مناسب لأي مجال ، ولكنه مناسب بشكل خاص لـ AI:

"بيان المشكلة هو مرحلة حرجة."

في هذه المرحلة ، يلزم التعاون المستمر بين مدير المنتج ومتخصص التعلم الآلي. إذا حاولت توفير المال على ذلك ، فإنك إما ستفتقد شيئًا مهمًا حقًا ، أو تقضي عدة أشهر في تعلم كيفية التعرف على الوجوه المطلية ، ولن يفي نموذج الإنتاج بأي مثال من هذا القبيل. بالمناسبة ، حول الميزات الأخرى لإدارة المشاريع ، والتي تستند إلى تقنيات التعلم الآلي ، سيتحدث إدوارد في سبتمبر عن UseData Conf .



وفقط عندما يكون البيان واضحًا لجميع المشاركين في المشروع ، يمكننا أن نبدأ العمل على مهمة تبدأ في إعداد البيانات. من الواضح أنهم يحتاجون إلى التنظيف ، سواء من العلامات الضعيفة أو القمامة داخل الفصول ، ومن التقسيم المفرط أو غير الكافي إلى فصول. في بعض الأحيان ، يجب إنشاء البيانات ، وإذا كانت مهمة التعرف على الأحرف كافية لالتقاط PIL وتشويه النص ، فأنت في حالات أخرى تحتاج إلى أن تكون أكثر إبداعًا.

أنتقل مباشرة إلى التدريب ، في مجال التعليم المتري ، إدوارد ، بالاعتماد على الخبرة الواسعة لـ Mail.ru ، وأوصى Angular Softmax بشكل لا لبس فيه لكلا التعرف على الأنماط وتصنيفها من حيث المبدأ ، وتحدثت عن الحيل التي تجعلها أكثر فعالية.



وإدراج المعرفة البسيطة إلى حد ما يفسد وتتحلل من أجل لا شيء يعطي + 0.5-1 ٪ إلى AP. عملت Byte Pair Encoding بشكل رائع على النصوص ، والتدريب في FP16 مع Apex من Nvidia يوفر 20٪ (عشرون!) من الوقت مجانًا مجانًا.

كيفية نقل النماذج إلى الإنتاج هي محادثة كبيرة منفصلة ، لأن علماء البيانات عبر PyTorch ، ولا يريد أحد نشرها على الإطلاق. خيار جيد ، وكيفية التعامل مع هذا ، قد ظهر مؤخرا. أدرك مطورو PyTorch ألم مستخدميهم وأصدروا TorchScript ، مما يجعل تسلسل نموذج Python في رسم بياني ثابت. باستخدام هذا التحويل ، يعمل كل شيء تمامًا كما هو الحال في Python ، وتم بالفعل اكتشاف الموجة الأولى من الأخطاء - يمكنك استخدامه.

تحجيم الأمازون

فاسيلي Pantyukhin (خدمات الويب الأمازون)

هذا التقرير هو مثال نموذجي لكيفية اكتسابنا خبرة دولية من الشركات العالمية. هذا صحيح - نحن نسمي الأطفال الناطقين بالروسية الذين نشأوا في ثقافتنا الهندسية وفي مؤتمراتنا. المتحدثون الأجانب مفيدون للإعلان ، لكن في الواقع ، يصنف المشاركون تقاريرهم عادةً غير مرتفعة. تهدف مؤتمراتنا المهنية ، بالمعنى العام في روسيا ، إلى تبادل الخبرات المهنية. وفي الخارج ، تحظى التقارير بشعبية على أخبار الشركة التي لن يشارك فيها أي مؤتمر فني متخصص في برنامجنا. لماذا هي مشكلة منفصلة ، لكننا نحاول اختيار متكلمين ناطقين بالروسية. هذا ، من وجهة نظر غياب حاجز اللغة والاختلاف في العقلية ، هو جيد لفهم المواد.

بالعودة إلى AWS ، يتم تقديم ملايين المستخدمين في وقت واحد عن طريق خدماتهم ، مما يحقق النتائج المرجوة. يقوم النظام تلقائيًا بتوسيع نطاقه ، مع ضبطه بشكل مرن لكل مستخدم بحيث يبدو له أنه وحيد في هذا الكون. هكذا ظن فاسيلي Pantyukhin ، حتى أصبح مهندس معماري في الأمازون. الآن ، بالطبع ، يعرف ما هو تحت غطاء خدمات السحابة AWS ، وتبادل بعض الجوانب المثيرة للاهتمام مع ضيوف المؤتمر. ما الخوادم الفعلية التي تقف وراء المفهوم المؤقت للسحابة ، والتي تستخدم التحسينات لها ، وكيف يتم ترتيب خدمة AWS Lambda الأكثر قابلية للتوسعة ، وكيف تبني Amazon قواعد بياناتها الخاصة ، وكيف يتم ترتيب الشبكة.

الأهم من ذلك كله ، أن خطاب فاسيلي يثير الإعجاب بالإلهام الذي يتحدث به عن الحلول ، والحقيقة المذكورة وهي أنه بعد أن دخل في الجهاز الداخلي ، بدأ يثق فقط في خدمات الشركة. يعد هذا التقرير مفيدًا كمراجعة لأولئك الذين بدأوا للتو في استخدام AWS ، ولأولئك الذين يحتاجون إلى التفاصيل الفنية - أي الجميع.


عقد فاسيلي أيضًا اجتماعًا حول موضوع "التخطيط الصديق للمخ" ، والذي كان مفيدًا جدًا ، وفقًا للمناقشة في المحادثة . لكنه لن يكون في السجل ، وهذا هو شكل خاص. لذلك ، اخترق مدى الحياة للمستقبل: إذا اخترت في مؤتمرنا بين تقرير وتخفيف ، ثم أعط الأفضلية للتخفيف ، ثم نلقي نظرة على التقرير في التسجيل ، لحسن الحظ ، نحن جميعًا نسجل الفيديو ونعرضه في غضون أيام قليلة.

الخلفية NodeJS

يوري جافشين (بولت)

الترباس - الانتقال السريع من الإنجليزية - منصة لتوفير خدمات النقل: سيارات الأجرة والنقل الخاص والدراجات النارية وتأجير السكوتر الكهربائي. على مدار السنوات الثلاث الماضية ، نمت الشركة بأكثر من عشر مرات من جميع النواحي ، وبالتالي فإن المتطلبات الرئيسية للواجهة الخلفية هي: الإنتاج السريع للإنتاج ، والتسامح مع الأعطال ، والمرونة (الخدمة المتساقطة لا تؤثر على أداء الخدمات المجاورة) ، والتدرجية.

قاعدة المكدس هي NodeJS. الميزة المميزة لها هي عدم حظر الإدخال / الإخراج والتشغيل غير المتزامن مع الشبكة. لا يوجد رأي واضح حول ما إذا كانت هذه فكرة جيدة وكيف يمكن القيام بخدمات معقدة على NodeJS في المجتمع حتى الآن. يبدو أنه لا توجد أسباب كثيرة لاختيار Node بدلاً من لغة الخادم الناضجة ، ولكن الوقت القصير للسوق هو واحد منهم فقط ، لذلك فإن تجربة الإنتاج في تطوير خلفية محملة للغاية مثيرة للغاية. علاوة على ذلك ، قال يوري بالتفصيل وأمثلة حول كيفية استخدام إيجابيات بشكل فعال وتسوية عيوب NodeJS ، على سبيل المثال ، أوصى باستخدام TypeScript والتحول إلى async / انتظار. ولفت الانتباه إلى ميزة مثل إزعاج بناء متجانسات. يفرض NodeJS للمطورين تحديد حجم الخدمات ، وهذا ، وفقًا لفريق بولت ، يعد ميزة إضافية. تطرق إلى مواضيع الاختبار والرصد.



كل ما تبقى وراء الكواليس من التقرير ، وأكثر من ذلك بكثير يمكن العثور عليها من مطوري الخدمة في موقف الشركة. بالإضافة إلى المكدس التكنولوجي ، ناقشوا أيضًا الانتقال إلى إستونيا - ولكن هذا بالفعل ضمن إطار الاجتماع ، الذي كان بموجبه تقليديًا مكان وزمان. الاجتماعات الصغيرة التلقائية والمناقشات الحيوية هي سبب الحاجة إلى المؤتمرات. في أي مكان آخر يمكنك مشاهدة الحيل Zabbix الترميز المباشر أو مشاركة آلام التوثيق.



بشكل عام ، هذه المرة تم دعمنا من قبل المزيد من الشركات. نعتقد أننا اجتزنا الاختبار العام الماضي وأثبتنا للسكان المحليين أننا نعمل من أجل مصلحتهم.

حيث ولد ، هناك جاء في متناول اليدين

لذلك يبدو لنا. وهذه هي الفكرة الرئيسية التي نتبعها ، بأخذ مؤتمراتنا خارج موسكو. بحيث لا يضطر المطورين اللطيفين إلى التدفق إلى العاصمة أو المكاتب الخارجية للشركات الكبيرة لأنه لن يكون هناك سوى مهام تحدٍ لهم ، فمن الضروري تطوير مجتمعات إقليمية مهنية. على سبيل المثال ، قمنا بدعوة نشطاء المجتمع من نوفوسيبيرسك وكراسنويارسك ، وفي الوقت نفسه من سانت بطرسبرغ وكراسنودار ، حتى يتمكنوا من تبادل خبرتهم وضخ منطقتهم بنجاح.

صحيح أنه تجدر الإشارة إلى أننا لا نزال نوصي بالسفر إلى موسكو. لا يتم تكرار المحتوى في مؤتمراتنا ، لذلك إذا كنت تريد أن تكون على دراية بكل ما يحدث في عالم الأحمال الكبيرة ، فسوف نلتقي في نوفمبر في سكولكوفو.

الشبكات ، الخ

بدأوا بتناول أجواء ودية في اليوم السابق في اجتماع للمتحدثين. هذا هو تقليدنا الآن - بعد عرضه على الموقع ، ولكن قبل المؤتمر ، قم بترتيب التجمعات. لكي يتعرف المتحدثون على بعضهم البعض ولجنة البرنامج ، رأوا أن الأشخاص المحيطين بهم كانوا متماثلين ، وتوقفوا عن القلق بشأن الأداء وجاءوا يوم الاثنين في مزاج جيد ، وعلى استعداد لمشاركة تجربتهم الفريدة.



وبعد ذلك بالفعل خلال المؤتمر ، كان لدينا أيضًا مجال للتواصل وحتى الترفيه. ليس كل نفس ، منغمسين في المتشددين ، وأحيانا تحتاج إلى التبديل. المدرجات لهذا هي الأكثر.

كان هدف سبيربنك هو إطلاق النار كألعاب في الهواء الطلق ، بالإضافة إلى ألعاب فيديو أكثر دراية بأفراد تكنولوجيا المعلومات.



لم يستطع المدير الرياضي الابتعاد - قاموا بتثبيت لعبة هوكي الطاولة ، التي لم تكن فارغة لمدة دقيقة. وبينما كنت تنتظر انتهاء الحفلة وجاء دورك ، يمكنك أن تسأل المطورين عن منتجات Sportmaster ، والتي بالطبع لا تقتصر على المتجر عبر الإنترنت.



بعد استراحة القهوة المستمرة ، والتي تعد رائعة للتواصل مع الزملاء وإقامة معارف جديدة ، امتدت القاعات المشاركة والمدعمة ، قدمت القاعات الرائدة تقارير.



أولئك الذين لم يستسلموا ذهبوا إلى التخفيف.



عندما يتحول المخ بعد ذلك إلى وضع التوربو ، تصبح أي مهام على قطعة من الورق والألغاز لا شيء ويتم حلها بطريقتين.



وفي المساء ، استراحة تستحقها ، صحيح ، مرة أخرى مع عنصر فكري قوي ، قمنا بإعداد اختبار "مسابقة ، pliz" للضيوف.



باختصار ، قضى وقتًا ممتعًا. عقليا.

ما التالي

, , , HighLoad++ Siberia 2020 .

, , . , , . , .

, , . DevOps , TeamLead Conf , KnowledgeConf - نظرًا لأن مجتمع الكتّاب التقنيين في نوفوسيبيرسك يشارك بنشاط كبير في منظمته - فقم بتقديمه ، وسنتعرف على كيفية تنفيذه.