برنامج Highload ++ قريب جدًا! من 7 إلى 8 نوفمبر ، سوف يجتمع أكثر من 3000 مطور للأنظمة المحملة للغاية في سكولكوفو للمرة الثالثة عشرة. يهدف هذا الحدث إلى تبادل المعرفة حول التقنيات التي تخدم في الوقت نفسه آلاف وملايين المستخدمين.
يغطي
البرنامج جوانب تطوير الويب مثل هندسة المشروعات الكبيرة وقواعد البيانات وأنظمة التخزين وإدارة النظام واختبار الأحمال وتشغيل المشروعات الكبيرة والمجالات الأخرى المرتبطة بالأنظمة المحملة بدرجة عالية.
نحن نشارك بنشاط في برنامج Highload ++ 2019 ، وسنخبرك اليوم بالتقارير التي أعدها موظفونا للمشاركين في المؤتمر.
7 نوفمبر
الوقت: 12:00
المكان: قاعة موسكوتعد Count of Friends واحدة من أهم الخدمات وتحميلها في Odnoklassniki. هناك حاجة إلى أي وظيفة في الموقع تقريبًا: قم بتكوين موجز ويب وإيجاد أصدقاء جدد والتحقق من الأذونات عند عرض الصور وغير ذلك الكثير. كل هذا يخلق ما يصل إلى 700000 طلب في الثانية الواحدة إلى 300،000،000،000 اتصال بين المستخدمين.
لا يمثل هذا الحمل متطلبات صارمة للأداء فحسب ، ولكنه أيضًا يتحمل الأخطاء ، لأن أي مشاكل في الرسم البياني يمكن أن تشل عمل الموقع بأكمله. لفترة طويلة ، كنا نعيش على مخطط كلاسيكي من قواعد وذاكرة التخزين المؤقت القابلة للمشاركة. لكنها واجهت الكثير من المشاكل مع كل من تناسق البيانات والتسامح مع الخطأ.
في التقرير ، سنتحدث بالتفصيل عن الانتقال إلى بنية الرسوم البيانية الجديدة ، ونبدأ بقصة حول الإصدار القديم والمشاكل التي نشأت أثناء استخدامه ، ثم ننتقل إلى بنية الرسم البياني الجديد والمفاجآت التي انتظرتنا أثناء الترحيل.
الوقت: 5 مساءً
الموقع: قاعة سنغافورةفي Odnoklassniki ، يتم تقديم طلبات المستخدمين بواسطة أكثر من 200 نوع من أنواع الخدمات الفريدة. تستخدم العديد من هذه الخدمات تقنية الجمع بين JVM لمنطق الأعمال وقاعدة بيانات كاساندرا المتسامحة للأخطاء. هذا يسمح لنا ببناء خدمات محملة للغاية تدير مئات المليارات من السجلات مع ملايين العمليات في الثانية عليها.
في هذا التقرير ، سنتحدث عن المزايا التي تظهر عند الجمع بين منطق العمل وقاعدة البيانات ؛ مناقشة كيف تؤثر الحالة على موثوقية وتوافر الخدمات ؛ وناقش أيضًا كيف أدت هذه التقنية إلى تحسين أداء خدماتنا بشكل ملحوظ.
ولكن ليست كل قواعد البيانات مناسبة لهذا. سنبحث بالتفصيل في قواعد البيانات المناسبة للتضمين في الخدمة المجهرية التالية ، وأيها غير مناسب.
8 نوفمبر
صعود الآلات على ما يرام . ليونيد Talalaev ، المطور الرئيسي في فريق منصة
الوقت: 10:00
الموقع: كيب تاون هوليتكون زملاء الدراسة من أكثر من 6000 خادم موجود في العديد من مراكز البيانات. ما يقرب من نصفهم جزء من سحابة لدينا ، سحابة واحدة ، والتي تحدثنا عنها بالفعل منذ عامين على HighLoad ++.
عند إدارة أكثر من 10000 حاوية ، تنشأ مهام نموذجية ، سيستغرق تنفيذها يدويًا الكثير من الوقت ويؤدي حتماً إلى أخطاء بشرية. لذلك ، نحن نسعى جاهدين لأتمتة جميع العمليات في السحابة لتقليل المشاركة البشرية. أطلقنا على هذه الأتمتة الكاملة "صعود الآلات".
في التقرير ، سننظر في مواضيع مثل:
- تخطيط تصحيحات الأمان على جميع الحاويات. في الوقت نفسه ، سوف نتعلم كيفية استبدال طبقات صورة عامل الميناء في ثانية واحدة ؛
- ضمان توافر خدمات الدولة الموزعة خلال العمليات في السحابة ؛
- مشكلة التفتت في السحابة. سنخبرك بكيفية توفير مليون دولار عن طريق تغيير خوارزمية الموضع.
الوقت: 2 مساءً
الموقع: القاعة الرئيسية (قاعة المؤتمرات)سوف يخبر الاسكندر:
- كما زرع Odnoklassniki ملايين المستخدمين من TCP إلى UDP ، 3/4 موافق مستخدمي Android يستخدمون بالفعل UDP للاتصال بالشبكة
- كيف تسارع ما يصل إلى 30 ٪ من تسليم المحتوى للمستخدمين وفقا لإحصاءات عميل المنتج
- حول أساليب بناء بروتوكولات الشبكة وطرق اختبارها ووضع نماذج لها
بالإضافة إلى ذلك ، لن يقوم OK بمشاركة نتائج اختبارات TCP و QUIC على شبكات مختلفة فحسب ، بل وأيضًا شفرة المصدر لمحاكي الشبكة التي يتم إجراء مثل هذه الاختبارات عليها.
الوقت: 4 مساءً
الموقع: القاعة الرئيسية (قاعة المؤتمرات)الغرض من التقرير: التحدث عن المزالق والهندسة المعمارية لمجموعة Elasticsearch لتخزين السجلات في حجم كبير بشكل خاص.
في التقرير ، سأتحدث عن كيفية تنظيم التخزين والوصول إلى سجلات المطورين كجزء من مشروع Odnoklassniki.
في البداية ، وضعت مطالب عالية على الخدمة. لقد أدرك الجميع أن حجم البيانات التي تتم معالجتها سيكون كبيرًا ، وهناك حاجة أيضًا إلى تحمل الأخطاء ، ويمكن أن يزيد الحمل الأقصى إلى 2 مليون صف في الثانية. لهذه الأسباب ، اتضح أن المهمة ليست تافهة تمامًا ، مع وجود محتوى كبير من "المزالق" والميزات البارعة.
سوف أصف تاريخ طريقنا "المتعرج" لحل هذه المشكلة ، وسأخبرك أيضًا بالهيكل العنقودي الذي توصلنا إليه في النهاية وأي القرارات التي بدا أنها صحيحة للوهلة الأولى "أطلقناها في القدم" في أكثر اللحظات غير المتوقعة.
كان لدينا 4 مراكز بيانات ، و 500 حالة للبيانات المرنة ، و 200 تيرابايت + ، ما يصل إلى 2 مليون خط في الثانية في ذروة متطلبات تشغيل الخدمة بنسبة 100 ٪ بأي ثمن
كيف تمكنا من تحقيق ذلك ، سوف تجد في تقريرنا!