الأصدقاء ، اتفقنا مع شركة Ontiko على أننا سننشر أفضل التقارير من مؤتمراتهم على قناة Youtube الخاصة بنا ومشاركتها معك. لذلك نحن لا نريد فقط نشر المعرفة ، ولكن أيضًا مساعدة القراء والمشاهدين على التطوير بشكل احترافي. احصل على مجموعة من أفضل 15 تقريرًا تم تقديمها في Highload ++ 2018.
النسخ المتماثل Tarantool: التكوين والاستخدام
جورجي كيريشينكو ، مجموعة Mail.ruيتم استخدام النسخ المتماثل Tarantool لتوفير توفر عالية عن طريق نسخ احتياطي للخوادم أو خوادم التجميع لموازنة التحميل ، ويمكن استخدامه أيضًا لإجراء عمليات الترقية. تحتوي الإصدارات الحديثة من Tarantool على العديد من الميزات الإضافية التي تجعل من السهل تكوين واستخدام النسخ المتماثل في كتلة.
فحص التقرير المبادئ الأساسية للجهاز وميزات النسخ المتماثل غير المتزامن في Tarantool. نحن نتناول الهيكل الداخلي لمتجه الدولة - vclock. يناقشون طرقًا لضمان تناسق البيانات والتطرق إلى الميزات الجديدة. يتم النظر في المبادئ الأساسية للتكوين وإمكانية تطبيقها والأخطاء الأكثر شيوعًا ، وتناقش طرق حل مشكلات التكوين والتشغيل.
الجوانب الفنية لحجب الإنترنت في روسيا. التحديات والآفاق
فيليب كولين ، ديب فورستالتفاصيل الفنية للأقفال. كما يتم تنظيم آلية قفل الآن. من وماذا وأين ومتى وكيف. لماذا هو منظم للغاية. لماذا يقوم ILV بحظر الشبكات بالكامل. ما هي مشكلة آلية القفل الحالية من الناحية الفنية. في أي اتجاه يجب أن ننتقل من وجهة نظر فنية في إطار الحد الأدنى من التغييرات إلى الإطار التنظيمي اليوم.
التنبؤ بمبيعات المتاجر عبر الإنترنت باستخدام التدرج اللوني (lightGBM)
ألكساندر أليكسييف ، OZON.RUهذا التقرير يدور حول نظام التجديد التلقائي للمستودع. عقل النظام هو ML للتنبؤ بالمبيعات: تحديد مهمة واختيار وظيفة الخسارة ، العمل مع السمات ، إنشاء مجموعة بيانات ، اختيار نموذج ، مطبات عملية تعلم lightGBM ، تقييم النتائج. هيكل عظمي للنظام - Spark / Hadoop: التسليم اليومي / التحقق من صحة البيانات ، مما يزيد من موثوقية النظام. الحقائق التجارية لشراء البضائع: اختيار الموردين ، وأسهم التأمين ، والصراع مع مستوى خدمة الموردين.
تحدث ألكساندر أيضًا عن استخدام نماذج lightGBM المدربة لتقييم مرونة الطلب على السلع بسعر تخطيط الحملة التسويقية وتأثيرها. أنواع مختلفة من وظائف اعتماد الطلب على الأسعار لأنواع مختلفة من السلع وأكثر من ذلك بكثير وردت باعتبارها "الجانب" من المهمة الرئيسية.
كيف نعمل على استقرار تنفيذ لوا لدينا
أنطون سولداتوف ، IPONWEBتستخدم IPONWEB Lua لوصف منطق العمل لأكثر من 10 سنوات. في عام 2015 ، قاموا بتشكيل LuaJIT ويعملون منذ ذلك الحين على تنفيذ لغتهم الخاصة. هذا المكون من المكدس التكنولوجي أمر حاسم بالنسبة إلى العمل ، وبالتالي ، فإن استقراره يولى اهتمامًا خاصًا.
أخبر أنطون كيف أنشأوا قاعدة اختبار للتنفيذ من الصفر ؛ لقد درست العديد من الحالات عندما تبين أن الاختبارات كانت عاجزة أمام تعقيد النظام قيد الاختبار ، ونتيجة لذلك ، حدث شيء ما على خوادم المعركة "فجأة" و "بشكل غير منتظم". يمكن تطبيق الخبرة التي اكتسبوها في إصلاح مثل هذه الأخطاء على العمل مع LuaJIT. وأخيرًا ، قام Anton بمشاركة الأدوات والحيل التي تستخدمها شركاتهم عند تصحيح الأخطاء.
مكان أمان مستوى الصف في مشروع عالي التحميل
ألكساندر توكاريف ، DataArtتقرير حول أين وكيف أفضل تنظيم أمان مستوى الصف لمشروع محمّل للغاية. ووصف اختيار كيفية تطبيق أمان مستوى الصف في مشروع مؤسسة محمّل للغاية (4000 مستخدم ، 10000 طلب في نفس الوقت ، معاملات وتحميل olap في نفس الوقت). قام بتحليل ثلاث تقنيات تطبيق للأمان على مستوى الصف في Oracle DBMS ، ولماذا تم اختيار الأمان في قاعدة البيانات ، وليس على خادم التطبيق. تحدث عن الاختيار الذي تم اتخاذه ، وعن المشكلات والخطط المستقبلية.
كيف صنعنا Netfilter الخاصة بنا مع Intel DPDK وأشجار البادئة
ألكساندر صمويلوف ، قانون الأمنيقع Linux Netfilter في قلب كمية هائلة من الاتحاد الدولي للاتصالات ، سواء المفتوحة أو التجارية. هذا هو حل ثبت وموثوقة ، ومؤخرا ، وحتى مثمرة للغاية. ولكن في الواقع الحديث ، عندما يتعين في الغالب تمرير عشرات غيغا بايت من حركة المرور عبر الاتحاد الدولي للاتصالات ، ويمكن أن يتجاوز عدد قواعد التصفية ألف ، فإن Linux Netfilter هو عنق الزجاجة.
تحدث ألكساندر عن كيفية إعادة كتابة النظام الفرعي لشبكة Linux ، والذي اتضح أنه سريع - عشرات الجيجابت من التصفية الفعالة وعديمة الحالة ، وتتبع الجلسة ، و NAT والتوجيه ، وسهولة الإدارة - قاموا بتدريس النظام الفرعي لفهم أوامر أدوات iproute2 المعروفة والأدوات المساعدة nftables المعروفة ، بغض النظر عن العدد قواعد التصفية.
VShard - التحجيم الأفقي في Tarantool
فلاديسلاف شبيليفا ، تارانتولحتى عام 2018 ، كانت الوسيلة الوحيدة للتحجيم الأفقي لـ Tarantool DBMS هي Shard - وهي وحدة نمطية تنفذ التقسيم ، وهي حالة خاصة من التحجيم الأفقي. يقوم Shard بتنفيذ عملية المشاركة حسب الوظيفة من المفتاح الأساسي ، ويدعم تغيير هيكل الكتلة ، وإعادة التوازن. في الوقت نفسه ، لديه ثلاثة عيوب مهمة حالت دون استخدام Shard في أحد المشاريع المهمة.
في بداية العام ، تم الانتهاء من تطوير وحدة VShard الجديدة - وهذا هو تطبيق بديل للتقاسم. في ذلك ، يتم تنفيذ إعادة التوازن على مراحل ، يمكنك تحديد وظيفة حادة تعسفية لضمان موقع البيانات المرتبطة ، يتم تخزين نتيجة حساب وظيفة حادة في كل سجل وليس إعادة حسابها. تحدث فلاديسلاف عن الجهاز الداخلي لـ VShard ، وعن أنظمته الفرعية وتنفيذها مع أمثلة للاستخدام ، وعن الميزات الجديدة لـ VShard 0.2.
BBM's 150M + مستخدمي أوراكل إلى بوستجرس الهجرة دون توقف
الفارو هيرنانديز ، OnGres (تحدث بالإنجليزية)تعد BBM (Black Berry Messenger) واحدة من أكبر برامج المراسلة الفورية في العالم مع وظائف النص والصوت والفيديو ، وقاعدة المشتركين فيها أكثر من 150 مليون مستخدم. كان يعمل على أوراكل DBMS على فرضية. لقد ساعدنا في نقله إلى PostgreSQL الذي يعمل على برنامج "شركاء Google المعتمدون" مع النسخ المتماثل في الوقت الفعلي دون توقف فعليًا. وصف ألفارو بالتفصيل العملية والمخاطر والتقنيات والتقنيات وأفضل الممارسات لترحيل Oracle إلى PostgreSQL دون توقف. اليوم ، يهتم الكثير من الناس بهذه الهجرة ، لكنها تتطلب مؤهلات عالية ومشاركة في عملية تواجه فيها العديد من الصعوبات.
نظام التحكم الموزع عالي التحميل لمحطة الطاقة النووية الحديثة
فاديم بودولني ، آلة موسيقيةمن هذا التقرير ، سوف تتعلم عن النظام الأساسي الجديد لنظام التحكم الموزع لمحطات الطاقة النووية وكيفية إدارة مرافق التشغيل الآلي الأكثر تعقيدًا في العالم. التحكم في الوقت الحقيقي في عمل أكثر من 150 من النظم الفرعية الخاصة المسؤولة عن العمليات التكنولوجية المختلفة لمحطات الطاقة النووية. أكثر من 100K من مصادر البيانات من أجهزة الاستشعار وما يصل إلى 500K من المعلمات المحسوبة. 5 أنواع من العمليات البدنية.
مع بعض الانحرافات ، يتحول النظام بأكمله إلى مصدر DDoS ضخم للمعلومات التشخيصية المفيدة ، والذي يتداخل مع التحكم الطبيعي في الكائن. سوف تتعرف على كيفية "حل" مثل هذه المشكلات ، والتعرف على بنية الأجهزة والبرامج لأنظمة مثل النسخ الاحتياطي والتكرار ، والسبب وراء الحاجة إلى تكرار البيانات والتنوع التكنولوجي. كيف يتم توفير إدارة الحمل ، وكيف تعمل جودة الخدمة. وماذا سيحدث إذا تم إيقاف تشغيل نظام التشغيل العادي ، على سبيل المثال ، كان في فوكوشيما.
4K مليون منصة البث عبر الإنترنت
الكسندر توبول ، زملاء الدراسةخدمة الفيديو في Odnoklassniki - الموقع الثاني في Runet لمشاهدة الفيديو: 600 مليون مشاهدة يوميا. تتيح لك منصة البث OK الآن إجراء عمليات بث احترافية في 4K ، والبث من هاتفك إلى FullHD ومنح المستخدمين أكثر من 3 تيرابايت / ثانية من حركة المرور.
قال الكسندر عن:
- خط دفق الفيديو 4K للملايين عبر الإنترنت ؛
- بنية نظام تسليم المحتوى
- ضبط TCP لتوزيع 4K ؛
- كيف ولماذا تحتاج إلى التخلي عن ffmpeg وعن قص الفيديو على وحدة معالجة الرسومات ؛
- ماذا تفعل إذا نفدت القدرات واستمر المستخدمون في المجيء ؛
- مشاكل التدفق على TCP ؛
- مستقبل تدفق الفيديو.
التغييرات الأخيرة في Linux IO stack من وجهة نظر DBA
ايليا Kosmodemyansky ، البيانات البلشونتم مشاكل الأداء I / O على جدول الأعمال اليومي لمسؤولي قاعدة البيانات منذ وجود قواعد البيانات. قام Linux ، وهو أكثر أنظمة تشغيل قواعد البيانات شيوعًا ، بإصلاح بنية تخزين العناصر IO خلال السنوات القليلة الماضية.
تحدث إليا عن ما يحدث ، ولماذا يحتاج مكدس IO إلى تحسين عاجل ، وما الذي يمكن أن يؤدي إليه ذلك بالنسبة لقواعد البيانات. كيف سيتم تحسين برامج تشغيل NVMe و blk-mq الجديدة. كملاحظة مفيدة ، اقترحت Ilya قائمة مرجعية لإعدادات PostgreSQL و Linux لزيادة أداء نظام الإدخال / الإخراج الفرعي في النواة الجديدة.
التعليمات على الهندسة المعمارية والعمل فكونتاكتي
أليكسي أكولوفيتش ، فأثار أليكسي الكثير من الموضوعات والأسئلة التي لدى الناس "من الخارج".
على سبيل المثال:
- الهيكل العام لتفاعل خوادمنا.
- هل هناك PHP "منتظم" في فكونتاكتي ، أين ولماذا. وما هي الأسلحة النووية الأخرى المستخدمة؟
- كيفية تحديث الكود على عشرات الآلاف من الخوادم في ثوان.
- خطأ التسامح من مجموعات memcache مع خوادم باستمرار كسر.
- لماذا تملك VKontakte محركاتها الخاصة (DB) ، وعددها ، وكيف تعيش معهم.
- كيف يختلف binlog عن اللقطة وكيفية "استعادة الحذف".
- كيف يمكنك مراقبة كل هذا.
فيسبوك DNS
أوليغ Obleukhov ، الفيسبوكتحدث Oleg عن كيفية موازنة Facebook للحمل ، وما علاقة البنية التحتية لـ DNS به ، وكيف تقع سجلات الموارد في البنية التحتية العالمية لـ Facebook ، وكيف تستخدم الشركة DNS في منظمة مكافحة الإغراق.
قواعد البيانات و KubernetesDevOps والتشغيل
دميتري ستولياروف ، فلانتشارك ديمتري تجربته وأخبرها بأمثلة محددة في الحالات التي يكون فيها من المنطقي وضع قواعد البيانات (والتطبيقات ذات الحالة العامة بشكل عام) في Kubernetes ، والتي تكون غير مبررة ، أو حتى ضارة وخطرة.
هذا الاختيار موجود على
قناة Technostream Youtube الخاصة بنا . أنشأناها لتبادل مجموعة متنوعة من المواد التعليمية ، بما في ذلك محاضرات مشاريع التكنولوجيا التعليمية لدينا. لقد كتبنا بالفعل على Habré عن Technostream ، لذلك إذا لم تسمع عنها ، فاقرأها. وأعود كثيرًا ، هناك شيء مثير للاهتمام يظهر باستمرار هناك.