بناء وتشغيل شبكة anycast آمنة من الفشل

مرحبا يا هبر! فيما يلي نسخة من تقرير Evgeny error2407 Bogomazov (مهندس شبكة R&D) و Dmitry h8r Shemonaev (رئيس NOC) من UPTIMEDAY الماضي. فيديو في نهاية المنشور.

نود اليوم أن نتحدث عن المشكلات التي تنشأ عند إنشاء شبكة anycast. لماذا وصلنا إلى هذا وماذا نفعل هناك.

في Qrator Labs ، نقوم ببناء شبكة anycast الخاصة بنا لحل المشكلات المحددة التي تختلف عن تلك الخاصة بمشغلي الاتصالات "العاديين". تبعا لذلك ، لدينا نقاط وجود في هذه المناطق - لقد نسينا إضافة روسيا هنا. وهذا يعني أن لدينا العديد من القصص حول كيفية وينبغي عدم القيام به. اليوم سوف نشارككم بعضًا منهم.


ماذا سنقول ، بالنظر إلى أن الموضوع ضخم في البداية؟ في البداية ، أردنا فقط إجراء الأسئلة والأجوبة (الأسئلة والأجوبة) ، لكن لا يزال يتعين علينا قراءة التقرير. لذلك ، إذا لم نخبر شيئًا ، لكن بالتأكيد ليس لدينا وقت ، تابعنا بعد ذلك على الهامش.

كجزء من المخطط ، سنحاول التحدث عن الفرق بين الموازنة باستخدام DNS و BGP. كيفية اختيار مواقع جديدة وما تحتاج إلى الاهتمام به لتجنب الألم اللاحق. كيفية دعم كل هذا ومقدار هذه المهمة الصعبة التي سيقولها ديمتري.

بادئ ذي بدء ، دعونا نحدد مدى معرفتك بالموضوع.
- كم يعرف ما هو anycast ولماذا هو مطلوب؟ (حوالي ثلث الأيدي ترتفع في القاعة)
- ومن هو على دراية DNS وتكوين الخادم؟ (تقريبا نفس العدد من اليدين)
- و BGP (يدان في الإطار)

لا يزال الكثير.

- حسنًا ، السؤال الأخير - من هو على دراية بشركة النفط الوطنية؟ الذين لديهم مشاكل مع الموردين ، والذين حاولوا حلها؟ (يد مسؤول النظام هبر مرئية في الإطار)

ممتاز. في هذه الحالة ، آمل أن يأتي ما سنخبرك به.

قبل الانتقال إلى البث ، دعنا نرى سبب الحاجة إليه. لديك تطبيق تريد معالجة طلبات العملاء به. تتم استضافتك في مكان ما - في حين أنك لا تفكر في الأمر بشكل خاص. شراء اسم DNS ، حلها ، وهلم جرا. ثم التوقيع على الشهادة ، لأن HTTPS. طلبك ينمو.

أولاً ، عليك التعامل مع الحمل. إذا "أطلق النار" على تطبيقك في نفس الوقت - أي أنه سيصبح شائعًا بشكل حاد ، يزداد عدد المستخدمين إليك. يجب عليك شراء الحديد وتحقيق التوازن بين الحمل عليه.

بالإضافة إلى ذلك ، قد ينشأ العملاء المطالبون بالكلمات التالية: "أيها الرجال ، يجب أن تكون متاحًا دائمًا وفي كل مكان مقابل هذا النوع من المال!" مما يؤدي إلى حقيقة أنك تقوم بتكرار موارد الحوسبة ليس فقط لمعالجة أحمال الذروة ، ولكن ببساطة كاحتياطي.

بالإضافة إلى ذلك ، اليوم تم ذكره بالفعل في مظاهر أخرى ، لا يمكنك وضع الغدد في مركز بيانات واحد - يمكن أن تحدث كارثة طبيعية ، مما يعني أن التطبيق سوف يتوقف عن العمل ، مما سيتسبب في خسائر مالية وغيرها. لذلك ، إذا كان طلبك قد نما بما فيه الكفاية ، فيجب أن يكون موجودًا بالفعل في العديد من مراكز البيانات ، وإلا سيكون سيئًا.

تكمن المشكلة في الجانب الآخر - إذا كان التطبيق الخاص بك حساسًا للوقت ، كما هو الحال في التحليلات المالية أو التداول ، فمن المهم بالنسبة لك إرسال الطلبات إلى المستخدمين في أسرع وقت ممكن. الكمون سيئة السمعة التي ترتبط نقطتين. الأول - إذا كنت تريد تقديم طلب في أسرع وقت ممكن ، فيجب أن يكون عدد الطلبات والردود عليها أقل ما يمكن. مرة أخرى ، الحقيقة هي أنه عندما يتصل المستخدم بك لأول مرة - كل شيء لا يعمل ويضطر للذهاب عبر جميع دوائر الجحيم. النقطة الثانية هي سرعة الضوء. حزمة من أوروبا الغربية إلى روسيا لا يمكن أن تذهب أسرع من عدد معين من ميلي ثانية ، لا يوجد شيء يمكن القيام به حيال ذلك.

من الضروري أن تكون موجودة في العديد من مراكز البيانات لأننا نريد التكرار ونحن بحاجة إلى أن نكون أقرب إلى العملاء المحتملين. على سبيل المثال ، إذا كانت منطقة العميل الرئيسية الخاصة بك هي أمريكا ، فسوف تضع معداتك هناك حتى لا تمر حركة المرور عبر بلدان وأجزاء أخرى من العالم.

اتضح أنه من نقطة ما يجب أن تكون حاضرًا في جميع أنحاء العالم في أماكن مختلفة. وهذا لا يزال غير anycast.

لذلك تحتاج إلى بعض المواقع. تحتاج بطريقة ما إلى اختيارها ، سواء كانت جديدة في البداية ، أو تفهم قدرتها على التوسع - أثناء التحميل الزائد ، سيكون عليك شراء أجهزة إضافية.

إذا كان لديك بالفعل العديد من المواقع ، فأنت بحاجة إلى معرفة كيفية توزيع المستخدمين بينها. هناك كرسيان: BGP و DNS.

من نقطتين سنبدأ مع الأخير. ومرة أخرى نهجين رئيسيين. في البداية يكون لديك مواقع مختلفة لها عناوين IP مختلفة ، وبالتالي ، عندما يتقدم المستخدم بطلب - يحصل على عنوان IP الخاص بموقع معين ويقوم بتعيين الخرائط عليه.

ماذا نقرر هنا؟ نريد من مستخدم من منطقة معينة الوصول إلى موقع موجود في نفس المنطقة. الحل الأبسط والأكثر غباءً هو استخدام GeoDNS. لديك فهم للمناطق التي توجد بها البادئات - يمكنك أخذ هذه البيانات ، ودفعها إلى خادم DNS ، وتعيين المستخدمين وفقًا لذلك ، إذا جاء عنوان IP المصدر من البادئة الصحيحة ، إلى الموقع الصحيح. ولكن هناك مشكلة - حل. وحوالي 15-20 ٪ من الطلبات تأتي من محللات - أي أن مصدر IP سيكون 8.8.8.8. أين تضع هذا؟

للقيام بذلك ، هناك EDNS ، والذي يسمح في إطار الطلب بنقل الشبكة الفرعية للعميل الأصلي الذي جاء منه. كما تعلمون ، في 1 فبراير 2019 ، حدث يوم علم DNS - منذ ذلك اليوم ، يجب أن تدعم جميع خوادم DNS هذا الامتداد.

في هذا المثال ، يمكنك الحصول على موقع واحد أو عدة مواقع حيث توجد خوادم DNS على مستخدمي الخريطة - ويمكن توزيع الخوادم نفسها في جميع أنحاء العالم. وبالفعل في إطار DNS ، هناك فرصة لاستخدام anycast - سنتحدث عن ذلك لاحقًا.

في المخطط العام ، يمكنك تعيين المستخدم إلى الموقع الأقرب إليه ، مع إعطاء عنوان هذا الموقع بعينه. يتم استخدامه أقل كثيرا.

تتعلق الطريقة الثالثة بحقيقة أنه حتى إذا كان المستخدم قد جاء من نفس المنطقة التي يوجد بها الموقع ، فإن هذا لا يعني أن مشكلة التأخير قد تم حلها. قد يكون من الأفضل نقل المستخدم إلى موقع آخر ، حيث يمكن زيادة حمولة المنطقة في حالة توفر طرق بديلة. هل سيكون من الجيد استخدام هذا؟ لسوء الحظ ، لا توجد حلول حالية تقريبًا لفعل شيء مماثل. أظهر Facebook بطريقة أو بأخرى تقريرًا عن قيامه بذلك - ولكن لا يوجد مربع ، كل شيء يجب القيام به بيديك.

ماذا لدينا مع DNS؟

الإيجابيات هي أنه يمكن إعطاء مستخدمين مختلفين عناوين مختلفة ، ويمكن إرسال مستخدم معين إلى موقع محدد بدقة - أي أنه يمكنك العمل مع مستخدمين فرديين. حسنًا ، DNS سهل التهيئة.

ما هي الجوانب السلبية؟ إذا قمت بإجراء ضبط محبب ، فإن التكوين ينمو بسرعة كبيرة ، وهو أمر مستحيل الدعم بيديك. تحتاج الأتمتة. وإذا تم التنفيذ التلقائي بشكل غير صحيح ، فسيتم تعطل كل شيء - إذا كان DNS موجودًا ، فسيكون الوصول إلى التطبيق غير ممكن.

من ناحية أخرى ، إذا كنت تقوم بموازنة DNS ، فسيقوم المستخدم بالتعيين إلى موقع معين وسيصبح عنوان IP الخاص به ضعيفًا. هذا هو السبب في أننا لا نستخدم موازنة DNS في المنزل ، لأنه في هذه الحالة يمكن أن تتدفق حركة المرور في الهجوم تمامًا عند نقطة واحدة ، مما يؤدي إلى تعطيله.

وكما ذكرنا سابقًا ، لا يدعم DNS موازنة زمن الوصول. وفعل ذلك بنفسك أمر صعب للغاية.

دعنا نصل أخيرًا إلى الأشياء الدقيقة ، وهي BGP anycast.

هذا هو بالضبط قضيتنا. ما هي النقطة؟ جميع المواقع لها نفس عنوان IP ، أو بالأحرى ، تعلن عن نفس البادئة. يعيّن المستخدم الموقع "الأقرب" إليه. "الأقرب" من وجهة نظر BGP - يتم الإعلان عن هذه البادئة باستخدام طرق مختلفة ، وإذا كان لدى المشغل عدة طرق للوصول إلى الموقع المعلن عنه ، فسيختار الأقصر في أغلب الأحيان. مرة أخرى من وجهة نظر BGP. قريبا سنشرح لماذا هذا سيء.

يعمل BGP أيضًا مع توفر البادئات ، بحيث تعمل دائمًا على شبكة فرعية ولا يمكنك معالجة عناوين IP الفردية.

نتيجةً لذلك ، حيث يتم الإعلان عن نفس البادئة من جميع المواقع ، سيتم توجيه جميع المستخدمين من نفس المنطقة إلى نفس الموقع. لا يملك المهاجم أي وسيلة لنقل الحمل من منطقة إلى أخرى ، لذلك تحتاج إلى الحصول على أكبر قدر من الطاقة في كل مكان كما أراد المشغل الذي اختار هذا الطريق. حتى لو لم تحصل على نقاط ، فيمكن أن تظل محمية.

يتم الإعلان عن نفس البادئة - ماذا يمكن أن يكون أسهل؟ ولكن هناك أيضا مشاكل.
الأول هو أنه بسبب الحاجة إلى الإعلان عن البادئة نفسها في جميع أنحاء العالم ، فأنت مجبر على شراء عناوين مستقلة عن مزود الخدمة ، والتي تكون أكثر تكلفة بعدة مرات.

يتعلق الأمر الثاني بحقيقة أن المستخدمين من منطقة ما لا يمكن ببساطة إلقاؤهم في منطقة أخرى ، إذا كان بعضهم فجأة غير شرعي أو من أجل تنويع حركة المرور الهجومية باستخدام مواقع أخرى ، لأن البعض منهم أصيبوا. لا توجد مثل هذه الأقلام.

المشكلة الثالثة هي أنه في إطار BGP ، من السهل جدًا اختيار الموقع "الخطأ" ومقدمي الخدمات "الخطأ". يبدو لك أن لديك وفرة وتوافر ، ولكن في الواقع لن يكون هناك واحد أو آخر.

لديك العديد من المواقع التي تريد تشتيت المستخدمين بينها. ما هي مقابض تقييد منطقة معينة ، وسحب المستخدمين إلى موقع معين؟

هناك جيو المجتمع. لماذا هم؟ دعني أذكرك - اخترت أقرب طريق من وجهة نظر BGP. ولديك مشغل Tier-1 ، على سبيل المثال Level3 ، الذي لديه جذع خاص به في جميع أنحاء العالم. عميل Level3 ، إذا كنت متصلاً به مباشرةً ، يقع في أملين منك. وبعض المشغل المحلي - في ثلاثة. وفقًا لذلك ، سيكون المشغل من أمريكا أقرب إليك من المشغل من روسيا أو أوروبا ، لأنه من وجهة نظر BGP فإن هذا هو الحال.

باستخدام Geo Community ، يمكنك تحديد المنطقة التي سيعلن فيها مشغل كبير ودولي عن طريقك. المشكلة هي أيضًا أنها غير متوفرة دائمًا (مجتمع جيو).

لدينا العديد من الحالات عندما يتعلق الأمر بأنفسنا. عشرة سنتات؟

(دميتري شموناييف يأخذ الكلمة)


من خارج الصندوق ، لا يقدم الكثير من المشغلين هذا ويقولون ، لن نقيد أي شيء لحياد الشبكة والحرية وما إلى ذلك. علينا أن نوضح للمشغلين لفترة طويلة ومن نحن ، ولماذا نريدها ولماذا هي مهمة بالنسبة لنا ، وأيضًا أن نعلِّم لماذا لا ينطبق هذا على الحياد الذي يفكرون فيه. يعمل هذا في بعض الأحيان - وأحيانًا لا ، ونحن نرفض ببساطة التعاون مع مشغلين محتملين للاهتمام لأن هذا التعاون سيؤدي إلى مزيد من الألم في تشغيل خدمتنا.

أيضًا ، نواجه غالبًا حقيقة أن هناك عددًا من العوامل التي ذكرها يوجين بالفعل - هؤلاء هم المستوى 1 ، الذين لا يشترون حركة المرور من أي شخص ويقومون فقط بتبادل الحركة بينهم. ولكن ، إلى جانبهم ، هناك بضع عشرات على الأقل من المشغلين الذين ليسوا من المستوى 1 - يشترون حركة المرور ، ولكن في الوقت نفسه لديهم أيضًا شبكات منتشرة في جميع أنحاء العالم. ليس عليك أن تذهب بعيدًا - من الأقرب إلينا هو Rostelecom أو ReTN ، وهناك مسافة أبعد قليلاً عن شركة Taipei telecom الرائعة و China Unicom و Singtel وما إلى ذلك.

وفي آسيا ، غالبًا ما واجهنا مثل هذا الموقف ، على ما يبدو ، لدينا العديد من نقاط التواجد في آسيا ، فنحن مرتبطون بالعديد من المشغلين الكبار إلى حد ما ، من وجهة نظر هذه المنطقة. ومع ذلك ، فإننا نواجه باستمرار حقيقة أن حركة المرور من آسيا تذهب إلى موقعنا عبر أوروبا أو تقوم برحلة عبر الأطلسي. من وجهة نظر BGP ، هذا أمر طبيعي تمامًا لنفسه ، لأنه لا يأخذ في الاعتبار الكمون. لكن التطبيق يعاني في مثل هذه الظروف ، ومستخدموه أيضًا - بشكل عام ، الكل يعاني ، ولكن من وجهة نظر BGP ، كل شيء على ما يرام.

وعليك إجراء بعض التغييرات بيديك ، والقيام بالهندسة العكسية لكيفية ترتيب توجيه هذا المشغل أو ذاك ، والتفاوض أحيانًا ، أو السؤال ، أو التسول ، أو الركوع. بشكل عام ، افعل أي شيء لحل هذه المشكلات. مع هذا ، تواجه NOC لدينا انتظام تحسد عليه.

كقاعدة عامة ، يلبي المشغلون احتياجاتهم وفي بعض الحالات يكونون مستعدين لتقديم مجموعة معينة ... ولكن بشكل عام ، هل يمكن لمن عملوا مع BGP على مستوى المجتمع رفع أيديهم؟ (ابتسامات) عظيم! بمعنى أن المشغلين مستعدون لتقديم مجموعة من مديري المجتمع من أجل ، على سبيل المثال ، خفض التفضيلات المحلية في منطقة معينة ، أو إضافة تعليق مسبق ، أو عدم الإعلان جيدًا أو أي شيء آخر.

وفقًا لذلك ، هناك طريقتان لموازنة الحمل في BGP. الأول هو كيف يتم كتابتها على الشريحة ، ما يسمى prepend'y. يمكننا أن نتخيل المسار إلى BGP كخط صغير يسرد الأنظمة المستقلة التي يمر من خلالها مسار الحزمة من المرسل إلى المستلم. يمكنك إضافة عدد nth من الأنظمة المستقلة إلى هذا المسار ، ونتيجة لذلك ، سيتم تمديد المسار ويصبح غير ذي أولوية. هذه طريقة أمامية ولا تعمل من أجل كل شيء - إذا أضفت تعليقًا مسبقًا ، فهي ليست حبيبية ، أي أن الجميع سيرون ذلك في مخروط المشغل الذي تقوم فيه بهذا التلاعب.

من ناحية أخرى ، هناك أيضًا مجتمع BGP ، الذي يقوم بتمييز المجتمعات ، من أجل فهم من أين تأتي هذه البادئة أو تلك ، والتي يتعلق الأمر بالمشغل - أي وليمة أو عميل أو منبع ، وأيضًا في أي مكان يتم أخذها و هكذا وهناك مديري المجتمع الذين يذهبون إلى جهاز التوجيه إلى المشغل ويتخذ إجراءات معينة بهذه البادئة.

معظم المشغلين لديهم مجتمعات تقييدية. خذ على سبيل المثال المشغل الروسي المجرد ، والذي يرتبط بعدد من المشغلين الروس في فراغ. لدى بعضها علاقات بين الأقران ، والتي تنطوي على تبادل تعادل حركة المرور ، وبعضها يشترونها. وفقًا لذلك ، فإنها توفر المجتمع من أجل جعل الدفعات في هذا الاتجاه ، من خلال تمديد مسار AS ، أو عدم الإعلان أو تغيير الإعدادات المحلية المسبقة. إذا كنت تعمل مع BGP - انظر إلى المجتمع وتعرف على ما يمكن لمقدم الطلب القيام به ليصبح موردك. أحيانًا تكون المجتمعات مخفية ويجب عليك التواصل إما مع مديري المشغلين أو مع الخبراء التقنيين لتظهر لنا مجموعة معينة مدعومة.

بشكل افتراضي ، يتم وصف المجتمع ، في حالة المنطقة الأوروبية ، في RIPE DB. أي أنك تقدم طلبًا إلى whois بأرقام نظام الحكم الذاتي وحقل الملاحظات عادة ما يقول ما لدى المشغل فيما يتعلق بتعليم وإدارة المجتمع. ليس كل شخص لديه هذا ، في كثير من الأحيان عليك أن تبحث عن أماكن مختلفة مثيرة للاهتمام.

بمجرد أن تبدأ تشغيل BGP ، في الأساس ، فإنك تقول إن الشبكة جزء من التطبيق الخاص بك وليست شيئًا مجردة ، لذلك عليك أن تفكر في المخاطر.

على سبيل المثال ، كانت لدينا قضية مع مؤسسة مالية لاتفية واحدة ، وأصبحت بادتها ، إذا تم تضمينها من خلال شبكتنا ، غير متوفرة في حوالي نصف لاتفيا. على الرغم من أنه يبدو أنه لم يتغير أي شيء - نفس البادئة التي نعلنها في مشغلي المستوى 1 ، في أوروبا ، يبدو أن كل شيء موجود ، بما في ذلك التكرار. لكننا لم نستطع حتى أن نتخيل أن حوالي نصف مشغلي لاتفيا لديهم أجهزة حدودية لم يتمكنوا من استيعاب الحجم الكامل للعرض الكامل (جدول توجيه BGP بأكمله) ، والذي كان في ذلك الوقت حوالي 650 ألف بادئة. لقد وقفوا هناك ، حسناً ، إذا كان أي شخص يعرف ماهية Catalyst 3550 ، فقد كان هناك بالضبط ، وقفت على 12000 بادئة فقط. حسنًا ، لقد حصلوا على قدر معين من البادئات من IX'a ، والتي ، بالطبع ، لم يكن هناك أي تقصير. إلى جانب هذا ، من مشغل آخر - تلفزيون لاتفيا ، لم تكن البادئة في الإصدار التاسع منه / 24 ، ولكن / 22 حيث وقفت / 24.

ونتيجة لذلك ، ذهب إلى مكان لم يكن يعرف فيه مكان توجيهه وتوجه كل شيء إلى الأنبوب. لإصلاح هذا الأمر ، استغرقنا حوالي يومين والمراسلات المستمرة مع مشغلي Latvian حتى أظهروا لنا الإخراج من أجهزتهم الحدودية ولاحظنا فقط اسم المضيف هناك. مرحباً بالجميع ، إنه ممتع للغاية في بعض الأحيان.

هناك العديد من المشغلين بالحديد القديم. هناك العديد من المشغلين الذين لديهم فهم غريب لكيفية عمل الشبكة. والآن هذه هي مشكلتك أيضًا إذا كنت ستلعب مع BGP. حسنًا ، في النهاية ، هناك العديد من المشغلين ذو أرجل واحدة (مزود متفوق واحد للاتصال) ، لذلك لديهم مجموعاتهم الخاصة من العكازات.


(يواصل إفجيني بوجومازوف)



كما ترون ، حتى هذا الموضوع يمكن تطويره لفترة طويلة ومن الصعب الحفاظ عليه في غضون 40 دقيقة.

لذلك ، لديك الأقلام التي تريد الحد من المنطقة. دعونا الآن نتعرف على ما تحتاج إلى إلقاء نظرة عليه وما هو مهم في الاعتبار عندما ترغب في استيعاب موقع جديد.

أفضل ما في الأمر هو عدم شراء الأجهزة الخاصة بك ، ولكن الاتفاق على سحابة على الاستضافة. ثم بالفعل ، سيكون من الممكن أن نتفق معه على أنك ستقوم بالتواصل بشكل مستقل مع بعض مقدمي الخدمات.

من ناحية أخرى ، إذا كنت تسير على هذا الطريق ، فيجب أن تفهم تقريبًا أي منطقة ، مع أو بدون مقابض ، سيتم تجميعها معًا إلى هذا الموقع. للقيام بذلك ، تحتاج إلى تصميم النماذج ، أو بالأحرى تحتاج إلى فهم أنه إذا كان هناك العديد من الطرق من مواقع مختلفة ، فسيتم اختيار الطريق الأفضل. للقيام بذلك ، يجب أن يكون لديك فكرة عن كيفية عمل BGP وكيف يتم تعميم الطرق في الوضع الحالي.

نقطتان رئيسيتان هما طول المسار ، متأثرين بعمليات الدفع المسبق والتفضيلات المحلية ، التي تقول إن الطرق من العملاء هي المفضلة للطرق من مكان آخر. من حيث المبدأ ، هاتان النقطتان تكفيان لفهم المنطقة التي سيتم تجميعها معًا وأين يمكن النهوض.

من بين أشياء أخرى ، هناك بعض الأشياء التي يجب مراعاتها ، ألا وهي نوع الاتصال الذي لدى المورد الخاص بك ، بالإضافة إلى ذلك ، حقيقة أن بعض الموردين لا يتواصلون مع بعضهم البعض (حروب الند للند) ، وحتى إذا كنت تتصل بـ Tier-1 الإقليمي ، فإن هذا لا يعني أن جميع المستخدمين المحليين سوف أراك.

الشيء الآخر الذي يُنسى كثيرًا هو أن الاتصال في IPv4 و IPv6 مختلف تمامًا وليس قابلاً للنقل.

وهنا نصل إلى النقطة الرئيسية. الإجابة على السؤال: "أين تنهض؟" يبدو أن الخيار واضح. إذا كان لديك مستخدمون في المنطقة ، فستحصل على IX في هذه المنطقة ولا يوجد شيء آخر للتفكير فيه. هناك اتصال ، معظم المستخدمين ، من الناحية النظرية ، يجب أن يكونوا متصلاً به ، ومعظم محترفي المحتوى ، مثل الشركات مثل Yandex وغيرها ، يتصلون أولاً بـ IXs وعندها فقط بالموردين. ولكن قد يكون للموردين عملاء فريدون ، وبعض الموردين أنفسهم غير موجودين في IX ، ونتيجة لذلك ، لا يمكنك إعادة توجيه هؤلاء المستخدمين إلى نفسك - سيذهبون إليك بطرق غريبة.

عند اختيار الموردين ، لا يمكنك إيقاف تشغيل رأسك - كان لدينا عدة حالات عندما أدى النهج الخاطئ إلى حدوث مشكلة. يُعد المورّدون خيارنا ، لأنه إذا لم يكن لديك الكثير من الموارد للاتصال ، فانتقل إلى أكبر اللاعبين الإقليميين في نهاية المطاف ، وسوف ينتهي الأمر بنفس الاتصال كما في IX.

قل لي كيف تختار الموردين المناسبين ، ديما.

(ومرة أخرى ديمتري شموناييف)

حسنًا. دعونا نتخيل أن لدينا نقطة واحدة والمنطقة التي تهمنا هي روسيا. لدينا نقطة في مركز بيانات جيد مشروط في موسكو ، ونحن نعمل مع نظامنا الذاتي الخاص ، ومجموعة من البادئات الخاصة بنا وقررت التوسع في استخدام BGP anycast - أنيق وعصري.

قررت الشركة مع زملائها التقنيين أنه من فلاديفوستوك إلى موسكو يوجد قطار RTT كبير جدًا وهذا سيء وهذا ليس جيدًا. دعنا نقول ، سنبقى في موسكو ونضع حداً لنوفوسيبيرسك ، كل شيء سيكون أفضل ، RTT ستسقط ، بالطبع. لم يقل قال من القيام به.

يثير هذا مسألة موقع أحد المعدات ، لكن هذا خارج نطاق محادثتنا اليوم قليلاً ، لكن مسألة اختيار المشغل هي أمر لا بأس به.
يبدو أن الخيار واضح - في موسكو نحن مرتبطون بـ Moskvatelekom المشروط ، فلنلتزم به في نوفوسيبيرسك أيضًا. نعم ، من حيث المبدأ ، يمكننا الاعتماد على التوجيه الداخلي للمزود ، لكن هذا ليس صحيحًا دائمًا - في هذه الحالة نضع كل البيض في سلة واحدة ويجب أن نفهم أن التوجيه وفقًا لمخطط المشغل IGP قد لا يكون الأمثل ، على أقل تقدير ، لأنه ليس واضحًا دائمًا ما الذي يدفعها. في بعض الأحيان يكون هذا أمرًا مفهومًا ، وأحيانًا لا يكون مفهومًا جيدًا - والآن لا يتعلق الأمر بذلك ، إلى جانب أن الإدارة منعتني من أداء القسم ، لذلك لا يمكنني تقديم بعض الأمثلة بالتفصيل.

الاتجاهات الحديثة من هذا القبيل حتى أن Moskvatelecom يمكن أن يقول أن الوقت قد حان ل SDN والآن سنضع وحدة تحكم رائعة من شأنها التحكم في الشبكة. وعند نقطة واحدة ، يمكن لهذه وحدة التحكم ببساطة تدمير هذه الشبكة. مرتجلاً ، لا أتذكر مثل هذه الحالة ، خاصة مع وحدة تحكم SDN ، لكن مؤخرًا في أمريكا ، ترك مشغل كبير (CenturyLink) بطاقة شبكة واحدة لإله الشبكة وكانت الشبكة بالكامل غير مستقرة في جميع أنحاء الولايات المتحدة. بسبب بطاقة واجهة الشبكة واحدة. NOC من هذا المشغل حل هذه المشكلة لمدة ثلاثة أو أربعة أيام. بسبب بطاقة شبكة واحدة.

إذا كنت متصلاً بمشغل واحد - أهنئكم بصدق.

, , — . — «», — «» ( ). , , «». , , . , , , -, , . - .

لكن المشغل لا يزال بحاجة إلى تحديد بشكل صحيح. لذلك لديه مجتمع ، لذلك لديه شهادة عدم ممانعة. كل هذا مهم حقًا ، لأنه في العام الماضي كانت هناك حالة رائعة عندما قام مشغل روسي كبير جدًا باختبار بعض خدماته وفي الليل أعلن الكثير من البادئات من مدينة سان بطرسبرغ مع إدخال نظامه المستقل في خادم المسار الثاني DE-CIX في فرانكفورت. أعلن ذلك هناك مع مجتمع blackhole.

نتيجة لذلك ، واجه الكثير من مشغلي ومراكز البيانات في سان بطرسبرغ صعوبة في الوصول إليها ، على سبيل المثال ، من شبكة TTK. لقد أثر هذا أيضًا علينا ، لكننا تمكنا من الالتفاف على هذا ، لأن بين نقاطنا لدينا شبكتنا الخاصة ، وتراكب في مكان ما ، وفي مكان ما فعليًا ، وقمنا بإعادة توجيه حركة المرور من مشغل المشكلة إلى المشغل الذي لم تحدث فيه أية مشاكل. بشكل عام ، تغلبت. لكنني أخبرك بذلك حتى تعرف أن شهادة عدم ممانعة المشغل يجب أن تكون كافية ، لأنه في هذه الحالة لم تتصل شهادة عدم الممانعة للجاني في ليلة الجمعة إلى السبت ، لكنها استيقظت يوم الاثنين فقط. عدم إمكانية الوصول جزئيًا لمدة ثلاثة أيام لعدد من المشغلين. أفضل التفكير ثلاث مرات.

دعنا نعود إلى NOC. مركز عمليات الشبكة - هو مركز إدارة الشبكة ، وهو قسم الشركة التي تعمل في تشغيل الشبكة ، وعمليات الشبكة ، وما إلى ذلك. إجابات على عدد من التذاكر المستلمة بخصوص الشبكة. ماذا تريد أن تضيف؟ ربما يعرف المتخصصون الذين تم تربيتهم في Aichi-sum في هذه الغرفة كل الأشياء الجيدة عن المراقبة. هذا مهم حقا. في بعض الحالات ، يجب مراقبة أشياء محددة للغاية.

قد يشكو بعض المستخدمين من أن "كل شيء سيء إلى حد ما" ولا يستطيعون تقديم التشخيصات اللازمة لبدء العمل لتصحيح الموقف. هناك إشارة سيئة - وماذا وأين غير واضح. في هذه الحالة ، نحاول التفاعل مع NOC للمشغل في مخروط العميل الذي يوجد به هذا المستخدم. إذا لم ينجح الأمر ، فسنبحث في ما هي الارتباطات - إمكانية وجود عقدة مشروع RIPE Atlas داخل هذا المخروط. بشكل عام ، نجمع ما نستطيع. نحن مستعدون لما لا يمكن أن يقدموه لنا دائمًا.

في بعض الحالات ، يكون من المنطقي مراقبة أي مجتمع هذه البادئة أو تلك التي تأتي إلى جهاز التوجيه الحدودي الخاص بك وتجمع بأثر رجعي تاريخي ، آسف للتعلم. على سبيل المثال ، نأخذ ثلاثة مشغلين: Megafon ، Rostelecom و Transtelecom. لنفترض أن جميعًا لديهم نظرات في أراضي الاتحاد الروسي ، وأنك متصل بـ Rostelecom المشروط أو لا يهم. تشاهد البادئات التي يوجد بها المستخدمون لديك ، مع وجود نوع من مجتمع العلامات ، في هذه الحالة. يمكن جمعها وتسجيلها وعندما يحدث شيء ما - سيتغير المجتمع. على سبيل المثال ، يمكنك الحصول على بادئة مع المجتمع من أنها وليمة في روسيا. نعم ، حسنا ، سجلت. ثم تغير هذا المجتمع إلى حقيقة أن هذا العيد في فرانكفورت. ماذا يعني هذا؟أن هؤلاء المشغلين قطعوا علاقات الند للند وأنك والكمون لا تبلي بلاء حسناً - أنت تمر بالحلقة الأوروبية. في هذه الحالة ، يمكنك أن تفعل شيئًا استباقيًا ، ولكنها تستغرق وقتًا طويلاً وتتطلب العزم ، وكذلك الصفات الأخرى.

وإذا كان ذلك ممكنًا ، يمكنك أتمتة كل شيء - كان الأمر صعبًا منذ 10 سنوات ، وهناك الآن الكثير من الأدوات المساعدة ، مثل Ansible ، و Chef ، و Puppet ، التي يمكنها التفاعل مع عناصر الشبكة. ما أهمية الأتمتة؟ لقد قمت بإعداد BGP لفترة طويلة جدًا ، والقاعدة الأولى هي شيء من هذا القبيل: "من قمت بإعداد حي BGP الخاص بك ، من ناحية أخرى ، لا يقوم شخص لطيف بك بإعداده." من وجهة نظر هذا الشخص ، تنطبق هذه القاعدة أيضًا عليك.

أنا شخصياً حصلت على حالة عندما قمت بنقل جميع الأقران من حدود إلى أخرى في مشغل Samara ولن نذكر اسمه. كان لدي تقاطع مع أحد مزودي المحتوى الرئيسيين - مسرح سينمائي عبر الإنترنت وكان لدي تقاطع مع ابنة Rostelecom المحلية. فقط مع مدير المحتوى ، كان لدي تقاطع غيغابايت ، ومع ابنتي مائة ميجابايت. وأنا ، كشخص لطيف ، تحملت كل هذا في الليل - أنا أنظر إلى الرسومات ، في المفصل الذي يبلغ حجمه مائة ميجابايت ، وأعتقد: "أوه ، كيف بحق الجحيم!" ثم أنظر - هذا في الفوج ، في الفوج وأعتقد (يضرب نفسي على الجبهة) - لقد نسيت أن أقوم بتصنيع المرشحات. يجب إهمال هذه الإجراءات ، لأن الجميع وافقوا عليها ، من الضربة الثلاثية ، يحتاجون فقط إلى الحماية بواسطة الأتمتة. الأتمتة هي عدو الأشرار وصديق الخير.

إذن أنت يا تشينيا.

(يواصل إفجيني بوجومازوف)

لذلك ناقشنا جميع النقاط الأولية. لكن على أي حال ، لا ينتهي كل شيء ؛ إلى جانبه ، تحتاج إلى تتبع أشياء أخرى إضافية.

دعونا نرى ما هو آخر. يلزمك معرفة مدى دمج التطبيق في التوزيع - إذا كان هناك العديد من المواقع ، فيجب أن تكون قادرًا على توزيع المحتوى على هذه المواقع. إذا لم يكن ذلك ممكنًا ، فبغض النظر عن كيفية توزيع نظامك ، سينتقل جميع المستخدمين إلى الموقع الذي يوجد به التطبيق فعليًا. وبالضبط RTT أنك لن حفظ.

من ناحية أخرى ، إذا لم يكن لديك بيانات المستخدم على هذا النحو ، فيمكنك وضع تطبيق المستخدم على هذا الموقع - فقط قم بذلك. إذا كان التطبيق سيدعم كل شيء ، ثم استخدم سحابة anycast ، إذا كنت لا ترغب في تطوير البنية التحتية الخاصة بك ، فإن هذا سيحقق الكثير من الأرباح.

حسنًا ، إذا كان لديك بالفعل العديد من المواقع ويأتي المستخدم إلى أحدها ، يمكن أن يحدث شيء ما هناك ، فلنفترض أنه سينهار أو ستنقطع الروابط ، لذلك سوف يذهب المستخدمون إلى موقع آخر. لكن يجب ألا يلاحظوا ذلك. لذلك ، يجب أن تكون قادرًا على نقل حركة المرور هذه في أسرع وقت ممكن داخل شبكة anycast الداخلية ، وبصفة عامة يجب أن تعتبر هذه المشكلة حتمية - لذلك ، من الجيد وضع شيء ما في التطبيق للتحضير لمثل هذا التطور للأحداث.

من الناحية المثالية ، إذا كان لديك مقاييس أعمال للتطبيق ، فعليك في حالة سقوطها ، تقديم طلب على الفور لمراقبة الشبكة وإنشاء تقرير عن حالة الشبكة الداخلية أو الخارجية ، أو كليهما بشكل أفضل. عادة ما تنخفض مقاييس العمل لأن شيئًا ما قد حدث في مكان ما ، لكن هذا بالطبع هو يوتوبيا - حتى أننا لم نقترب من ذلك بعد.

لديك شبكة خارجية ، ولكن هناك أيضًا مواقع داخلية - يجب أن يتواصلوا مع بعضهم البعض. في الوقت نفسه ، لا تحتاج إلى امتلاك البنية الأساسية المادية الخاصة بك - يمكنك استخدام شبكات مشغلي الطرف الثالث ، الشيء الرئيسي هو تكوين الأنفاق الافتراضية. بالإضافة إلى ذلك ، يجب عليك تكوين توجيه الشبكة الداخلية ، لأن كل شيء لا ينتهي على BGP. نظرًا لطبيعة معالجة حركة المرور ، لدينا بروتوكولاتنا الخاصة وأسلوب التواصل والبرامج النصية.

إذا كان لديك عدد قليل من المواقع ، فيجب أن تكون قادرًا على تحديث التكوينات في أماكن مختلفة في نفس الوقت. يمكنك الحصول على بادئة جديدة - يجب عليك الإعلان عنها في كل مكان ، وتحديث DNS - نفس الشيء. في سياق شبكات SDN ، يجب عليك جمع البيانات من المواقع وتجميعها في مكان ما ، وسكب التغييرات التي حدثت بسبب هذه البيانات مرة أخرى في المواقع.

العنصر الأخير هو DNS. كان المثال مع Dyn مؤشراً - كما تتذكر ، في عام 2016 ، وقع هجوم ضدهم ، لم يتمكنوا من مواجهته ولم يعد هناك عدد كبير جدًا من الموارد الشائعة في الولايات المتحدة الأمريكية. يحتاج DNS أيضًا إلى الحماية ، وإلا فلن يجد المستخدمون تطبيقك على الشبكة. يتم حفظ ذاكرة التخزين المؤقت لنظام أسماء النطاقات ، جزئياً ، وهناك عمل مثير للاهتمام حول هذا الموضوع في IETF ، لكن ذلك يعتمد دائمًا على ما إذا كانت بعض أدوات حل DNS سوف تدعمه أم لا.

في أي حال ، يجب أن يكون لديك DNS آمن. هذه هي المرحلة الأولى التي يجب إعدادها حتى يتمكن المستخدم من التعرف على طلبك. عندما تفتح الصفحة لأول مرة ، بالإضافة إلى RTT ، التي ذكرناها بالفعل ، سيكون هناك تأخير إضافي لاستفسارات DNS ويجب أن تكون مستعدًا لأنه لأول مرة تفتح فيها صفحة المستخدم لفترة طويلة ، قد لا يتسامح أي شخص معها. إذا كان الاكتشاف الأول طويلًا مهمًا ، فسيتعين عليك أيضًا تسريع DNS.

في حالة أي بث ، يمكنك تخزين استجابات DNS في نقاط تواجدك ، لأن لديك بالفعل هذه المواقع وستأتي إجابات DNS بسرعة كافية.

ما هي المشكلة؟ حسنا ، الكمون ، حسنا ، التوازن.
كما ذكرنا بالفعل ، لا تزال هناك طبيعة. بسبب ذلك ، تحتاج إلى أن توضع في أماكن مختلفة. لا ينبغي أن ننسى هذا ، على الرغم من أن المخاطر تبدو صغيرة.

هناك أيضا شخص وعامل الصدفة. لذلك ، يجب عليك أتمتة كل شيء قدر الإمكان ، واختبار التكوينات المصبوبة ومراقبة التغييرات. حتى لو كنت قد اتخذت شيئا ، سيكون من الجيد إذا كنت تستطيع إجراء تغييرات بسرعة ومحليا.

هذا هو 90 ٪ من الحالات. لكن 10 ٪ المتبقية - وهذا هو إذا قرر المنافسون القضاء عليك. في هذه الحالة ، لديك مشاكل خطيرة. لماذا يتم تمييز "الحجز" بخط كبير منفصل؟ إذا قررت طرحها ، فستحتاج إلى عدد كبير جدًا من القنوات على مواقعك ، مما يعني أنك ستحتاج إلى التفاوض مع عدد كبير من مقدمي الخدمات. خلاف ذلك ، مع متوسط ​​المستوى الحالي من الهجمات ، لا يمكنك القيام بذلك على الإطلاق.

, . , anycast , , . — . , .

, . .

شكرا لك ?