कैसे Verizon और BGP ऑप्टिमाइज़र ने महान ऑफ़लाइन सेट किया

एक प्रमुख मार्ग रिसाव ने क्लाउडफ़ेयर सहित बड़े इंटरनेट क्षेत्रों को प्रभावित किया है

क्या हुआ?

24 जून को, 10:30 UTC पर, इंटरनेट का पतन हो गया: पेंसिल्वेनिया के उत्तर में एक छोटी कंपनी ने एक बड़े प्रदाता वेरिज़ोन (AS701) से गुजरने वाले कई मार्गों से यातायात की एक धारा डाली - एक ही सफलता के साथ, नाविक एक मल्टी-लेन राजमार्ग से एक संकीर्ण सड़क तक कारों की एक धारा भेज सकता है। । नतीजतन, Cloudflare पर कई वेबसाइटों और कई अन्य प्रदाताओं के पास पहुंच समस्याएं हैं। ऐसा बिल्कुल नहीं होना चाहिए था, क्योंकि वेरिज़ोन इन मार्गों को पूरे इंटरनेट पर भेजने वाला नहीं था। यह कैसे हुआ, यह जानने के लिए आगे पढ़ें।

हमने पहले भी इस तरह की घटनाओं के बारे में लिखा था, वे समय-समय पर होते हैं, लेकिन इस बार हमने दुनिया भर में इसके परिणामों को महसूस किया। समस्या को नोएजी के बीजीपी ऑप्टिमाइज़र द्वारा समाप्त कर दिया गया था। इसमें एक फ़ंक्शन होता है जो प्राप्त आईपी उपसर्गों को छोटे और अधिक विशिष्ट लोगों में विभाजित करता है। उदाहरण के लिए, हमारे IPv4 मार्ग 104.20.0.0/20 को 104.20.0.0/21 और 104.20.8.0/21 में विभाजित किया गया था। जैसे कि पेंसिल्वेनिया साइनपोस्ट को दो अन्य लोगों के साथ बदल दिया गया था: पिट्सबर्ग, पीए और फिलाडेल्फिया, पीए। बड़े आईपी ब्लॉकों को छोटे लोगों में विभाजित करके, नेटवर्क अपने भीतर यातायात का प्रबंधन करता है, लेकिन यह अलगाव सार्वजनिक रूप से उपलब्ध नहीं होना चाहिए। अन्यथा, ऐसी परेशानियां उत्पन्न होती हैं।

आगे क्या हुआ यह समझाने के लिए, आइए सबसे पहले इंटरनेट के काम करने के तरीके को याद करें। संक्षेप में, इंटरनेट एक नेटवर्क है जिसमें स्वायत्त प्रणाली नामक नेटवर्क शामिल है। प्रत्येक स्वायत्त प्रणाली की अपनी विशिष्ट पहचानकर्ता होती है। बॉर्डर गेटवे प्रोटोकॉल (BGP) का उपयोग करके सभी नेटवर्क एक दूसरे से जुड़े हुए हैं। बीजीपी इन नेटवर्क को जोड़ता है और इंटरनेट संरचना बनाता है जिसमें यातायात गुजरता है, उदाहरण के लिए, आपके इंटरनेट प्रदाता से दुनिया के किसी अन्य भाग में एक लोकप्रिय वेबसाइट पर।

बीजीपी के माध्यम से, नेटवर्क मार्गों के बारे में जानकारी का आदान-प्रदान करते हैं, अर्थात्: उन्हें कहीं से भी कैसे प्राप्त किया जाए। ये मार्ग विशिष्ट हो सकते हैं (मानचित्र पर विशिष्ट शहर की तरह) या सामान्य (क्षेत्र की तरह)। और फिर परेशानी हुई।

पेंसिल्वेनिया में एक इंटरनेट सेवा प्रदाता ( AS33154 - DQE कम्युनिकेशंस) ने अपने नेटवर्क पर BGP ऑप्टिमाइज़र का उपयोग किया, जिसका अर्थ है कि उनके नेटवर्क पर कई विशिष्ट मार्ग थे। विशिष्ट मार्ग सामान्य लोगों की तुलना में पूर्वता बरतते हैं (उसी नाविक में, उदाहरण के लिए, बकिंघम पैलेस का मार्ग लंदन के मार्ग की तुलना में अधिक विशिष्ट होगा)।

DQE ने अपने ग्राहक ( AS396531 - Allegheny Technologies Inc) को ये विशिष्ट मार्ग उपलब्ध कराए, और वहाँ से उन्हें पारगमन प्रदाता ( AS701 - Verizon) को मिला, जिसने इन "इष्टतम" मार्गों को पूरे इंटरनेट पर वितरित किया। वे इष्टतम लगते हैं क्योंकि उनके पास अधिक विवरण और विशिष्टताएं हैं।

और यह सब Verizon से आगे नहीं जाना था। हालाँकि इस तरह की दुर्घटनाओं से बचाने के लिए प्रभावी तरीके हैं, लेकिन वेरिज़ोन की कमी के कारण अमेज़न, लाइनोड और क्लाउडफ़ेयर जैसी कई सेवाओं पर असर पड़ा है ।

परिणामस्वरूप, Verizon, Allegheny और DQE ने अपने नेटवर्क के माध्यम से इन सेवाओं तक पहुंचने की कोशिश कर रहे उपयोगकर्ताओं के एक शाफ्ट को मारा। वे ऐसे शक्तिशाली यातायात के लिए डिज़ाइन नहीं किए गए थे, जिसके कारण रुकावट आई। और यहां तक ​​कि अगर पर्याप्त संसाधन थे, तो DQE, Allegheny और Verizon ने सभी को Cloudflare, Amazon, Linode, आदि के लिए आदर्श मार्ग के बारे में नहीं बताया होगा।

बीजीपी ऑप्टिमाइज़र के साथ बीजीपी रिसाव प्रक्रिया।

विफलता के सबसे बुरे क्षणों में, हमने वैश्विक यातायात का लगभग 15% नुकसान देखा।

किसी घटना के दौरान ट्रैफ़िक का स्तर।

रिसाव को कैसे रोका जा सकता है?

इसके कई तरीके हैं।

बीजीपी सत्र के लिए, आप स्वीकृत उपसर्गों के लिए एक कठिन सीमा निर्धारित कर सकते हैं, और यदि उपसर्गों की संख्या सीमा से अधिक है, तो राउटर सत्र समाप्त कर देगा। यदि वेरिज़ोन की उपसर्गों पर ऐसी सीमा होती, तो कुछ भी नहीं होता। वेरीज़ोन जैसे प्रदाता के लिए, इसे स्थापित करना बेकार होगा। कोई सीमा क्यों नहीं थी? मेरे पास एक संस्करण है: लापरवाही और आलस्य।

इस तरह की लीक को रोकने के लिए एक और तरीका आईआरआर फ़िल्टरिंग का उपयोग करना है। आईआरआर (इंटरनेट रूटिंग रजिस्ट्री) इंटरनेट मार्गों का एक वितरित डेटाबेस है जिसमें नेटवर्क प्रविष्टियों को जोड़ते हैं। अन्य नेटवर्क ऑपरेटर अन्य नेटवर्क के साथ BGP सत्रों के लिए विशिष्ट उपसर्गों की सूची बनाने के लिए इन IRR प्रविष्टियों का उपयोग करते हैं। यदि IRR फ़िल्टर का उपयोग किया गया था, तो इनमें से कोई भी नेटवर्क गलत विशिष्ट मार्गों को स्वीकार नहीं करेगा। अविश्वसनीय रूप से, Verizon के पास यह फ़िल्टरिंग BGP सत्रों में Allegheny Technologies के साथ बिल्कुल नहीं था, हालांकि IRR फ़िल्टरिंग का उपयोग (और अच्छी तरह से प्रलेखित) 24 से अधिक वर्षों से किया गया है। आईआरआर फ़िल्टर वेरिज़ोन को कुछ भी खर्च नहीं करेगा और किसी भी तरह से उनकी सेवा को सीमित नहीं करेगा। और फिर से - लापरवाही और आलस्य।

पिछले साल, हमने आरपीकेआई प्लेटफॉर्म को लागू किया और तैनात किया, जो इस तरह के लीक को रोकता है। यह स्रोत नेटवर्क और उपसर्ग आकार के अनुसार फिल्टर सेट करता है। Cloudflare 20 के अधिकतम आकार के साथ उपसर्गों की घोषणा करता है। RPKI इंगित करता है कि पथ की परवाह किए बिना अधिक विशिष्ट उपसर्ग स्वीकार नहीं किए जा सकते हैं। इस तंत्र के काम करने के लिए, नेटवर्क पर BGP ओरिजिन वैलिडेशन सक्षम होना चाहिए। कई प्रदाता, उदाहरण के लिए, एटी एंड टी पहले से ही अपने नेटवर्क में आरपीकेआई का सफलतापूर्वक उपयोग करते हैं।

यदि वेरिज़ोन RPKI का उपयोग करते हैं, तो वे देखेंगे कि प्रस्तावित मार्ग मान्य नहीं हैं, और राउटर स्वचालित रूप से उन्हें अस्वीकार कर देगा।

Cloudflare अभी सभी नेटवर्क ऑपरेटरों को RPKI को तैनात करने की सलाह देता है!

IRR, RPKI और उपसर्ग सीमा का उपयोग करते हुए रूट रिसाव की रोकथाम।

इन सभी सिफारिशों को अच्छी तरह से MANRS ( रूटिंग सिक्योरिटी के लिए पारस्परिक रूप से सहमत ) में वर्णित किया गया है।

समस्या को कैसे हल करें

Cloudflare नेटवर्क टीम ने प्रभावित नेटवर्क AS33154 (DQE Communications) और AS701 (Verizon) से संपर्क किया। यह आसान नहीं था - शायद क्योंकि जब यह सब शुरू हुआ, तो यह संयुक्त राज्य अमेरिका के पूर्वी तट पर एक सुबह था।

वेरिज़न के लिए एक पत्र का स्क्रीनशॉट।

हमारे नेटवर्क इंजीनियरों में से एक ने DQE कम्युनिकेशंस से जल्दी संपर्क किया, और थोड़ी देरी के बाद हम उस समस्या से जुड़े जो समस्या का समाधान कर सकते थे। हमारे टेलीफोन समर्थन के साथ, DQE Allegheny Technologies Inc. को "अनुकूलित" मार्ग भेजने से रोकने में सक्षम था। हम उनकी मदद के लिए उनके आभारी हैं। सब कुछ स्थिर हो गया और सामान्य स्थिति में लौट आया।

DQE और Verizon Support Services से संपर्क करने के प्रयासों का स्क्रीनशॉट

दुर्भाग्य से, फोन और ई-मेल द्वारा वेरिज़ोन से संपर्क करने के हमारे सभी प्रयासों के बावजूद, लेखन के समय (घटना के 8 घंटे से अधिक समय बीत चुके हैं), किसी ने भी हमें जवाब नहीं दिया, और हमें नहीं पता कि क्या वे कुछ कर रहे हैं ।

हम क्लाउडफेयर में इस का पुनरावृत्ति नहीं चाहते हैं, लेकिन दुर्भाग्य से, इसके लिए बहुत कम किया जा रहा है। उद्योग को रूटिंग सुरक्षा सुनिश्चित करने के लिए अधिक प्रभावी उपाय करने का समय है, उदाहरण के लिए RPKI जैसे सिस्टम के साथ। हम आशा करते हैं कि प्रमुख प्रदाता Cloudflare, Amazon, और AT & T का अनुसरण करेंगे और मार्गों की जाँच शुरू करेंगे। यह आपके लिए विशेष रूप से सत्य है, Verizon। हम अभी भी उत्तर की प्रतीक्षा कर रहे हैं।

और यद्यपि हम प्रभावित नहीं कर सके कि क्या हुआ, हम सेवा में व्यवधान के लिए क्षमा चाहते हैं। हम अपने ग्राहकों और यूएसए, यूके, ऑस्ट्रेलिया और सिंगापुर में इंजीनियरों के बारे में परवाह करते हैं, हमने समस्या का पता लगाने के कुछ मिनट बाद हमसे संपर्क किया।

अन्य लेख बीजीपी के साथ टैग किए गए।