हैबर पोस्टमॉर्टम रिपोर्ट: अखबार गिर गया

2019 की गर्मियों के पहले और दूसरे महीने की शुरुआत मुश्किल हो गई और दुनिया की आईटी सेवाओं में कई प्रमुख गिरावटों द्वारा चिह्नित किया गया। उल्लेखनीय लोगों में से: CloudFlare बुनियादी ढांचे में दो गंभीर घटनाएं (पहला - टेढ़े हाथों के साथ और संयुक्त राज्य अमेरिका के कुछ आईएसपी द्वारा बीजीपी के प्रति लापरवाह रवैया; दूसरा - स्वयं सीएफ की कुटिल तैनाती के साथ, हर कोई सीएफ का उपयोग करता है, और ये कई उल्लेखनीय सेवाएं हैं) फेसबुक सीडीएन अवसंरचना का अस्थिर संचालन (इंस्टाग्राम और व्हाट्सएप सहित सभी एफबी उत्पादों को प्रभावित करता है)। हमें वितरण के तहत भी आना पड़ा, हालांकि वैश्विक पृष्ठभूमि पर हमारा आउटेज काफी कम था। किसी ने पहले ही काले हेलीकॉप्टर और "संप्रभु" षड्यंत्रों में घसीटना शुरू कर दिया है, इसलिए हम अपनी घटना का सार्वजनिक पोस्टमार्टम जारी कर रहे हैं।



07/03/2019, 16:05
हमने आंतरिक नेटवर्क कनेक्टिविटी के उल्लंघन के समान संसाधन समस्याओं को ठीक करना शुरू किया। पूरी तरह से सब कुछ जांचने के बाद, उन्होंने डेटा लाइन की दिशा में बाहरी चैनल की संचालन क्षमता पर पाप करना शुरू कर दिया, क्योंकि यह स्पष्ट हो गया कि आंतरिक नेटवर्क की इंटरनेट (NAT) तक पहुंच के साथ एक समस्या थी, इस बिंदु तक कि उन्होंने डेटालाइन की दिशा में BGP सत्र रखा।

07/03/2019, 16:35
यह स्पष्ट हो गया कि नेटवर्क प्रदर्शन अनुवाद और साइट के स्थानीय क्षेत्र नेटवर्क से इंटरनेट (NAT) तक पहुंचने वाले उपकरण विफल हो गए। उपकरण को फिर से शुरू करने के प्रयासों से कुछ भी नहीं हुआ, कनेक्टिविटी के आयोजन के लिए वैकल्पिक विकल्पों की खोज तकनीकी सहायता से प्रतिक्रिया मिलने से पहले शुरू हुई, क्योंकि अनुभव से यह सबसे अधिक मदद नहीं करेगा।

समस्या इस तथ्य से कुछ हद तक बढ़ गई थी कि इस उपकरण ने ग्राहक वीपीएन कर्मचारियों के आने वाले कनेक्शनों को भी समाप्त कर दिया था, दूरस्थ बहाली का काम करना मुश्किल हो गया था।

07/03/2019, 16:40
हमने पहले से मौजूद एनएटी फ़ॉलबैक स्कीम को फिर से स्थापित करने की कोशिश की, जिसने पहले कड़ी मेहनत की थी। लेकिन यह स्पष्ट हो गया कि नेटवर्क के कई री-इक्विपमेंट ने इस योजना को लगभग पूरी तरह से निष्क्रिय बना दिया है, क्योंकि इसकी बहाली सबसे अच्छे मामले में काम नहीं कर सकती है, और सबसे बुरे में, पहले से ही काम कर रहे एक को तोड़ दें।

उन्होंने रीढ़ की सेवा करने वाले नए राउटरों के एक परिसर में ट्रैफ़िक स्थानांतरित करने के लिए कुछ विचारों पर काम करना शुरू किया, लेकिन कोर नेटवर्क में मार्गों के वितरण की ख़ासियत के कारण वे निष्क्रिय लग रहे थे।

07/03/2019, 17:05
उसी समय, नाम सर्वर पर नामों को हल करने के लिए तंत्र में एक समस्या सामने आई, जिसके कारण अनुप्रयोगों में सेटिंग्स को हल करने में त्रुटियां हुईं, उन्होंने जल्दी से महत्वपूर्ण सेवाओं के रिकॉर्ड के साथ मेजबान फ़ाइलों को भरना शुरू कर दिया।

07/03/2019, 17:27
हैबर की सीमित कार्यक्षमता को बहाल किया।

07/03/2019, 17:43
लेकिन अंत में, सीमा राउटरों में से केवल एक के माध्यम से गुजरने वाले यातायात को व्यवस्थित करने के लिए एक अपेक्षाकृत सुरक्षित समाधान पाया गया था, जिसे जल्दी से उखाड़ दिया गया था। इंटरनेट कनेक्टिविटी बरामद हुई है।

अगले कुछ मिनटों में, मॉनिटरिंग सिस्टम को मॉनिटरिंग एजेंटों की कार्य क्षमता की बहाली के बारे में बहुत सारी सूचनाएं प्राप्त हुईं, लेकिन कुछ सेवाएँ निष्क्रिय हो गईं, क्योंकि नाम सर्वर (dns) पर नाम समाधान तंत्र का उल्लंघन किया गया था।



07/03/2019, 17:52
NS को फिर से शुरू किया गया, कैश रीसेट किया गया। निराकरण बरामद।

07/03/2019, 17:55
एमके, फ्रीलांसिम और टोस्टर को छोड़कर सभी सेवाओं को अर्जित किया।

07/03/2019, 18:02
अर्जित एमके और फ्रीलांसिम।

07/03/2019, 18:07
DataLine के साथ एक निर्दोष BGP सत्र लाया।

07/03/2019, 18:25
वे संसाधनों पर flanges को ठीक करना शुरू कर देते थे, यह NAT पूल के बाहरी पते में परिवर्तन और कई सेवाओं के एकरेल में इसकी अनुपस्थिति से जुड़ा हुआ था, जल्दी से ठीक किया गया। तुरंत कमाया और टोस्टर।

07/03/2019, 20:30
हमने टेलीग्राम बॉट से संबंधित त्रुटियों को देखा। यह पता चला कि वे एकल (प्रॉक्सी-सर्वर) की एक जोड़ी में बाहरी पते को दर्ज करना भूल गए, उन्होंने जल्दी से इसे ठीक कर दिया।

निष्कर्ष

• उपकरण विफल हो गए, जो इससे पहले भी इसकी उपयुक्तता पर संदेह कर चुके थे। इसे काम से बाहर करने की योजना थी, क्योंकि यह नेटवर्क के विकास में हस्तक्षेप करता था और इसमें संगतता समस्याएं थीं, लेकिन साथ ही साथ एक महत्वपूर्ण कार्य किया, यही वजह है कि सेवाओं के व्यवधान के बिना कोई भी प्रतिस्थापन तकनीकी रूप से आसान नहीं था। अब आप आगे बढ़ सकते हैं।
• NAT समस्याओं को नेट नेटवर्क के बाहर नए बैकबोन नेटवर्क के करीब ले जाकर और बिना अनुवाद के ग्रे नेटवर्क से पूर्ण कनेक्टिविटी के साथ (जैसा कि घटना से पहले योजना बनाई गई थी) के जरिए DNS समस्याओं से बचा जा सकता है।
• RDBMS क्लस्टर को असेंबल करते समय डोमेन नाम का उपयोग न करें, क्योंकि आईपी पते को पारदर्शी रूप से बदलने की सुविधा विशेष रूप से आवश्यक नहीं है, चूंकि सभी समान, इस तरह के जोड़तोड़ के लिए क्लस्टर रीअस्पेश की आवश्यकता होती है। यह निर्णय ऐतिहासिक कारणों से और सबसे पहले, RDBMS कॉन्फ़िगरेशन में नाम से समापन बिंदुओं की स्पष्टता द्वारा निर्धारित किया गया है। सामान्य तौर पर, एक क्लासिक जाल।
• सिद्धांत रूप में, अभ्यास "रनवे के संप्रभुकरण" के लिए किया गया है, स्वायत्त अस्तित्व की संभावनाओं को मजबूत करने के दृष्टिकोण से सोचने के लिए कुछ है।