🎧 🧗🏼 🆑 कुबेरनेट्स में पॉड की प्राथमिकताएं ग्राफाना लैब्स में डाउनटाइम का कारण कैसे बनीं 👨🏾‍🔧 ◀️ 😼

लगभग। ट्रांस। : हम आपका ध्यान तकनीकी विवरण में प्रस्तुत करते हैं, जो कि ग्रेफाना के रचनाकारों द्वारा सेवा की गई क्लाउड सेवा में हाल के आउटेज के कारणों के बारे में है। यह एक उत्कृष्ट उदाहरण है कि कैसे बुनियादी सुविधाओं की गुणवत्ता में सुधार के लिए डिज़ाइन किया गया एक नया और प्रतीत होता है बेहद उपयोगी सुविधा ... यदि कोई उत्पादन के वास्तविकताओं में इसके आवेदन की कई बारीकियों को नहीं देखता है तो बहुत नुकसान पहुंचा सकता है। यह अद्भुत है जब ऐसी सामग्री दिखाई देती है जो आपको न केवल आपकी गलतियों से सीखने की अनुमति देती है। विवरण ग्रन्थाना लैब्स के उत्पाद के उपाध्यक्ष के इस पाठ के अनुवाद में हैं।

शुक्रवार, 19 जुलाई को, ग्राफाना क्लाउड में होस्टेड प्रोमेथियस सेवा ने लगभग 30 मिनट तक काम करना बंद कर दिया। मैं उन सभी ग्राहकों से माफी मांगता हूं, जो असफलता से पीड़ित थे। हमारा काम निगरानी के लिए आवश्यक उपकरण प्रदान करना है, और हम समझते हैं कि उनकी दुर्गमता आपके जीवन को जटिल बनाती है। हम इस घटना को बहुत गंभीरता से लेते हैं। यह नोट बताता है कि क्या हुआ, हमने इस पर क्या प्रतिक्रिया दी, और हम क्या कर रहे हैं ताकि ऐसा दोबारा न हो।

प्रागितिहास

ग्राफाना क्लाउड होस्टेड प्रोमेथियस सेवा एक क्षैतिज रूप से स्केलेबल, अत्यधिक सुलभ, बहु-किरायेदार प्रोमेथियस सेवा बनाने के लिए एक सीएनसीएफ परियोजना कॉर्टेक्स पर आधारित है। कॉर्टेक्स वास्तुकला में अलग-अलग माइक्रोसर्विस का एक सेट होता है, जिनमें से प्रत्येक अपना कार्य करता है: प्रतिकृति, भंडारण, अनुरोध, आदि। कोर्टेक्स को सक्रिय रूप से विकसित किया जा रहा है, यह लगातार नए अवसरों और उत्पादकता में सुधार कर रहा है। हम नियमित रूप से नए कॉर्टेक्स रिलीज़ को क्लस्टर्स में तैनात करते हैं ताकि ग्राहक इन अवसरों का लाभ उठा सकें - सौभाग्य से, कॉर्टेक्स डाउनटाइम के बिना अपडेट कर सकते हैं।

निर्बाध अपडेट के लिए, Ingester Cortex सेवा को अद्यतन प्रक्रिया के दौरान अतिरिक्त Ingester प्रतिकृति की आवश्यकता होती है। ( नोट : इन्टेस्टर कॉर्टेक्स का मुख्य घटक है। इसका कार्य नमूनों की एक निरंतर धारा को इकट्ठा करना है, उन्हें प्रोमेथियस के समूह में समूहित करना और उन्हें डायनामोबीडी, बिगटेबल या कैसेंड्रा जैसे डेटाबेस में संग्रहित करना है।) यह पुराने इनस्टर्स के साथ है। नए Ingesters के लिए वर्तमान डेटा को अग्रेषित करें। यह ध्यान देने योग्य है कि Ingesters संसाधनों पर मांग कर रहे हैं। उनके काम के लिए प्रति पॉड में 4 कोर और 15 जीबी मेमोरी होना आवश्यक है, अर्थात। हमारे कुबेरनेट समूह के मामले में बेस मशीन की 25% प्रोसेसर शक्ति और मेमोरी। सामान्य तौर पर, हमारे पास क्लस्टर में 4 कोर और 15 जीबी मेमोरी से अधिक अप्रयुक्त संसाधन होते हैं, इसलिए हम इन अतिरिक्त इनस्टर्स को अपडेट के दौरान आसानी से चला सकते हैं।

हालांकि, अक्सर ऐसा होता है कि सामान्य ऑपरेशन के दौरान इनमें से कोई भी मशीन इन 25% लावारिस संसाधनों की नहीं होती है। हां, हम प्रयास नहीं करते हैं: सीपीयू और मेमोरी हमेशा अन्य प्रक्रियाओं के लिए उपयोगी होते हैं। इस समस्या को हल करने के लिए, हमने कुबेरनेट्स पॉड प्रायरिटीज़ का उपयोग करने का निर्णय लिया। यह विचार इनस्टर्स को अन्य (स्टेटलेस) माइक्रोसर्विसेज की तुलना में अधिक प्राथमिकता देता है। जब हमें एक अतिरिक्त (एन + 1) चलाने की आवश्यकता होती है, तो हम अस्थायी रूप से अन्य, छोटे पॉड्स को बाहर करने के लिए मजबूर करते हैं। इन पॉड्स को अन्य मशीनों पर मुफ्त संसाधनों में स्थानांतरित किया जाता है, जिससे एक अतिरिक्त इनस्टर को लॉन्च करने के लिए पर्याप्त रूप से बड़े "छेद" को छोड़ दिया जाता है।

गुरुवार, 18 जुलाई को, हमने अपने समूहों में चार नए प्राथमिकता स्तर लॉन्च किए: महत्वपूर्ण , उच्च , मध्यम और निम्न । लगभग एक सप्ताह तक क्लाइंट ट्रैफ़िक के बिना एक आंतरिक क्लस्टर पर उनका परीक्षण किया गया। डिफ़ॉल्ट रूप से, बिना किसी प्राथमिकता के पॉड्स को मध्यम प्राथमिकता प्राप्त हुई; इनस्टियर्स के लिए एक उच्च प्राथमिकता वाला एक वर्ग निर्धारित किया गया था। निगरानी के लिए महत्वपूर्ण था (प्रोमेथियस, एलर्टमैनगर, नोड-निर्यातक, क्यूब-स्टेट-मेट्रिक्स, आदि)। हमारा कॉन्फ़िगरेशन खुला है, और यहां पीआर देखें।

दुर्घटना

शुक्रवार 19 जुलाई को, इंजीनियरों में से एक ने एक बड़े क्लाइंट के लिए एक नया समर्पित कोर्टेक्स क्लस्टर लॉन्च किया। इस क्लस्टर के लिए कॉन्फ़िगरेशन में नई पॉड प्राथमिकताएं शामिल नहीं थीं, इसलिए सभी नए पॉड्स को डिफ़ॉल्ट प्राथमिकता - माध्यम सौंपा गया था।

Kubernetes क्लस्टर में नए Cortex क्लस्टर के लिए पर्याप्त संसाधन नहीं थे, और मौजूदा Cortex उत्पादन क्लस्टर अपडेट नहीं किया गया था (Ingesters को एक उच्च प्राथमिकता के बिना छोड़ दिया गया था)। चूंकि नए क्लस्टर के इनस्टेर्स मध्यम प्राथमिकता के लिए डिफ़ॉल्ट थे, और उत्पादन में मौजूदा पॉड्स ने प्राथमिकता के बिना काम किया, नए क्लस्टर के इनस्टेर्स ने इनस्टेस्टर्स को मौजूदा कॉर्टेक्स उत्पादन क्लस्टर से बाहर निकाल दिया।

उत्पादन क्लस्टर में पूर्वनिर्मित इनस्टर के लिए प्रतिकृति ने प्रीमिटेड पॉड का पता लगाया और प्रतियों की निर्दिष्ट संख्या को बनाए रखने के लिए एक नया बनाया। नई पॉड को डिफ़ॉल्ट रूप से मध्यम प्राथमिकता के लिए सेट किया गया था, और उत्पादन खोए संसाधनों में अगला "पुराना" इनसेस्टर था। परिणाम एक हिमस्खलन जैसी प्रक्रिया थी जिसके कारण कॉर्टेक्स उत्पादन समूहों के लिए इनस्टेनेर से सभी पॉड को बाहर निकाला गया।

Ingesters पिछले 12 घंटों के लिए स्टेटफुल रखते हैं और डेटा स्टोर करते हैं। यह हमें लंबी अवधि के भंडारण के लिए लिखने से पहले उन्हें और अधिक कुशलता से संपीड़ित करने की अनुमति देता है। ऐसा करने के लिए, कॉर्टेक्स एक डिस्ट्रिब्यूटेड हैश टेबल (डीएचटी) का उपयोग करके श्रृंखला डेटा को बढ़ाता है, और डायनमो-शैली कोरम निरंतरता का उपयोग करते हुए प्रत्येक श्रृंखला को तीन इन्स्ट्रेटर्स पर दोहराता है। कॉर्टेक्स इनस्टर्स को डेटा नहीं लिखता है, जो अक्षम हैं। इस प्रकार, जब बड़ी संख्या में Ingesters DHT छोड़ देते हैं, तो Cortex रिकॉर्ड की पर्याप्त प्रतिकृति प्रदान नहीं कर सकता है, और वे "गिर" जाते हैं।

डिटेक्शन एंड एलिमिनेशन

" त्रुटि-बजट-आधारित " (भविष्य के लेख में त्रुटि-बजट-आधारित विवरण दिखाई देगा) के आधार पर नई प्रोमेथियस सूचनाएं शटडाउन की शुरुआत के 4 मिनट बाद अलार्म बजने लगीं। अगले पांच मिनटों में, हमने निदान किया और नए और मौजूदा उत्पादन समूहों को समायोजित करने के लिए अंतर्निहित कुबेरनेट क्लस्टर का विस्तार किया।

पांच मिनट बाद, पुराने Ingesters ने सफलतापूर्वक अपना डेटा रिकॉर्ड किया, और नए लोगों ने शुरुआत की, और Cortex क्लस्टर फिर से उपलब्ध हो गए।

कोर्टेक्स के सामने स्थित रिवर्स ऑथेंटिकेशन प्रॉक्सिस से आउट-ऑफ-मेमोरी (ओओएम) त्रुटियों का निदान और ठीक करने में एक और 10 मिनट का समय लगा। OOM त्रुटियों के कारण QPS में दस गुना वृद्धि हुई (जैसा कि हम मानते हैं, प्रोमेथियस क्लाइंट से अत्यधिक आक्रामक अनुरोधों के कारण)।

परिणाम

कुल डाउनटाइम 26 मिनट था। कोई डेटा नहीं खो गया था। Ingesters ने लंबे समय तक भंडारण के लिए सभी इन-मेमोरी डेटा को सफलतापूर्वक अपलोड किया है। शटडाउन के दौरान, प्रोमेथियस क्लाइंट सर्वरों ने नई वाल-बेस्ड रिमोट_ राइटाइट एपीआई (ग्राफाना लैब्स से कैलम स्टेन द्वारा लिखित) का उपयोग करके बफर में दूरस्थ प्रविष्टियों को सहेजा और विफलता के बाद बार-बार विफल प्रविष्टियों को दोहराया।

प्रोडक्शन क्लस्टर लिखने के संचालन

निष्कर्ष

इस घटना से सीखना और पुनरावृत्ति से बचने के लिए आवश्यक कदम उठाना महत्वपूर्ण है।

पीछे देखते हुए, हमें यह स्वीकार करना चाहिए कि हमें डिफ़ॉल्ट मध्यम प्राथमिकता निर्धारित नहीं करनी चाहिए, जब तक कि उत्पादन में सभी इनस्टेस्टर्स को उच्च प्राथमिकता नहीं मिली। इसके अलावा, उन्हें अग्रिम में अपनी उच्च प्राथमिकता का ख्याल रखना चाहिए था। अब सब कुछ तय हो गया। हमें उम्मीद है कि हमारा अनुभव कुबेरनेट्स में फली प्राथमिकताओं के उपयोग पर विचार करने वाले अन्य संगठनों की मदद करेगा।

हम किसी भी अतिरिक्त ऑब्जेक्ट्स की तैनाती पर एक अतिरिक्त स्तर को नियंत्रित करेंगे, जिनके कॉन्फ़िगरेशन क्लस्टर के लिए वैश्विक हैं। इसके बाद, इस तरह के परिवर्तनों का मूल्यांकन अधिक लोगों द्वारा किया जाएगा। इसके अलावा, जिस संशोधन ने विफलता का नेतृत्व किया, उसे एक अलग परियोजना दस्तावेज के लिए बहुत ही महत्वहीन माना गया - यह केवल गिटहब मुद्दे पर चर्चा की गई। अब से, इस तरह के सभी विन्यास परिवर्तन उचित परियोजना प्रलेखन के साथ होंगे।

अंत में, हम भीड़ के दौरान OOM को रोकने के लिए रिवर्स ऑथेंटिकेशन प्रॉक्सी के आकार को स्वचालित करते हैं, जिसे हमने देखा है, और भविष्य में इसी तरह की समस्याओं को रोकने के लिए रोलबैक और स्केलिंग से संबंधित डिफ़ॉल्ट प्रोमेथियस सेटिंग्स का विश्लेषण करते हैं।

अनुभवी विफलता के कुछ सकारात्मक परिणाम भी थे: आवश्यक संसाधन प्राप्त करने के बाद, कॉर्टेक्स स्वचालित रूप से बिना किसी अतिरिक्त हस्तक्षेप के पुनः प्राप्त हुआ। हमने अपनी नई लॉग एग्रीगेशन प्रणाली, ग्राफाना लोकी के साथ भी मूल्यवान अनुभव प्राप्त किया, जिससे यह सुनिश्चित करने में मदद मिली कि दुर्घटना के दौरान और बाद में सभी इनोस्टर्स ठीक से व्यवहार करते थे।

अनुवादक से पी.एस.

हमारे ब्लॉग में भी पढ़ें: