क्यूब-ऑन-क्यूब, मेटाक्लस्टर्स, सेल, संसाधन आवंटन

अंजीर। 1. अलीबाबा क्लाउड में कुबेरनेट्स पारिस्थितिकी तंत्र

2015 से, क्यूबर्नेट्स (ACK) के लिए अलीबाबा क्लाउड कंटेनर सेवा अलीबाबा क्लाउड में सबसे तेजी से बढ़ती क्लाउड सेवाओं में से एक रही है। यह कई ग्राहकों को सेवा प्रदान करता है और अलीबाबा और कंपनी की अन्य क्लाउड सेवाओं के आंतरिक बुनियादी ढांचे का भी समर्थन करता है।

विश्व स्तरीय क्लाउड प्रदाताओं से समान कंटेनर सेवाओं में, हमारी मुख्य प्राथमिकता विश्वसनीयता और उपलब्धता है। इसलिए, हज़ारों कुबेरनेट समूहों के लिए एक स्केलेबल और विश्व स्तर पर सुलभ मंच बनाया गया है।

इस लेख में, हम क्लाउड इंफ्रास्ट्रक्चर पर बड़ी संख्या में कुबेरनेट समूहों का प्रबंधन करने के साथ-साथ अंतर्निहित मंच की वास्तुकला के बारे में अपने अनुभव को साझा करेंगे।

प्रविष्टि

Kubernetes विभिन्न क्लाउड वर्कलोड के लिए वास्तविक मानक बन गया है। जैसा कि अंजीर में दिखाया गया है। शीर्ष पर 1, अधिक से अधिक अलीबाबा क्लाउड अनुप्रयोग अब कुबेरनेट समूह में काम करते हैं: ये स्टेटफुल / स्टेटलेस एप्लिकेशन हैं, साथ ही एप्लीकेशन मैनेजर भी हैं। कुबेरनेट्स का प्रबंधन हमेशा बुनियादी ढांचे के निर्माण और रखरखाव में शामिल इंजीनियरों के लिए एक दिलचस्प और गंभीर चर्चा का विषय रहा है। जब अलीबाबा क्लाउड जैसे क्लाउड प्रदाताओं की बात आती है, तो स्केलिंग सामने आती है। इस पैमाने पर कुबेरनेट्स समूहों का प्रबंधन कैसे करें? हमने पहले ही विशाल 10,000-नोड कुबेरनेट समूहों के प्रबंधन के लिए सर्वोत्तम प्रथाओं के बारे में बात की थी। बेशक, यह एक दिलचस्प स्केलिंग समस्या है। लेकिन एक और स्केल पैमाना है: स्वयं क्लस्टर की संख्या।

हमने कई एसीके उपयोगकर्ताओं के साथ इस विषय पर चर्चा की। उनमें से अधिकांश छोटे या मध्यम कुबेरनेट समूहों के सैकड़ों नहीं, तो दर्जनों को चलाना पसंद करते हैं। इसके लिए उचित कारण हैं: संभावित नुकसान को सीमित करना, विभिन्न टीमों के लिए समूहों का विभाजन, परीक्षण के लिए आभासी क्लस्टर बनाना। यदि ACK इस उपयोग मॉडल के साथ वैश्विक दर्शकों की सेवा करना चाहता है, तो उसे 20 से अधिक क्षेत्रों में बड़ी संख्या में क्लस्टर का मज़बूती से और कुशलता से प्रबंधन करना होगा।


अंजीर। 2. भारी संख्या में कुबेरनेट समूह के प्रबंधन की चुनौतियां

इस पैमाने पर क्लस्टर प्रबंधन की मुख्य समस्याएं क्या हैं? जैसा कि चित्र में दिखाया गया है, इससे निपटने के लिए चार मुद्दे हैं:

• विविधता

ACK को मानक, सर्वर रहित, एज, विंडोज और कुछ अन्य सहित विभिन्न प्रकार के क्लस्टर का समर्थन करना चाहिए। विभिन्न समूहों को विभिन्न मापदंडों, घटकों और होस्टिंग मॉडल की आवश्यकता होती है। कुछ ग्राहकों को अपने विशिष्ट मामलों के लिए अनुकूलन की मदद चाहिए।

• विभिन्न क्लस्टर आकार

क्लस्टर आकार में भिन्न होते हैं: कई पॉड्स के साथ नोड्स की एक जोड़ी से हजारों पॉड के साथ हजारों नोड्स। संसाधन की आवश्यकताएं भी बहुत अलग हैं। संसाधनों का अनुचित आवंटन प्रदर्शन को प्रभावित कर सकता है या विफलता का कारण भी बन सकता है।

• विभिन्न संस्करण

कुबेरनेट्स तेजी से बढ़ रहा है। हर कुछ महीनों में नए संस्करण जारी किए जाते हैं। ग्राहक नई सुविधाओं के लिए हमेशा तैयार रहते हैं। इस प्रकार, वे कुबेरनेट के नए संस्करणों पर परीक्षण भार और स्थिर लोगों पर कार्यभार रखना चाहते हैं। इस आवश्यकता को पूरा करने के लिए, स्थिर संस्करणों को बनाए रखते हुए, ACK को लगातार अपने ग्राहकों को कुबेरनेट के नए संस्करण वितरित करने होंगे।

• सुरक्षा अनुपालन

क्लस्टर विभिन्न क्षेत्रों में वितरित किए जाते हैं। इसलिए, उन्हें विभिन्न सुरक्षा आवश्यकताओं और आधिकारिक नियमों का पालन करना चाहिए। उदाहरण के लिए, यूरोप में एक क्लस्टर को GDPR का अनुपालन करना चाहिए, और चीन में एक वित्तीय बादल के पास सुरक्षा के अतिरिक्त स्तर होने चाहिए। ये आवश्यकताएं अनिवार्य हैं, उन्हें अनदेखा करना अस्वीकार्य है, क्योंकि इससे क्लाउड प्लेटफ़ॉर्म ग्राहकों के लिए भारी जोखिम पैदा होता है।

उपरोक्त अधिकांश समस्याओं को हल करने के लिए ACK प्लेटफॉर्म तैयार किया गया है। वर्तमान में, यह मज़बूती से और दुनिया भर में 10 हजार से अधिक कुबेरनेट समूहों का प्रबंधन करता है। आइए देखें कि हम इसे कैसे हासिल कर पाए, जिसमें डिजाइन / वास्तुकला के कई प्रमुख सिद्धांत शामिल हैं।

डिज़ाइन

क्यूब-ऑन-क्यूब और मधुकोश

एक केंद्रीकृत पदानुक्रम के विपरीत, सेल-आधारित आर्किटेक्चर का उपयोग आमतौर पर एक एकल डेटा सेंटर से परे एक मंच को स्केल करने या आपदा वसूली के दायरे का विस्तार करने के लिए किया जाता है।

अलीबाबा क्लाउड में प्रत्येक क्षेत्र में कई क्षेत्र (AZ) होते हैं और आमतौर पर एक विशिष्ट डेटा केंद्र से मेल खाते हैं। एक बड़े क्षेत्र (जैसे हुआंगझोऊ) में, ACK चलाने वाले हजारों कुबेरनेट ग्राहक क्लासरूम अक्सर पाए जाते हैं।

ACK इन Kubernetes समूहों को Kubernetes का उपयोग करके प्रबंधित करता है, अर्थात, हमारे पास Kubernetes मेटाक्लस्टर को Kubernetes क्लाइंट क्लस्टर के प्रबंधन के लिए है। इस वास्तुकला को "क्यूब-ऑन-क्यूब" (क्यूब-ऑन-क्यूब, कोक) भी कहा जाता है। KoK आर्किटेक्चर क्लाइंट क्लस्टर के प्रबंधन को सरल बनाता है क्योंकि क्लस्टर की तैनाती सरल और निर्धारक हो जाती है। इससे भी महत्वपूर्ण बात, हम देशी कुबेरनेट की सुविधाओं का पुन: उपयोग कर सकते हैं। उदाहरण के लिए, एपीआई सर्वर को तैनाती के माध्यम से प्रबंधित करना, आदि कई ऑपरेटर का प्रबंधन करने के लिए etcd ऑपरेटर का उपयोग करते हैं। इस तरह की पुनरावृत्ति हमेशा विशेष आनंद लाती है।

एक ही क्षेत्र के भीतर, कई कुबेरनेट मेटाकल्स्टर्स तैनात किए जाते हैं, जो ग्राहकों की संख्या पर निर्भर करते हैं। इन मेटाक्लस्टर्स को हम कोशिकाएं कहते हैं। पूरे क्षेत्र की विफलता से बचाने के लिए, एसीके एक क्षेत्र में बहु-सक्रिय तैनाती का समर्थन करता है: मेटाक्लेस्टर कुबेरनेट्स क्लाइंट क्लस्टर विज़ार्ड के घटकों को कई क्षेत्रों में वितरित करता है और उन्हें एक साथ शुरू करता है, अर्थात बहु-सक्रिय मोड में। विज़ार्ड की विश्वसनीयता और प्रभावशीलता सुनिश्चित करने के लिए, ACK घटक प्लेसमेंट का अनुकूलन करता है और यह सुनिश्चित करता है कि API सर्वर और etcd एक दूसरे के करीब हैं।

यह मॉडल आपको प्रभावी ढंग से, लचीले ढंग से और मज़बूती से कुबेरनेट्स का प्रबंधन करने की अनुमति देता है।

मेटाक्लस्टर संसाधन योजना

जैसा कि हमने पहले ही उल्लेख किया है, प्रत्येक क्षेत्र में मेटाक्लस्टर्स की संख्या ग्राहकों की संख्या पर निर्भर करती है। लेकिन आप किस बिंदु पर एक नया मेटाकास्टर जोड़ सकते हैं? यह एक विशिष्ट संसाधन नियोजन समस्या है। एक नियम के रूप में, यह एक नया निर्माण करने के लिए प्रथागत है जब मौजूदा मेटाक्लस्टर्स ने अपने सभी संसाधनों को समाप्त कर दिया है।

उदाहरण के लिए, नेटवर्क संसाधन लें। KoK वास्तुकला में, क्लाइंट समूहों से कुबेरनेट घटक मेटाक्लेस्टर में फली के रूप में तैनात किए जाते हैं। हम Terway (Fig। 3) का उपयोग करते हैं, कंटेनर नेटवर्क प्रबंधन के लिए अलीबाबा क्लाउड द्वारा विकसित एक उच्च-प्रदर्शन प्लगइन। यह सुरक्षा नीतियों का एक समृद्ध सेट प्रदान करता है और आपको अलीबाबा क्लाउड इलास्टिक नेटवर्किंग इंटरफ़ेस (ENI) के माध्यम से वर्चुअल प्राइवेट क्लाउड (VPC) क्लाइंट से कनेक्ट करने की अनुमति देता है। एक मेटाक्लस्टर में नोड्स, पॉड्स और सेवाओं के बीच नेटवर्क संसाधनों को कुशलतापूर्वक वितरित करने के लिए, हमें आभासी निजी बादलों से मेटाक्लस्टर के अंदर उनके उपयोग की सावधानीपूर्वक निगरानी करनी चाहिए। जब नेटवर्क संसाधन समाप्त हो जाते हैं, तो एक नया सेल बनाया जाता है।

प्रत्येक मेटाक्लेस्टर में क्लाइंट क्लस्टर्स की इष्टतम संख्या निर्धारित करने के लिए, हम अपनी लागत, घनत्व आवश्यकताओं, संसाधन कोटा, विश्वसनीयता आवश्यकताओं और आंकड़ों को भी ध्यान में रखते हैं। एक नई मेटाक्लस्टर बनाने का निर्णय इस सभी जानकारी के आधार पर किया जाता है। कृपया ध्यान दें कि छोटे क्लस्टर भविष्य में बहुत विस्तार कर सकते हैं, इसलिए क्लस्टर की समान संख्या के साथ संसाधन की खपत भी बढ़ जाती है। आमतौर पर हम प्रत्येक क्लस्टर की वृद्धि के लिए पर्याप्त खाली स्थान छोड़ते हैं।


अंजीर। 3. नेटवर्क आर्किटेक्चर Terway

क्लाइंट क्लस्टर में विज़ार्ड घटकों को स्केल करना

विज़ार्ड के घटकों की अलग-अलग संसाधन आवश्यकताएँ होती हैं। वे क्लस्टर में नोड्स और पॉड्स की संख्या पर निर्भर करते हैं, गैर-मानक नियंत्रकों / ऑपरेटरों की संख्या APIServer के साथ बातचीत करते हैं।

ACK में, प्रत्येक Kubernetes क्लाइंट क्लस्टर आकार और रनटाइम आवश्यकताओं में भिन्न होता है। विज़ार्ड घटकों की मेजबानी के लिए कोई सार्वभौमिक कॉन्फ़िगरेशन नहीं है। यदि हम गलती से किसी बड़े क्लाइंट के लिए कम संसाधन सीमा निर्धारित करते हैं, तो उसका क्लस्टर लोड के साथ सामना नहीं करेगा। यदि आप सभी समूहों के लिए रूढ़िवादी रूप से उच्च सीमा निर्धारित करते हैं, तो संसाधन बर्बाद हो जाएंगे।

विश्वसनीयता और लागत के बीच एक सूक्ष्म समझौता खोजने के लिए, एसीके एक प्रकार की प्रणाली का उपयोग करता है। अर्थात्, हम तीन प्रकार के समूहों को परिभाषित करते हैं: छोटे, मध्यम और बड़े। प्रत्येक प्रकार का एक अलग संसाधन आवंटन प्रोफ़ाइल है। प्रकार का निर्धारण विज़ार्ड घटकों के लोडिंग, नोड्स की संख्या और अन्य कारकों के आधार पर किया जाता है। समय के साथ क्लस्टर का प्रकार बदल सकता है। एसीके लगातार इन कारकों की निगरानी करता है और तदनुसार प्रकार को बढ़ा / घटा सकता है। क्लस्टर प्रकार को बदलने के बाद, संसाधन आवंटन स्वचालित रूप से न्यूनतम उपयोगकर्ता हस्तक्षेप के साथ अद्यतन किया जाता है।

हम इस प्रणाली को महीन-दाने वाले स्केलिंग और अधिक सटीक प्रकार के अपडेट के संदर्भ में सुधारने के लिए काम कर रहे हैं, ताकि ये परिवर्तन अधिक सुचारू रूप से हो और अधिक आर्थिक समझ हो।


अंजीर। 4. बुद्धिमान बहु मंच प्रकार स्विचन

एक पैमाने पर ग्राहक समूहों का विकास

पिछले वर्गों ने बड़ी संख्या में कुबेरनेट समूहों के प्रबंधन के कुछ पहलुओं का वर्णन किया। हालाँकि, एक और समस्या है जिस पर ध्यान देने की आवश्यकता है: क्लस्टर विकास।

क्लाउड वर्ल्ड में कुबेरनेट्स लिनक्स है। यह लगातार अद्यतन किया जाता है और अधिक मॉड्यूलर हो जाता है। हमें अपने ग्राहकों को लगातार नए संस्करणों की आपूर्ति करनी चाहिए, कमजोरियों को ठीक करना चाहिए और मौजूदा समूहों को अपडेट करना चाहिए, साथ ही बड़ी संख्या में संबंधित घटकों (सीएसआई, सीएनआई, डिवाइस प्लगइन, शेड्यूलर प्लगिन और कई अन्य) का प्रबंधन करना चाहिए।

उदाहरण के रूप में कुबेरनेट्स घटक प्रबंधन को लें। शुरू करने के लिए, हमने इन सभी प्लग-इन घटकों के लिए एक केंद्रीकृत पंजीकरण और प्रबंधन प्रणाली विकसित की।


अंजीर। 5. लचीला और प्लग-इन घटक

आगे बढ़ने से पहले, आपको यह सुनिश्चित करने की ज़रूरत है कि अपडेट सफल हो। ऐसा करने के लिए, हमने एक घटक स्वास्थ्य जांच प्रणाली विकसित की है। उन्नयन से पहले और बाद में सत्यापन किया जाता है।


अंजीर। 6. क्लस्टर घटकों की प्रारंभिक जांच

इन घटकों को जल्दी और मज़बूती से अपडेट करने के लिए, एक सतत तैनाती प्रणाली आंशिक पदोन्नति (ग्रेस्केल), ठहराव और अन्य कार्यों के लिए समर्थन के साथ काम करती है। मानक कुबेरनेट्स नियंत्रक इस उपयोग के लिए अच्छी तरह से अनुकूल नहीं हैं। इसलिए, क्लस्टर घटकों का प्रबंधन करने के लिए, हमने प्लग-इन और एक सहायक नियंत्रण मॉड्यूल (साइडकार प्रबंधन) सहित विशेष नियंत्रकों का एक सेट विकसित किया है।

उदाहरण के लिए, ब्रॉडकास्टजोब नियंत्रक को प्रत्येक कार्यशील मशीन पर घटकों को अपडेट करने या प्रत्येक मशीन पर नोड्स की जांच करने के लिए डिज़ाइन किया गया है। ब्रॉडकास्ट जॉब क्लस्टर में हर नोड पर डेमनसेट की तरह एक पॉड चलाता है। हालाँकि, डेमनसेट हमेशा पॉड के निरंतर संचालन का समर्थन करता है, जबकि ब्रॉडकास्टजोब इसे कम करता है। ब्रॉडकास्ट कंट्रोलर भी नए जुड़े नोड्स पर पॉड्स शुरू करता है और आवश्यक घटकों के साथ नोड्स को इनिशियलाइज़ करता है। जून 2019 में, हमने OpenKruise स्वचालन इंजन के लिए स्रोत कोड खोला, जिसका उपयोग हम स्वयं कंपनी के अंदर करते हैं।


अंजीर। 7. OpenKurise सभी साइटों पर प्रसारण असाइनमेंट आयोजित करता है।

ग्राहकों को सही क्लस्टर कॉन्फ़िगरेशन चुनने में मदद करने के लिए, हम सर्वर रहित, एज, विंडोज और नंगे धातु प्रोफाइल सहित पूर्वनिर्धारित प्रोफाइल का एक सेट प्रदान करते हैं। जैसे-जैसे परिदृश्य का विस्तार होता है और हमारे ग्राहकों की ज़रूरतें बढ़ती हैं, हम थकाऊ सेटअप प्रक्रिया को सरल बनाने के लिए और अधिक प्रोफ़ाइल जोड़ेंगे।


अंजीर। 8. विभिन्न परिदृश्यों के लिए उन्नत और लचीला क्लस्टर प्रोफाइल

वैश्विक डेटा केंद्र अवलोकन

जैसा कि अंजीर में नीचे दिखाया गया है। 9, अलीबाबा क्लाउड कंटेनर दुनिया के बीस क्षेत्रों में तैनात है। इस पैमाने को देखते हुए, ACK के प्रमुख कार्यों में से एक आसानी से रनिंग क्लस्टर्स की स्थिति की निगरानी करना है: यदि क्लाइंट क्लस्टर एक समस्या का सामना करता है, तो हम जल्दी से स्थिति का जवाब दे सकते हैं। दूसरे शब्दों में, आपको एक समाधान के साथ आने की आवश्यकता है जो आपको सभी क्षेत्रों में क्लाइंट समूहों से वास्तविक समय के आँकड़े को कुशलतापूर्वक और सुरक्षित रूप से इकट्ठा करने की अनुमति देगा - और नेत्रहीन परिणाम प्रस्तुत करेगा।


अंजीर। 9. बीस क्षेत्रों में अलीबाबा क्लाउड कंटेनर सेवा की वैश्विक तैनाती

कई कुबेरनेट्स मॉनिटरिंग सिस्टम के साथ, हमारे पास मुख्य उपकरण के रूप में प्रोमेथियस है। प्रत्येक मेटाक्लस्टर के लिए, प्रोमेथियस एजेंट निम्नलिखित मैट्रिक्स जमा करते हैं:

• ओएस मेट्रिक्स, जैसे मेजबान संसाधन (प्रोसेसर, मेमोरी, डिस्क, आदि) और नेटवर्क बैंडविड्थ।
  
• मेटाक्लस्टर और क्लाइंट क्लस्टर प्रबंधन प्रणाली के लिए मेट्रिक्स, जैसे कि क्यूब-एपिसेवर, क्यूब-कंट्रोलर-मैनेजर और क्यूब-शेड्यूलर।
  
• कुबेरनेट्स-राज्य-मेट्रिक्स और कैडवाइजर से मैट्रिक्स।
  
• Etcd मेट्रिक्स, जैसे डिस्क राइट टाइम, डेटाबेस साइज़, नोड्स के बीच थ्रूपुट आदि।

वैश्विक आंकड़े एक विशिष्ट बहुपरत एकत्रीकरण मॉडल का उपयोग करके एकत्र किए जाते हैं। प्रत्येक मेटाक्लस्टर से डेटा की निगरानी पहले प्रत्येक क्षेत्र में एकत्र की जाती है, और फिर एक केंद्रीय सर्वर को भेजा जाता है, जो बड़ी तस्वीर दिखाता है। महासंघ तंत्र के माध्यम से सब कुछ काम करता है। प्रत्येक डेटा सेंटर में प्रोमेथियस सर्वर इस डेटा सेंटर के मैट्रिक्स को एकत्र करता है, और केंद्रीय प्रोमेथियस सर्वर मॉनिटरिंग डेटा एकत्र करने के लिए जिम्मेदार होता है। AlertManager केंद्रीय प्रोमेथियस से जुड़ता है और, यदि आवश्यक हो, डिंगटॉक, ईमेल, एसएमएस, आदि के माध्यम से अलर्ट भेजता है - विज़ुअलाइज़ेशन - ग्राफाना का उपयोग करते हुए।

चित्रा 10 में, निगरानी प्रणाली को तीन स्तरों में विभाजित किया जा सकता है:

• सीमा स्तर

केंद्र से सबसे दूर की परत। प्रोमेथियस एज सर्वर प्रत्येक मेटाक्लस्टर पर चलता है, मेटा नेटवर्क और क्लाइंट क्लस्टर से एक ही नेटवर्क डोमेन के भीतर मैट्रिक्स एकत्रित करता है।

• कैस्केड स्तर

प्रोमेथियस कैस्केड परत फ़ंक्शन कई क्षेत्रों से निगरानी डेटा एकत्र करना है। ये सर्वर चीन, एशिया, यूरोप और अमेरिका जैसी बड़ी भौगोलिक इकाइयों के स्तर पर काम करते हैं। जैसे ही एक क्षेत्र में क्लस्टर बढ़ते हैं, इसे विभाजित किया जा सकता है, और फिर प्रत्येक बड़े बड़े क्षेत्र में एक कैस्केडिंग-स्तर प्रोमेथियस सर्वर दिखाई देगा। इस रणनीति के साथ, आप मूल रूप से आवश्यकतानुसार स्केल कर सकते हैं।

• केंद्रीय स्तर

केंद्रीय प्रोमेथियस सर्वर सभी कैस्केडिंग सर्वर से जुड़ता है और अंतिम डेटा एकत्रीकरण करता है। विश्वसनीयता के लिए, एक ही कैस्केडिंग सर्वर से जुड़े दो केंद्रीय प्रोमेथियस उदाहरण विभिन्न क्षेत्रों में उठाए गए थे।


अंजीर। 10. प्रोमेथियस फेडरेशन मैकेनिज्म पर आधारित ग्लोबल मल्टी-टीयर मॉनिटरिंग आर्किटेक्चर

सारांश

कुबेरनेट्स-आधारित क्लाउड समाधान हमारे उद्योग को बदलना जारी रखते हैं। अलीबाबा क्लाउड कंटेनर सेवा सुरक्षित, विश्वसनीय और उच्च-प्रदर्शन होस्टिंग प्रदान करती है - यह कुबेरनेट्स सर्वश्रेष्ठ क्लाउड होस्टिंग सेवाओं में से एक है। अलीबाबा क्लाउड टीम खुले स्रोत और खुले स्रोत समुदाय के सिद्धांतों में दृढ़ता से विश्वास करती है। हम निश्चित रूप से क्लाउड प्रौद्योगिकियों के संचालन और प्रबंधन के क्षेत्र में अपने ज्ञान को साझा करना जारी रखेंगे।