Kubernetes उत्पादन में सफलता की कहानियां। भाग 9: सर्न और 210 K8s क्लस्टर

आज, CERN दुनिया के सबसे बड़े Kubernetes उपयोगकर्ताओं में से एक है। हाल के आँकड़ों के अनुसार, लार्ज हैड्रोन कोलाइडर (LHC) और कई अन्य प्रसिद्ध अनुसंधान परियोजनाओं के पीछे इस यूरोपीय संगठन में 210 यूरोपीय K8s क्लस्टर लॉन्च किए गए हैं, जो एक साथ सैकड़ों हजारों कार्यों की सेवा कर रहे हैं। यह सफलता की कहानी उनके बारे में है।

सर्न कंटेनर: शुरू

जो लोग सर्न की गतिविधियों से कम से कम सतही रूप से परिचित हैं, उनके लिए यह कोई रहस्य नहीं है कि प्रासंगिक सूचना प्रौद्योगिकियों के लिए इस संगठन में बहुत अधिक ध्यान दिया जाता है: बस याद रखें कि यह वर्ल्ड वाइड वेब का जन्मस्थान है, और अधिक हाल ही के हिट्स में आप ग्रिड सिस्टम को याद कर सकते हैं ( एलएचसी सहित) कम्प्यूटिंग ग्रिड ), एक विशेष एकीकृत सर्किट , वैज्ञानिक लिनक्स वितरण, और यहां तक ​​कि अपने स्वयं के खुले हार्डवेयर लाइसेंस । एक नियम के रूप में, ये परियोजनाएं, चाहे वे सॉफ्टवेयर या हार्डवेयर हों, CERN - LHC के मुख्य दिमाग की उपज से जुड़ी हैं। यह सर्न आईटी इन्फ्रास्ट्रक्चर पर भी लागू होता है, जो काफी हद तक अपनी जरूरतों को पूरा करता है।


जिनेवा में सर्न डेटा सेंटर में

संगठन के बुनियादी ढांचे में कंटेनरों के व्यावहारिक उपयोग के बारे में जल्द से जल्द सार्वजनिक रूप से उपलब्ध जानकारी, जो पाया गया था, अप्रैल 2016 तक वापस आता है। सर्न क्लाउड में कंटेनरों और आर्केस्ट्रा द्वारा "आंतरिक" रिपोर्ट के भाग के रूप में , CERN कर्मचारियों ने अपने क्लाउड (CERN क्लाउड) और उनके ऑर्केस्ट्रेशन में कंटेनरों को समर्थन प्रदान करने के लिए OpenStack Magnum (कंटेनर आर्केस्ट्रा इंजन के साथ काम करने के लिए एक OpenStack घटक) का उपयोग करने के बारे में बात की। पहले से ही कुबेरनेट्स का उल्लेख करते हुए, इंजीनियरों ने ऑर्केस्ट्रेशन के चुने हुए साधन से स्वतंत्र होने का लक्ष्य रखा, अन्य विकल्पों का समर्थन करते हुए: डॉकर स्वार्म और मेसोस।

नोट : ओपनस्टैक क्लाउड को 2013 में कई साल पहले CERN प्रोडक्शन इन्फ्रास्ट्रक्चर में पेश किया गया था। फरवरी 2017 तक, 188 हजार कोर, 440 टीबी रैम इस क्लाउड में उपलब्ध थे, 4 मिलियन वर्चुअल मशीनें बनाई गईं (जिनमें से 22 हजार सक्रिय थीं)।



उस समय, प्रारूप कंटेनर-ए-सर्विस में कंटेनर समर्थन पायलट सेवा के रूप में तैनात किया गया था और संगठन के दस आईटी परियोजनाओं में उपयोग किया गया था। एप्लिकेशन परिदृश्यों के बीच, डॉकटर कंटेनरों में अनुप्रयोगों के निर्माण और रोलिंग के लिए GitLab CI के साथ निरंतर एकीकरण को बुलाया गया था।


प्रस्तुति से लेकर 8 अप्रैल, 2016 की सर्न रिपोर्ट तक

उत्पादन में इस सेवा के लॉन्च की उम्मीद 2016 की तीसरी तिमाही तक थी।

नोट : यह अलग से नोट किया जाना चाहिए कि CERN के कर्मचारियों ने अपने सर्वोत्तम अभ्यासों का इस्तेमाल किया, जिसमें शामिल हैं, ओपन सोर्स प्रोजेक्ट्स का इस्तेमाल किया और कई ओपनस्टैक घटक, जो इस मामले में मैग्नम, कठपुतली-मैग्नम, रैली, आदि थे।

कुबेरनेट्स के साथ प्रति सेकंड लाखों अनुरोध

उसी (2016) वर्ष के जून के रूप में, सर्न में सेवा अभी भी पूर्व-उत्पादन की स्थिति थी:

"हम धीरे-धीरे सीईआरएन पर उपलब्ध आईटी सेवाओं के मानक सेट में कंटेनर-ए-ए-सर्विस को शामिल करने के लिए एक पूर्ण-उत्पादन उत्पादन मोड की ओर बढ़ रहे हैं।"

और फिर, K8s में सेवा अद्यतन के दौरान डाउनटाइम प्रति 1 मिलियन HTTP अनुरोधों की सेवा के बारे में कुबेरनेट्स ब्लॉग पर प्रकाशन से प्रेरित, वैज्ञानिक संगठन के इंजीनियरों ने ओपनस्टैक मैग्नम, कुबेरनेट्स 1.2 और 800 सीपीयू कोर के हार्डवेयर बेस पर अपने क्लस्टर में इस सफलता को दोहराने का फैसला किया।

इसके अलावा, उन्होंने खुद को प्रयोग की एक सरल पुनरावृत्ति तक सीमित नहीं करने का फैसला किया और एक ही ओपनस्टैक मैग्नम के लिए कई पैच तैयार करने और क्लस्टर (300, 500 और 1000) में नोड्स के विभिन्न नंबरों के साथ परीक्षण करने के साथ-साथ अनुरोधों की संख्या को सफलतापूर्वक 2 मिलियन प्रति सेकंड तक बढ़ा दिया।



इस परीक्षण के परिणामों को सारांशित करते हुए, इंजीनियरों ने फिर से कहा कि "स्वार्म और मेसोस भी हैं, और हम जल्द ही उन पर परीक्षण करने की योजना बना रहे हैं।" क्या मामला इन परीक्षणों तक पहुंच गया है, इंटरनेट ज्ञात नहीं है, लेकिन उस वर्ष के अंत तक, कुबेरनेट्स के साथ प्रयोग जारी था - प्रति सेकंड 10 मिलियन अनुरोधों के साथ। परिणाम काफी सकारात्मक था, लेकिन केवल 7 मिलियन से अधिक के सफल चिह्न तक सीमित था - एक नेटवर्क समस्या के कारण ओपनस्टैक से संबंधित नहीं।

ओपनस्टैक हीट और मैग्नम में विशेषज्ञता रखने वाले इंजीनियरों ने यह भी मापा कि 1 से 1000 नोड्स के क्लस्टर को स्केल करने में 23 मिनट का समय लगा, इसे एक अच्छे परिणाम के रूप में मूल्यांकन किया गया (ओपनस्टैक समिट बार्सिलोना 2016 में ओपनस्टैक प्रस्तुति पर टावर्ड 10,000 कंटेनर्स भी देखें) ।

सर्न में कंटेनर: उत्पादन के लिए संक्रमण

अगले (2017) वर्ष के फरवरी में, CERN में कंटेनरों का इस्तेमाल पहले से ही विभिन्न क्षेत्रों की समस्याओं को हल करने के लिए पहले से ही किया गया था: बैच प्रोसेसिंग, मशीन लर्निंग, इंफ्रास्ट्रक्चर मैनेजमेंट, निरंतर परिनियोजन ... यह CERN की रिपोर्ट “ ओपनस्टैक मैग्नम ” में घोषित किया गया था । FOSDEM 2017 में हज़ारों नोड्स को स्केलिंग कंटेनर ( वीडियो ):



यह भी बताया कि सर्न में मैग्नम के उपयोग ने अक्टूबर 2016 में उत्पादन के चरण में प्रवेश किया, और फिर से ऑर्केस्ट्रेशन के लिए तीन उपकरणों के समर्थन पर जोर दिया: कुबेरनेट्स, डोकर स्वार और मेसोस। यह इतना महत्वपूर्ण क्यों था, उनके एक भाषण (बोस्टन, मई 2017 में ओपनस्टैक समिट) में समझाया गया कि सर्न के आईटी विभाग से रिकार्डो रोचा:

“मैग्नम हमें एक कंटेनर इंजन चुनने की भी अनुमति देता है, जो हमारे लिए बहुत मूल्यवान था। कुबेरनेट्स की वकालत करने वाले लोगों के समूह ने संगठन में काम किया, लेकिन ऐसे लोग भी थे जिन्होंने पहले से ही मेसोस का इस्तेमाल किया था, और कुछ ने सामान्य डोकर के साथ भी काम किया था, डॉकटर एपीआई पर भरोसा करना जारी रखना चाहते थे, और झुंड के पास यहां बहुत संभावनाएं हैं। हम उपयोग में आसानी हासिल करना चाहते थे, न कि लोगों को अपने समूहों को कॉन्फ़िगर करने के लिए जटिल पैटर्न को समझने की आवश्यकता। ”

उस समय, CERN ने कुबेरनेट्स के साथ लगभग 40 समूहों का उपयोग किया, 20 ने डॉकर झुंड के साथ, और 5 ने मेसोस्फीयर डीसी / ओएस के साथ।

एक साल बाद, मई 2018 तक, स्थिति में काफी बदलाव आया है। क्यूबर्न यूरोप 2018 में रिकार्डो और उनके सहयोगी (क्लेनिमर फिलमॉन) द्वारा मल्टी-क्लाउड फेडरेटेड कुबेरनेट्स प्रस्तुति ( वीडियो ) के सर्न एक्सपीरियंस से , कुबेरनेट्स का उपयोग करने के बारे में नए विवरण ज्ञात हुए। अब यह केवल एक वैज्ञानिक संगठन के उपयोगकर्ताओं के लिए उपलब्ध कंटेनर ऑर्केस्ट्रेशन टूल में से एक नहीं है, बल्कि पूरे बुनियादी ढांचे के लिए महत्वपूर्ण तकनीक है, जो अनुमति देता है - महासंघ के लिए धन्यवाद - अपनी स्वयं की क्षमताओं के लिए तृतीय-पक्ष संसाधनों (GKE, AKS, Amazon, Oracle ...) को जोड़कर कंप्यूटिंग क्लाउड का विस्तार करने के लिए।

नोट : कुबेरनेत्स में फेडरेशन एक विशेष तंत्र है जो कई समूहों के प्रबंधन को सरल बनाता है ताकि उनमें स्थित संसाधनों को सिंक्रनाइज़ करके और स्वचालित रूप से सभी समूहों में सेवाओं का पता लगाया जा सके। इसके आवेदन का एक वास्तविक मामला विभिन्न प्रदाताओं (उनके डेटा केंद्रों, तृतीय-पक्ष क्लाउड सेवाओं) में वितरित किए गए कई प्रकार के कुबेरनेट समूहों के साथ काम कर रहा है।

जैसा कि आप इस स्लाइड से देख सकते हैं, जो जिनेवा में सर्न डेटा सेंटर की कुछ मात्रात्मक विशेषताओं को प्रदर्शित करता है ...



... संगठन का आंतरिक ढांचा नाटकीय रूप से विकसित हुआ है। उदाहरण के लिए, वर्ष के लिए उपलब्ध कोर की संख्या लगभग दोगुनी हो गई है - पहले से ही 320 हजार। इंजीनियरों ने आगे बढ़कर अपने कई डेटा केंद्रों को संयोजित किया, सर्न क्लाउड में 700 हजार कोर की उपलब्धता हासिल की, जो 400 हजार कार्यों के समानांतर निष्पादन (घटनाओं के पुनर्निर्माण, डिटेक्टरों के अंशांकन, सिमुलेशन, डेटा विश्लेषण, आदि) में लगे हुए हैं ...

लेकिन इस लेख के संदर्भ में, तथ्य यह है कि पहले से ही 210 कुबेरनेट समूह हैं, जिनमें से आकार बहुत भिन्न होते हैं (10 से 1000 नोड्स), अधिक से अधिक ब्याज।

कुबेरनेट्स के साथ फेडरेशन

हालांकि, सर्न की आंतरिक क्षमताएं हमेशा पर्याप्त नहीं थीं - उदाहरण के लिए, लोड के तेज फटने की अवधि के लिए: भौतिकी पर बड़े अंतरराष्ट्रीय सम्मेलनों से पहले और प्रयोगों के पुनर्निर्माण के लिए बड़े अभियानों के मामले में। बड़े संसाधनों की आवश्यकता के लिए एक ध्यान देने योग्य उपयोग का मामला सर्न बैच सेवा है, जो संगठन के कंप्यूटिंग संसाधनों का लगभग 80% हिस्सा है।

इस प्रणाली के केंद्र में ओपन-सोर्स फ्रेमवर्क HTCondor है , जिसे HTC श्रेणी (उच्च-थ्रूपुट कंप्यूटिंग) की समस्याओं को हल करने के लिए डिज़ाइन किया गया है। StartD डेमन इसमें गणना के लिए जिम्मेदार है, जो प्रत्येक नोड पर शुरू होता है और उस पर कार्यभार शुरू करने के लिए जिम्मेदार होता है। कुबेरनेट्स और आगे के महासंघ को लॉन्च करने के लक्ष्य के साथ वह सर्न में कंटेनरीकृत था।


KubeCon यूरोप 2018 में सर्न की प्रस्तुति से HTCondor

इस पथ के बाद, CERN इंजीनियर एकल संसाधन (कंटेनर के साथ DaemonSet, जहां StartD को HTCondor से लॉन्च किया गया है) का वर्णन करने में सक्षम थे और सभी फ़ेडरेटेड कुबर्नेटेस समूहों के नोड्स पर तैनात थे: पहले इसके डेटा सेंटर के भाग के रूप में, और फिर बाहरी प्रदाताओं (सार्वजनिक क्लाउड) को जोड़ने के लिए टी-सिस्टम और अन्य कंपनियों से):



एक और एप्लिकेशन REANA , RECAST, और Yadage पर आधारित एक विश्लेषणात्मक मंच है। सर्न बैच सेवा के विपरीत, जो संगठन में एक "स्थापित" सॉफ्टवेयर है, यह एक नया विकास है, जिसने तुरंत कुबेरनेट्स के साथ मिलकर आवेदन की बारीकियों को ध्यान में रखा। इस प्रणाली में वर्कफ़्लोज़ को इस तरह लागू किया जाता है कि प्रत्येक चरण को Job फॉर कुबेरनेट्स में बदल दिया जाता है।

यदि शुरू में ये सभी कार्य एक ही क्लस्टर पर चलाए गए थे, तो समय के साथ, अनुरोध बढ़ते गए और "आज कुबेरनेट्स में हमारा सबसे अच्छा उपयोग केस फेडरेशन है।" रिकार्डो रोचा के भाषण के इस अंश में उनके प्रदर्शन के साथ एक छोटा वीडियो देखें।

पुनश्च

CERN में IT उपयोग की वर्तमान सीमा की अतिरिक्त जानकारी संगठन की वेबसाइट पर पाई जा सकती है।

चक्र से अन्य लेख

• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 1: 4,200 श्रवण और ईबे पर टेसमास्टर । ”
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 2: कॉन्सुर और एसएपी । "
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 3: गिटहब । "
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 4: साउंडक्लाउड (लेखक प्रोमेथियस) । "
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 5: मोन्जो डिजिटल बैंक
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 6: BlaBlaCar । "
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 7: ब्लैकरॉक । "
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 8: हुआवेई । "
• “ कुबेरनेत्स उत्पादन में सफलता की कहानियाँ। भाग 10: रेडिट