कुबेरनेट्स और स्वचालन के लिए दो घंटे में क्लाउड पर कैसे पलायन करें

यूआरयूएस ने कुबेरनेट्स को विभिन्न रूपों में आज़माया: Google क्लाउड में एक स्टैंडअलोन नंगे धातु की तैनाती, और फिर इसके प्लेटफॉर्म को Mail.ru Cloud Solutions (MCS) में स्थानांतरित कर दिया। एक नए क्लाउड प्रदाता का चयन कैसे करें और रिकॉर्ड दो घंटे में इसे स्थानांतरित करने का प्रबंधन कैसे करें, यह यूरेश के वरिष्ठ सिस्टम प्रशासक इगोर शिश्किन ( t3ran ) द्वारा बताया गया है।

उरुस क्या करता है

शहरी पर्यावरण की गुणवत्ता में सुधार के कई तरीके हैं, और उनमें से एक इसे पर्यावरण के अनुकूल बनाना है। यह वही है जो URUS - स्मार्ट डिजिटल सेवा कंपनी पर काम कर रहा है। यह उन समाधानों को लागू करता है जो उद्यमों को महत्वपूर्ण पर्यावरणीय संकेतकों की निगरानी करने और नकारात्मक पर्यावरणीय प्रभावों को कम करने में मदद करते हैं। सेंसर वायु संरचना, शोर स्तर और अन्य मापदंडों पर डेटा एकत्र करते हैं, और फिर उन्हें विश्लेषण और सिफारिशों के लिए एक ही मंच "यूरस - एकोमन" पर भेजते हैं।

अंदर "उरस" का काम कैसा है

URUS का एक विशिष्ट ग्राहक एक आवासीय क्षेत्र में या उसके आस-पास स्थित कंपनी है। यह एक कारखाना, बंदरगाह, रेलवे डिपो या कोई अन्य सुविधा हो सकती है। यदि हमारे ग्राहक को पहले से ही चेतावनी मिल गई है, तो पर्यावरण प्रदूषण के लिए जुर्माना लगाया गया था, या कम शोर करना चाहता था, हानिकारक उत्सर्जन की मात्रा को कम करता है, वह हमारे पास आता है, और हम पहले से ही उसे पर्यावरण निगरानी के लिए तैयार समाधान की पेशकश करते हैं।


एच ₂ एस एकाग्रता निगरानी का एक ग्राफ पास की सुविधा से नियमित रात के उत्सर्जन को दर्शाता है

यूआरयूएस में हमारे द्वारा उपयोग किए जाने वाले उपकरणों में कई सेंसर होते हैं जो पर्यावरण की स्थिति का आकलन करने के लिए कुछ गैसों, शोर के स्तर और अन्य डेटा की जानकारी एकत्र करते हैं। सेंसर की सटीक संख्या हमेशा एक विशिष्ट कार्य द्वारा निर्धारित की जाती है।


विशिष्ट माप के आधार पर, सेंसर वाले उपकरण इमारतों, ध्रुवों और अन्य मनमाने स्थानों की दीवारों पर स्थित हो सकते हैं। ऐसा प्रत्येक उपकरण जानकारी एकत्र करता है, इसे एकत्र करता है और गेटवे प्राप्त करने वाले डेटा को भेजता है। वहां हम बाद के विश्लेषण के लिए दीर्घकालिक भंडारण और पूर्व-प्रक्रिया के लिए डेटा बचाते हैं। विश्लेषण के बाद हमें जो कुछ मिलता है उसका सबसे सरल उदाहरण एक वायु गुणवत्ता सूचकांक, उर्फ ​​एक्यूआई है।

इसी समय, कई अन्य सेवाएं हमारे प्लेटफॉर्म पर काम करती हैं, लेकिन मूल रूप से वे एक सेवा प्रकृति के हैं। उदाहरण के लिए, अधिसूचना सेवा ग्राहकों को सूचनाएं भेजती है यदि कोई भी निगरानी पैरामीटर (उदाहरण के लिए, सीओ ₂ की सामग्री) स्वीकार्य मूल्य से अधिक है।

हम डेटा को कैसे स्टोर करते हैं। नंगे धातु पर कुबेरनेट्स की कहानी

यूआरयूएस ईको-मॉनिटरिंग प्रोजेक्ट में कई डेटा वेयरहाउस हैं। एक में हम "कच्चा" डेटा रखते हैं - जो हमें सीधे उपकरणों से प्राप्त होता है। यह स्टोरेज एक "मैग्नेटिक" टेप है, जैसा कि पुराने कैसेट्स पर है, जिसमें सभी संकेतकों का इतिहास है। दूसरे प्रकार के भंडारण का उपयोग पूर्व-संसाधित डेटा के लिए किया जाता है - सेंसर कनेक्शन और डिवाइस रीडिंग, संगठनों, स्थानों, आदि के बारे में मेटाडेटा से समृद्ध उपकरणों से डेटा यह जानकारी आपको गतिशील रूप से मूल्यांकन करने की अनुमति देती है कि एक निश्चित अवधि में एक विशेष संकेतक कैसे बदल गया है। । कच्चे डेटा के भंडारण का उपयोग हम बैकअप के रूप में और पूर्व-संसाधित डेटा को पुनर्स्थापित करने के लिए करते हैं, अगर ऐसी आवश्यकता उत्पन्न होती है।

जब हम कई साल पहले भंडारण की समस्या को हल करने के तरीकों की तलाश कर रहे थे, तो हमारे पास एक मंच चुनने के लिए दो विकल्प थे: कुबेरनेट्स और ओपनहैक। लेकिन जब से उत्तरार्द्ध बहुत राक्षसी दिखता है (बस इसे देखने के लिए इसकी वास्तुकला को देखें), तो हम कुबेरनेट्स पर बस गए। उनके पक्ष में एक और तर्क अपेक्षाकृत सरल सॉफ्टवेयर नियंत्रण था, अधिक लचीले ढंग से संसाधनों में लोहे के नोड्स को काटने की क्षमता।

खुद कुबेरनेट्स के विकास के समानांतर, हमने डेटा संग्रहीत करने के तरीकों का भी अध्ययन किया, जबकि हमने अपने हार्डवेयर में कुबेरनेट्स में अपने सभी भंडारण रखे, हमें उत्कृष्ट विशेषज्ञता प्राप्त हुई। सब कुछ जो हम तब कुबेरनेट्स पर रहते थे: स्टेटफुल स्टोरेज, मॉनिटरिंग सिस्टम, सीआई / सीडी। कुबेरनेट्स हमारा एक मंच बन गया है।

लेकिन हम कुबेरनेट्स के साथ एक सेवा के रूप में काम करना चाहते थे, और इसके समर्थन और विकास में संलग्न नहीं थे। इसके अलावा, हमें यह पसंद नहीं था कि नंगे धातु पर इसकी सामग्री हमारे लिए कितना खर्च करती है, और विकास हमेशा हमारे लिए आवश्यक था! उदाहरण के लिए, पहले कार्यों में से एक कुबेरनेट्स इनग्रेडर्स नियंत्रकों को हमारे संगठन के नेटवर्क बुनियादी ढांचे में एकीकृत करना था। यह एक बोझिल काम है, खासकर यदि आप कल्पना करते हैं कि उस समय DNS रिकॉर्ड या आईपी आवंटन जैसे प्रोग्रामेटिक संसाधन प्रबंधन के लिए कुछ भी तैयार नहीं था। बाद में हमने बाहरी डेटा वेयरहाउस के साथ प्रयोग करना शुरू किया। हमें पीवीसी नियंत्रक के कार्यान्वयन के लिए नहीं मिला, लेकिन फिर भी यह स्पष्ट हो गया कि यह काम का एक बड़ा क्षेत्र था, जिसके लिए व्यक्तिगत विशेषज्ञों को बाहर करना आवश्यक था।

Google क्लाउड प्लेटफ़ॉर्म अस्थायी समाधान पर माइग्रेट करना

हमने महसूस किया कि यह आगे जारी नहीं रह सकता है, और हमारे डेटा को नंगे धातु से Google क्लाउड प्लेटफ़ॉर्म पर स्थानांतरित कर दिया है। वास्तव में, उस समय एक रूसी कंपनी के लिए कई दिलचस्प विकल्प नहीं थे: Google क्लाउड प्लेटफ़ॉर्म के अलावा, केवल अमेज़ॅन ने एक समान सेवा की पेशकश की थी, लेकिन हम अभी भी Google से एक समाधान पर बसे थे। तब यह हमें आर्थिक रूप से अधिक लाभदायक लग रहा था, अपस्ट्रीम के करीब, इस तथ्य का उल्लेख नहीं करने के लिए कि Google स्वयं उत्पादन में एक प्रकार का PoC Kubernetes है।

पहली गंभीर समस्या क्षितिज पर समानांतर में दिखाई दी कि हमारा ग्राहक आधार कैसे बढ़ा। जब हमारे लिए व्यक्तिगत डेटा संग्रहीत करना आवश्यक हो गया, तो हमें एक विकल्प का सामना करना पड़ा: या तो हम Google के साथ काम करते हैं और रूसी कानूनों का उल्लंघन करते हैं, या हम रूसी संघ में एक विकल्प की तलाश कर रहे हैं। चुनाव, सामान्य रूप से, अनुमानित था। :)

हमने सही क्लाउड सेवा कैसे देखी

खोज की शुरुआत तक, हम पहले से ही जानते थे कि हम भविष्य के क्लाउड प्रदाता से क्या प्राप्त करना चाहते हैं। हम किस सेवा की तलाश में थे:

• तेज और लचीला । ताकि हम किसी भी समय जल्दी से एक नया नोड जोड़ सकें या कुछ कर सकें।
  
• सस्ती है । हम वित्तीय मुद्दे को लेकर बहुत चिंतित थे, क्योंकि हम संसाधनों में सीमित थे। हम पहले से ही जानते थे कि हम कुबेरनेट्स के साथ काम करना चाहते हैं, और अब इस समाधान का उपयोग करने की प्रभावशीलता को बढ़ाने या कम से कम बनाए रखने के लिए इसकी लागत को कम करना था।
  
• स्वचालित । हमने एपीआई के माध्यम से सेवा के साथ काम करने की योजना बनाई, प्रबंधकों और फोन कॉल या स्थितियों के बिना, जहां आपको आपातकालीन मोड में मैन्युअल रूप से कई दसियों नोड्स बढ़ाने की आवश्यकता होती है। चूंकि हमारी अधिकांश प्रक्रियाएं स्वचालित हैं, इसलिए हमें क्लाउड सेवा से भी यही उम्मीद है।
  
• रूसी संघ में सर्वरों के साथ । बेशक, हमने रूसी कानून का अनुपालन करने की योजना बनाई और वही 152-एफजेड।
  

उस समय, कुबेरनेट्स एएएस प्रदाता रूस में कम थे, एक प्रदाता चुनते समय, हमारे लिए यह महत्वपूर्ण था कि हम अपनी प्राथमिकताओं से समझौता न करें। Mail.ru Cloud Solutions की टीम, जिसके साथ हम काम करना शुरू कर चुके हैं और अभी भी काम कर रहे हैं, ने हमें API सपोर्ट और एक सुविधाजनक कंट्रोल पैनल के साथ पूरी तरह से स्वचालित सेवा प्रदान की है जिसमें क्षितिज है - इसके साथ हम जल्दी से मनमाने ढंग से संख्याओं को बढ़ा सकते हैं।

हम दो घंटे में MCS में कैसे प्रवास कर पाए

इस तरह के स्थानांतरण में, कई कंपनियों को कठिनाइयों और असफलताओं का सामना करना पड़ता है, लेकिन हमारे मामले में वे नहीं थे। हम भाग्यशाली थे: चूंकि हम प्रवास की शुरुआत से पहले कुबेरनेट्स पर काम कर रहे थे, हमने सिर्फ तीन फाइलें तय कीं और एक नए क्लाउड प्लेटफॉर्म पर अपनी सेवाओं को एमसीएस में लॉन्च किया। आपको याद दिला दूं कि उस समय तक हम अंततः नंगे धातु को छोड़ चुके थे और Google क्लाउड प्लेटफ़ॉर्म पर रहते थे। चूँकि यह चाल अपने आप में दो घंटे से अधिक नहीं लेती थी, साथ ही थोड़ा और समय (लगभग एक घंटा) यह हमारे उपकरणों से डेटा कॉपी करने के लिए लेती थी। फिर हमने पहले से ही स्पिनकनेर (कंटीन्यूअस डिलीवरी प्रदान करने के लिए एक मल्टी क्लाउड सीडी सेवा) का उपयोग किया। हमने जल्दी से इसे नए क्लस्टर में भी जोड़ा और हमेशा की तरह काम करना जारी रखा।

यूआरयूएस में विकास प्रक्रियाओं और सीआई / सीडी कुबेरनेट्स के स्वचालन के लिए धन्यवाद एक विशेषज्ञ (और यह मैं है) द्वारा कब्जा कर लिया गया है। किसी स्तर पर, एक अन्य सिस्टम एडमिनिस्ट्रेटर ने मेरे साथ काम किया, लेकिन फिर यह पता चला कि हमने पहले से ही पूरी मुख्य दिनचर्या को स्वचालित कर दिया था, और हमारे मुख्य उत्पाद की तरफ से अधिक से अधिक कार्य हुए और इससे संसाधनों को प्रत्यक्ष लाभ हुआ।

हमने क्लाउड प्रदाता से प्राप्त किया जो हमें उम्मीद थी, क्योंकि हमने भ्रम के बिना सहयोग शुरू किया था। यदि कोई घटनाएँ थीं, तो ज्यादातर तकनीकी वाले, जिन्हें आसानी से सेवा की सापेक्ष ताजगी से समझाया जा सकता है। मुख्य बात यह है कि एमसीएस टीम तुरंत खामियों को दूर करती है और त्वरित संदेशवाहकों के सवालों का तुरंत जवाब देती है।

यदि हम Google क्लाउड प्लेटफ़ॉर्म के साथ अनुभव की तुलना करते हैं, तो उनके मामले में मुझे यह भी नहीं पता था कि फीडबैक बटन कहां है, क्योंकि यह बस आवश्यक नहीं था। और यदि कोई समस्या हुई, तो Google ने स्वयं एकतरफा सूचनाएँ भेजीं। लेकिन एमसीएस के मामले में, एक बड़ा प्लस, मेरा मानना ​​है कि वे रूसी ग्राहकों के करीब हैं - भौगोलिक और मानसिक रूप से दोनों।

जैसा कि हम भविष्य में बादलों के साथ काम करते हुए देखते हैं

अब हमारा काम कुबेरनेट्स के साथ निकटता से जुड़ा हुआ है, और यह बुनियादी ढाँचे के काम के मामले में पूरी तरह से हमारे अनुकूल है। इसलिए, हम इसे कहीं से स्थानांतरित करने की योजना नहीं बनाते हैं, हालांकि हम नियमित कार्यों को सरल बनाने और नए लोगों को स्वचालित करने के लिए लगातार नई प्रथाओं और सेवाओं को पेश करते हैं, सेवाओं की स्थिरता और विश्वसनीयता बढ़ाते हैं ... अब हम कैओस बंदर सेवा शुरू कर रहे हैं (विशेष रूप से, हम चैकोन्यूब का उपयोग कर रहे हैं, लेकिन यह अवधारणा को नहीं बदलता है: ), जो मूल रूप से नेटफ्लिक्स में बनाया गया था। कैओस बंदर एक साधारण बात करता है: मनमाने समय पर यह कुबेरनेट्स के तहत एक मनमाना हटा देता है। यह हमारी सेवा के लिए आवश्यक है कि हम आम तौर पर उदाहरण n - 1 की संख्या के साथ रहें, इसलिए हम खुद को किसी भी दुर्भावना के लिए तैयार होने के लिए तैयार करते हैं।

अब मैं तृतीय-पक्ष समाधानों का उपयोग करता हूं - समान क्लाउड प्लेटफ़ॉर्म - युवा कंपनियों के लिए एकमात्र सही के रूप में। आमतौर पर यात्रा की शुरुआत में वे संसाधनों में सीमित होते हैं, दोनों मानव और वित्तीय, और अपने स्वयं के क्लाउड या डेटा केंद्र का निर्माण और रखरखाव बहुत महंगा और समय लेने वाला होता है। क्लाउड प्रदाता इन लागतों को कम कर सकते हैं, वे यहां और अभी की सेवाओं के लिए आवश्यक संसाधनों को जल्दी से प्राप्त कर सकते हैं, और वास्तव में इन संसाधनों के लिए भुगतान कर सकते हैं। उरुस कंपनी के रूप में, अब हम क्लाउड में कुबेरनेट्स के लिए वफादार रहेंगे। लेकिन कौन जानता है, शायद हमें भौगोलिक रूप से विस्तार करना होगा, या कुछ विशिष्ट उपकरणों के आधार पर समाधान लागू करना होगा। या हो सकता है कि खपत किए गए संसाधनों की मात्रा नंगे धातु पर अपने कुबेरनेट्स को सही ठहराएगी, जैसे कि अच्छे पुराने दिनों में। :)

हमने क्लाउड सेवाओं के साथ अपने अनुभव से क्या सीखा

हमने नंगे धातु पर कुबेरनेट का उपयोग करना शुरू कर दिया, और वहां भी यह अपने तरीके से अच्छा था। लेकिन उसकी ताकत बादल में एक एएएस-घटक के रूप में सटीक रूप से प्रकट हुई थी। यदि आप एक लक्ष्य निर्धारित करते हैं और जितना संभव हो उतना सब कुछ स्वचालित करते हैं, तो आप विक्रेता लॉक-इन से बचने में सक्षम होंगे और क्लाउड प्रदाताओं के बीच स्थानांतरित होने में कुछ घंटे लगेंगे, और तंत्रिका कोशिकाएं हमारे साथ रहेंगी। हम अन्य कंपनियों को सलाह दे सकते हैं: यदि आप अपनी (क्लाउड) सेवा शुरू करना चाहते हैं, तो सीमित संसाधन हैं और विकास की अधिकतम गति है, अभी से क्लाउड संसाधनों को किराए पर लेना शुरू करें, और फोर्ब्स द्वारा आपके बारे में लिखने के बाद अपने डेटा सेंटर का निर्माण करें।