प्रदर्शन ऑर्केस्ट्रा

यह कहना शायद ही झूठ है कि सबसे अच्छे लोग
दुख के माध्यम से खुशी हासिल करें।
लुडविग वैन बीथोवेन

मैं सर्गेई हूं, मैं एक प्रदर्शन अनुसंधान टीम में Yandex.Money में काम करता हूं। मैं आपको ऑर्केस्ट्रेशन का उपयोग करने के हमारे रास्ते के बारे में एक कहानी की शुरुआत बताना चाहता हूं - हमने कैसे साधनों को चुना और हमने क्या ध्यान रखा। लेख से सभी घटनाएं वास्तविक समय में होती हैं, इसलिए आप, प्रिय पाठकों, स्थिति के विकास का अनुसरण करते हैं।

हमें टीम पर कंडक्टर की आवश्यकता क्यों है?

कंडक्टर कौन है? फ्राम से। diriger - संगीत की दुनिया में प्रबंधन, प्रत्यक्ष, नेतृत्व - यह एक व्यक्ति है, जो कलाकारों की टुकड़ी के संगीत के सीखने और प्रदर्शन का अगुआ है। हमारे मामले में, यह स्थान ऑर्केस्ट्रेशन और ऑटोमेशन सिस्टम द्वारा कब्जा कर लिया गया है।

उनकी भूमिका संगीत में कंडक्टर की भूमिका से अलग नहीं है - उन्हें टीम की मदद करने, उसके नाटक को निर्देशित और व्यवस्थित करने की आवश्यकता है।

एक नियम के रूप में, एक टीम में क्षमताओं का एक निश्चित सेट होता है - चलो उन्हें सर्वर कहते हैं जिस पर वे अपनी परियोजनाओं को लागू करते हैं।

इन सर्वरों को प्राप्त करने और संचालन के लिए दृष्टिकोण विविध है। कुछ उदाहरण:

• टीम अनुरोध करती है, उदाहरण के लिए, ऑपरेशन समूह के लिए, उन्हें कुछ मापदंडों के साथ संसाधन प्रदान करने के लिए।
• ऑपरेशन समूह उन्हें आवश्यक राशि - बादल या नंगे धातु ("नंगे धातु") प्रदान करता है - और एसएलए के अनुसार उन्हें अच्छी स्थिति में बनाए रखने का उपक्रम करता है। समायोजन भी ऑपरेशन टीम द्वारा किया जाता है।
• ऑपरेशन समूह से टीम को केवल बादल या नंगे धातु संसाधन मिलते हैं, यह अपनी सेटिंग्स करता है।
• टीम स्वयं संसाधनों को "खरीदती है" और उन्हें पूरी तरह से स्वतंत्र रूप से समर्थन / कॉन्फ़िगर करती है।

हमारी टीम उन सर्वरों का उपयोग करती है जिन्हें समर्थित होने की आवश्यकता है - ओएस को अपडेट करें, नए पैकेज स्थापित करें, आदि।

खुद के लिए, हमने उन्हें दो मुख्य प्रकारों में विभक्त किया:

• टैंक समूह
• सेवा समूह।

टैंक समूह में Yandex.Tank के साथ मेजबान शामिल हैं।

सेवा समूह में रखरखाव से संबंधित सभी चीजें शामिल हैं - ये रिलीज चक्र के लिए समर्थन प्रदान करने, स्वचालित रिपोर्ट उत्पन्न करने आदि के लिए विभिन्न सेवाएं हैं।

एक बिंदु पर, यह सब मैन्युअल रूप से प्रबंधित करने के लिए असुविधाजनक हो गया, और हमने सर्वर को "भरने" से शुरू करने और हमारी आंतरिक सेवा के विकास, गणना और लॉन्च के साथ पूरी प्रक्रिया को स्वचालित करने के बारे में सोचा।

एक कंडक्टर की आवश्यकता क्यों है, भले ही ऑर्केस्ट्रा खुद खेल सकता है?

शुरू करने के लिए, हमने अन्सिबल पर महारत हासिल की और सिस्टम प्रशासकों पर कम निर्भर होने के लिए हमारे नंगे धातु सर्वरों को "डालना" शुरू किया - हर कोई यहां जीतता है, हम नए कौशल हासिल करते हैं और उस हिस्से के प्रशासकों को राहत देते हैं जो उनके पास हमेशा हमारे बिना होते हैं। हम अपनी टीम को अपनी विशेषता और स्वायत्तता से बाहर विकसित करने का प्रयास करते हैं।

कंपनी लंबे समय से पहले से ही स्थापित और विनियमित के लिए Ansible के साथ काम कर रही है, इसलिए हमने आसानी से इस प्रक्रिया में अपने समाधान को एकीकृत किया।

होस्टिंग में अब तीन तीन भूमिकाएँ शामिल हैं:

• पहली भूमिका ओएस स्थापित करता है,
• मेजबान के लिए दूसरी मूल सेटिंग्स को रोल करता है, LDAP प्राधिकरण, उदाहरण के लिए,
• और तीसरा Yandex.Tank और संबंधित निर्भरता को डॉकटर कंटेनर में स्थापित करता है।

आइए हम उन सेवाओं पर चलते हैं जो हम टीम के अंदर उपयोग करते हैं।

अपने कार्यों के लिए, हम समान रूप से कोटलिन और पायथन का उपयोग करते हैं, और थोड़ा अधिक गोलंग। हमारी सेवाओं के विकास और तैनाती को एकजुट करने के लिए, हमने उन्हें डॉकटर कंटेनरों में पैक करने का निर्णय लिया। यह एक प्रोग्रामिंग भाषा चुनने की स्वतंत्रता देता है और एक ही समय में इसके आवेदन के समान वितरण प्रारूप को नियंत्रित करता है।

Docker में ipv6 के बारे में एक छोटी सी टिप्पणी

हमारे द्वारा बातचीत की जाने वाली कुछ सेवाएं केवल आईपीवी 6 के माध्यम से उपलब्ध हैं, इसलिए मुझे यह पता लगाना था कि कंटेनरों के लिए आईपीवी 6 कैसे बनाया जाए।

आधिकारिक डॉकर वेबसाइट पर ipv6 के लिए प्रलेखन के अनुसार, ipv6 को daemon.json में पैरामीटर जोड़कर सक्षम किया गया है:

{ "ipv6": true, "fixed-cidr-v6": "2001:db8:1::/64" } 

इस स्थिति में, प्रदाता को ipv6 सबनेट जारी करना चाहिए, जिसे आप fixed-cidr-v6. में fixed-cidr-v6. करेंगे fixed-cidr-v6.
हालाँकि, हमने एक और विकल्प चुना - ipv6 NAT, और यहाँ क्यों है:

• अब docker का उपयोग केवल ipv6 के साथ नहीं किया जा सकता है ।
• प्रत्येक कंटेनर में एक विश्व स्तर पर चलने योग्य पते की उपस्थिति का मतलब है कि अतिरिक्त फ़िल्टरिंग नहीं होने पर सभी पोर्ट (यहां तक ​​कि अप्रकाशित वाले) सभी के लिए उपलब्ध हो जाते हैं।
• बंदरगाहों, IPv4 के लिए iptables को प्रकाशित करने के लिए यूजरलैंड प्रॉक्सी।

ipv6 NAT एक डॉकटर कंटेनर है जो खुद ip6tables में नियमों का प्रबंधन करता है और एक नया कंटेनर जोड़ने पर उन्हें संपादित करता है।

इस समाधान को सही ढंग से काम करने के लिए, कई जोड़तोड़ करने पड़े। सिस्टम पर ip6table_nat को इनिशियलाइज़ करना न भूलें। सिस्टम में स्थापित मॉड्यूल की उपस्थिति यह गारंटी नहीं देती है कि स्टार्टअप पर मॉड्यूल को कर्नेल में लोड किया जाएगा। जब हम एनएटी के साथ एक नए सिरे से कंटेनर शुरू कर रहे थे तो हमें यह त्रुटि आई।

 2019/01/22 14:59:54 running [/sbin/ip6tables -t filter -N DOCKER --wait]: exit status 3: modprobe: can't change directory to '/lib/modules': No such file or directory ip6tables v1.6.2: can't initialize ip6tables table `filter': Table does not exist (do you need to insmod?) 

Modprobe मॉड्यूल का उपयोग करके Ansible भूमिका में इनिशियलाइज़ेशन जोड़ने और लाइनइनफ़ाइल का उपयोग करके इसे स्टार्टअप पर लोड करने के बाद समस्या हल हो गई थी:

 - name: Add ip6table_nat module modprobe: name: ip6table_nat state: present - name: Add ip6table_nat to boot lineinfile: path: /etc/modules line: 'ip6table_nat' 

वैसे, हैबर पर एक अच्छा लेख है , जो संक्षेप में और dov6 में ipv6 के साथ काम करने के लिए एक विशेष विधि के फायदे और नुकसान का वर्णन करता है।

लेकिन शुरुआत में पूछे गए हमारे सवाल पर वापस:
एक कंडक्टर की आवश्यकता क्यों है, भले ही ऑर्केस्ट्रा खुद खेल सकता है?

अब हर कोई जानता है कि हमारी टीम में कैसे खेलना है:

• बनाए गए सर्वर को "भरने" की प्रक्रिया,
• विकास और सेवाओं की तैनाती एकीकृत है।

एक वाजिब सवाल उठता है - डॉकटरों में हमारी सेवाओं को कुशलता से और स्वचालित रूप से कैसे तैनात किया जाए, कैसे अपडेट किया जाए?

इस तथ्य के बावजूद कि ऑर्केस्ट्रा का प्रत्येक सदस्य अपने हिस्से को जानता है, वह भटक सकता है, मूल विचार से दूर जा सकता है। यहां हम इस तथ्य पर आते हैं कि एक कंडक्टर के बिना हमारे ऑर्केस्ट्रा प्रभावी ढंग से पूर्वाभ्यास नहीं करेंगे और सामंजस्यपूर्ण रूप से खेलेंगे। कंडक्टर सभी प्रदर्शन मापदंडों के लिए जिम्मेदार है, यह सुनिश्चित करने के लिए कि सब कुछ एक ही गति और मनोदशा से एकजुट है।

न्यूनतम निवेश के साथ एक अच्छा कंडक्टर कैसे प्राप्त करें?

ऑर्केस्ट्रेशन का विषय बाजार में अच्छी तरह से विकसित है। लेकिन पहले, चलो सहायक उपकरणों के बारे में बात करते हैं जो कंडक्टर की मदद कर सकते हैं।

कौंसल एक प्रणाली है जो दो मुख्य कार्य प्रदान करती है:

• सेवा खोज
• वितरित की-वैल्यू स्टोरेज।

हमारे ऑर्केस्ट्रा में, कौंसुल सेवाओं को पंजीकृत करने और उनके कॉन्फ़िगरेशन को संग्रहीत करने के लिए जिम्मेदार होगा। दो पंजीकरण विकल्प हैं:

• सक्रिय - यह तब है जब सेवा स्वयं HTTP एपीआई का उपयोग करके पंजीकृत होती है;
• निष्क्रिय - सेवा को मैन्युअल रूप से पंजीकृत होना चाहिए।

वॉल्ट एक भंडार है जो सुरक्षित भंडारण को एकीकृत करता है और रहस्यों - पासवर्ड, प्रमाण पत्र के साथ काम करता है।
यहाँ हम इस उपकरण का उपयोग कर लाभ प्राप्त करेंगे:

• एचटीटीपी एपीआई के माध्यम से अपने जीवन चक्र का प्रबंधन, रहस्य बनाने और रखने के लिए एक एकल केंद्र।
• ट्रांजिट सीक्रेट इंजन - डेटा की एन्क्रिप्शन-डिक्रिप्शन बिना इसे सेव किए। असुरक्षित संचार चैनलों के माध्यम से एन्क्रिप्टेड रूप में डेटा संचारित करने की क्षमता।
• पहुंच नीतियां जो कॉन्फ़िगर करने के लिए सुविधाजनक हैं।
• राज़ तक पहुँच।
• अपने बुनियादी ढांचे के भीतर स्व-हस्ताक्षरित प्रमाण पत्र के प्रबंधन के लिए अपना स्वयं का सीए (प्रमाणपत्र प्राधिकरण) बनाने की क्षमता।

हमारी सभी आवश्यकताओं को ध्यान में रखते हुए, दो विकल्प कंडक्टर की भूमिका के अनुकूल हैं - कुबेरनेट्स और घुमंतू।

Kubernetes

उसके बारे में पहले से ही कितने लेख और किताबें लिखी जा चुकी हैं (उदाहरण के लिए), रिपोर्ट्स में कहा गया है कि मैं संक्षेप में लिखूंगा - यह एक सार्वभौमिक प्रोसेसर है जो लगभग कुछ भी कर सकता है। इसके लिए भुगतान करना कुबेरनेट पर एक क्लस्टर को स्थापित करने और समर्थन करने के लिए हमेशा आसान नहीं होता है।

घुमक्कड़

उपकरण HashiCorp से है, जो ऊपर उल्लिखित वाणिज्य दूतावास और तिजोरी के लिए जाना जाता है।

खानाबदोश हमें कुबेरनेट की तुलना में स्थापित और कॉन्फ़िगर करने के लिए सरल लग रहा था। एक बाइनरी फ़ाइल सर्वर और क्लाइंट मोड दोनों में काम करती है। इसी समय, नोमैड कार्यों की पूरी सूची को कवर करता है, जिसे हम इसे हल करना चाहते हैं: क्लस्टर प्रबंधन, फास्ट शेड्यूलर, मल्टीटाडेटर समर्थन। साथ ही, कॉन्सल और वॉल्ट का उपयोग करते समय, हम अपनी सेवाओं को ऑर्केस्ट्रेट करने के लिए सख्त एकीकरण प्राप्त करते हैं।

अब क्या काम है:

• कौंसल की तैनाती के लिए सर्वर तैयार
• खानाबदोश क्लस्टर विन्यास कौंसल में दर्ज किया जाएगा, जिसके साथ खानाबदोश को स्वचालित रूप से तैनात किया जाना चाहिए,
• समानांतर में, हम गुप्त रखने के लिए तिजोरी स्थापित करेंगे।

हॉल में सवाल यह है कि क्या इस तरह के कार्यों के लिए एक कंडक्टर होना उचित है, या इसके बिना एक ऑर्केस्ट्रा अच्छा है? हमें टिप्पणियों में बताएं कि आप इस बारे में क्या सोचते हैं।

हमारे ब्लॉग की सदस्यता लें और संपर्क में रहें - हम जल्द ही आपको बताएंगे कि आखिर में क्या हुआ और क्या हमने खानाबदोश क्लस्टर को कॉन्फ़िगर किया, जैसा कि हम चाहते थे।

हमारे आरामदायक टेलीग्राम चैट रूम पर जाएं जहां आप हमेशा सलाह के लिए पूछ सकते हैं, सहकर्मियों की मदद कर सकते हैं और सिर्फ प्रदर्शन अनुसंधान और अधिक के बारे में बात कर सकते हैं।