डेटाबेस और कुबेरनेट (समीक्षा और वीडियो रिपोर्ट)

8 नवंबर को, HighLoad ++ 2018 सम्मेलन के मुख्य हॉल में, DevOps और संचालन अनुभाग के ढांचे के भीतर, एक रिपोर्ट को डेटाबेस और कुबेरनेट्स के हकदार बनाया गया था। यह डेटाबेस की उच्च उपलब्धता के बारे में बात करता है और कुबेरनेट्स और इसके साथ दोष सहिष्णुता के दृष्टिकोण के साथ-साथ कुबेरनेट्स समूहों में डीबीएमएस रखने के लिए व्यावहारिक विकल्प और इसके लिए मौजूदा समाधान (PostgreSQL के लिए स्टोलन सहित)।



परंपरा से, हम एक रिपोर्ट (लगभग एक घंटे, लेख से बहुत अधिक जानकारीपूर्ण) और पाठ के रूप में मुख्य निचोड़ के साथ एक वीडियो प्रस्तुत करने की कृपा कर रहे हैं। चलो चलते हैं!

सिद्धांत

यह रिपोर्ट सबसे लोकप्रिय सवालों में से एक के रूप में दिखाई दी, जो पिछले कुछ वर्षों में हमें अलग-अलग जगहों पर अथक रूप से पूछा गया है: हैबर या यूट्यूब पर टिप्पणी, सामाजिक नेटवर्क, आदि। यह सरल लगता है: "क्या कुबेरनेट्स में डेटाबेस को चलाना संभव है?", और अगर हम आम तौर पर "आम तौर पर हाँ, लेकिन ..." का उत्तर देते हैं, तो स्पष्ट रूप से इन "सामान्य" और "लेकिन" के लिए पर्याप्त स्पष्टीकरण नहीं था, लेकिन उन्हें फिट करने के लिए। एक छोटे संदेश में सफल नहीं हुआ।

हालाँकि, शुरुआत के लिए, मैं "डेटाबेस [डेटा]" से पूरे राज्य के लिए इस मुद्दे को संक्षेप में प्रस्तुत करता हूं। एक DBMS केवल राज्य के फैसलों का एक विशेष मामला है, जिसकी एक पूरी सूची निम्नानुसार प्रस्तुत की जा सकती है:



विशिष्ट मामलों को देखने से पहले, मैं कुबेरनेट्स के काम / उपयोग की तीन महत्वपूर्ण विशेषताओं के बारे में बात करूंगा।

1. कुबेरनेट्स उच्च उपलब्धता दर्शन

हर कोई "पालतू जानवर बनाम मवेशी " सादृश्य जानता है और समझता है कि अगर कुबेरनेट्स झुंड की दुनिया की कहानी है, तो क्लासिक डीबीएमएस सिर्फ पालतू जानवर हैं।

और "पारंपरिक" संस्करण में "पालतू जानवर" की वास्तुकला क्या दिखती थी? MySQL को स्थापित करने का एक उत्कृष्ट उदाहरण दो लोहे के सर्वरों पर निरर्थक शक्ति, एक डिस्क, एक नेटवर्क ... और बाकी सब (एक इंजीनियर और विभिन्न सहायक उपकरण सहित) पर प्रतिकृति है, जो हमें यह सुनिश्चित करने में मदद करेगा कि MySQL प्रक्रिया विफल नहीं होगी, और यदि किसी भी महत्वपूर्ण के साथ कोई समस्या है इसके घटकों के लिए, दोष सहिष्णुता का सम्मान किया जाएगा:



कुबेरनेट्स में कैसा दिखेगा? यहां, आमतौर पर बहुत अधिक लोहे के सर्वर होते हैं, वे सरल होते हैं और उनमें निरर्थक शक्ति और नेटवर्क नहीं होते हैं (इस अर्थ में कि एक मशीन का नुकसान कुछ भी प्रभावित नहीं करता है) - यह सब एक क्लस्टर में संयुक्त है। इसकी गलती सहिष्णुता सॉफ्टवेयर द्वारा प्रदान की जाती है: यदि नोड के लिए कुछ होता है, तो कुबेरनेट्स का पता लगाता है और अन्य नोड पर आवश्यक उदाहरण शुरू करता है।

K8s में उच्च उपलब्धता के लिए क्या तंत्र हैं?

1. नियंत्रकों। कई हैं, लेकिन दो मुख्य हैं: Deployment (स्टेटलेस एप्लिकेशन के लिए) और StatefulSet (स्टेटफुल एप्लिकेशन के लिए)। वे एक नोड दुर्घटना (फली दुर्गमता) की स्थिति में किए गए कार्यों के सभी तर्क संग्रहीत करते हैं।
2. PodAntiAffinity - विशिष्ट पॉड्स को निर्दिष्ट करने की क्षमता ताकि वे एक ही नोड पर न हों।
3. PodDisruptionBudgets - निर्धारित कार्य के मामले में एक ही समय में बंद किए जाने वाले पॉड इंस्टेंस की संख्या पर सीमा।

2. Kubernetes स्थिरता की गारंटी देता है

परिचित एकल-मास्टर दोष सहिष्णुता योजना कैसे काम करती है? दो सर्वर (मास्टर और स्टैंडबाय), जिनमें से एक को लगातार एप्लिकेशन द्वारा एक्सेस किया जाता है, जो बदले में लोड बैलेंसर के माध्यम से उपयोग किया जाता है। नेटवर्क समस्या के मामले में क्या होता है?



क्लासिक स्प्लिट-ब्रेन : एप्लिकेशन डीबीएमएस इंस्टेंस दोनों का उपयोग करना शुरू कर देता है, जिनमें से प्रत्येक खुद को मुख्य मानता है। इससे बचने के लिए, मास्टर के लिए मतदान करते समय कोरम हासिल करने के लिए पहले से ही तीन उदाहरणों के साथ कोरलसिंक को रखा गया था। हालांकि, यहां तक ​​कि इस मामले में भी समस्याएं हैं: यदि एक गिरता हुआ डीबीएमएस उदाहरण हर संभव तरीके से "खुद को मारने" की कोशिश करता है (आईपी पते को हटा दें, डेटाबेस को केवल-पढ़ने के लिए अनुवाद करें ...), तो क्लस्टर के दूसरे हिस्से को पता नहीं है कि मास्टर को क्या हुआ है - यह हो सकता है, वह नोड वास्तव में अभी भी काम करता है और अनुरोध उसे मिलता है, जिसका अर्थ है कि हम अभी भी विज़ार्ड को स्विच नहीं कर सकते हैं।

इस स्थिति को हल करने के लिए, पूरे क्लस्टर को गलत संचालन से बचाने के लिए नोड को अलग करने के लिए एक तंत्र है - इस प्रक्रिया को बाड़ लगाने कहा जाता है। व्यावहारिक सार इस तथ्य को उबालता है कि हम कुछ बाहरी साधनों द्वारा कोशिश कर रहे हैं कि कार से गिरी हुई "मार"। दृष्टिकोण अलग-अलग हो सकते हैं: आईपीएमआई के माध्यम से मशीन को बंद करने और क्लाउड प्रदाता के एपीआई तक पहुंचने के लिए स्विच पर पोर्ट को अवरुद्ध करना, आदि। और इस ऑपरेशन के बाद ही आप विज़ार्ड को स्विच कर सकते हैं। यह एक सबसे अधिक-एक बार गारंटी देता है जो हमें निरंतरता सुनिश्चित करता है।



कुबेरनेट्स में समान कैसे प्राप्त करें? ऐसा करने के लिए, पहले से ही उल्लिखित नियंत्रक हैं, जिनमें से एक नोड की अक्षमता की स्थिति में व्यवहार अलग है:

1. Deployment : "मुझे बताया गया था कि 3 फली होनी चाहिए, और अब केवल 2 फली हैं - मैं एक नया बनाऊंगा";
2. StatefulSet : "पॉड चले गए?" मैं इंतजार करूंगा: या तो यह नोड वापस आ जाएगा, या वे हमें इसे मारने के लिए कहेंगे, " कंटेनर खुद (ऑपरेटर कार्रवाई के बिना) फिर से बनाए नहीं हैं। इस तरह एक ही-सबसे-एक बार गारंटी प्राप्त की जाती है।

हालांकि, यहां, बाद के मामले में, बाड़ लगाने की आवश्यकता है: हमें एक तंत्र की आवश्यकता है जो पुष्टि करता है कि यह नोड निश्चित रूप से चला गया है। इसे स्वचालित बनाना, सबसे पहले, बहुत मुश्किल (कई कार्यान्वयन की आवश्यकता होती है), और दूसरी बात, और भी बदतर, यह आमतौर पर नोड्स को धीरे-धीरे मारता है (IPMI तक पहुंच सेकंड या दसियों सेकंड, या मिनट भी ले सकता है)। नए मास्टर को आधार स्विच करने के लिए कुछ लोग प्रति मिनट प्रतीक्षा से संतुष्ट हैं। लेकिन एक और दृष्टिकोण है जिसके लिए एक बाड़ तंत्र की आवश्यकता नहीं है ...

मैं कुबेरनेट्स के बाहर उसका वर्णन शुरू करूँगा। यह एक विशेष भार वाले बैलेंसर का उपयोग करता है, जिसके माध्यम से डीबीएमएस का उपयोग करता है। इसकी विशिष्टता इस तथ्य में निहित है कि इसमें स्थिरता की संपत्ति है, अर्थात। नेटवर्क विफलताओं और विभाजित मस्तिष्क के खिलाफ सुरक्षा, क्योंकि यह आपको वर्तमान मास्टर के सभी कनेक्शनों को हटाने की अनुमति देता है, एक और नोड पर सिंक्रनाइज़ेशन (प्रतिकृति) की प्रतीक्षा करें और इसे स्विच करें। मुझे इस दृष्टिकोण के लिए एक स्थापित शब्द नहीं मिला और इसे लगातार स्विचओवर कहा।



उसके साथ मुख्य सवाल यह है कि इसे सार्वभौमिक कैसे बनाया जाए, जो क्लाउड प्रदाताओं और निजी प्रतिष्ठानों दोनों के लिए समर्थन प्रदान करता है। इसके लिए, प्रॉक्सी सर्वर को एप्लिकेशन में जोड़ा जाता है। उनमें से प्रत्येक इसके आवेदन से अनुरोध स्वीकार करेंगे (और उन्हें डीबीएमएस को अग्रेषित करेंगे), और उन सभी से एक कोरम इकट्ठा किया जाएगा। जैसे ही क्लस्टर का कुछ भाग विफल हो जाता है, उन प्रॉक्सी जो कोरम खो चुके होते हैं, वे तुरंत DBMS से अपना कनेक्शन हटा देते हैं।

3. डाटा स्टोरेज और कुबेरनेट्स

मुख्य तंत्र वांछित क्लाउड विकल्प या नंगे धातु के लिए विभिन्न कार्यान्वयन में नेटवर्क ब्लॉक डिवाइस (उर्फ सैन) नेटवर्क ड्राइव है। हालांकि, लोड किए गए डेटाबेस (उदाहरण के लिए, MySQL, जिसे क्लाउड (AWS EBS) में क्लाउड में 50 हजार IOPS की आवश्यकता होती है) विलंबता के कारण काम नहीं करेगा।



ऐसे मामलों के लिए कुबेरनेट्स में एक स्थानीय हार्ड ड्राइव - स्थानीय भंडारण को जोड़ने की क्षमता है। यदि एक विफलता होती है (डिस्क अब फली में उपलब्ध नहीं है), तो हम इस मशीन को ठीक करने के लिए मजबूर हैं - एक विश्वसनीय सर्वर की विफलता की स्थिति में शास्त्रीय योजना के समान।

दोनों विकल्प ( नेटवर्क ब्लॉक डिवाइस और लोकल स्टोरेज ) ReadWriteOnce श्रेणी के हैं: भंडारण को दो स्थानों (पॉड्स) में नहीं रखा जा सकता है - इस स्केलिंग के लिए, आपको एक नई डिस्क बनाने और इसे एक नई पॉड से कनेक्ट करने की आवश्यकता होगी (इसके लिए एक अंतर्निहित K8s तंत्र है) , और फिर आवश्यक डेटा (हमारे बलों द्वारा पहले से ही) के साथ भरें।

यदि हमें ReadWriteMany मोड की आवश्यकता है, तो नेटवर्क फ़ाइल सिस्टम (या NAS) कार्यान्वयन उपलब्ध हैं: सार्वजनिक क्लाउड के लिए ये AzureFile और AWSElasticFileSystem , और उनके इंस्टॉलेशन के लिए वितरित सिस्टम के प्रशंसकों के साथ CephFS और Glusterfs, साथ ही साथ NFS भी हैं।

अभ्यास

1. स्टैंडअलोन

यह विकल्प उस मामले के बारे में है जब स्थानीय भंडारण के साथ अलग-अलग सर्वर मोड में DBMS को शुरू करने से कुछ भी नहीं रोकता है। उच्च उपलब्धता का कोई सवाल ही नहीं है ... हालांकि यह कुछ हद तक (यानी, इस एप्लिकेशन के लिए पर्याप्त) लोहे के स्तर पर लागू किया जा सकता है। इस एप्लिकेशन के लिए कई मामले हैं। सबसे पहले, ये सभी प्रकार के मंचन हैं- और देव-वातावरण, लेकिन न केवल: माध्यमिक सेवाएं भी यहां मिलती हैं, उन्हें 15 मिनट के लिए अक्षम करना महत्वपूर्ण नहीं है। कुबेरनेट्स में, इसे StatefulSet द्वारा एक पॉड के साथ लागू किया जाता है:



सामान्य तौर पर, यह एक व्यवहार्य विकल्प है, जो, मेरे दृष्टिकोण से, एक अलग वर्चुअल मशीन पर DBMS स्थापित करने की तुलना में कोई minuses नहीं है।

2. मैनुअल स्विचिंग के साथ प्रतिकृति जोड़ी

StatefulSet फिर StatefulSet उपयोग किया जाता है, लेकिन सामान्य योजना इस प्रकार है:



यदि कोई नोड्स ( mysql-a-0 ) क्रैश हो जाता है, तो चमत्कार नहीं होता है, लेकिन हमारे पास एक प्रतिकृति ( mysql-b-0 ) है, जिससे हम ट्रैफ़िक को स्विच कर सकते हैं। इस मामले में, ट्रैफ़िक स्विच करने से पहले, यह महत्वपूर्ण है कि न केवल mysql सेवा से DBMS अनुरोधों को हटा दें, बल्कि DBMS में मैन्युअल रूप से लॉग इन करें और सुनिश्चित करें कि सभी कनेक्शन पूरे हो गए हैं (उन्हें मारें), और DBMS से दूसरे नोड पर भी जाएं और प्रतिकृति को पुन: कॉन्फ़िगर करें विपरीत दिशा में।

यदि आप वर्तमान में दो सर्वर (मास्टर + स्टैंडबाय) के साथ क्लासिक संस्करण का उपयोग बिना स्वचालित विफलता के कर रहे हैं , तो यह समाधान कुबेरनेसेस में बराबर है। MySQL, PostgreSQL, Redis और अन्य उत्पादों के लिए उपयुक्त है।

3. स्केलिंग रीड लोड

वास्तव में, यह मामला स्टेटफुल नहीं है, क्योंकि हम केवल पढ़ने की बात कर रहे हैं। यहां, मुख्य डीबीएमएस सर्वर माना योजना के बाहर है, और कुबेरनेट्स के ढांचे के भीतर, "दास सर्वर का खेत" बनाया जाता है, जो केवल पढ़ने के लिए होता है। सामान्य तंत्र - इस खेत के प्रत्येक नए फली पर DBMS डेटा भरने के लिए init कंटेनरों का उपयोग (एक गर्म डंप या अतिरिक्त कार्यों के साथ सामान्य एक, आदि - उपयोग किए गए DBMS पर निर्भर करता है)। यह सुनिश्चित करने के लिए कि प्रत्येक उदाहरण मास्टर से बहुत दूर नहीं है, आप लीन टेस्ट का उपयोग कर सकते हैं।

4. स्मार्ट ग्राहक

यदि आप तीन ज्ञापनों का एक StatefulSet बनाते हैं, तो कुबेरनेट्स एक विशेष सेवा प्रदान करता है जो अनुरोधों को संतुलित नहीं करेगा, लेकिन प्रत्येक डोमेन के लिए प्रत्येक पॉड बनाएगा। ग्राहक उनके साथ काम करने में सक्षम होगा यदि वह खुद को तेज करने और प्रतिकृति करने में सक्षम है।

आपको एक उदाहरण के लिए दूर नहीं जाना होगा: यह है कि कैसे PHP में सत्र भंडारण बॉक्स से बाहर काम करता है। प्रत्येक सत्र के अनुरोध के लिए, सभी सर्वरों से एक साथ अनुरोध किया जाता है, जिसके बाद उनमें से सबसे प्रासंगिक उत्तर चुना जाता है (इसी तरह एक रिकॉर्ड के लिए)।

5. क्लाउड नेटिव सॉल्यूशंस

कई समाधान हैं जो शुरू में नोड्स की विफलता पर केंद्रित हैं, अर्थात। वे स्वयं असफलता और नोड्स की वसूली कर सकते हैं, स्थिरता की गारंटी प्रदान करते हैं। यह उनकी पूरी सूची नहीं है, लेकिन लोकप्रिय उदाहरणों का केवल एक हिस्सा है:



उन सभी को केवल StatefulSet में रखा गया है, जिसके बाद नोड एक दूसरे को ढूंढते हैं और एक क्लस्टर बनाते हैं। उत्पाद स्वयं में भिन्न हैं कि वे तीन चीजों को कैसे लागू करते हैं:

1. नोड्स एक दूसरे के बारे में कैसे सीखते हैं? कुबेरनेट्स एपीआई, डीएनएस रिकॉर्ड, स्टैटिक कॉन्फिगरेशन, स्पेशलाइज्ड नोड्स (सीड), थर्ड-पार्टी सर्विस डिस्कवरी जैसे ऐसे तरीके हैं ...
2. ग्राहक कैसे जुड़ता है? एक लोड बैलेंसर के माध्यम से जो मेजबानों को वितरित करता है, या क्लाइंट को सभी मेजबानों के बारे में जानने की आवश्यकता होती है, और वह तय करेगा कि कैसे आगे बढ़ना है।
3. क्षैतिज स्केलिंग कैसे किया जाता है? कोई रास्ता नहीं, पूर्ण या मुश्किल / प्रतिबंधों के साथ।

इन मुद्दों के लिए चुने गए समाधानों के बावजूद, ऐसे सभी उत्पाद कुबेरनेट्स के साथ अच्छी तरह से काम करते हैं, क्योंकि वे मूल रूप से एक "झुंड" (मवेशी) के रूप में बनाए गए थे।

6. स्टोलन पोस्टग्रेक्यूएल

Stolon वास्तव में आपको PostgreSQL को चालू करने की अनुमति देता है, जिसे पालतू जानवरों के रूप में बनाया गया है । यह कैसे प्राप्त किया जाता है?

• सबसे पहले, हमें एक सेवा खोज की आवश्यकता है, जिसकी भूमिका में etcd (अन्य विकल्प उपलब्ध हो सकते हैं) - उनमें से एक क्लस्टर को StatefulSet में रखा गया है।
• इन्फ्रास्ट्रक्चर का एक और हिस्सा StatefulSet इंस्टेंस के साथ StatefulSet । डीबीएमएस उचित के अलावा, प्रत्येक स्थापना के बगल में एक घटक भी होता है जिसे कीपर कहा जाता है, जो डीबीएमएस कॉन्फ़िगरेशन करता है।
• एक अन्य घटक, प्रहरी, एक तैनाती के रूप में तैनात है और क्लस्टर के विन्यास की निगरानी करता है। यह वह है जो फैसला करता है कि कौन मास्टर और स्टैंडबाय होगा, यह जानकारी वगैरह को लिखता है। और कीपर वगैरह से डेटा पढ़ता है और PostgreSQL के एक उदाहरण के साथ वर्तमान स्थिति के अनुरूप कार्य करता है।
• तैनाती में तैनात एक अन्य घटक और पोस्टग्रेक्यूएस इंस्टेंस का सामना करना पड़ रहा है, प्रॉक्सी, पहले से उल्लेख किया गया सुसंगत स्विचओवर पैटर्न का कार्यान्वयन है। ये घटक etcd से जुड़े हैं, और यदि यह कनेक्शन खो गया है, तो प्रॉक्सी तुरंत आउटगोइंग कनेक्शन को मार देता है, क्योंकि इस समय से यह अपने सर्वर की भूमिका नहीं जानता है (क्या यह अब मास्टर या स्टैंडबाय है?)।
• अंत में, प्रॉक्सी इंस्टेंसेस सामान्य LoadBalancer लोडबैलेंसर का सामना करते हैं।

निष्कर्ष

तो क्या कुबेरनेट्स में आधार बनाना संभव है? हां, निश्चित रूप से, यह संभव है, कुछ मामलों में ... और यदि यह उचित है, तो यह इस तरह से किया जाता है (स्टोलर वर्कफ़्लो देखें ...)

हर कोई जानता है कि प्रौद्योगिकी तरंगों में विकसित हो रही है। प्रारंभ में, किसी भी नए उपकरण का उपयोग करना बहुत मुश्किल हो सकता है, लेकिन समय के साथ, सब कुछ बदल जाता है: प्रौद्योगिकी उपलब्ध हो जाती है। हम कहां जा रहे हैं? हां, यह अंदर ही रहेगा, लेकिन हमें नहीं पता कि यह कैसे काम करेगा। कुबेरनेट्स सक्रिय रूप से ऑपरेटरों का विकास कर रहा है । अब तक उनमें से बहुत सारे नहीं हैं और वे इतने अच्छे नहीं हैं, लेकिन इस दिशा में आंदोलन है।

वीडियो और स्लाइड

प्रदर्शन से वीडियो (लगभग एक घंटे):



रिपोर्ट की प्रस्तुति:



पुनश्च हमने नेट पर बहुत कुछ पाया (!) इस रिपोर्ट से लघु शाब्दिक निचोड़ - इसके लिए निकोलाई वोलिनकिन को धन्यवाद।

पी पी एस

हमारे ब्लॉग पर अन्य रिपोर्ट:

• " निगरानी और कुबेरनेट "; (दिमित्री स्टोलारोव ; 28 मई, 2018 को रूटकॉन्फ़) ;
• " कुबेरनेट्स और गिटलैब के साथ सर्वश्रेष्ठ सीआई / सीडी प्रैक्टिस "; (दिमित्री स्टोलारोव; 7 नवंबर, 2017 को हाईलाड ++) ;
• " छोटी परियोजनाओं में कुबेरनेट्स के साथ हमारा अनुभव "; (दिमित्री स्टोलिरोव ; 6 जून, 2017 को रूटकॉनफ) ;
• " हम जल्द ही और आसानी से डैप के साथ सीआई / सीडी के लिए डॉकटर की छवियों को इकट्ठा करते हैं " (दिमित्री स्टोलिरोव ; 8 नवंबर 2016 को हाईलाड ++) ;
• " डॉकटर के साथ निरंतर वितरण अभ्यास " (दिमित्री स्टोलारोव; 31 मई 2016 को रूटकॉन्फ़) ।

आपको निम्नलिखित प्रकाशनों में भी रुचि हो सकती है:

• " कुबेरनेट्स टिप्स एंड ट्रिक्स: बड़े डेटाबेस के बूटस्ट्रैप को तेज करना ";
• " कुबेरनेट्स में कॉकरोचडीबी डीबीएमएस ऑर्केस्ट्रेशन ।"