21 वीं सदी में एक एसक्यूएल डेटाबेस कैसे बचेगा: बादल, कुबेरनेट्स और पोस्टग्रेक्यूएल मल्टीमास्टर

हाय, हब्रोस्क। आज, PostgreSQL पाठ्यक्रम के पहले समूह में कक्षाएं शुरू हो जाएंगी। इस संबंध में, हम आपको बताना चाहते हैं कि इस कोर्स के लिए ओपन वेबिनार कैसे हुआ।

---

अगले खुले पाठ में, हमने बात की कि बादलों और कुबेरनेट्स के युग में SQL डेटाबेस को किन चुनौतियों का सामना करना पड़ा। और उसी समय हमने जांच की कि कैसे एसक्यूएल डेटाबेस इन कॉल्स के प्रभाव में अनुकूलन और परिवर्तन करते हैं।

वेबिनार को ईपीएएम सिस्टम्स में Google क्लाउड प्रैक्टिस डिलिवरी मैनेजर वालेरी बेज्रुकोव द्वारा होस्ट किया गया था।

जब पेड़ छोटे थे ...

शुरू करने के लिए, आइए याद करें कि पिछली शताब्दी के अंत में DBMS का चुनाव कैसे शुरू हुआ। हालांकि, यह मुश्किल नहीं होगा, क्योंकि उन दिनों में एक डीबीएमएस का विकल्प ओरेकल के साथ शुरू हुआ और समाप्त हो गया।



90 के दशक के उत्तरार्ध में - 2000 के दशक की शुरुआत में, अनिवार्य रूप से कोई विकल्प नहीं था, जहां तक ​​औद्योगिक स्केलेबल डेटाबेस का संबंध है। हां, आईबीएम डीबी 2, साइबेस और कुछ अन्य डेटाबेस थे जो दिखाई दिए और गायब हो गए, लेकिन सामान्य तौर पर वे ओरेकल के खिलाफ इतने ध्यान देने योग्य नहीं थे। तदनुसार, उन समय के इंजीनियरों के कौशल किसी तरह केवल एकमात्र विकल्प से बंधे थे जो अस्तित्व में थे।

ओरेकल डीबीए करने में सक्षम होना चाहिए:

• वितरण से Oracle सर्वर स्थापित करें
• Oracle सर्वर कॉन्फ़िगर करें:

• init.ora;
• listener.ora;

- बनाएं:

• टेबल रिक्त स्थान
• योजना;
• उपयोगकर्ताओं;

- वापस ऊपर और बहाल;
- निगरानी करना;
- सबॉप्टिमल रिक्वेस्ट के साथ डील करें।

उसी समय, ओरेकल डीबीए की विशेष रूप से आवश्यकता नहीं थी:

• इष्टतम DBMS या अन्य डेटा भंडारण और प्रसंस्करण प्रौद्योगिकी का चयन करने में सक्षम हो;
• उच्च उपलब्धता और क्षैतिज मापनीयता प्रदान करें (यह हमेशा एक डीबीए मुद्दा नहीं था);
• विषय क्षेत्र, बुनियादी ढांचे, लागू वास्तुकला, ओएस का अच्छा ज्ञान;
• विभिन्न DBMS के बीच डेटा का डेटा लोडिंग और अनलोडिंग करना।

सामान्य तौर पर, अगर हम उन दिनों में पसंद के बारे में बात करते हैं, तो यह 80 के दशक के अंत में एक सोवियत स्टोर से मिलता जुलता है:

हमारा समय

तब से, निश्चित रूप से, पेड़ बड़े हो गए हैं, दुनिया बदल गई है, और यह किसी तरह इस तरह बन गया है:



DBMS बाजार भी बदल गया है, जिसे नवीनतम गार्टनर रिपोर्ट से स्पष्ट रूप से देखा जा सकता है:



और यहां यह ध्यान दिया जाना चाहिए कि बादलों ने अपने आला पर कब्जा कर लिया, जिनमें से लोकप्रियता बढ़ रही है। यदि आप समान गार्टनर रिपोर्ट पढ़ते हैं, तो हम निम्नलिखित निष्कर्ष देखेंगे:

1. कई ग्राहक क्लाउड पर एप्लिकेशन को स्थानांतरित करने की राह पर हैं।
2. नई प्रौद्योगिकियां पहले क्लाउड में दिखाई देती हैं और इस तथ्य पर नहीं कि वे कभी भी क्लाउड-फ्री इंफ्रास्ट्रक्चर में चले जाएंगे।
3. पे-अस-यू-गो प्राइसिंग मॉडल परिचित हो गया है। हर कोई केवल उनके उपयोग के लिए भुगतान करना चाहता है, और यह एक प्रवृत्ति भी नहीं है, लेकिन केवल तथ्य का एक बयान है।

अब क्या

आज हम सभी बादल में हैं। और वे प्रश्न जो हमारे पास हैं वे पसंद के प्रश्न हैं। और यह बहुत बड़ा है, भले ही हम ऑन-प्रिमाइसेस प्रारूप में केवल डीबीएमएस प्रौद्योगिकियों के विकल्प के बारे में बात करते हैं। हमने सेवाओं और सास का प्रबंधन भी किया है। इस प्रकार, विकल्प हर साल अधिक जटिल होता जा रहा है।

पसंद के सवालों के साथ, प्रतिबंधात्मक कारक भी लागू होते हैं:

• कीमत । कई तकनीकों में अभी भी पैसा खर्च होता है;
• कौशल । यदि हम मुफ्त सॉफ्टवेयर के बारे में बात कर रहे हैं, तो कौशल का सवाल उठता है, क्योंकि मुफ्त सॉफ्टवेयर के लिए उन लोगों की आवश्यकता होती है जो इसे पर्याप्त क्षमता के साथ तैनात और संचालित करते हैं;
• कार्यात्मक । सभी सेवाएँ जो क्लाउड में उपलब्ध नहीं हैं और निर्मित हैं, कहते हैं, यहां तक ​​कि उसी पोस्टग्रेज़ के आधार पर, पोस्टग्रेज़ ऑन-प्रिमाइसेस के समान सुविधाएँ हैं। यह एक आवश्यक कारक है जिसे आपको जानना और समझना आवश्यक है। इसके अलावा, यह कारक किसी एकल DBMS की कुछ छिपी हुई विशेषताओं के ज्ञान से अधिक महत्वपूर्ण हो जाता है।

डीए / डीई से क्या इंतजार कर रहे हैं:

• विषय क्षेत्र और लागू वास्तुकला की अच्छी समझ;
• कार्य को ध्यान में रखते हुए, सही डीबीएमएस प्रौद्योगिकी का चयन करने की क्षमता;
• मौजूदा सीमाओं के संदर्भ में चयनित तकनीक को लागू करने के लिए इष्टतम विधि का चयन करने की क्षमता;
• डेटा माइग्रेशन और माइग्रेशन करने की क्षमता;
• चयनित समाधानों को लागू करने और संचालित करने की क्षमता।

GCP पर आधारित निम्न उदाहरण दर्शाता है कि डेटा के साथ काम करने के लिए किसी विशेष तकनीक का चुनाव इसकी संरचना के आधार पर कैसे किया जाता है:



ध्यान दें कि स्कीमा में PostgreSQL गायब है, और सभी क्योंकि यह क्लाउड SQL की शब्दावली के तहत छिपा हुआ है। और जब हम क्लाउड एसक्यूएल में आते हैं, तो हमें फिर से चुनाव करना होगा:



यह ध्यान दिया जाना चाहिए कि यह विकल्प हमेशा स्पष्ट नहीं होता है, इसलिए एप्लिकेशन डेवलपर्स को अक्सर अंतर्ज्ञान द्वारा निर्देशित किया जाता है।

कुल:

1. दूर, पसंद का सवाल जितना प्रासंगिक है। और यहां तक ​​कि अगर आप केवल जीसीपी, प्रबंधित सेवाओं और सास को देखते हैं, तो आरडीबीएमएस का कुछ उल्लेख केवल 4 वें चरण में दिखाई देता है (और पास में स्पैनर है)। साथ ही, PostgreSQL का विकल्प 5 वें चरण में सामान्य रूप से दिखाई देता है, और इसके बगल में MySQL और SQL सर्वर भी हैं, यानी बहुत सारे हैं, लेकिन आपको चुनने की आवश्यकता है ।
2. हमें प्रलोभनों की पृष्ठभूमि पर प्रतिबंध के बारे में नहीं भूलना चाहिए। अधिकतर हर कोई स्पैनर चाहता है, लेकिन यह महंगा है। नतीजतन, एक विशिष्ट क्वेरी कुछ इस तरह दिखती है: "कृपया हमारे लिए स्पैनर करें, लेकिन क्लाउड एसक्यूएल की कीमत के लिए, ठीक है, आप पेशेवर हैं!"

क्या करें?

परम सत्य होने का दिखावा किए बिना, चलिए निम्नलिखित कहते हैं:

सीखने के लिए दृष्टिकोण को बदलने की आवश्यकता:

• सीखने के लिए, जैसा कि डीबीए से पहले सिखाया गया है, इसका कोई मतलब नहीं है;
• एक उत्पाद का ज्ञान अब पर्याप्त नहीं है;
• लेकिन एक के स्तर पर दर्जनों जानना असंभव है।

आपको न केवल यह जानना होगा कि उत्पाद कितना है, बल्कि:

• इसके आवेदन के मामले का उपयोग करें;
• विभिन्न तैनाती के तरीके;
• प्रत्येक विधि के फायदे और नुकसान;
• समान और वैकल्पिक उत्पाद सूचित और इष्टतम विकल्प बनाने के लिए और हमेशा एक परिचित उत्पाद के पक्ष में नहीं।

आपको ईटीएल के साथ डेटा के माइग्रेशन और एकीकरण के मूल सिद्धांतों को समझने में सक्षम होने की आवश्यकता है।

असली मामला

हाल के दिनों में, आपको मोबाइल एप्लिकेशन के लिए एक बैकएंड बनाना होगा। जब तक इस पर काम करना शुरू हुआ, तब तक बैकएंड विकसित हो चुका था और कार्यान्वयन के लिए तैयार था, और विकास टीम ने इस परियोजना पर लगभग दो साल बिताए। निम्नलिखित कार्य निर्धारित किए गए थे:

• CI / CD बनाएँ;
• वास्तुकला की समीक्षा करने के लिए;
• यह सब आपरेशन में डाल दिया।

आवेदन ही microservice था, और पायथन / Django कोड खरोंच से और तुरंत GCP में विकसित किया गया था। लक्षित दर्शकों के लिए, यह माना जाता था कि दो क्षेत्र होंगे - अमेरिका और यूरोपीय संघ, और ट्रैफ़िक को ग्लोबल लोड बैलेंसर के माध्यम से वितरित किया गया था। सभी कार्यभार और कम्प्यूटेशनल कार्यभार Google कुबेरनेट इंजन में काम करते थे।

डेटा के लिए, वहाँ 3 संरचनाएँ थीं:

• क्लाउड स्टोरेज
• डेटास्टोर;
• क्लाउड SQL (PostgreSQL)।

आपको आश्चर्य हो सकता है कि क्लाउड एसक्यूएल क्यों चुना गया? सच कहने के लिए, हाल के वर्षों में इस तरह के एक सवाल ने कुछ अजीब ठहराव पैदा कर दिया है - एक भावना है कि लोग संबंधपरक डेटाबेस के बारे में शर्मीले हो गए हैं, लेकिन फिर भी वे उन्हें सक्रिय रूप से उपयोग करना जारी रखते हैं ;-)।

हमारे मामले के लिए, क्लाउड SQL को निम्नलिखित कारणों से चुना गया था:

1. जैसा कि उल्लेख किया गया है, एप्लिकेशन को Django का उपयोग करके विकसित किया गया था, और इसमें SQL डेटाबेस से पायथन ऑब्जेक्ट्स (Django ORM) के लिए लगातार डेटा मैप करने के लिए एक मॉडल है।
2. इस ढांचे ने खुद ही DBMSs की काफी सीमित सूची का समर्थन किया:

• PostgreSQL;
• MariaDB;
• MySQL;
• ओरेकल;
• SQLite।

तदनुसार, PostgreSQL को इस सूची से सहज रूप से चुना गया था (ठीक है, यह ओरेकल नहीं है, वास्तव में)।

क्या याद आ रही थी:

• एप्लिकेशन को केवल 2 क्षेत्रों में तैनात किया गया था, और योजनाएं 3rd (एशिया) दिखाई दीं;
• डेटाबेस उत्तरी अमेरिकी क्षेत्र (आयोवा) में था;
• ग्राहक की ओर से, यूरोप और एशिया से पहुंच में संभावित देरी और DBMS डाउनटाइम की स्थिति में सेवा में व्यवधान के बारे में चिंताएं थीं।

इस तथ्य के बावजूद कि Django खुद समानांतर में कई डेटाबेस के साथ काम कर सकता है और उन्हें पढ़ने और लिखने से विभाजित कर सकता है, आवेदन में इतने सारे रिकॉर्ड नहीं थे (90% से अधिक - पढ़ने)। और सामान्य तौर पर, और सामान्य तौर पर, यदि आप यूरोप और एशिया में मुख्य आधार की एक पठन-प्रतिकृति बना सकते हैं, तो यह एक समझौता समाधान होगा। अच्छा, इतना जटिल क्या है?

और कठिनाई यह थी कि ग्राहक प्रबंधित सेवाओं और क्लाउड एसक्यूएल का उपयोग करने से इनकार नहीं करना चाहता था। और क्लाउड एसक्यूएल की संभावनाएं वर्तमान में सीमित हैं। क्लाउड SQL उच्च उपलब्धता (HA) और रीड रेप्लिका (RR) का समर्थन करता है, लेकिन एक ही RR केवल एक क्षेत्र में समर्थित है। अमेरिकी क्षेत्र में एक डेटाबेस बनाने के बाद, क्लाउड एसक्यूएल का उपयोग करके यूरोपीय क्षेत्र में एक रीड-प्रतिकृति बनाना असंभव है, हालांकि पोस्टग्रैज स्वयं हस्तक्षेप नहीं करता है। Google कर्मचारियों के साथ पत्राचार कुछ भी नहीं हुआ और "हम समस्या को जानते हैं और इस पर काम कर रहे हैं," की शैली में वादों के साथ समाप्त हुआ, किसी दिन यह समस्या हल हो जाएगी।

यदि आप क्लाउड एसक्यूएल की थीसिस संभावनाओं को सूचीबद्ध करते हैं, तो यह कुछ इस तरह दिखाई देगा:

1. उच्च उपलब्धता (HA):

• एक क्षेत्र के भीतर;
• डिस्क प्रतिकृति के माध्यम से
• PostgreSQL तंत्र का उपयोग नहीं किया जाता है;
• स्वचालित और मैनुअल नियंत्रण संभव - विफलता / असफलता;
• स्विच करते समय, DBMS कई मिनटों के लिए अनुपलब्ध है।

2. पढ़ें प्रतिकृति (आरआर):

• एक क्षेत्र के भीतर;
• हॉट स्टैंडबाय;
• PostgreSQL स्ट्रीमिंग प्रतिकृति।

इसके अलावा, जैसा कि प्रथागत है, एक तकनीक का चयन करते समय आप हमेशा कुछ सीमाओं के पार आते हैं :

• ग्राहक संस्थाओं का उत्पादन और IaaS का उपयोग नहीं करना चाहता था, GKE के माध्यम से छोड़कर;
• ग्राहक स्वयं सेवा PostgreSQL / MySQL को तैनात नहीं करना चाहेगा;
• ठीक है, सामान्य तौर पर, Google स्पैनर काफी उपयुक्त होगा यदि यह इसकी कीमत के लिए नहीं है, हालांकि, Django ORM इसके साथ काम नहीं कर सकता है, और इसलिए यह बात अच्छी है।

स्थिति को देखते हुए, ग्राहक को एक बैकफ़िल प्रश्न मिला: "क्या आप इसे Google स्पैनर की तरह बनाने के लिए कुछ कर सकते हैं, लेकिन यह Django ORM के साथ भी काम करता है?"

विकल्प नंबर 0

पहली बात जो मन में आई:

• CloudSQL के भीतर रहें
• किसी भी रूप में क्षेत्रों के बीच कोई एकीकृत प्रतिकृति नहीं होगी;
• PostgreSQL द्वारा मौजूदा क्लाउड SQL में प्रतिकृति को पेंच करने का प्रयास करें;
• कहीं और किसी तरह PostgreSQL इंस्टेंस शुरू करते हैं, लेकिन कम से कम मास्टर स्पर्श नहीं करता है।

काश, यह पता चला कि यह नहीं किया जा सकता है, क्योंकि मेजबान तक पहुंच नहीं है (यह सामान्य रूप से किसी अन्य परियोजना में है) - pg_hba और इतने पर, और सुपरसुअर के तहत अभी भी कोई पहुंच नहीं है।

विकल्प नंबर 1

आगे की परछाई और पिछली परिस्थितियों को ध्यान में रखते हुए, विचार की ट्रेन कुछ हद तक बदल गई:

• हम अभी भी CloudSQL के दायरे में रहने की कोशिश कर रहे हैं, लेकिन हम MySQL पर स्विच कर रहे हैं, क्योंकि MySQL द्वारा Cloud SQL में एक बाहरी मास्टर है, जो:

- बाहरी MySQL के लिए एक प्रॉक्सी है;
- एक MySQL उदाहरण की तरह दिखता है;
- अन्य बादलों या ऑन-प्रिमाइसेस से डेटा माइग्रेशन के लिए आविष्कार किया गया।

MySQL प्रतिकृति स्थापित करने के बाद से होस्ट तक पहुंच की आवश्यकता नहीं है, मूल रूप से सब कुछ काम किया है, लेकिन यह बहुत अस्थिर और असुविधाजनक है। और जब हम और आगे बढ़े, तो यह पूरी तरह से डरावना हो गया, क्योंकि हमने पूरे ढांचे को टेराफॉर्म के साथ तैनात कर दिया था, और अचानक यह पता चला कि बाहरी मास्टर को टेराफॉर्म द्वारा समर्थित नहीं किया गया था। हां, Google के पास एक CLI है, लेकिन किसी कारण से हर चीज एक बार में हर बार काम करती है - यह बनाई गई है, यह निर्मित नहीं है शायद इसलिए कि सीएलआई का आविष्कार बाहर डेटा प्रवास के लिए किया गया था, न कि प्रतिकृतियों के लिए।

दरअसल, इससे यह स्पष्ट हो गया कि क्लाउड एसक्यूएल शब्द बिल्कुल फिट नहीं है। जैसा कि वे कहते हैं, हमने वह सब कुछ किया जो हम कर सकते थे।

विकल्प 2

चूंकि यह क्लाउड एसक्यूएल के भीतर रहने के लिए काम नहीं करता था, इसलिए हमने एक समझौता समाधान के लिए आवश्यकताओं को तैयार करने की कोशिश की। आवश्यकताएँ इस प्रकार थीं:

• कुबेरनेट्स में काम करते हैं, कुबेरनेट्स (डीसीएस, ...) और जीसीपी (एलबी, ...) के संसाधनों और क्षमताओं का अधिकतम उपयोग;
• क्लाउड में अनावश्यक चीजों के ढेर से गिट्टी की कमी, जैसे कि एचओआई प्रॉक्सी;
• मुख्य क्षेत्र में हा PostgreSQL या MySQL चलाने की क्षमता; अन्य क्षेत्रों में - मुख्य क्षेत्र के आरआर से एचए प्लस इसकी प्रति (विश्वसनीयता के लिए);
• मल्टी मास्टर (उससे संपर्क नहीं करना चाहता था, लेकिन यह बहुत महत्वपूर्ण नहीं था)

।
इन आवश्यकताओं के परिणामस्वरूप, क्षितिज पर अंत में उपयुक्त DBMS विकल्प और बाइंडिंग दिखाई दिए:

• MySQL गेलेरा;
• CockroachDB;
• PostgreSQL उपकरण

:
- पैगपुल- II;
- संरक्षक।

MySQL गेलरा

MySQL Galera तकनीक Codership द्वारा विकसित की गई थी और InnoDB के लिए एक प्लगइन है। विशेषताएं:

• मल्टी मास्टर;
• तुल्यकालिक प्रतिकृति
• किसी भी नोड से पढ़ना;
• किसी भी नोड के लिए रिकॉर्ड;
• एकीकृत हा तंत्र;
• बिटनामी से एक हेल्म चार्ट है।

CockroachDB

विवरण के अनुसार, यह चीज़ पूरी तरह से बमबारी है और गो में लिखा गया एक खुला स्रोत प्रोजेक्ट है। मुख्य भागीदार कॉकरोच लैब्स (Google से अप्रवासियों द्वारा स्थापित) है। यह संबंधपरक डीबीएमएस मूल रूप से वितरित करने के लिए बनाया गया था (बॉक्स से क्षैतिज स्केलिंग के साथ) और गलती सहिष्णु। कंपनी के इसके लेखकों ने "SQL कार्यक्षमता की समृद्धि के साथ NoSQL समाधानों से परिचित क्षैतिज उपलब्धता के संयोजन के लक्ष्य को रेखांकित किया।"

अच्छे बोनस में से पोस्टग्रेज कनेक्शन कनेक्शन के लिए समर्थन है।

Pgpool

यह PostgreSQL के लिए एक ऐड-ऑन है, वास्तव में, एक नई इकाई जो सभी कनेक्शनों को संभालती है और उन्हें संसाधित करती है। इसका अपना लोडर बैलेंसर और पार्सर है, जिसे बीएसडी लाइसेंस के तहत लाइसेंस प्राप्त है। यह पर्याप्त अवसर प्रदान करता है, लेकिन यह कुछ हद तक भयावह लगता है, क्योंकि एक नई इकाई की उपस्थिति कुछ अतिरिक्त रोमांच का स्रोत बन सकती है।

Patroni

यह आखिरी बात है कि आंख पर गिर गया, और, जैसा कि यह निकला, व्यर्थ में नहीं। पेट्रोनी एक ओपन सोर्स यूटिलिटी है, जो, संक्षेप में, पायथन डेमॉन है जो आपको विभिन्न प्रकार के प्रतिकृति और स्वचालित भूमिका स्विचिंग के साथ पोस्टग्रेक्यूएल क्लस्टर की स्वचालित रूप से सेवा करने की अनुमति देता है। टुकड़ा बहुत दिलचस्प निकला, क्योंकि यह क्यूबेर के साथ अच्छी तरह से एकीकृत होता है और कोई नई संस्था नहीं ले जाता है।

आखिरकार क्या चुना

चुनाव आसान नहीं था:

1. कॉकरोचबीडी - आग, लेकिन गूंगा;
2. MySQL गेलेरा भी खराब नहीं है, यह बहुत उपयोग किया जाता है जहां, लेकिन MySQL;
3. Pgpool - बहुत सारी अतिरिक्त इकाइयां, इसलिए क्लाउड और K8 के साथ बहुत एकीकरण;
4. Patroni - K8s के साथ उत्कृष्ट एकीकरण, कोई अतिरिक्त इकाइयां नहीं, GCP LB के साथ अच्छी तरह से एकीकृत करता है।

इस प्रकार, चुनाव Patroni पर गिर गया।

निष्कर्ष

संक्षेप में समय आ गया है। हां, आईटी इन्फ्रास्ट्रक्चर की दुनिया में काफी बदलाव आया है, और यह केवल शुरुआत है। और अगर पहले बादल सिर्फ एक और प्रकार का बुनियादी ढांचा था, तो अब सब कुछ अलग है। इसके अलावा, बादलों में नवाचार लगातार दिखाई दे रहे हैं, वे दिखाई देंगे और, शायद, वे केवल बादलों में दिखाई देंगे, और उसके बाद ही, स्टार्टअप की ताकतों के माध्यम से, उन्हें ऑन-प्रिमाइसेस में स्थानांतरित कर दिया जाएगा।

SQL के लिए, SQL जीवित रहेगा। इसका मतलब यह है कि PostgreSQL और MySQL को जाना जाना चाहिए और आपको उनके साथ काम करने में सक्षम होना चाहिए, लेकिन इससे भी महत्वपूर्ण बात यह है कि उन्हें सही ढंग से लागू करने में सक्षम होना चाहिए।