भारी भरकम सिस्टम में डेटा संगति

समस्याओं

लगभग किसी भी सूचना प्रणाली को निरंतर आधार पर डेटा संग्रहण की आवश्यकता होती है। छोटे और मध्यम भार वाली अधिकांश प्रणालियों में, यह फ़ंक्शन रिलेशनल DBMS द्वारा किया जाता है, जिसका निर्विवाद लाभ डेटा संगति की गारंटी है।

एक क्लासिक उदाहरण जो बताता है कि डेटा संगति क्या है - एक खाते से दूसरे खाते में धनराशि स्थानांतरित करने का संचालन। उस समय जब एक खाते का शेष राशि बदलने का कार्य पूरा हो चुका होता है और दूसरे के पास अभी समय नहीं होता है, तो विफलता हो सकती है। फिर धन एक खाते से डेबिट किया जाएगा, लेकिन दूसरे को जमा नहीं किया जाएगा। सिस्टम डेटा की इस स्थिति को असंगत कहा जाता है, और, शायद, यह समझाने की कोई आवश्यकता नहीं है कि इससे क्या परिणाम हो सकते हैं। संबंधपरक डीबीएमएस एक लेनदेन तंत्र प्रदान करते हैं जो किसी भी समय डेटा स्थिरता की गारंटी देता है। लेन-देन एक परिचालनात्मक परिमाण है जो एक सुसंगत अवस्था को दूसरे सुसंगत अवस्था में स्थानांतरित करता है। किसी भी कदम पर त्रुटि की स्थिति में, DBMS सभी पूर्व में किए गए कार्यों को रद्द कर देता है और डेटा को उसकी मूल सहमति वाली स्थिति में लौटा देता है। दूसरे शब्दों में, या तो सभी ऑपरेशन किए जाएंगे, या एक भी नहीं।

बड़े पैमाने पर प्रणालियों के लिए, बहुत भारी लोड के कारण उनमें एकल डेटाबेस का उपयोग करना हमेशा संभव होता है। ऐसे मामलों में, प्रत्येक सिस्टम मॉड्यूल (सेवा) अपने अलग डेटाबेस के साथ प्रदान किया जाता है। इस मामले में, यह सवाल उठता है कि इस तरह के क्लस्टर आर्किटेक्चर के लिए डेटा स्थिरता कैसे सुनिश्चित की जाए।

डेटा संगति का समाधान

एक समाधान वितरित लेनदेन है। सबसे पहले, क्लस्टर के सभी नोड्स को सहमत होना चाहिए कि ऑपरेशन संभव है, फिर परिवर्तन सभी नोड्स के लिए प्रतिबद्ध हैं। चूंकि नोड्स में कोई आम भंडारण उपकरण नहीं है, इसलिए आम राय में आने का एकमात्र तरीका कुछ वितरित आम सहमति प्रोटोकॉल का उपयोग करके सहमत होना है।

वैश्विक लेनदेन पर कब्जा करने के लिए एक सरल प्रोटोकॉल दो-चरण प्रतिबद्ध (2PC) है। लेनदेन करने वाले नोड को समन्वयक माना जाता है। तैयार चरण (तैयार) में, समन्वयक लेनदेन के बारे में अन्य नोड्स को सूचित करता है और उनसे पुष्टि की प्रतीक्षा करता है कि वे प्रतिबद्ध हैं। यदि कम से कम एक नोड तैयार नहीं है, तो लेनदेन टूट जाता है। प्रतिबद्ध चरण में, समन्वयक लेन-देन करने के निर्णय के सभी नोड्स को सूचित करता है। सभी से पुष्टि प्राप्त होने पर कि सब कुछ ठीक है, समन्वयक भी लेनदेन को पकड़ लेता है।

चित्र 1 - दो-चरणीय प्रतिबद्धता की सामान्य योजना

यह प्रोटोकॉल न्यूनतम संदेशों से बचता है, लेकिन मजबूत नहीं है। उदाहरण के लिए, यदि समन्वयक तैयारी के चरण के बाद विफल हो जाता है, तो शेष नोड्स को इस बारे में जानकारी नहीं होती है कि क्या लेन-देन किया जाना चाहिए या रद्द कर दिया जाना चाहिए (उन्हें विफल होने के लिए इंतजार करना होगा)। 2PC का एक और गंभीर दोष (और अन्य वितरित लेन-देन प्रोटोकॉल, उदाहरण के लिए 3PC) यह है कि जैसे ही क्लस्टर नोड्स की संख्या बढ़ती है, दो-चरण कमिट का प्रदर्शन कम हो जाता है।

चित्रा 2 - एक डीबीएमएस क्लस्टर में सर्वरों की संख्या पर दो-आधार प्रतिबद्ध की गति की निर्भरता

इसके अलावा, वितरित लेनदेन दृष्टिकोण एक सीमा लगाता है: सिस्टम के सभी मॉड्यूल को उसी DBMS का उपयोग करना चाहिए, जो हमेशा सुविधाजनक नहीं होता है।

एक अन्य विकल्प एक तंत्र प्रदान करना है जो आपको एक डेटाबेस के रूप में विभिन्न डेटाबेस (सेवाओं के लिए) के साथ काम करने की अनुमति देता है (वितरित डेटाबेस में डेटा अखंडता के साथ समस्या को हल करने के लिए)। उसी समय, एक वितरित प्रणाली ("व्यापार लेनदेन") के लिए लेनदेन का एक निश्चित एनालॉग आवश्यक है।

सामान्य लेनदेन में, साथ ही साथ दो-चरण के आवागमन में, सभी संचालन लेनदेन तंत्र (ताले का उपयोग करके) द्वारा नियंत्रित होते हैं, और यह किसी भी ऑपरेशन को वापस करने की क्षमता प्रदान करने के लिए किया जाता है (निराशावादी दृष्टिकोण - हम किसी भी ऑपरेशन को संभावित रूप से विफलता का कारण मानते हैं)। यह सिस्टम की अड़चन है। एक विकल्प तथाकथित आशावादी दृष्टिकोण है: हमारा मानना ​​है कि अधिकांश ऑपरेशन सफलतापूर्वक पूरा हो गए हैं। हम एक विफलता के तथ्य पर अतिरिक्त कार्रवाई भी करते हैं। यानी अधिकांश परिचालनों के लिए लागत कम करना, जिससे उत्पादकता में वृद्धि होती है।

एक गाथा क्या है और यह कैसे काम करती है

माइक्रोस सेवा वास्तुकला के लिए लेनदेन का एक विकल्प सागा है। सागा (गाथा) प्रणाली (सेवाओं) के विभिन्न मॉड्यूल द्वारा किए गए चरणों का एक सेट है; गाथा सेवा की भी आवश्यकता होती है, जो एक पूरे के रूप में संचालन (व्यापार लेनदेन) के लिए जिम्मेदार है। स्टेप्स को इवेंट ग्राफ के माध्यम से जोड़ा जाता है। गाथा पूरी होने के बाद, सिस्टम को एक सहमत राज्य से दूसरे (सफल निष्पादन के मामले में), या पिछले सहमत राज्य (रद्द होने की स्थिति में) पर वापस जाना होगा।

एक व्यापार लेनदेन के ऐसे रिटर्न या रोलबैक को कैसे लागू किया जाए? ऐसा करने के लिए, गाथा चरणों को रद्द करने (प्रतिपूरक कार्यों) के तंत्र का उपयोग करती है। उदाहरण के लिए, चरणों में से एक सफल था (उदाहरण के लिए, उपयोगकर्ता डेटाबेस तालिका में एक प्रविष्टि जोड़ी गई थी), लेकिन निम्न चरणों में से एक विफल हो गया, और पूरी गाथा रद्द कर दी जानी चाहिए। फिर उसी सेवा को एक कमांड मिलती है - कार्रवाई रद्द करें। लेकिन सेवा DBMS में, स्थानीय लेनदेन पहले ही पूरा हो चुका है, उपयोगकर्ता रिकॉर्ड जोड़ा गया है। फिर, पिछली स्थिति में लौटने के लिए, सेवा को एक क्षतिपूर्ति कार्रवाई करनी होगी (हमारे उदाहरण में, रिकॉर्ड हटाएं)। चरणों के निरस्तीकरण से असमानता ("सभी या कुछ भी") गाथा के ढांचे के भीतर लागू होने की अनुमति मिलती है - सभी चरणों का प्रदर्शन किया जाता है या मुआवजा दिया जाता है।

चित्रा 3 - सागा के काम का तंत्र और प्रतिपूरक प्रभाव की प्रकृति

चित्रा 3 में, गाथा के चरणों को T1 ... T4 के रूप में नामित किया गया है, जो क्रियाओं की क्षतिपूर्ति करते हैं: C1 ... C4।
सगस स्टेप्स की बेमेलता का समर्थन करते हैं (एक क्रिया जिसका दोहराव एक एकल के बराबर होता है)। Sag दृष्टिकोण किसी भी चरण को दोहराने का अवसर प्रदान करता है (उदाहरण के लिए, यदि आपको सफल समापन पर प्रतिक्रिया नहीं मिली है)। जब कोई भी नोड (विफलता और पुनर्प्राप्ति) पर डेटा खो जाता है, तो Idempotency आपको स्थिति को पुनर्स्थापित करने की भी अनुमति देता है। जब एक कदम का प्रदर्शन करते हैं, तो प्रत्येक सेवा को यह निर्धारित करना चाहिए कि (क्या बेरोजगारी कुंजी के द्वारा) यह पहले से ही इस कदम का प्रदर्शन किया है या नहीं (यदि नहीं, तो निष्पादित करें, अन्यथा छोड़ें)। कार्यों की भरपाई के लिए, यह भी है कि परिचालन की स्थिरता और स्थिरता को सुनिश्चित करने के लिए idempotency चाबियाँ और पुनरावृत्ति को जोड़ना संभव है।

सारांश

ACID लेनदेन प्रणाली (एटोमेसी, संगति, अलगाव, स्थिरता) के लिए चार आवश्यकताओं में से, साग तंत्र आपको अलगाव को छोड़कर तीन - सभी को लागू करने की अनुमति देता है। अलगाव की कमी से विसंगति हो सकती है ("गंदे पढ़ता है", "गैर-दोहराने योग्य पढ़ता है", अलग-अलग व्यावसायिक लेनदेन के बीच परिवर्तन की पुनर्लेखन, आदि)। ऐसी स्थितियों को दूर करने के लिए, अतिरिक्त तंत्र का उपयोग करना आवश्यक है, उदाहरण के लिए, परिवर्तनशील वस्तुओं का संस्करण।

सागा आपको निम्नलिखित कार्यों को हल करने की अनुमति देता है:

• व्यावसायिक महत्वपूर्ण डेटा के लिए निर्भर डेटा परिवर्तन प्रदान करें;
• चरणों का एक सख्त क्रम निर्धारित करने में सक्षम हो;
• 100% स्थिरता के साथ अनुपालन (दुर्घटनाओं के मामले में भी डेटा समन्वय करें);
• सभी स्तरों पर प्रदर्शन जांच प्रदान करें।

स्कोप और आवेदन उदाहरण

बड़ी संख्या में अनुरोधों के साथ सिस्टम पर अक्सर सागर का उपयोग किया जाता है। उदाहरण के लिए, लोकप्रिय ईमेल सेवाएँ, सोशल नेटवर्क। हालांकि, दृष्टिकोण छोटे पैमाने की परियोजनाओं में आवेदन पा सकता है।

हमारी कंपनी के पास एक बड़े उद्यम के लिए एक लेखा प्रणाली विकसित करने का अनुभव है, जो कई दर्जनों उपयोगकर्ताओं के लिए डिज़ाइन किया गया था और सभी डेटा एक रिलेबल डीबीएमएस में संग्रहीत किए गए थे। नियोजित कार्य की स्वचालित गणना को लागू करते समय समस्या उत्पन्न हुई: कुछ मामलों में, गणना बहुत बड़ी थी और डीबीएमएस तालिकाओं में लाखों अभिलेखों को सम्मिलित करने की आवश्यकता थी, जिसने डीबीएमएस को काफी लोड किया और पूरी प्रणाली के संचालन को धीमा कर दिया।

एक समाधान पाया गया - कार्य गणना तर्क को स्वयं और संबंधित वस्तुओं के भंडारण के लिए अपने स्वयं के DBMS के साथ एक अलग सेवा में डाल दिया। गाथा द्वारा डेटा स्थिरता सुनिश्चित की गई थी। यदि गणना विफल हो गई, तो आवेदन के मुख्य मॉड्यूल को तार्किक गणना ऑपरेशन को रद्द करने की आज्ञा मिली।

सागा-सक्षम पुस्तकालय

अनुप्रयोग .Net पर विकसित किया गया था, और इस तकनीक के लिए सागा के समर्थन के साथ कई सेवा प्रबंधक पुस्तकालय हैं। हमने NServiceBus, MassTransit और Rebus पुस्तकालयों को देखा। नतीजतन, हम रेबस पर बस गए - यह पुस्तकालय सीखना आसान है, जबकि साग के सिद्धांत को पूरी तरह से साकार करना और उपयोग करने के लिए स्वतंत्र है। NServiceBus और MassTransit अतिरिक्त सुविधाओं के टन के साथ अधिक परिष्कृत उपकरण हैं। वे हमारे कार्य के हिस्से के रूप में आवश्यक नहीं थे, लेकिन भविष्य में परियोजनाओं में अधिक जटिल तर्क के साथ उनका उपयोग करना उचित हो सकता है।