टेलीकॉम पर काउचबेस

डिजिटल परिवर्तन बड़े व्यवसाय के लिए एक वैश्विक प्रवृत्ति है और आधुनिक ग्राहकों की जरूरतों के लिए एक उद्यम को अपनाने के लिए महत्वपूर्ण है। बड़ी कंपनियों के लिए सिस्टम को सेंट्रलाइज करने और बिलिंग सिस्टम और सब्सक्राइबर डेटाबेस के संयोजन की सामान्य समस्याओं के अलावा, उच्च उपलब्धता और संचालन के लिए एक वास्तविक समय मोड की आवश्यकताएं जोड़ी जाती हैं, जिससे ग्राहक पहले से ही उद्योग के नेताओं (Google, Amazon, Netflix) के आदी हो जाते हैं।

नई चुनौतियों के लिए नई तकनीकों और दृष्टिकोणों की आवश्यकता होती है जो क्लाइंट के लिए सुविधाजनक कार्यों को पेश करने के लिए समय कम करने के लिए आवश्यक हैं, व्यक्तिगत वाणिज्यिक ऑफ़र, प्रतियोगियों के ऑफ़र की त्वरित प्रतिक्रिया, साथ ही सिस्टम, आईटी अवसंरचना, डेटा केंद्र और योग्य कर्मियों के लिए लागत को नियंत्रित करना। ये प्रवृत्तियां भी एक बड़ा ऋण हैं: वास्तुकला और फूला हुआ लेनदेन डेटाबेस की जटिलता जो सूचना के प्रवाह और प्रसंस्करण से सामना नहीं कर सकती है। पिछली पीढ़ी की तकनीकों में एक ऊर्ध्वाधर स्केलिंग छत है। उदाहरण के लिए, एक Oracle DBMS उदाहरण x86 प्रोसेसर पर सबसे शक्तिशाली सर्वर की सीमा पर चलता है जिसमें प्रति दिन एक अरब लेनदेन का भार होता है।

एक समान भार का सामना करने के लिए जो इंटरनेट उद्योग लंबे समय से सामना कर रहा है, प्रौद्योगिकियों का एक नया ढेर उपयोग किया जाता है, जैसे कि इन-मेमोरी कैश और नोएसक्यूएल डेटाबेस। इसलिए, ऐप्पल कैसंड्रा, सर्बैंक - इग्नाइट (ग्रिडगैन) का उपयोग करता है, मेगाफोन में हम काउचबेस और टारनटूल का उपयोग करते हैं।

MegaFon इन-मेमोरी DBMS के लिए विभिन्न वास्तुशिल्प पैटर्न का उपयोग करता है:

1. सरल कैश, डेटाबेस और अनुप्रयोगों से अनुसूची या घटना पर अद्यतन
2. डेटाबेस के सभी परिवर्तन कैश (राइट-थ्रू स्क्रिप्ट) के माध्यम से किए गए हैं, उदाहरण के लिए, ओरेकल क्लाइंट को डीसीपी काउचबेस से कनेक्ट करना

सब्सक्राइबर के जीवन चक्र के लिए हमारे निर्णय लेने वाली प्रणालियों में से एक के लिए, हम पहले टेम्पलेट का उपयोग करते हैं, क्योंकि डेटा की समग्रता पर केवल एक आवेदन एक निर्णय करता है और इसे ओरेकल डेटाबेस सहित सभी प्रणालियों को भेजता है। एक ग्राहक के जीवन चक्र का उपयोग करने वाले सबसे उज्ज्वल मामलों में से एक नकारात्मक संतुलन पर ताला लगा रहा है और अनलॉक कर रहा है। आखिरकार, शेष की भरपाई के बाद मोबाइल ऑपरेटरों के सभी ग्राहक तुरंत संपर्क में रहना चाहते हैं और कॉल करना चाहते हैं। एक अलग एप्लिकेशन और काउचबेस के लिए धन्यवाद, हम 90 सेकंड से 30 तक लॉक से बाहर निकलने के समय को कम करने में सक्षम थे और यह सीमा नहीं है। केवल ग्राहक की स्थिति में परिवर्तन के बारे में रिकॉर्ड मुख्य डेटाबेस (छवि 1) में मिलेगा।

नई तकनीकों के उपयोग के साथ, हम वित्तीय लॉक से बाहर निकलने के समय को 3 गुना कम करने में सक्षम थे। लेकिन वर्तमान परिणामों को प्राप्त करने के लिए, हम बिलिंग सर्किट के वास्तु परिवर्तन और NoSQL डेटाबेस को चुनने में एक लंबा सफर तय कर चुके हैं।

हमने काउचबेस क्यों चुना? इसके कई कारण हैं।

प्रदर्शन की आवश्यकता

1. प्रति सेकंड 200,000 अनुरोधों तक प्रसंस्करण।
2. औसत प्रतिक्रिया समय (50%) 5 एमएस (एकल डेटा केंद्र के भीतर) तक है।
3. अधिकतम प्रतिक्रिया समय (99%) 15 एमएस (एक डेटा सेंटर के भीतर) तक है।
4. अधिकतम प्रविष्टि प्रदर्शन 500 एमबी / सेकंड
5. अधिकतम संख्या डालें ऑपरेशन 100,000 / s
6. अधिकतम संख्या में परिवर्तन संचालन (दस्तावेज़ अद्यतन) 100,000 / s
7. परिवर्तनों का अधिकतम प्रदर्शन (दस्तावेज़ अद्यतन) 500 एमबी / सेकंड
8. रीड ऑपरेशन की अधिकतम संख्या 100,000 / s
9. अधिकतम पढ़ने की गति 500 ​​एमबी / सेकंड

उच्च प्रदर्शन कुंजी खोज और डेटा एक्सेस

काउचबेस के मूल में डिस्ट्रीब्यूटेड की वॉल्ट (KV) है। KV रिपॉजिटरी एक अत्यंत सरल डेटा प्रबंधन दृष्टिकोण है जो एक विशिष्ट पहचानकर्ता (कुंजी) के साथ-साथ मनमानी जानकारी के एक टुकड़े को संग्रहीत करता है। KV रिपॉजिटरी खुद किसी भी डेटा को स्वीकार कर सकती है, चाहे वह बाइनरी ब्लॉब हो या JSON डॉक्यूमेंट। केवी कार्यान्वयन की सादगी के कारण, न्यूनतम देरी के साथ डेटा का उपयोग सुनिश्चित किया जाता है। जैसा कि हमारे अनुभव से पता चलता है, अधिक बार नेटवर्क विलंबता काउचबेस पक्ष पर महत्वपूर्ण डेटा प्रदान करने से 2-3 गुना अधिक है।

डायनेमिक स्टोरेज स्कीम ( JSON)

दस्तावेज़ CSONbase सर्वर पर JSON प्रारूप में संग्रहीत किए जाते हैं। प्रारूप बुनियादी डेटा प्रकारों, जैसे संख्याओं, तारों और जटिल प्रकारों के साथ-साथ अंतर्निहित शब्दकोशों और सरणियों दोनों का समर्थन करता है।

काउचबेस में डेटा स्कीमा एप्लिकेशन और डेवलपर द्वारा परिभाषित एक तार्किक निर्माण है। इसके लचीलेपन और कई विकल्पों का उपयोग करने की क्षमता के कारण, हम दस्तावेज़ में एक टैग का उपयोग कर सकते हैं, उदाहरण के लिए, संस्करण जानकारी के साथ। यह एप्लिकेशन को यह निर्धारित करने में सक्षम करता है कि दस्तावेज़ को किस मोड में संसाधित किया जाना है, साथ ही साथ नई डेटा योजना के लिए डेटाबेस के सुचारू प्रवास को सुनिश्चित करना है।

उच्च उपलब्धता

एक सूचना प्रणाली के घटक मापदंडों में से एक इसकी उपलब्धता है। Couchbase कई अलग-अलग विशेषताओं के साथ उच्च डेटा उपलब्धता प्रदान करता है। उनमें से एक डेटा प्रतिकृति (विभिन्न क्लस्टर सर्वरों पर डेटा की कई प्रतियों का वितरण) है, जो आपको नियमित रखरखाव या कुछ सर्वरों की विफलता के दौरान एक सेवा प्रदान करने की अनुमति देता है।

उच्च उपलब्धता के लिए दूसरी महत्वपूर्ण विशेषता आंतरिक डीसीपी (डेटाबेस चेंज प्रोटोकॉल) है। यह डेटा की सभी प्रतियों, माध्यमिक अनुक्रमित (GSI), क्रॉस-क्लस्टर प्रतिकृति (XDCR) और बाहरी उपभोक्ताओं को उच्च गति परिवर्तन हस्तांतरण प्रदान करता है।

द्विदिश प्रतिकृति

कंपनियों में अच्छा व्यवहार सभी व्यावसायिक प्रक्रियाओं और उपकरणों के लिए अतिरेक का उपयोग करना है। आदर्श रूप से, यह सक्रिय-सक्रिय मोड में एक बैकअप है, जब समस्या नोड्स के बीच स्विच करना स्वचालित रूप से होता है। काउचबेस में द्विदिश प्रतिकृति एए मोड को सक्षम करती है। लेकिन परीक्षण प्रतिकृति ने दिखाया है कि यह केवल पास के डेटा केंद्रों में प्रभावी है। 100 किमी से अधिक दूरी के साथ, संघर्ष दिखाई देते हैं। काउचबेस में संघर्ष समाधान तंत्र हैं: टाइमस्टैम्प और अनुक्रम संख्या के आधार पर। हालांकि, नेटवर्क पर समय की देरी के कारण, पुराना डेटा डेटाबेस में जाता है। हमने द्वि-दिशात्मक प्रतिकृति (क्रॉस-क्लस्टर स्थिरता) के उपयोग को छोड़ दिया। सभी परिवर्तन केवल एक क्लस्टर पर किए गए हैं। रीड मोड में डेटा उपलब्धता सभी डेटा केंद्रों (एए) में प्रदान की जाती है।

क्षैतिज स्केलिंग

सबसे NoSQL डेटाबेस की महत्वपूर्ण विशेषताओं में से एक क्षैतिज स्केलिंग (छवि 3) है। काउचबेस का मुख्य अंतर बहुआयामी स्केलिंग का समर्थन है, जब हम क्लस्टर में केवल वांछित सेवा के प्रदर्शन को बढ़ा सकते हैं। उदाहरण के लिए, गेम पोकेमॉन गो एक स्प्लिट आर्किटेक्चर का उपयोग करता है। परियोजना की शुरुआत में, संयुक्त सेवाओं वाले 5 सर्वरों का उपयोग किया गया था। लोड बढ़ाने के बाद, उन्होंने एक विविध वास्तुकला का उपयोग किया: 5 डेटा सर्वर और 55 सर्वरों के लिए प्रश्न और सूचकांक प्रसंस्करण। काउचबेस के साथ स्केलिंग के नुकसान में से एक यह है कि ऑर्केस्ट्रेटर को समस्या होती है जब क्लस्टर में 50 से अधिक दिनांक नोड होते हैं।

चित्र 3 एमडीएस

आवश्यकता है

सूचना सुरक्षा आवश्यकताओं ने हमारी पसंद को कुछ हद तक प्रभावित किया, लेकिन सिस्टम में उनकी उपस्थिति ने एक या किसी अन्य डेटाबेस के पक्ष में एक अतिरिक्त तर्क दिया। चूंकि कैश में व्यक्तिगत डेटा हो सकता है, इसलिए हमें बिना किसी असफलता के नियामक की आवश्यकताओं का पालन करना चाहिए। यह निर्णय लेने के लायक है: क्या हम अतिरिक्त उपकरणों का उपयोग करेंगे या क्या हम इसे डेटाबेस के साथ प्रदान कर सकते हैं?

एंटरप्राइज़ संस्करण में, काउचबेस ट्रैफ़िक एन्क्रिप्शन, डेटा एन्क्रिप्शन और व्यक्तिगत एक्सेस का समर्थन करता है। यह सिस्को एएसए जैसे उपकरणों पर पैसे बचाता है।

आसान उन्नयन

Couchbase की महत्वपूर्ण खूबियों में से एक इसकी पारदर्शी अद्यतन व्यवस्था और एपीआई के पुराने संस्करणों के लिए समर्थन है। क्लस्टर अपग्रेड के दौरान, यह संगतता मोड में काम करता है। नए तंत्र केवल पूर्ण क्लस्टर अपग्रेड के बाद काम करेंगे। पुराने एपीआई के समर्थन के कारण चल रहे अनुप्रयोगों पर प्रभाव न्यूनतम हैं।

पुनश्च: अपग्रेड / डाउनग्रेड केवल पड़ोसी प्रमुख संस्करणों पर अनुमति दी जाती है

अतिरिक्त कार्यक्षमता

तार्किक वितरण

एक और दिलचस्प विशेषता है कि तार्किक समूहों में एक क्लस्टर में सर्वरों का संयोजन, उनके साथ जुड़ी हुई प्रतिकृतियां। यह आपको एक ही क्लस्टर के प्रतिकृतियों की पूरी प्रतियां अलग-अलग ऑटोगेट्स में वितरित करने की अनुमति देता है। यह कार डीलरशिप में से एक की विफलता के लिए अनुमति देता है कि दूसरे में डेटा की पूरी प्रतिलिपि हो

बैकअप और पुनर्स्थापित

काउचबेस में रेडीमेड बैकअप और रिकवरी टूल हैं। बैकअप प्रक्रिया तीन मोड में काम कर सकती है: पूर्ण, अंतर और संचयी। यह डिस्क स्पेस और प्रोसेसर संसाधनों को बचाने के लिए कुछ मामलों में अनुमति देता है।

काउचबेस बनाम मोंगो

वैकल्पिक NoSQL डेटाबेस को चुनने के सवाल का जवाब देना मुश्किल है, और अक्सर, सबसे अच्छा यूनिक्स वह है जो आपके व्यवस्थापक को पता है। चलो बनाने की कोशिश करते हैं कि हम काउचबेस को क्यों पसंद करते हैं, न कि एक और बहुत लोकप्रिय मंच - मोंगोबीडी।

विभिन्न वास्तुकला और कार्यक्षमता के साथ दो अलग-अलग परियोजनाओं की तुलना करना काफी कठिन है। जिन मापदंडों पर हमने ध्यान दिया, उनमें से एक रखरखाव की आसानी और व्यापार की जरूरतों को पूरा करने के लिए सिस्टम को फिर से कॉन्फ़िगर करने की क्षमता है।

तालिका 1 तुलना

तालिका 2 प्रतिकृति तुलना

कुल मिलाकर, काउचबेस हमारे कार्यों के लिए आवश्यक सेटिंग्स और तेजी से बदलते हाइब्रिड आर्किटेक्चर में अधिक लचीला और सरल है।

ऑपरेटिंग अनुभव

शुरू करने के लिए, हम उन नंबरों को देना चाहेंगे जिनके साथ सिस्टम और क्लस्टर अब काउचबेस पर काम कर रहे हैं।

1. 80 मिलियन से अधिक ग्राहक [i]
2. 380 मिलियन JSON ग्राहक सूचना दस्तावेज
3. 3.5 टीबी एचडीडी (हम मेमेकैक्ड का उपयोग करते हैं, डिस्क पर जानकारी त्वरित शुरुआत के लिए संग्रहीत होती है)
4. 3 टीबी रैम
5. 50 हजार ऑपरेशन प्रति सेकंड (चित्र 5)
6. पूरे संदेश प्रवाह को संसाधित करने वाले 50 माइक्रोसर्विसेज

परिवर्तन का पहला मील का पत्थर हमने काउचबेस के तीसरे संस्करण के साथ शुरू किया। पहले चरण में, परियोजना की शुरुआत में, सभी अनुप्रयोगों ने दृढ़ता से काम किया। लेकिन जब एक नए तंत्र में अतिरिक्त तर्क का अनुवाद किया गया, तो हमें इस तथ्य का सामना करना पड़ा कि व्यू तंत्र अप्रत्याशित रूप से काम करने लगा। यानी कुछ बिंदु पर, प्रक्रिया जम जाती है और इस तरह के नोड से इन विचारों ने वापस आना बंद कर दिया। उसी समय, डेटा तक पहुंच और उनकी प्रसंस्करण बाधित नहीं हुई थी। समस्या को काफी आसानी से ठीक किया गया था - नोड को फिर से शुरू करके, जिसने आम तौर पर सेवा की उपलब्धता को कम कर दिया। काउचबेस तकनीकी सहायता के साथ संचार करने के दौरान, हमें एक अनिर्दिष्ट कमांड की पेशकश की गई थी जो केवल दृश्य प्रक्रिया को पुनरारंभ करता है

curl -s --data 'cb_couch_sup: पुनरारंभ_couch ()।' -यू प्रशासक: पास http://127.0.0.1:8091/diag/eval [ii]

कमांड केवल 3.x संस्करणों में मान्य है।

curl -s --data 'couch_server_sup: restart_core_server ()।' -यू प्रशासक: प्रशासक http://127.0.0.1:8091/diag/eval

कमांड केवल 4.x संस्करणों में मान्य है।

तीसरे संस्करण की एक अन्य समस्या ब्रेकिंग डेटा कम्प्रेशन मैकेनिज्म (संघनन) थी। इसे ट्रिगर मॉनिटरिंग मेट्रिक्स के अनुसार मैन्युअल रूप से शुरू किया जाना था। दोनों समस्याओं को तनाव में रखा, न केवल ड्यूटी शिफ्ट, बल्कि कार्यात्मक इंजीनियरों।

इस संबंध में, हमने चौथे संस्करण में प्रवास करने का निर्णय लिया। सेवा पर न्यूनतम प्रभाव के साथ प्रवासन में लगभग दो सप्ताह लग गए। अपडेट प्रक्रिया में खुद को जटिल कार्यों और नियंत्रण की आवश्यकता नहीं होती है, लेकिन एक नोड को जोड़ने या हटाने पर, एक रिबैलेंस लॉन्च किया जाता है, जिसमें दो घंटे लगते हैं। इस प्रक्रिया में, हमें एक बफर सर्वर के माध्यम से अपडेट प्रक्रिया को गति देने का एक तरीका मिला: इस मामले में, यह एक स्वच्छ रीबैलेंसिंग प्रक्रिया शुरू नहीं करता है, बल्कि एक नोड से दूसरे में डेटा स्थानांतरित करता है। इसने अद्यतन प्रक्रिया को 30 मिनट तक कम कर दिया।

औद्योगिक क्लस्टर को अपडेट करते समय, निम्नलिखित बारीकियों को ध्यान में रखा जाना चाहिए: संगतता मोड में काम करें, जब क्लस्टर सॉफ्टवेयर के सबसे कम उम्र के संस्करण में काम करता है। प्लस साइड पर, अपग्रेड प्रक्रिया सुचारू रूप से और दर्द रहित रूप से चलती है, लेकिन फिर भी, आप नए फ़ंक्शंस का उपयोग करने में सक्षम नहीं होंगे, जैसे कि नया कंप्रेशन तंत्र, एन 1 क्यूसी, जब तक कि पूरा क्लस्टर पूरी तरह से अपडेट न हो जाए।

अद्यतन के बाद, हम केवल एक समस्या को ठीक करने में कामयाब रहे - संपीड़न। यह ठीक से काम करने लगा। व्यू तंत्र के साथ, समस्या अभी भी बनी हुई है, हालांकि यह बहुत कम बार दोहराया गया था। केवल 4.6.4 संस्करण में काउचबेस डेवलपर्स की ताकतों द्वारा इसे ठीक करना संभव था।

तकनीकी सहायता समस्याओं को हल करने के हिस्से के रूप में, यह स्पष्ट हो गया कि दृश्य तंत्र अब अपडेट नहीं किया जाएगा। यह इस आधार पर किया गया था कि ज्यादातर Couchbase क्लाइंट उन उद्देश्यों के लिए विचारों का उपयोग नहीं करते हैं जिनके लिए वे बनाए गए थे, और Couchbase ने एक नया N1QL तंत्र बनाया। यह एक अलग सेवा द्वारा निष्पादित किया जाता है और अब डेटा नोड्स (छवि 7) पर निर्भर नहीं करता है।

हमने 4.6.4 संस्करण के साथ सभी महत्वपूर्ण समस्याओं को बंद कर दिया है। लेकिन डेटा की मात्रा में वृद्धि के कारण, उन्होंने पांचवें संस्करण में प्रवास करने का फैसला किया, जहां उन्होंने अनुक्रमित के लिए एक नया डेटाबेस जोड़ा और हमारे डेटा पर स्मृति और डिस्क की मात्रा डेढ़ गुना कम हो गई। लेकिन, दुर्भाग्य से, हमने डेटा नोड्स पर डेटा की मात्रा में कमी नहीं देखी।

निष्कर्ष

सामान्य तौर पर, काउचबेस एक परिपक्व प्रणाली साबित होती है जो उच्च भार रखती है, यहां तक ​​कि गैर-विशिष्ट मामलों में भी (Viber - डेटाबेस के रूप में उपयोग किया जाता है)। मेगाफॉन हाइब्रिड आर्किटेक्चर के भीतर, क्लस्टर को बिना उपकरण डाउनटाइम और बिना गंभीर सर्वर रिफ़िगरेशन के किसी भी उद्देश्य के लिए आसानी से अनुकूलित किया जा सकता है, जो आम तौर पर कंपनी को कर्मियों की लागत को कम करने और ग्राहक के लिए सेवा को यथासंभव सुविधाजनक बनाने में सक्षम बनाता है।

पाओ मेगाफोन

2018 कोवलचुक ईगोर

[i] सिस्टम न केवल सब्सक्राइबर, बल्कि बिल्ट-इन सिम कार्ड, मोडेम आदि के साथ भी प्रोसेस करता है।

[ii] उपयोग करने से पहले किसी विशेषज्ञ से परामर्श करें