अगली पीढ़ी के बिलिंग आर्किटेक्चर: टारेंटूल में संक्रमण

बिलिंग में मेगाफ़ॉन, टारनटूल जैसे निगम क्यों करता है? बाहर से ऐसा लगता है कि विक्रेता आमतौर पर आता है, कुछ बड़ा बॉक्स लाता है, प्लग को सॉकेट में डालता है - यहां बिलिंग आता है! यह हुआ करता था, लेकिन अब यह एक पुरातन है, और ऐसे डायनासोर पहले ही विलुप्त हो चुके हैं या विलुप्त हो रहे हैं। प्रारंभ में, बिलिंग एक बिलिंग प्रणाली है - एक पाठक या कैलकुलेटर। आधुनिक दूरसंचार में, यह अनुबंध के समापन से समाप्ति तक ग्राहक के साथ बातचीत के पूरे जीवन चक्र के लिए एक स्वचालन प्रणाली है , जिसमें रीयल-टाइम बिलिंग, भुगतान स्वीकृति और बहुत कुछ शामिल है। दूरसंचार कंपनियों में बिलिंग एक लड़ाकू रोबोट के समान है - बड़े, शक्तिशाली और हथियारों के साथ लटकाए गए।



और यहाँ टारनटूल है? इस बारे में ओलेग इवलेव और एंड्रे कनीज़ेव बात करेंगे। ओलेग मेगाफॉन के मुख्य वास्तुकार हैं विदेशी कंपनियों में काम करने के व्यापक अनुभव के साथ, एंड्री व्यापार प्रणालियों के निदेशक हैं। टारेंटूल कॉन्फ्रेंस 2018 में उनकी रिपोर्ट के ट्रांसक्रिप्ट से , आप सीखेंगे कि निगमों में आर एंड डी की आवश्यकता क्यों है, टारेंटूल क्या है, ऊर्ध्वाधर स्केलिंग और वैश्वीकरण के लिए गतिरोध कैसे कंपनी में इस डेटाबेस की उपस्थिति, तकनीकी चुनौतियों के बारे में, वास्तुकला के परिवर्तन और क्या मेगाफैन के टेक्नोस्टेक नेटफ्लिक्स की तरह है। Google और अमेज़न।

एकल बिलिंग परियोजना

जिस प्रोजेक्ट पर चर्चा की जाएगी, उसे "सिंगल बिलिंग" कहा जाएगा। यह उस में था कि टारेंटूल ने अपने सर्वोत्तम गुणों को दिखाया।



हाय-एंड उपकरणों के प्रदर्शन की वृद्धि ने ग्राहक आधार की वृद्धि और सेवाओं की संख्या में वृद्धि के साथ गति नहीं रखी, आगे M2M, IoT के कारण ग्राहकों और सेवाओं की संख्या में वृद्धि की उम्मीद की गई थी, और शाखा सुविधाओं ने समय-समय पर बाजार में गिरावट का कारण बना। कंपनी ने 8 मौजूदा अलग-अलग बिलिंग सिस्टमों के बजाय एक अद्वितीय विश्व स्तरीय मॉड्यूलर वास्तुकला के साथ एकीकृत व्यापार प्रणाली बनाने का फैसला किया।

मेगाफॉन एक में आठ कंपनियां हैं । 2009 में, पुनर्गठन पूरा हो गया था: पूरे रूस में शाखाओं को एक ही कंपनी मेगाफॉन ओजेएससी (अब पीजेएससी) में विलय कर दिया गया। इस प्रकार, कंपनी के पास अपने स्वयं के "कस्टम" समाधान, शाखा सुविधाओं और एक अलग संगठनात्मक संरचना, आईटी और विपणन के साथ 8 बिलिंग सिस्टम हैं।

जब तक मुझे एक सामान्य संघीय उत्पाद लॉन्च नहीं करना था, तब तक सब कुछ ठीक था। यहाँ बहुत सी कठिनाइयाँ सामने आईं: कुछ के लिए, अंकगणित के अनुसार, दूसरों के लिए, कुछ हद तक, और दूसरों के लिए, अंकगणितीय माध्य के अनुसार शुल्क लगाना। ऐसे हजारों क्षण हैं।

इस तथ्य के बावजूद कि बिलिंग सिस्टम का संस्करण एक ही है, एक सप्लायर, सेटिंग्स को अलग कर दिया गया है ताकि लंबे समय तक गोंद हो। हमने उनकी संख्या कम करने की कोशिश की, और एक दूसरी समस्या सामने आई जो कई निगमों से परिचित है।

लंबवत स्केलिंग । यहां तक ​​कि उस समय का सबसे ठंडा लोहा भी जरूरतों को पूरा नहीं करता था। हमने Hewlett-Packard उपकरण, Superdome Hi-End लाइन का उपयोग किया, लेकिन इसने दो शाखाओं की आवश्यकता को भी आकर्षित नहीं किया। मैं बड़ी लेनदेन लागत और पूंजी निवेश के बिना क्षैतिज स्केलिंग चाहता था।

ग्राहकों और सेवाओं की संख्या में वृद्धि की उम्मीद । सलाहकार लंबे समय से टेलीकॉम जगत में IoT और M2M के बारे में कहानियां लाते रहे हैं: एक समय आएगा जब प्रत्येक फोन और लोहे में एक सिम कार्ड होगा, और दो फ्रिज में। आज हमारे पास ग्राहकों की एक संख्या है, और निकट भविष्य में अधिक परिमाण का क्रम होगा।

तकनीकी चुनौतियां

इन चार कारणों ने हमें बड़े बदलावों की ओर अग्रसर किया। सिस्टम को अपग्रेड करने और स्क्रैच से डिजाइन करने के बीच एक विकल्प था। उन्होंने लंबे समय तक सोचा, गंभीर फैसले किए, निविदाएं खेलीं। नतीजतन, उन्होंने शुरुआत से ही डिजाइन करने का फैसला किया, और दिलचस्प चुनौतियों - तकनीकी चुनौतियों का सामना किया।

scalability

यदि पहले थे, तो कहते हैं, 15 मिलियन ग्राहकों के लिए 8 बिलिंग खाते , और अब 100 मिलियन ग्राहक और अधिक को चालू होना चाहिए - लोड अधिक परिमाण का एक आदेश है।

हम बड़े इंटरनेट खिलाड़ियों जैसे Mail.ru या Netflix के पैमाने में तुलनीय हो गए हैं।

लेकिन लोड और ग्राहक आधार को बढ़ाने के लिए आगे के आंदोलन ने हमें गंभीर कार्य निर्धारित किए।

हमारे विशाल देश का भूगोल

कैलिनिनग्राद और व्लादिवोस्तोक के बीच 7500 किमी और 10 समय क्षेत्र । प्रकाश की गति परिमित है और इस तरह की विलंब दूरी पहले से ही महत्वपूर्ण हैं। सबसे अच्छे आधुनिक ऑप्टिकल चैनलों पर 150 एमएस वास्तविक समय की बिलिंग के लिए बहुत अधिक है, खासकर जैसे कि यह अब रूस में दूरसंचार में है। इसके अलावा, आपको एक व्यावसायिक दिन में और विभिन्न समय क्षेत्रों के साथ अपडेट करने की आवश्यकता है - यह एक समस्या है।

हम केवल मासिक शुल्क के लिए सेवाएं प्रदान नहीं करते हैं, हमारे पास जटिल टैरिफ, पैकेज, विभिन्न संशोधक हैं। हमें सब्सक्राइबर को बात करने के लिए न केवल अनुमति देने या प्रतिबंधित करने की आवश्यकता है, बल्कि उसे एक निश्चित कोटा देने के लिए - वास्तविक समय में कॉल और कार्यों की गणना करने के लिए ताकि वह नोटिस न करे।

दोष सहिष्णुता

यह केंद्रीकरण का दूसरा पहलू है।

यदि हम सभी ग्राहकों को एक प्रणाली में एकत्रित करते हैं, तो कोई भी आपातकालीन घटनाएँ और आपदाएँ व्यापार के लिए विनाशकारी हैं। इसलिए, हम सिस्टम को इस तरह से डिज़ाइन करते हैं जैसे कि पूरे ग्राहक आधार पर दुर्घटनाओं के प्रभाव को बाहर करना।

यह फिर से ऊर्ध्वाधर स्केलिंग की अस्वीकृति का परिणाम है। जब हम क्षैतिज स्केलिंग में गए, तो हमने सर्वरों की संख्या सैकड़ों से बढ़ाकर हजारों कर दी। उन्हें प्रबंधित और विनिमेय करने की आवश्यकता है, स्वचालित रूप से आईटी बुनियादी ढांचे का समर्थन किया और वितरित प्रणाली को बहाल किया।

इस तरह की दिलचस्प चुनौतियों ने हमारा सामना किया। हमने सिस्टम को डिज़ाइन किया, और उस क्षण हमने दुनिया की सर्वोत्तम प्रथाओं को खोजने की कोशिश की ताकि हम यह सोच सकें कि हम कितनी उन्नत तकनीकों का पालन करते हैं।

विश्व का अनुभव

आश्चर्यजनक रूप से, विश्व दूरसंचार में हमें एक भी संदर्भ नहीं मिला।

यूरोप अपने ग्राहकों की संख्या और पैमाने से गिर गया, संयुक्त राज्य अमेरिका - अपने टैरिफ के विमान द्वारा। हमने चीन में कुछ देखा, लेकिन भारत में कुछ पाया और वोडाफोन इंडिया के विशेषज्ञों को लिया।

वास्तुकला का विश्लेषण करने के लिए, ड्रीम टीम को इकट्ठा किया गया था, जिसका नेतृत्व आईबीएम ने किया था, जो विभिन्न क्षेत्रों के आर्किटेक्ट थे। ये लोग पर्याप्त रूप से मूल्यांकन कर सकते हैं कि हम क्या कर रहे हैं और हमारी वास्तुकला के लिए निश्चित ज्ञान लाते हैं।

स्केल

कुछ संख्याएँ स्पष्ट करने के लिए।

हम एक अरब के रिजर्व के साथ 80 मिलियन सब्सक्राइबर के लिए एक सिस्टम डिज़ाइन करते हैं। इसलिए हम भविष्य की थ्रेसहोल्ड को हटा देते हैं। ऐसा इसलिए नहीं है क्योंकि हम चीन पर अधिकार करने जा रहे हैं, बल्कि IoT और M2M के दबाव के कारण।

300 मिलियन दस्तावेजों को वास्तविक समय में संसाधित किया जाता है । यद्यपि हमारे पास 80 मिलियन ग्राहक हैं, हम संभावित ग्राहकों और उन लोगों के साथ काम करते हैं जिन्होंने हमें प्राप्तियों को इकट्ठा करने की आवश्यकता होने पर हमें छोड़ दिया है। इसलिए, वास्तविक वॉल्यूम बहुत बड़ा है।

2 बिलियन लेनदेन प्रतिदिन संतुलन बदलते हैं - ये भुगतान, शुल्क, कॉल और अन्य घटनाएं हैं। 200 टीबी डेटा सक्रिय रूप से बदलता है , 8 पीबी डेटा थोड़ा धीमा हो जाता है, और यह एक संग्रह नहीं है, लेकिन एक एकल बिलिंग में लाइव डेटा है। 14 केंद्रों पर डेटा सेंटर स्केल 5 हजार सर्वर है ।

प्रौद्योगिकी ढेर

जब हमने आर्किटेक्चर की योजना बनाई और सिस्टम को असेंबल करने के बारे में सेट किया, तो हमने सबसे दिलचस्प और उन्नत तकनीकों का आयात किया। परिणाम एक तकनीकी स्टैक था जो किसी भी इंटरनेट प्लेयर और निगमों से परिचित है जो अत्यधिक लोड सिस्टम बनाते हैं।



स्टैक अन्य प्रमुख खिलाड़ियों के ढेर के समान है: नेटफ्लिक्स, ट्विटर, वाइबर। इसमें 6 घटक होते हैं, लेकिन हम इसे कम और एकीकृत करना चाहते हैं।

लचीलापन अच्छा है, लेकिन एक बड़े निगम में एकीकरण के बिना कोई रास्ता नहीं है।

हम उसी Oracle को Tarantool में बदलने नहीं जा रहे हैं। बड़ी कंपनियों की वास्तविकताओं में, यह यूटोपिया है, या 5-10 साल के लिए एक असंगत परिणाम है। लेकिन कैसंड्रा और काउचबेस को टारेंटूल से बदला जा सकता है, और हम इसके लिए प्रतिबद्ध हैं।

टारनटूल क्यों?

4 सरल मापदंड हैं कि हमने इस डेटाबेस को क्यों चुना।

गति । हमने मेगाफोन औद्योगिक प्रणालियों पर तनाव परीक्षण किया। टारनटूल जीता - इसने सबसे अच्छा प्रदर्शन दिखाया।

यह कहने के लिए नहीं है कि अन्य सिस्टम मेगाफोन की जरूरतों को पूरा नहीं करते हैं। वर्तमान मेमोरी समाधान इतने उत्पादक हैं कि कंपनी का यह स्टॉक पर्याप्त से अधिक है। लेकिन हम नेता के साथ व्यवहार करने में रुचि रखते हैं, न कि वह जो पूंछ में बुनाई के साथ लोड टेस्ट सहित।

टारनटूल लंबे समय में भी कंपनी की जरूरतों को शामिल करता है।

TCO लागत । मेगाफॉन वॉल्यूम पर काउचबेस के लिए समर्थन के लिए स्पेस मनी का खर्च आता है, टारेंटूल के साथ स्थिति बहुत अच्छी है, और कार्यक्षमता के संदर्भ में वे करीब हैं।

एक और अच्छी विशेषता जो हमारी पसंद को थोड़ा प्रभावित करती है - टारेंटूल स्मृति के साथ अन्य डेटाबेस की तुलना में बेहतर काम करती है। यह अधिकतम दक्षता दर्शाता है।

विश्वसनीयता। मेगाफ़ॉन को विश्वसनीयता में निवेश किया जाता है, शायद किसी अन्य की तरह नहीं। इसलिए, जब हमने टारनटूल को देखा, तो हमने महसूस किया कि क्या किया जाना चाहिए ताकि यह हमारी आवश्यकताओं को पूरा करे।

हमने अपना समय और वित्त निवेश किया, और Mail.ru के साथ मिलकर हमने एक उद्यम संस्करण बनाया, जिसका उपयोग अब कई अन्य कंपनियों द्वारा किया जाता है।

टारेंटूल-एंटरप्राइज हमें सुरक्षा, विश्वसनीयता और लॉगिंग से पूरी तरह संतुष्ट करता है।

साझेदारी

मेरे लिए सबसे महत्वपूर्ण बात डेवलपर के साथ सीधे संपर्क है । यह वही है जो टारेंटूल लोगों ने रिश्वत दी थी।

यदि आप एक खिलाड़ी के पास आते हैं, विशेष रूप से वह जो एक एंकर क्लाइंट के साथ काम करता है, और कहता है कि आपको ऐसा करने में सक्षम होने के लिए डेटाबेस की आवश्यकता है, तो यह और वह, आमतौर पर जवाब देता है:

- ठीक है, आवश्यकताओं को उस ढेर के तल के नीचे रखो - किसी दिन, शायद, हम उन्हें प्राप्त करेंगे।

अगले 2-3 वर्षों के लिए कई लोगों के पास एक रोडमैप है, और इसे वहां एकीकृत करना लगभग असंभव है, और टारनटूल डेवलपर्स खुलेपन के साथ रिश्वत देते हैं, और न केवल मेगाफोन के साथ, और ग्राहक को अपनी प्रणाली को अनुकूलित करते हैं। यह अच्छा है और हम वास्तव में इसे पसंद करते हैं।

हमने टारनटूल कहाँ लगाया

हम में टारनटूल का उपयोग कई तत्वों में किया जाता है। पहला पायलट में है , जिसे हमने एड्रेस डायरेक्टरी सिस्टम पर बनाया है। एक समय में, मैं चाहता था कि यह एक ऐसी प्रणाली हो जो Yandex.Maps और Google Maps के समान हो, लेकिन यह थोड़ा अलग तरीके से निकला।

उदाहरण के लिए, बिक्री इंटरफ़ेस में पता निर्देशिका। ओरेकल पर, आपको जिस पते की आवश्यकता है उसे ढूंढने में 12-13 सेकंड लगते हैं। - असुविधाजनक संख्या। जब हम टारेंटूल पर स्विच करते हैं, तो कंसोल में एक और डेटाबेस के साथ ओरेकल की जगह लेते हैं, और एक ही खोज करते हैं, हमें 200 गुना त्वरण मिलता है! तीसरे पत्र के बाद शहर पॉप अप हुआ। अब हम इंटरफ़ेस को एडाप्ट कर रहे हैं ताकि पहले के बाद ऐसा हो। हालांकि, प्रतिक्रिया की गति पूरी तरह से अलग है - पहले से ही सेकंड के बजाय मिलीसेकंड।

दूसरा एप्लिकेशन एक ट्रेंडी विषय है जिसे टू-स्पीड आईटी कहा जाता है । ऐसा इसलिए है क्योंकि प्रत्येक लोहे के सलाहकार कहते हैं कि निगमों को वहां जाना चाहिए।



बुनियादी ढांचे की एक परत है, इसके ऊपर के डोमेन, उदाहरण के लिए, टेलीकॉम, कॉर्पोरेट सिस्टम, कॉर्पोरेट रिपोर्टिंग जैसे बिलिंग सिस्टम। यह वह कोर है जिसे छूने की जरूरत नहीं है। यही है, निश्चित रूप से, यह संभव है, लेकिन गुणवत्ता प्रदान करने में पागल है, क्योंकि यह निगम के लिए धन लाता है।

इसके बाद माइक्रोसर्विस की परत आती है - जो ऑपरेटर या किसी अन्य खिलाड़ी को अलग करती है। माइक्रोसॉर्क्स को निश्चित रूप से निश्चित कैश के आधार पर बनाया जा सकता है, वहां विभिन्न डोमेन से डेटा उठा सकते हैं। यहाँ प्रयोगों के लिए एक क्षेत्र है - अगर कुछ काम नहीं किया, एक microservice को बंद कर दिया, दूसरा खोला। यह वास्तव में समय-समय पर बाजार प्रदान करता है और कंपनी की विश्वसनीयता और गति को बढ़ाता है।

मेगाफोन में माइक्रोसेन्ट शायद टारनटूल की मुख्य भूमिका है।

जहां हम टारनटूल को लागू करने की योजना बनाते हैं

अगर हम ड्यूश टेलीकॉम, सिवाज़कोम, वोडाफोन इंडिया में परिवर्तन कार्यक्रमों के साथ अपनी सफल बिलिंग परियोजना की तुलना करते हैं, तो यह आश्चर्यजनक रूप से गतिशील और रचनात्मक है। इस परियोजना को लागू करने की प्रक्रिया में, न केवल MegaFon और इसकी संरचना को रूपांतरित किया गया था, बल्कि Mail.ru पर टारनटूल-एंटरप्राइज भी दिखाई दिया, और हमारे विक्रेता Nexign (पूर्व में पीटर-सर्विस) के पास BSS बॉक्स (बॉक्सिंग बिलिंग समाधान) था।

एक अर्थ में, यह रूसी बाजार के लिए एक ऐतिहासिक परियोजना है। इसकी तुलना फ्रेडरिक ब्रूक्स की किताब "माइथिकल मैन-मंथ" में वर्णित है। फिर, 60 के दशक में, आईबीएम ने मेनफ्रेम के लिए एक नया ओएस / 360 ऑपरेटिंग सिस्टम विकसित करने के लिए 5,000 लोगों को आकर्षित किया। हमारे पास कम - 1,800 हैं, लेकिन हमारा अस्तित्व निहित है, और खुले स्रोत और नए दृष्टिकोणों के उपयोग को ध्यान में रखते हुए, हम बहुत उपयोगी तरीके से काम करते हैं।

बिलिंग डोमेन या, अधिक मोटे तौर पर, व्यापार प्रणाली नीचे प्रदर्शित की जाती हैं। उद्यम के लोग सीआरएम को अच्छी तरह से जानते हैं। सभी के पास पहले से ही अन्य प्रणालियां होनी चाहिए: ओपन एपीआई, गेटवे एपीआई।

एपीआई खोलें

आइए फिर से संख्याओं पर ध्यान दें और ओपन एपीआई अब कैसे काम करता है। इसका भार प्रति सेकंड 10,000 लेनदेन है । चूँकि हमारी योजना है कि हम माइक्रोफ़ोन सेवा को सक्रिय रूप से विकसित करें और मेगाफोन पब्लिक एपीआई का निर्माण करें, हम भविष्य में इस विशेष भाग में और अधिक वृद्धि की उम्मीद करते हैं। 100,000 लेनदेन निश्चित रूप से होगा ।

मुझे नहीं पता कि SSO Mail.ru के लिए तुलनीय है - दोस्तों, जैसे, प्रति सेकंड 1,000,000 लेनदेन होते हैं। हम उनके समाधान में बहुत रुचि रखते हैं और हम उनके अनुभव से सीखने की योजना बनाते हैं - उदाहरण के लिए, टारेंटूल का उपयोग करके एक कार्यात्मक एसएसओ रिजर्व बनाने के लिए। अब Mail.ru के डेवलपर्स हमारे साथ ऐसा कर रहे हैं।

सीआरएम

सीआरएम - ये बहुत ही 80 मिलियन ग्राहक हैं जिन्हें हम एक अरब में लाना चाहते हैं, क्योंकि पहले से ही 300 मिलियन दस्तावेज हैं जिनमें तीन साल का इतिहास शामिल है। हम वास्तव में नई सेवाओं की प्रतीक्षा कर रहे हैं, और यहां विकास बिंदु जुड़ा हुआ है । यह एक गेंद है जो बढ़ेगी, क्योंकि अधिक से अधिक सेवाएं होंगी। तदनुसार, एक कहानी की आवश्यकता होगी, हम इस पर ठोकर नहीं खाना चाहते हैं।

बिलिंग के मामले में खुद को बिलिंग करते हुए, ग्राहकों की प्राप्तियों के साथ काम करके एक अलग डोमेन में बदल दिया गया। प्रदर्शन को अधिकतम करने के लिए, डोमेन आर्किटेक्चर आर्किटेक्चरल टेम्पलेट लागू किया जाता है ।

सिस्टम को डोमेन में विभाजित किया जाता है, लोड वितरित किया जाता है और गलती सहिष्णुता प्रदान की जाती है। इसके अतिरिक्त, हमने वितरित वास्तुकला के साथ काम किया।

बाकी सब कुछ उद्यम स्तर के समाधान हैं। कॉल स्टोर में - प्रति दिन 2 बिलियन , प्रति माह 60 बिलियन। कभी-कभी आपको उन्हें एक महीने के लिए और फिर जल्दी से बेहतर करना होगा। वित्तीय निगरानी वास्तव में बहुत 300 मिलियन है जो लगातार बढ़ रही है और बढ़ रही है: ग्राहक अक्सर ऑपरेटरों के बीच चलते हैं, इस हिस्से को बढ़ाते हैं।

मोबाइल संचार का सबसे दूरसंचार घटक ऑनलाइन बिलिंग है । ये सिस्टम हैं जो आपको कॉल करने या कॉल करने की अनुमति नहीं देते हैं, वास्तविक समय में निर्णय लेते हैं। यहां, भार प्रति सेकंड 30,000 लेनदेन है, लेकिन डेटा ट्रांसफर में वृद्धि को ध्यान में रखते हुए, हम 250,000 लेनदेन की योजना बनाते हैं, और इसलिए हम टारेंटूल में बहुत रुचि रखते हैं।

पिछली तस्वीर डोमेन है जहां हम टारेंटूल का उपयोग करने जा रहे हैं। सीआरएम खुद, ज़ाहिर है, व्यापक है और हम इसे कोर में ही लागू करने जा रहे हैं।

100 मिलियन ग्राहकों का हमारा अनुमानित TTX मुझे एक वास्तुकार के रूप में भ्रमित करता है - क्या होगा अगर 101 मिलियन? सब कुछ फिर से करने के लिए? इसे रोकने के लिए, हम कैश का उपयोग करते हैं, एक ही समय में एक्सेसिबिलिटी बढ़ाते हैं।



सामान्य तौर पर, टारेंटूल का उपयोग करने के लिए दो दृष्टिकोण हैं। पहला यह है कि माइक्रोसैस सर्विस स्तर पर सभी कैश का निर्माण किया जाए । जैसा कि मैं इसे समझता हूं, VimpelCom इस पथ का अनुसरण करता है, क्लाइंट कैश बनाता है।

हम विक्रेताओं पर कम निर्भर हैं, हम बीएसएस के कोर को बदल रहे हैं, इसलिए हमारे पास बॉक्स से बाहर एक एकल ग्राहक कार्ड सूचकांक है। लेकिन हम इसे कढ़ाई करना चाहते हैं। इसलिए, हम थोड़ा अलग दृष्टिकोण का उपयोग करते हैं - हम सिस्टम के अंदर कैश बनाते हैं ।

तो एक rassynchron से कम है - एक प्रणाली दोनों कैश के लिए, और मुख्य मास्टर स्रोत के लिए जिम्मेदार है।

टारेंटूल ट्रांजेक्शनल कंकाल दृष्टिकोण के साथ विधि अच्छी तरह से फिट होती है, जब केवल कुछ भाग जो अपडेट से संबंधित होते हैं, अर्थात् डेटा परिवर्तन, अपडेट किए जाते हैं। बाकी सब कुछ कहीं और संग्रहीत किया जा सकता है। कोई विशाल डेटा झील नहीं है, मानव रहित वैश्विक कैश। कैश सिस्टम के लिए डिज़ाइन किए जाते हैं, या तो उत्पादों के लिए, या ग्राहकों के लिए, या सेवा के लिए जीवन को आसान बनाने के लिए। जब कोई ग्राहक गुणवत्ता से परेशान होता है, तो मैं गुणात्मक रूप से उसकी सेवा करना चाहता हूं।

आरटीओ और आरपीओ

आईटी में दो पद होते हैं - आरटीओ और आरपीओ ।

पुनर्प्राप्ति समय उद्देश्य एक विफलता के बाद सेवा को पुनर्प्राप्त करने का समय है। आरटीओ = 0 का अर्थ है कि भले ही कुछ गिर गया हो, सेवा जारी है।

Rrecovery बिंदु उद्देश्य डेटा को पुनर्प्राप्त करने का समय है, हम समय की अवधि में कितना डेटा खो सकते हैं। RPO = 0 का अर्थ है कि हम डेटा नहीं खो रहे हैं।

टारनटूल चुनौती

टारनटूल के लिए समस्या को हल करने का प्रयास करते हैं।

यह देखते हुए : हर कोई अनुप्रयोगों की टोकरी को समझता है, उदाहरण के लिए, अमेज़ॅन या अन्य जगहों पर। टोकरी को सप्ताह में 24 घंटे, या 99.99% समय काम करना आवश्यक है। हमारे पास आने वाले ऑर्डर ऑर्डर रखने चाहिए, क्योंकि हम सब्सक्राइबर के लिए बेतरतीब ढंग से संचार को सक्षम या अक्षम नहीं कर सकते - सब कुछ सख्ती से सुसंगत होना चाहिए। पिछली सदस्यता अगले को प्रभावित करती है, इसलिए डेटा महत्वपूर्ण है - कुछ भी नहीं खोना चाहिए।

समाधान । आप इसे सिर पर हल करने की कोशिश कर सकते हैं और डेटाबेस के डेवलपर्स से पूछ सकते हैं, लेकिन समस्या गणितीय रूप से हल नहीं हुई है। कोई प्रमेय, संरक्षण कानून, क्वांटम भौतिकी को याद कर सकता है, लेकिन क्यों - इसे डीबी स्तर पर हल नहीं किया जा सकता है।

अच्छा पुराना वास्तुशिल्प दृष्टिकोण यहां काम करता है - आपको विषय क्षेत्र को अच्छी तरह से जानने की जरूरत है और इसके खर्च पर इस खंड को हल करें।



हमारा समाधान: टारेंटूल के लिए आवेदनों का एक वितरित रजिस्टर बनाएं - एक भू-वितरित क्लस्टर । आरेख में, ये तीन अलग-अलग डेटा केंद्र हैं - दो Urals, एक Urals से परे, और हम इन केंद्रों को सभी एप्लिकेशन वितरित करते हैं।

नेटफ्लिक्स, जिसे अब आईटी में नेताओं में से एक माना जाता है, के पास 2012 तक केवल एक डेटा सेंटर था। 24 दिसंबर को कैथोलिक क्रिसमस की पूर्व संध्या पर, यह डेटा सेंटर नीचे चला गया। कनाडा और संयुक्त राज्य अमेरिका के उपयोगकर्ताओं को उनकी पसंदीदा फिल्मों के बिना छोड़ दिया गया, बहुत परेशान थे और सामाजिक नेटवर्क में इस बारे में लिखा था। अब नेटफ्लिक्स के पश्चिम-पूर्वी तट पर तीन डेटा सेंटर हैं और एक पश्चिमी यूरोप में है।

हम शुरू में एक भू-वितरित समाधान का निर्माण करते हैं - दोष सहिष्णुता हमारे लिए महत्वपूर्ण है।

तो, हमारे पास एक क्लस्टर है, लेकिन RPO = 0 और RTO = 0 के बारे में क्या? समाधान सरल है, जो विषय पर निर्भर करता है।

अनुप्रयोगों में क्या महत्वपूर्ण है? दो भागों: एक खरीद निर्णय लेने से पहले टोकरी फेंकना, और बाद में । टेलिकॉम में डीओ के एक हिस्से को आमतौर पर ऑर्डर कैप्चरिंग या ऑर्डर वार्ता कहा जाता है। टेलीकॉम में, यह ऑनलाइन स्टोर की तुलना में बहुत अधिक जटिल हो सकता है, क्योंकि वहां आपको क्लाइंट की सेवा करने, 5 विकल्प पेश करने की आवश्यकता होती है, और यह सब कुछ समय के लिए होता है, लेकिन टोकरी भरी हुई है। इस बिंदु पर, एक विफलता संभव है, लेकिन यह डरावना नहीं है, क्योंकि यह किसी व्यक्ति की देखरेख में इंटरैक्टिव मोड में होता है।

यदि मॉस्को डेटा सेंटर अचानक विफल हो जाता है, तो स्वचालित रूप से दूसरे डेटा सेंटर पर स्विच करना, हम काम करना जारी रखेंगे। सैद्धांतिक रूप से, टोकरी में एक उत्पाद खो सकता है, लेकिन आप इसे देखते हैं, फिर से टोकरी को पूरक करते हैं और काम करना जारी रखते हैं। इस मामले में, आरटीओ = 0।

उसी क्षण, एक दूसरा विकल्प होता है: जब हमने "सबमिट" पर क्लिक किया, तो हम चाहते हैं कि डेटा खो न जाए। इस क्षण से, स्वचालन काम करना शुरू कर देता है - यह पहले से ही आरपीओ = 0. है। एक मामले में इन दो अलग-अलग पैटर्नों के आवेदन में एक स्वाइप मास्टर के साथ सिर्फ एक भू-वितरित क्लस्टर हो सकता है, दूसरे मामले में किसी प्रकार का कोरम प्रवेश। पैटर्न भिन्न हो सकते हैं, लेकिन हम समस्या को हल करते हैं।

इसके अलावा, आवेदनों के एक वितरित रजिस्टर होने से, हम सभी को भी भेज सकते हैं - ऐसे कई डिस्पैचर और ठेकेदार हैं जो इस रजिस्ट्री का उपयोग करते हैं।

कैसंड्रा और टारेंटूल एक साथ

एक और मामला है - "संतुलन का प्रदर्शन । " कैसंड्रा और टारेंटूल के संयुक्त उपयोग का एक दिलचस्प मामला यहाँ है।

हम कैसेंड्रा का उपयोग करते हैं, क्योंकि प्रति दिन 2 बिलियन कॉल सीमा नहीं है, और अधिक होगा। बाज़ार के लोग स्रोत के आधार पर ट्रैफ़िक को चित्रित करना पसंद करते हैं, उदाहरण के लिए, सोशल नेटवर्क पर अधिक से अधिक विवरण हैं। यह सब कहानी को बढ़ाता है।

कैसेंड्रा आपको क्षैतिज रूप से किसी भी मात्रा में स्केल करने की अनुमति देता है।

हम कैसंड्रा के साथ सहज महसूस करते हैं, लेकिन उसकी एक समस्या है - वह पढ़ने में अच्छा नहीं है। , 30 000 — .

, : , - , Cassandra. , IBM manager file transfer — , , UDP, , TCP. , , , - , — .

, . Kafka Tarantool, , , , , , , 100 2 .

, 2 , , .

निष्कर्ष

Tarantool. Mail.ru, .

BCG McKinsey, Accenture IBM - — , , , , . , Tarantool . .

— Tarantool Conference , 17 T+ Conference 2019 « Tarantool Enterprise» . « Tarantool Oracle» . , , . — , . : , Tarantool, , , .