टारेंटूल डेटा ग्रिड: आर्किटेक्चर और फीचर्स

2017 में, हमने अल्फा-बैंक के निवेश व्यवसाय के लिए लेनदेन कोर के विकास के लिए प्रतियोगिता जीती और एक ही बार में काम करना शुरू कर दिया। (व्लादिमीर ड्रिन्किन, अल्फ़ा-बैंक के इन्वेस्टमेंट बिज़नेस ट्रांज़ैक्शन कोर के लिए डेवलपमेंट टीम लीड, ने हाईलाड ++ 2018 में इन्वेस्टमेंट बिज़नेस कोर के बारे में बात की ।) इस प्रणाली को विभिन्न स्रोतों से विभिन्न स्वरूपों में लेनदेन डेटा को एकत्रित करना था, डेटा को एकजुट करना, इसे सहेजना, और उस तक पहुंच प्रदान करें।

विकास की प्रक्रिया में, प्रणाली विकसित हुई और अपने कार्यों को बढ़ाया। कुछ बिंदु पर, हमने महसूस किया कि हमने कार्यों के एक अच्छी तरह से परिभाषित दायरे के लिए डिज़ाइन किए गए सिर्फ एप्लिकेशन सॉफ़्टवेयर की तुलना में कुछ अधिक बनाया है: हमने लगातार भंडारण के साथ वितरित अनुप्रयोगों के निर्माण के लिए एक प्रणाली बनाई। हमारा अनुभव नए उत्पाद, टारनटूल डेटा ग्रिड (TDG) के लिए एक आधार के रूप में कार्य किया।

मैं टीडीजी वास्तुकला और उन समाधानों के बारे में बात करना चाहता हूं जो हमने विकास के दौरान काम किए थे। मैं बुनियादी कार्यों को पेश करूंगा और बताऊंगा कि टर्नकी समाधानों के निर्माण के लिए हमारा उत्पाद कैसे आधार बन सकता है।

वास्तुकला के संदर्भ में, हमने सिस्टम को अलग-अलग भूमिकाओं में विभाजित किया। उनमें से प्रत्येक एक विशिष्ट श्रेणी के कार्यों के लिए जिम्मेदार है। एक अनुप्रयोग का एक चल उदाहरण एक या अधिक भूमिका प्रकारों को कार्यान्वित करता है। क्लस्टर में एक ही प्रकार की कई भूमिकाएँ हो सकती हैं:

योजक

बाहरी दुनिया के साथ संचार के लिए कनेक्टर जिम्मेदार है; यह अनुरोध को स्वीकार करने, इसे पार्स करने के लिए डिज़ाइन किया गया है, और यदि यह सफल होता है, तो यह इनपुट प्रोसेसर पर प्रसंस्करण के लिए डेटा भेजता है। निम्नलिखित प्रारूप समर्थित हैं: HTTP, SOAP, Kafka, FIX। वास्तुकला हमें नए स्वरूपों के लिए समर्थन जोड़ने की अनुमति देता है (आईबीएम एमक्यू समर्थन जल्द ही आ रहा है)। यदि अनुरोध पार्सिंग विफल हो जाता है, तो कनेक्टर एक त्रुटि देता है। अन्यथा, यह जवाब देता है कि अनुरोध को सफलतापूर्वक संसाधित किया गया है, भले ही आगे की प्रक्रिया के दौरान कोई त्रुटि हुई हो। यह उन उद्देश्यों के साथ काम करने के उद्देश्य से किया जाता है जो अनुरोधों को दोहराना नहीं जानते हैं, या इसके विपरीत, इसे बहुत आक्रामक तरीके से करते हैं। यह सुनिश्चित करने के लिए कि कोई डेटा खो नहीं गया है, मरम्मत कतार का उपयोग किया जाता है: ऑब्जेक्ट कतार में शामिल होता है और सफल प्रसंस्करण के बाद ही इसे हटा दिया जाता है। व्यवस्थापक मरम्मत कतार में शेष वस्तुओं के बारे में सूचनाएं प्राप्त करता है और एक सॉफ्टवेयर त्रुटि या हार्डवेयर विफलता को संभालने के बाद प्रसंस्करण पुन: प्रयास कर सकता है।

इनपुट प्रोसेसर

इनपुट प्रोसेसर विशेषताओं द्वारा प्राप्त डेटा को वर्गीकृत करता है और संबंधित हैंडलर को कॉल करता है। हैंडलर लुआ कोड है जो सैंडबॉक्स में चलता है, इसलिए वे सिस्टम ऑपरेशन को प्रभावित नहीं कर सकते हैं। इस स्तर पर, डेटा को आवश्यकतानुसार रूपांतरित किया जा सकता है, और यदि आवश्यक हो, तो आवश्यक तर्क को लागू करने के लिए किसी भी संख्या में कार्य चल सकते हैं। उदाहरण के लिए, जब एमडीएम (टारनटूल डेटा ग्रिड पर आधारित मास्टर डेटा मैनेजमेंट) में एक नया उपयोगकर्ता जोड़ते हैं, तो एक सुनहरा रिकॉर्ड एक अलग कार्य के रूप में बनाया जाएगा ताकि अनुरोध प्रसंस्करण धीमा न हो। सैंडबॉक्स डेटा को पढ़ने, बदलने और जोड़ने के अनुरोधों का समर्थन करता है। यह आपको स्टोरेज प्रकार की सभी भूमिकाओं के लिए कुछ फ़ंक्शन को कॉल करने और परिणाम (नक्शा / कम) को एकत्र करने की अनुमति देता है।

हैंडलर्स को फाइलों में वर्णित किया जा सकता है:

sum.lua local x, y = unpack(...) return x + y 

फिर विन्यास में घोषित:

 functions: sum: { __file: sum.lua } 

क्यों लुआ? लुआ एक सीधी भाषा है। हमारे अनुभव के आधार पर, लोग कोड लिखना शुरू करते हैं जो पहली बार भाषा को देखने के कुछ घंटों बाद ही उनकी समस्या को हल कर देगा। और ये न केवल पेशेवर डेवलपर्स हैं, बल्कि उदाहरण के लिए, विश्लेषकों। इसके अलावा, जेआईटी संकलक के लिए धन्यवाद, लुआ sppedy है।

भंडारण

स्टोरेज लगातार डेटा संग्रहीत करता है। बचत करने से पहले डेटा को स्कीम के अनुपालन के लिए मान्य किया जाता है। योजना का वर्णन करने के लिए, हम विस्तारित Apache Avro प्रारूप का उपयोग करते हैं। उदाहरण:

 { "name": "User", "type": "record", "logicalType": "Aggregate", "fields": [ { "name": "id", "type": "string" }, { "name": "first_name", "type": "string" }, { "name": "last_name", "type": "string" } ], "indexes": ["id"] } 

इस विवरण के आधार पर, टारेंटूल डीबीएमएस के लिए डीडीएल (डेटा डेफिनिशन लैंग्वेज) और डेटा एक्सेस के लिए ग्राफकाइ स्कीमा स्वचालित रूप से उत्पन्न होते हैं।

एसिंक्रोनस डेटा प्रतिकृति समर्थित है (हम सिंक्रोनस प्रतिकृति जोड़ने की योजना भी बनाते हैं)।

आउटपुट प्रोसेसर

कभी-कभी बाहरी उपभोक्ताओं को नए डेटा के बारे में सूचित करना आवश्यक होता है। यही कारण है कि हमारे पास आउटपुट प्रोसेसर की भूमिका है। डेटा को सहेजने के बाद, इसे उपयुक्त हैंडलर (उदाहरण के लिए, उपभोक्ता द्वारा आवश्यक रूपांतरित करने के लिए) में स्थानांतरित किया जा सकता है, और फिर भेजने के लिए कनेक्टर में स्थानांतरित किया जा सकता है। मरम्मत कतार का उपयोग यहां भी किया जाता है: यदि कोई वस्तु स्वीकार नहीं करता है, तो व्यवस्थापक बाद में फिर से कोशिश कर सकता है।

स्केलिंग

कनेक्टर, इनपुट प्रोसेसर और आउटपुट प्रोसेसर भूमिकाएं स्टेटलेस हैं, जो हमें आवश्यक सक्षम भूमिका के साथ केवल नए एप्लिकेशन इंस्टेंस जोड़कर सिस्टम को क्षैतिज रूप से स्केल करने की अनुमति देता है। क्षैतिज संग्रहण स्केलिंग के लिए, वर्चुअल बकेट दृष्टिकोण का उपयोग करके एक क्लस्टर का आयोजन किया जाता है। एक नया सर्वर जोड़ने के बाद, पुराने सर्वर से कुछ बाल्टी बैकग्राउंड में एक नए सर्वर में चली जाती है। यह प्रक्रिया उपयोगकर्ताओं के लिए पारदर्शी है और पूरे सिस्टम के संचालन को प्रभावित नहीं करती है।

डेटा गुण

ऑब्जेक्ट विशाल हो सकते हैं और अन्य ऑब्जेक्ट शामिल हो सकते हैं। हम एटोमिक रूप से डेटा जोड़ना और अपडेट करना सुनिश्चित करते हैं, और एक ही वर्चुअल बकेट पर सभी निर्भरता के साथ ऑब्जेक्ट को सहेजते हैं। यह कई भौतिक सर्वरों में ऑब्जेक्ट के तथाकथित "स्मियरिंग" से बचने के लिए किया जाता है।

वर्जनिंग भी समर्थित है: ऑब्जेक्ट का प्रत्येक अपडेट एक नया संस्करण बनाता है, और हम हमेशा यह देखने के लिए एक टाइम स्लाइस बना सकते हैं कि उस समय सब कुछ कैसा दिखता था। ऐसे डेटा के लिए जिन्हें लंबे इतिहास की आवश्यकता नहीं है, हम संस्करणों की संख्या को सीमित कर सकते हैं या यहां तक ​​कि केवल पिछले एक को स्टोर कर सकते हैं, अर्थात हम किसी विशिष्ट डेटा प्रकार के लिए संस्करण को अक्षम कर सकते हैं। हम ऐतिहासिक सीमाएं भी निर्धारित कर सकते हैं: उदाहरण के लिए, एक वर्ष से पुराने विशिष्ट प्रकार की सभी वस्तुओं को हटा दें। संग्रह का भी समर्थन किया जाता है: हम क्लस्टर स्थान खाली करने के लिए एक निश्चित आयु से ऊपर की वस्तुओं को अपलोड कर सकते हैं।

कार्य

ध्यान देने वाली दिलचस्प विशेषताओं में उपयोगकर्ता के अनुरोध पर या सैंडबॉक्स से स्वचालित रूप से समय पर कार्यों को चलाने की क्षमता शामिल है:


यहां हम रनर नामक एक और भूमिका देख सकते हैं। इस भूमिका की कोई अवस्था नहीं है; यदि आवश्यक हो, तो इस भूमिका के साथ अधिक अनुप्रयोग इंस्टेंसेस को क्लस्टर में जोड़ा जा सकता है। रनर कार्यों को पूरा करने के लिए जिम्मेदार है। जैसा कि मैंने पहले ही उल्लेख किया है, सैंडबॉक्स से नए कार्य बनाए जा सकते हैं; वे भंडारण पर कतार में शामिल हो जाते हैं और फिर धावक पर दौड़ते हैं। इस प्रकार के कार्यों को जॉब कहा जाता है। हमारे पास एक टास्क टाइप भी है, जिसे टास्क कहा जाता है, जो एक उपयोगकर्ता-परिभाषित कार्य है जो समय पर (क्रोन सिंटैक्स का उपयोग करके) या ऑन-डिमांड पर चलेगा। ऐसे कार्यों को चलाने और ट्रैक करने के लिए, हमारे पास एक सुविधाजनक कार्य प्रबंधक है। शेड्यूलर भूमिका को इस फ़ंक्शन का उपयोग करने के लिए सक्षम होना चाहिए। इस भूमिका की एक स्थिति है, इसलिए यह पैमाने पर नहीं है जो वैसे भी आवश्यक नहीं है। हालांकि, किसी भी अन्य भूमिका की तरह, इसकी एक प्रतिकृति हो सकती है जो मास्टर के अचानक विफल होने पर काम करना शुरू कर देती है।

लकड़हारा

एक अन्य भूमिका को लकड़हारा कहा जाता है। यह सभी क्लस्टर सदस्यों से लॉग एकत्र करता है और वेब इंटरफेस के माध्यम से उन्हें अपलोड करने और देखने के लिए एक इंटरफ़ेस प्रदान करता है।

सेवाएं

यह उल्लेखनीय है कि सिस्टम सेवाओं को बनाने में आसान बनाता है। कॉन्फ़िगरेशन फ़ाइल में, आप निर्दिष्ट कर सकते हैं कि सैंडबॉक्स में चल रहे उपयोगकर्ता-लिखित हैंडलर को कौन से अनुरोध भेजे जाने चाहिए। उदाहरण के लिए, ऐसा हैंडलर किसी प्रकार का विश्लेषणात्मक अनुरोध कर सकता है और परिणाम लौटा सकता है।
सेवा कॉन्फ़िगरेशन फ़ाइल में वर्णित है:

 services: sum: doc: "adds two numbers" function: sum return_type: int args: x: int y: int 

GraphQL एपीआई स्वचालित रूप से उत्पन्न होता है, और सेवा कॉल के लिए उपलब्ध है:

 query { sum(x: 1, y: 2) } 

यह परिणाम देने वाले sum हैंडलर को कॉल करता है:

 3 

प्रोफाइलिंग और मेट्रिक्स का अनुरोध करें

हमने सिस्टम तंत्र की बेहतर समझ लाने और प्रोफाइलिंग का अनुरोध करने के लिए OpenTracing प्रोटोकॉल के लिए समर्थन लागू किया। मांग करने पर, सिस्टम इस प्रोटोकॉल (जैसे जिप्किन) का समर्थन करने वाले उपकरणों के लिए अनुरोध कैसे निष्पादित किया गया, इस बारे में जानकारी भेज सकता है;


कहने की जरूरत नहीं है, सिस्टम आंतरिक मैट्रिक्स प्रदान करता है जिसे प्रोमेथियस का उपयोग करके एकत्र किया जा सकता है और ग्राफाना का उपयोग करके कल्पना की जा सकती है।

तैनाती

टारनटूल डेटा ग्रिड आरपीएम-पैकेज या अभिलेखागार से अंतर्निहित उपयोगिता या Ansible का उपयोग करके तैनात किया जा सकता है। कुबेरनेट्स भी समर्थित है ( टारनटूल कुबेरनेट्स ऑपरेटर )।

व्यवसाय लॉजिक (कॉन्फ़िगरेशन, हैंडलर) को लागू करने वाला एक एप्लिकेशन यूआई के माध्यम से संग्रह में प्रदान किए गए टारेंटूल डेटा ग्रिड क्लस्टर में या दी गई एपीआई का उपयोग करके स्क्रिप्ट के रूप में लोड किया जाता है।

नमूना अनुप्रयोगों

टारेंटूल डेटा ग्रिड के साथ आप कौन से एप्लिकेशन बना सकते हैं? वास्तव में, अधिकांश व्यावसायिक कार्य किसी तरह डेटा स्ट्रीम प्रोसेसिंग, स्टोरिंग और एक्सेसिंग से संबंधित होते हैं। इसलिए, यदि आपके पास बड़ी डेटा स्ट्रीम हैं जिन्हें सुरक्षित भंडारण और पहुंच की आवश्यकता होती है, तो हमारा उत्पाद आपको विकास में बहुत समय बचा सकता है और आपको अपने व्यावसायिक तर्क पर ध्यान केंद्रित करने में मदद कर सकता है।

उदाहरण के लिए, आप भविष्य में सबसे अच्छे प्रस्तावों पर रहने के लिए अचल संपत्ति बाजार के बारे में जानकारी इकट्ठा करना चाहेंगे। इस मामले में, हम निम्नलिखित कार्यों में से एक को बाहर करते हैं:

1. खुले स्रोतों से जानकारी इकट्ठा करने वाले रोबोट आपके डेटा स्रोत होंगे। आप तैयार समाधानों का उपयोग करके या किसी भी भाषा में कोड लिखकर इस समस्या को हल कर सकते हैं।
2. अगला, टारनटूल डेटा ग्रिड डेटा को स्वीकार करता है और बचाता है। यदि विभिन्न स्रोतों से डेटा प्रारूप अलग है, तो आप Lua में कोड लिख सकते हैं जो सब कुछ को एकल प्रारूप में बदल देगा। पूर्व-प्रसंस्करण चरण में, आप भी, उदाहरण के लिए, पुनरावर्ती ऑफ़र फ़िल्टर कर सकते हैं या बाज़ार में सक्रिय एजेंटों के बारे में डेटाबेस की जानकारी को अपडेट कर सकते हैं।
3. अब आपके पास पहले से ही क्लस्टर में एक मापनीय समाधान है जो डेटा से भरा जा सकता है और डेटा नमूने बनाने के लिए उपयोग किया जा सकता है। फिर आप नए कार्यों को लागू कर सकते हैं, उदाहरण के लिए, एक सेवा लिखें जो डेटा अनुरोध बनाएगा और प्रति दिन सबसे लाभप्रद प्रस्ताव लौटाएगा। यह केवल विन्यास फाइल और कुछ Lua कोड में कई लाइनों की आवश्यकता होगी।

आगे क्या है?

हमारे लिए, एक प्राथमिकता टारेंटूल डेटा ग्रिड के साथ विकास की सुविधा को बढ़ाना है । (उदाहरण के लिए, यह प्रोफाइलिंग और डीबगिंग हैंडलर के समर्थन के लिए एक आईडीई है जो सैंडबॉक्स में काम करता है।)

हम सुरक्षा मुद्दों पर भी बहुत ध्यान देते हैं। अभी, हमारे उत्पाद को रूस के FSTEC (टेक्नोलॉजी एंड एक्सपोर्ट कंट्रोल के लिए फेडरल सर्विस) द्वारा उच्च स्तर की सुरक्षा को स्वीकार करने और व्यक्तिगत डेटा सूचना प्रणाली और संघीय सूचना प्रणाली में उपयोग किए जाने वाले सॉफ़्टवेयर उत्पादों के लिए प्रमाणन आवश्यकताओं को पूरा करने के लिए प्रमाणित किया जा रहा है।