👨🏿‍🔬 🧟 🤦🏼 टारेंटूल डेटा ग्रिड आर्किटेक्चर और फीचर्स ↩️ 👍🏽 😞

2017 में, हमने अल्फा बैंक के निवेश व्यवसाय के लेनदेन कोर के विकास के लिए प्रतियोगिता जीती और काम करना शुरू कर दिया (हाईलेड ++ 2018 में , व्लादिमीर ड्रिन्किन, अल्फा बैंक के निवेश व्यवसाय के प्रमुख के रूप में, निवेश व्यवसाय के मूल पर एक रिपोर्ट प्रस्तुत की)। यह प्रणाली विभिन्न स्वरूपों में विभिन्न स्रोतों से लेनदेन डेटा एकत्र करने के लिए थी, डेटा को एक एकीकृत रूप में लाएं, इसे सहेजें और उन्हें एक्सेस प्रदान करें।

विकास की प्रक्रिया में, प्रणाली विकसित हुई और कार्यात्मक बन गई, और कुछ बिंदु पर हमने महसूस किया कि हम कार्यों के कड़ाई से परिभाषित सीमा को हल करने के लिए डिज़ाइन किए गए एप्लिकेशन सॉफ़्टवेयर की तुलना में कुछ अधिक क्रिस्टलीकरण कर रहे थे: हमें वितरित अनुप्रयोगों के निर्माण के लिए एक प्रणाली मिली लगातार भंडारण । हमारे अनुभव ने एक नए उत्पाद का आधार बनाया - टारनटूल डेटा ग्रिड ( टीडीजी )।

मैं टीडीजी वास्तुकला और उन समाधानों के बारे में बात करना चाहता हूं जो हम विकास की प्रक्रिया के दौरान आए थे, आपको बुनियादी कार्यक्षमता से परिचित कराते हैं और बताते हैं कि कैसे हमारा उत्पाद पूर्ण समाधान बनाने का आधार बन सकता है।

वास्तुकला में, हमने सिस्टम को अलग-अलग भूमिकाओं में विभाजित किया है, जिनमें से प्रत्येक एक निश्चित श्रेणी के कार्यों को हल करने के लिए जिम्मेदार है। एक अनुप्रयोग का एक चल उदाहरण एक या अधिक प्रकार की भूमिकाओं को लागू करता है। एक क्लस्टर में एक ही प्रकार की कई भूमिकाएँ हो सकती हैं:

योजक

कनेक्टर बाहरी दुनिया के साथ संचार के लिए जिम्मेदार है; इसका कार्य अनुरोध को स्वीकार करना है, इसे पार्स करना है, और यदि यह सफल हो जाता है, तो इनपुट प्रोसेसर पर प्रसंस्करण के लिए डेटा भेजें। हम HTTP, SOAP, Kafka, FIX स्वरूपों का समर्थन करते हैं। वास्तुकला आपको नए प्रारूपों के लिए समर्थन जोड़ने की अनुमति देता है, आईबीएम एमक्यू समर्थन जल्द ही आ रहा है। यदि अनुरोध पार्स करने में विफल रहा, तो कनेक्टर एक त्रुटि लौटाएगा; अन्यथा, वह जवाब देगा कि अनुरोध को सफलतापूर्वक संसाधित किया गया था, भले ही इसके आगे की प्रक्रिया के दौरान कोई त्रुटि हुई हो। यह उद्देश्य से किया जाता है, सिस्टम के साथ काम करने के लिए जो अनुरोधों को दोहराना नहीं जानता - या इसके विपरीत, इसे बहुत आक्रामक तरीके से करें। डेटा नहीं खोने के लिए, एक मरम्मत कतार का उपयोग किया जाता है: ऑब्जेक्ट पहले इसमें प्रवेश करता है और इसके बाद ही सफल प्रसंस्करण को हटा दिया जाता है। व्यवस्थापक मरम्मत कतार में शेष वस्तुओं के बारे में सूचनाएं प्राप्त कर सकता है, और सॉफ़्टवेयर त्रुटि या हार्डवेयर विफलता को समाप्त करने के बाद, फिर से प्रयास करें।

इनपुट प्रोसेसर

इनपुट प्रोसेसर प्राप्त आंकड़ों को विशेषता द्वारा वर्गीकृत करता है और उपयुक्त हैंडलर कहता है। हैंडलर लुआ कोड है जो सैंडबॉक्स में चलता है, इसलिए वे सिस्टम के कामकाज को प्रभावित नहीं कर सकते हैं। इस स्तर पर, डेटा को वांछित रूप में कम किया जा सकता है, और यदि आवश्यक हो, तो मनमानी संख्या में कार्य चलाएं जो आवश्यक तर्क को लागू कर सकते हैं। उदाहरण के लिए, टारेंटूल डेटा ग्रिड पर निर्मित एमडीएम (मास्टर डेटा मैनेजमेंट) उत्पाद में, जब एक नया उपयोगकर्ता जोड़ते हैं, तो हम अनुरोध के प्रसंस्करण को धीमा नहीं करने के लिए एक अलग कार्य चलाते हैं। सैंडबॉक्स डेटा को पढ़ने, बदलने और जोड़ने के लिए अनुरोधों का समर्थन करता है; यह आपको सभी भूमिकाओं पर कुछ कार्य करने की अनुमति देता है जैसे कि भंडारण और परिणाम (नक्शा / कम) को एकत्र करना।

हैंडलर्स को फाइलों में वर्णित किया जा सकता है:

sum.lua local x, y = unpack(...) return x + y

और फिर, विन्यास में घोषित:

 functions: sum: { __file: sum.lua }

क्यों लुआ? लुआ एक बहुत ही सरल भाषा है। हमारे अनुभव के आधार पर, उनसे मिलने के कुछ घंटों बाद, लोग कोड लिखना शुरू करते हैं जो उनकी समस्या को हल करता है। और ये न केवल पेशेवर डेवलपर्स हैं, बल्कि उदाहरण के लिए, विश्लेषकों। इसके अलावा, जेट कंपाइलर के लिए धन्यवाद, लुआ बहुत तेज है।

भंडारण

भंडारण लगातार डेटा संग्रहीत करता है। सहेजने से पहले, डेटा स्कीमा के अनुपालन के लिए डेटा को मान्य किया गया है। योजना का वर्णन करने के लिए, हम विस्तारित Apache Avro प्रारूप का उपयोग करते हैं। एक उदाहरण:

 { "name": "User", "type": "record", "logicalType": "Aggregate", "fields": [ { "name": "id", "type": "string"}, {"name": "first_name", "type": "string"}, {"name": "last_name", "type": "string"} ], "indexes": ["id"] }

इस विवरण के आधार पर, टारेंटयुला डीबीएमएस के लिए डीडीएल (डेटा डेफिनिशन लैंग्वेज) और डेटा एक्सेस के लिए ग्राफकाइ स्कीमा स्वचालित रूप से उत्पन्न होते हैं।

एसिंक्रोनस डेटा प्रतिकृति समर्थित है (सिंक्रोनस जोड़ने की योजना)।

आउटपुट प्रोसेसर

कभी-कभी बाहरी उपभोक्ताओं को नए डेटा के आगमन के बारे में सूचित करना आवश्यक होता है, इसके लिए आउटपुट प्रोसेसर की भूमिका होती है। डेटा को सहेजने के बाद, उन्हें उपयुक्त हैंडलर में स्थानांतरित किया जा सकता है (उदाहरण के लिए, उन्हें उस रूप में लाने के लिए जिसे उपभोक्ता की आवश्यकता होती है) - और फिर भेजने के लिए कनेक्टर में स्थानांतरित कर दिया जाता है। मरम्मत कतार का उपयोग यहां भी किया जाता है: यदि किसी ने वस्तु को स्वीकार नहीं किया है, तो व्यवस्थापक बाद में फिर से कोशिश कर सकता है।

स्केलिंग

कनेक्टर, इनपुट प्रोसेसर और आउटपुट प्रोसेसर की भूमिकाएं स्टेटलेस हैं, जो हमें सिस्टम को क्षैतिज रूप से स्केल करने की अनुमति देता है, बस वांछित प्रकार की शामिल भूमिका के साथ आवेदन के नए उदाहरणों को जोड़ रहा है। क्षैतिज संग्रहण स्केलिंग के लिए, वर्चुअल बकेट का उपयोग करने वाले क्लस्टर संगठन के लिए एक दृष्टिकोण का उपयोग किया जाता है। एक नया सर्वर जोड़ने के बाद, पृष्ठभूमि में पुराने सर्वर से बाल्टी का हिस्सा नए सर्वर में चला जाता है; यह उपयोगकर्ताओं के लिए पारदर्शी रूप से होता है और पूरे सिस्टम के संचालन को प्रभावित नहीं करता है।

डेटा गुण

ऑब्जेक्ट बहुत बड़े हो सकते हैं और अन्य ऑब्जेक्ट शामिल हो सकते हैं। हम डेटा को जोड़ने और अद्यतन करने की परमाणुता सुनिश्चित करते हैं, एक आभासी बाल्टी पर सभी निर्भरताओं के साथ वस्तु को बचाते हैं। यह कई भौतिक सर्वरों में ऑब्जेक्ट के "स्मीयरिंग" को समाप्त करता है।

वर्जनिंग समर्थित है: ऑब्जेक्ट का प्रत्येक अपडेट एक नया संस्करण बनाता है, और हम हमेशा एक समय स्लाइस बना सकते हैं और देख सकते हैं कि दुनिया फिर कैसी दिखती है। ऐसे डेटा के लिए जिन्हें लंबे इतिहास की आवश्यकता नहीं है, हम संस्करणों की संख्या को सीमित कर सकते हैं या यहां तक कि केवल एक स्टोर कर सकते हैं - अंतिम - अर्थात्, एक निश्चित प्रकार के लिए वास्तव में संस्करण को अक्षम करें। आप समय के अनुसार इतिहास को भी सीमित कर सकते हैं: उदाहरण के लिए, 1 वर्ष से पुराने एक निश्चित प्रकार की सभी वस्तुओं को हटा दें। संग्रह का भी समर्थन किया जाता है: हम निर्दिष्ट समय से अधिक पुरानी वस्तुओं को अनलोड कर सकते हैं, क्लस्टर में जगह खाली कर सकते हैं।

कार्य

दिलचस्प कार्यों में से, यह उपयोगकर्ता के अनुरोध पर, या सैंडबॉक्स से प्रोग्रामेटिक रूप से कार्यों को चलाने की क्षमता को ध्यान देने योग्य है:

यहाँ हम एक और भूमिका - रनर देखते हैं। इस भूमिका की कोई स्थिति नहीं है, और यदि आवश्यक हो, तो इस भूमिका के साथ अतिरिक्त एप्लिकेशन इंस्टेंसेस को क्लस्टर में जोड़ा जा सकता है। रनर की जिम्मेदारी कार्यों को पूरा करना है। जैसा कि कहा गया है, सैंडबॉक्स से नए कार्यों का निर्माण संभव है; वे भंडारण पर पंक्तिबद्ध हैं और फिर धावक पर चलते हैं। इस तरह के कार्य को जॉब कहा जाता है। हमारे पास टास्क नामक एक प्रकार का कार्य भी है - ये उपयोगकर्ता द्वारा परिभाषित कार्य हैं जो चलाने के लिए निर्धारित हैं (क्रोन सिंटैक्स का उपयोग करके) या मांग पर। ऐसे कार्यों को चलाने और ट्रैक करने के लिए, हमारे पास एक सुविधाजनक कार्य प्रबंधक है। इस कार्यक्षमता के उपलब्ध होने के लिए, आपको शेड्यूलर की भूमिका को सक्षम करना होगा; इस भूमिका की एक स्थिति है, इसलिए यह पैमाने नहीं है, जो, हालांकि, आवश्यक नहीं है; हालांकि, वह, अन्य सभी भूमिकाओं की तरह, एक प्रतिकृति हो सकती है जो काम करना शुरू कर देती है यदि मास्टर अचानक मना कर देता है।

लकड़हारा

एक अन्य भूमिका को लकड़हारा कहा जाता है। यह सभी क्लस्टर सदस्यों से लॉग एकत्र करता है और उन्हें वेब इंटरफेस के माध्यम से अपलोड करने और देखने के लिए एक इंटरफेस प्रदान करता है।

सेवाएं

यह उल्लेखनीय है कि सिस्टम सेवाओं को बनाने में आसान बनाता है। कॉन्फ़िगरेशन फ़ाइल में, आप निर्दिष्ट कर सकते हैं कि सैंडबॉक्स में चल रहे उपयोगकर्ता-लिखित हैंडलर को कौन से अनुरोध भेजे जाने चाहिए। इस हैंडलर में, आप, उदाहरण के लिए, किसी प्रकार की विश्लेषणात्मक क्वेरी निष्पादित कर सकते हैं और परिणाम वापस कर सकते हैं।

सेवा कॉन्फ़िगरेशन फ़ाइल में वर्णित है:

 services: sum: doc: "adds two numbers" function: sum return_type: int args: x: int y: int

GraphQL एपीआई स्वतः उत्पन्न होता है और सेवा कॉलिंग के लिए उपलब्ध हो जाती है:

 query { sum(x: 1, y: 2) }

यह sum हैंडलर कहेगा, जो परिणाम लौटाएगा:

क्वेरी रूपरेखा और मैट्रिक्स

सिस्टम और क्वेरी प्रोफाइलिंग को समझने के लिए, हमने OpenTracing प्रोटोकॉल के लिए समर्थन लागू किया। सिस्टम मांग पर, इस प्रोटोकॉल का समर्थन करने वाले टूल को जानकारी भेज सकता है, उदाहरण के लिए, जिपकिन, जो आपको यह समझने की अनुमति देगा कि अनुरोध कैसे निष्पादित किया गया था:

स्वाभाविक रूप से, सिस्टम आंतरिक मैट्रिक्स प्रदान करता है जिसे प्रोमेथियस का उपयोग करके एकत्र किया जा सकता है और ग्राफाना का उपयोग करके कल्पना की जा सकती है।

तैनाती

टारनटूल डेटा ग्रिड को आरपीएम पैकेज या आर्काइव से तैनात किया जा सकता है, डिलीवरी या अंसिबल से उपयोगिता का उपयोग करते हुए, कुबेरनेट्स ( टारेंटूल कुबेरनेट्स ऑपरेटर ) के लिए भी समर्थन है।

एक एप्लिकेशन जो व्यावसायिक तर्क (कॉन्फ़िगरेशन, हैंडलर) को लागू करता है, उसे टारेंटूल डेटा ग्रिड क्लस्टर में यूआई के माध्यम से संग्रह या हमारे द्वारा प्रदान की गई एपीआई के माध्यम से एक स्क्रिप्ट का उपयोग करके लोड किया जाता है।

आवेदन उदाहरण

मैं टारेंटूल डेटा ग्रिड के साथ कौन से एप्लिकेशन बना सकता हूं? वास्तव में, अधिकांश व्यावसायिक कार्य किसी तरह से डेटा स्ट्रीम को संसाधित करने, भंडारण करने और उस तक पहुंचने से संबंधित हैं। इसलिए, यदि आपके पास डेटा की बड़ी धाराएं हैं जिन्हें सुरक्षित रूप से संग्रहीत करने और उन तक पहुंच की आवश्यकता है, तो हमारा उत्पाद आपको विकास में बहुत समय बचा सकता है और आपके व्यावसायिक तर्क पर ध्यान केंद्रित कर सकता है।

उदाहरण के लिए, हम बाद में क्रम में अचल संपत्ति बाजार के बारे में जानकारी एकत्र करना चाहते हैं, उदाहरण के लिए, सबसे अच्छे सौदों के बारे में जानकारी है। इस मामले में, हम निम्नलिखित कार्यों को अलग करते हैं:

खुले स्रोतों से जानकारी एकत्र करने वाले रोबोट - ये हमारे डेटा स्रोत होंगे। आप तैयार समाधानों का उपयोग करके या किसी भी भाषा में कोड लिखकर इस समस्या को हल कर सकते हैं।
इसके बाद, टारेंटूल डेटा ग्रिड डेटा को स्वीकार और सहेजेगा। यदि विभिन्न स्रोतों से डेटा का प्रारूप अलग है, तो आप Lua भाषा में कोड लिख सकते हैं, जो एकल प्रारूप में रूपांतरण को जन्म देगा। पूर्व-प्रसंस्करण चरण में, आप उदाहरण के लिए, डेटाबेस में बाज़ार में काम करने वाले एजेंटों पर पुनरावर्ती ऑफ़र या अतिरिक्त अपडेट जानकारी भी फ़िल्टर कर सकते हैं।
अब आपके पास क्लस्टर में पहले से ही एक स्केलेबल समाधान है, जो डेटा से भरा जा सकता है और डेटा नमूने बना सकता है। फिर आप नई कार्यक्षमता को लागू कर सकते हैं, उदाहरण के लिए, एक ऐसी सेवा लिखें जो डेटा को क्वेरी करेगी और एक दिन में सबसे अधिक लाभदायक ऑफ़र जारी करेगी - इसके लिए कॉन्फ़िगरेशन फ़ाइल में कुछ लाइनों और लूआ कोड की आवश्यकता होगी।

आगे क्या है?

हमारी प्राथमिकता टारनटूल डेटा ग्रिड के साथ विकास की सुविधा को बढ़ाना है। उदाहरण के लिए, यह एक आईडीई है जो प्रोफाइलिंग और डिबगिंग सैंडबॉक्स वाले हैंडलर के समर्थन के साथ है।

हम सुरक्षा मुद्दों पर भी बहुत ध्यान देते हैं। अभी हम सुरक्षा के उच्च स्तर की पुष्टि करने और व्यक्तिगत डेटा सूचना प्रणाली और राज्य सूचना प्रणाली में उपयोग किए जाने वाले सॉफ़्टवेयर उत्पादों के प्रमाणन के लिए आवश्यकताओं को पूरा करने के लिए FSTEC रूस प्रमाणीकरण पारित कर रहे हैं।

टारेंटूल डेटा ग्रिड आर्किटेक्चर और फीचर्स