👶 🏂🏼 📦 और हमारे लिए सब कुछ "ईमानदार" है

नमस्ते! मेरा नाम सर्गेई है, मैं सरबेतख में मुख्य अभियंता के रूप में काम करता हूं। मैं लगभग 10 वर्षों के लिए आईटी क्षेत्र में रहा हूं, जिनमें से 6 डेटाबेस, ईटीएल प्रक्रियाओं, डीडब्ल्यूएच और डेटा से संबंधित सब कुछ में लगे हुए हैं। इस लेख में मैं वर्टिका के बारे में बात करूंगा - एक विश्लेषणात्मक और सही मायने में स्तंभ डीबीएमएस जो कुशलता से संपीड़ित करता है, संग्रहीत करता है, जल्दी से डेटा बचाता है और एक बड़े डेटा समाधान के रूप में महान है।

सामान्य जानकारी

2000 के दशक में बड़े डेटा का विकास शुरू हुआ, और ऐसे इंजनों की आवश्यकता थी जो यह सब पचा सकें। इसके जवाब में, इस उद्देश्य के लिए इच्छित कई स्तंभ डीबीएमएस प्रकट हुए - जिसमें वर्टिका भी शामिल है।

वर्टिका न केवल स्तंभों में अपने डेटा को संग्रहीत करता है, यह तर्कसंगत रूप से करता है, उच्च स्तर के संपीड़न के साथ, यह कुशलतापूर्वक प्रश्नों को भी शेड्यूल करता है और जल्दी से डेटा देता है। सूचना है, जो एक क्लासिक लोअरकेस DBMS में लगभग 1 टीबी डिस्क स्थान लेता है, वर्टिका पर लगभग 200-300 जीबी लेता है, जिससे हमें डिस्क पर अच्छी बचत होती है।

वर्टिका को मूल रूप से एक कॉलम DBMS के रूप में डिजाइन किया गया था। अन्य आधार मूल रूप से विभिन्न स्तंभ तंत्रों की नकल करने की कोशिश करते हैं, लेकिन वे हमेशा सफल नहीं होते हैं क्योंकि इंजन अभी भी तार को संसाधित करने के लिए डिज़ाइन किया गया है। एक नियम के रूप में, नकल करने वाले बस तालिका को स्थानांतरित करते हैं और फिर इसे सामान्य लाइन तंत्र के साथ संसाधित करते हैं।

वर्टिका दोष सहिष्णु है, इसमें एक नियंत्रण नोड नहीं है - सभी नोड समान हैं। यदि क्लस्टर में किसी एक सर्वर के साथ समस्याएँ हैं, तो हम अभी भी डेटा प्राप्त करेंगे। बहुत बार, समय पर डेटा प्राप्त करना व्यावसायिक ग्राहकों के लिए महत्वपूर्ण होता है, विशेष रूप से ऐसे समय में जब रिपोर्टिंग बंद हो जाती है और आपको वित्तीय अधिकारियों को जानकारी प्रदान करने की आवश्यकता होती है।

आवेदन क्षेत्रों

वर्टिका मुख्य रूप से एक विश्लेषणात्मक डेटा वेयरहाउस है। आपको इसे छोटे लेनदेन में नहीं लिखना चाहिए, आपको इसे किसी भी साइट पर नहीं भेजना चाहिए, आदि। वर्टिका को एक प्रकार की बैच परत के रूप में माना जाना चाहिए, जहां बड़े पैक में डेटा को विसर्जित करने के लायक है। यदि आवश्यक हो, तो वर्टिका इस डेटा को बहुत जल्दी देने के लिए तैयार है - लाखों लाइनों के लिए प्रश्न सेकंड में पूरा हो जाते हैं।

यह कहां उपयोगी हो सकता है? उदाहरण के लिए, एक दूरसंचार कंपनी को लें। जियोनालिटिक्स, नेटवर्क डेवलपमेंट, क्वालिटी मैनेजमेंट, टार्गेट मार्केटिंग, कॉन्टैक्ट सेंटर्स से जानकारी की स्टडी, क्लाइंट आउटफ्लो को मैनेज करना और एंटी-फ्रॉड / एंटी-स्पैम सॉल्यूशंस के लिए इसमें वर्टिका का इस्तेमाल किया जा सकता है।

अन्य व्यावसायिक क्षेत्रों में, सब कुछ समान है - लाभ के लिए समय पर और विश्वसनीय विश्लेषिकी महत्वपूर्ण हैं। व्यापार में, उदाहरण के लिए, हर कोई किसी भी तरह से ग्राहकों को निजीकृत करने की कोशिश कर रहा है, इसके लिए डिस्काउंट कार्ड वितरित करें, कहां, क्या और कब खरीदा गया व्यक्ति, आदि पर डेटा एकत्र करें। इन सभी चैनलों से जानकारी के सरणियों का विश्लेषण करके, हम इसकी तुलना कर सकते हैं, मॉडल बना सकते हैं और लाभ वृद्धि के लिए निर्णय ले सकते हैं।

प्रवेश दहलीज

आज, किसी भी नियोक्ता को यह समझने की आवश्यकता है कि SQL क्या है। यदि आप एएनएसआई एसक्यूएल जानते हैं, तो आपको एक विश्वसनीय वर्टिका उपयोगकर्ता कहा जा सकता है। यदि आप पायथन और आर में मॉडल का निर्माण कर सकते हैं, तो आप केवल डेटा के "मालिश" हैं। यदि आपको लिनक्स में महारत हासिल है और आपको वर्टिका प्रशासन का बुनियादी ज्ञान है, तो आप एक प्रशासक के रूप में काम कर सकते हैं। सामान्य तौर पर, वर्टिका में प्रवेश की सीमा कम है, लेकिन, निश्चित रूप से, ऑपरेशन के दौरान एक हाथ भरकर केवल सभी बारीकियों का पता लगाया जा सकता है।

हार्डवेयर वास्तुकला

क्लस्टर-स्तरीय वर्टिका पर विचार करें। यह DBMS वितरित कंप्यूटिंग आर्किटेक्चर - "साझा-कुछ नहीं" में बड़े पैमाने पर समानांतर डेटा प्रोसेसिंग (एमपीपी) प्रदान करता है - जहां, सिद्धांत रूप में, कोई भी नोड किसी अन्य नोड के कार्यों को लेने के लिए तैयार है। मुख्य गुण:

असफलता का एक भी बिंदु नहीं है
प्रत्येक नोड स्वतंत्र और स्वतंत्र है,
संपूर्ण प्रणाली के लिए कनेक्शन का एक भी बिंदु नहीं है,
इन्फ्रास्ट्रक्चर नोड्स की नकल की जाती है,
क्लस्टर नोड्स पर डेटा स्वचालित रूप से कॉपी किया जाता है।

क्लस्टर बिना किसी समस्या के रैखिक रूप से स्केल होता है। हम बस सर्वर को एक शेल्फ में रखते हैं और उन्हें एक ग्राफिकल इंटरफ़ेस के माध्यम से जोड़ते हैं। सीरियल सर्वर के अलावा, आभासी मशीनों में तैनाती संभव है। एक्सटेंशन के साथ क्या हासिल किया जा सकता है?

नए डेटा के लिए वॉल्यूम बढ़ता है
अधिकतम कार्यभार बढ़ाएं
वैराग्य में सुधार। क्लस्टर में अधिक नोड्स, विफलता की वजह से क्लस्टर के विफल होने की संभावना कम है, और इसलिए, 24/7 उपलब्धता सुनिश्चित करने के लिए हम करीब हैं।

लेकिन विचार करने के लिए कुछ चीजें हैं। समय-समय पर, रखरखाव के लिए क्लस्टर से नोड्स को हटाया जाना चाहिए। बड़े संगठनों में एक और काफी सामान्य मामला यह है कि सर्वर वारंटी से बाहर जाते हैं और उत्पादक से किसी प्रकार के परीक्षण वातावरण में चले जाते हैं। उनके स्थान पर नए हैं जो निर्माता की वारंटी के अंतर्गत हैं। इन सभी परिचालनों के परिणामों के आधार पर, पुनर्संतुलन आवश्यक है। यह एक प्रक्रिया है जहां डेटा को नोड्स के बीच पुनर्वितरित किया जाता है - तदनुसार, कार्यभार को पुनर्वितरित किया जाता है। यह एक संसाधन-गहन प्रक्रिया है, और बड़ी मात्रा में डेटा के साथ क्लस्टर पर, यह प्रदर्शन को बहुत कम कर सकता है। इससे बचने के लिए, आपको सेवा विंडो का चयन करने की आवश्यकता है - वह समय जब लोड न्यूनतम है, जिस स्थिति में उपयोगकर्ता इसे नोटिस नहीं करेंगे।

प्रक्षेपण

वर्टिका में डेटा कैसे संग्रहीत किया जाता है, यह समझने के लिए, आपको मूल अवधारणाओं में से एक से निपटने की आवश्यकता है - प्रक्षेपण।

सूचना भंडारण की तार्किक इकाइयाँ आरेख, टेबल और विचार हैं। भौतिक इकाइयाँ अनुमान हैं। कई प्रकार के अनुमान आते हैं:

superproektsii (Superprojection),
क्वेरी-विशिष्ट अनुमान
अलग-अलग अनुमान

किसी भी तालिका को बनाते समय, एक सुपर प्रक्षेपण स्वचालित रूप से बनाया जाता है जिसमें हमारी तालिका के सभी कॉलम होते हैं। यदि आपको किसी भी नियमित प्रक्रिया को तेज करने की आवश्यकता है, तो हम एक विशेष क्वेरी-उन्मुख प्रक्षेपण बना सकते हैं, जिसमें 10 में से 3 कॉलम होंगे।

तीसरा प्रकार त्वरण के लिए भी है - कुल अनुमान । मैं उनके उपवर्गों में नहीं जाऊंगा - यह बहुत दिलचस्प नहीं है। मैं आपको तुरंत चेतावनी देना चाहता हूं कि नए अनुमान बनाने के माध्यम से क्वेरी निष्पादन के साथ लगातार अपनी समस्याओं को हल करना सार्थक नहीं है। आखिरकार, क्लस्टर धीमा होने लगेगा।

अनुमान बनाते समय, हमें यह मूल्यांकन करने की आवश्यकता है कि हमारे प्रश्नों में पर्याप्त सुपरप्रोजेक्शन हैं या नहीं। यदि हम अभी भी प्रयोग करना चाहते हैं, तो हम एक नए प्रक्षेपण को सख्ती से जोड़ते हैं। यदि समस्याएँ आती हैं, तो मूल कारण को खोजना आसान होगा। बड़ी तालिकाओं के लिए, एक खंडित प्रक्षेपण बनाएं। इसे उन खंडों में विभाजित किया जाता है जो कई नोड्स में वितरित किए जाते हैं, जो गलती सहनशीलता को बढ़ाता है और एक नोड पर लोड को कम करता है। यदि गोलियां छोटी हैं, तो गैर-खंडित अनुमानों को करना बेहतर है। वे पूरी तरह से प्रत्येक नोड में कॉपी होते हैं, और प्रदर्शन इस प्रकार बढ़ जाता है। मैं एक आरक्षण करूँगा: वर्टिका के संदर्भ में, एक "छोटी" तालिका लगभग 1 मिलियन पंक्तियाँ हैं।

दोष सहिष्णुता

वर्टिका में दोष सहिष्णुता K- सुरक्षा तंत्र का उपयोग करके कार्यान्वित की जाती है। यह विवरण के संदर्भ में काफी सरल है, लेकिन इंजन स्तर पर काम करने के मामले में जटिल है। इसे K- सेफ्टी पैरामीटर का उपयोग करके नियंत्रित किया जा सकता है - इसका मान 0, 1 या 2 हो सकता है। यह पैरामीटर सेग्मेंटेड प्रोजेक्शन डेटा की प्रतियों की संख्या निर्धारित करता है।

अनुमानों की प्रतियों को दोस्त अनुमान कहा जाता है। मैंने यैंडेक्स-अनुवादक के माध्यम से इस वाक्यांश का अनुवाद करने की कोशिश की और यह "साइडकिक प्रोजेक्शन" जैसा कुछ निकला। Google ने विकल्प और अधिक दिलचस्प पेशकश की। आमतौर पर, इन अनुमानों को उनके कार्यात्मक उद्देश्य के अनुसार भागीदार या पड़ोसी कहा जाता है। ये ऐसे अनुमान हैं जो केवल पड़ोसी नोड्स पर संग्रहीत हैं और इस प्रकार आरक्षित हैं। गैर-खंडों वाले अनुमानों में दोस्त के अनुमान नहीं होते हैं - उन्हें पूरी तरह से कॉपी किया जाता है।

यह कैसे काम करता है? पाँच मशीनों के समूह पर विचार करें। बता दें कि K- सेफ्टी 1 के बराबर है।

नोड्स को क्रमांकित किया गया है, और उनके नीचे पार्टनर अनुमान लिखे गए हैं जो उन पर संग्रहीत हैं। मान लीजिए कि हमारे पास एक नोड डिस्कनेक्ट है। क्या होगा?

नोड 1 में नोड 2 का एक अनुकूल प्रक्षेपण होता है। इसलिए, नोड 1 पर लोड बढ़ेगा, लेकिन क्लस्टर काम करना बंद नहीं करेगा। और अब यह स्थिति:

नोड 3 में नोड 4 का प्रक्षेपण होता है, और नोड 1 और 3 ओवरलोड होंगे।

हम कार्य को जटिल करते हैं। के-सुरक्षा = 2, दो आसन्न नोड्स को अक्षम करें।

यहां नोड्स 1 और 4 को अधिभारित किया जाएगा (नोड 2 में नोड 1 का प्रक्षेपण होता है, और नोड 3 में नोड 4 का प्रक्षेपण होता है)।

ऐसी स्थितियों में, सिस्टम इंजन पहचानता है कि नोड्स में से एक प्रतिक्रिया नहीं दे रहा है, और लोड पड़ोसी नोड में स्थानांतरित किया गया है। इसका उपयोग तब तक किया जाएगा जब तक कि नोड को फिर से बहाल नहीं किया जाता है। एक बार ऐसा होने के बाद, लोड और डेटा को फिर से वितरित किया जाता है। जैसे ही हम कुछ डेटा की सभी प्रतियों वाले क्लस्टर या नोड्स के आधे से अधिक खो देते हैं, क्लस्टर उठ जाता है।

तार्किक डेटा भंडारण

वर्टिका में भंडारण क्षेत्र हैं जो लेखन के लिए अनुकूलित हैं, पढ़ने के लिए अनुकूलित क्षेत्र हैं, और एक टपल मूवर तंत्र है जो डेटा को पहले से दूसरे तक प्रवाह करने की अनुमति देता है।

COPY, INSERT, UPDATE ऑपरेशन्स का उपयोग करते समय, हम WOS (राइट ऑप्टिमाइज़्ड स्टोर) में स्वचालित रूप से समाप्त हो जाते हैं, एक ऐसा क्षेत्र जहाँ डेटा केवल पढ़ने के लिए ऑप्टिमाइज़ नहीं किया जाता है और केवल तब ही सॉर्ट किया जाता है, जब सम्पीडन या अनुक्रमण के बिना संग्रहीत किया जाता है। यदि WOS क्षेत्र के लिए डेटा वॉल्यूम बहुत बड़ा है, तो अतिरिक्त प्रत्यक्ष विवरण का उपयोग करते हुए, उन्हें तुरंत ROS पर लिखा जाना चाहिए। अन्यथा, WOS भर जाएगा और हम दुर्घटनाग्रस्त हो जाएंगे।

सेटिंग्स में निर्दिष्ट समय समाप्त होने के बाद, डब्ल्यूओएस से डेटा आरओएस (रीड ऑप्टिमाइज्ड स्टोर) में प्रवाहित होता है - डिस्क स्टोरेज की एक अनुकूलित, रीड-ओरिएंटेड संरचना। आरओएस डेटा के थोक को संग्रहीत करता है, यहां इसे क्रमबद्ध और संपीड़ित किया जाता है। आरओएस डेटा को भंडारण कंटेनर में विभाजित किया गया है। कंटेनर अनुवाद ऑपरेटरों (COPY DIRECT) द्वारा बनाई गई लाइनों का एक समूह है, और इसे फ़ाइलों के एक विशिष्ट समूह में संग्रहीत किया जाता है।

भले ही डेटा कहाँ लिखा हो - WOS या ROS में - वे तुरंत उपलब्ध हैं। लेकिन WOS से पढ़ना धीमा है क्योंकि डेटा को वहां समूहीकृत नहीं किया गया है।

टपल मोवर एक सफाई उपकरण है जो दो ऑपरेशन करता है:

मूवआउट - WOS में डेटा को कंप्रेस और सॉर्ट करता है, इसे ROS में ले जाता है और ROS में उनके लिए नए कंटेनर बनाता है।
मर्जआउट - जब हम DIRECT का उपयोग करते हैं तो हमारे पीछे स्वीप करते हैं। हम हमेशा बड़े आरओएस कंटेनर प्राप्त करने के लिए इतनी जानकारी लोड करने में सक्षम नहीं हैं। इसलिए, यह समय-समय पर छोटे आरओएस कंटेनरों को बड़े लोगों में जोड़ता है, हटाए जाने के लिए चिह्नित डेटा को साफ करता है, जबकि पृष्ठभूमि में काम कर रहा है (कॉन्फ़िगरेशन में निर्दिष्ट समय के अनुसार)।

स्तंभ संग्रहण के क्या लाभ हैं?

यदि हम लाइनें पढ़ते हैं, तो, उदाहरण के लिए, एक कमांड निष्पादित करने के लिए

SELECT 1,11,15 from table1

हमें पूरी तालिका पढ़नी होगी। यह बहुत बड़ी जानकारी है। इस मामले में, कॉलम दृष्टिकोण अधिक लाभदायक है। यह आपको केवल तीन कॉलमों की गिनती करने की अनुमति देता है, जो स्मृति और समय की बचत करते हैं।

संसाधन आवंटन

समस्याओं से बचने के लिए, उपयोगकर्ता को थोड़ा सीमित करने की आवश्यकता है। हमेशा एक मौका होता है कि उपयोगकर्ता एक भारी अनुरोध लिखेगा जो सभी संसाधनों को प्रभावित करेगा। डिफ़ॉल्ट रूप से, वर्टिका सामान्य क्षेत्र के एक महत्वपूर्ण हिस्से पर कब्जा कर लेता है, और इसके अलावा, टपल मूवर, डब्ल्यूओएस और सिस्टम प्रक्रियाओं (वसूली, आदि) के लिए अलग-अलग क्षेत्रों पर प्रकाश डाला गया है।

आइए इन संसाधनों को साझा करने का प्रयास करें। हम लेखकों के लिए, पाठकों के लिए और धीमे, कम प्राथमिकता वाले प्रश्नों के लिए क्षेत्र बनाते हैं।

यदि हम सिस्टम तालिकाओं को देखते हैं जिसमें हमारे संसाधन संग्रहीत हैं - संसाधन पूल - तो हम कई पैरामीटर देखेंगे जिसके साथ आप सब कुछ ठीक से समायोजित कर सकते हैं। शुरुआत में, आपको इस पर ध्यान नहीं देना चाहिए, केवल कुछ कार्यों के लिए स्मृति को काटने के लिए खुद को सीमित करना बेहतर है। जब आप अनुभव प्राप्त करते हैं और 100% सुनिश्चित होते हैं कि आप सब कुछ सही ढंग से कर रहे हैं, तो प्रयोग करना संभव होगा।

पतली सेटिंग्स में निष्पादन प्राथमिकता, प्रतिस्पर्धी सत्र और आवंटित मेमोरी की मात्रा शामिल है। और यहां तक कि प्रोसेसर के साथ भी हम कुछ ठीक कर सकते हैं। इन सेटिंग्स के साथ काम करने के लिए, आपको अपने कार्यों की शुद्धता पर पूर्ण विश्वास की आवश्यकता है, इसलिए व्यवसाय के समर्थन को सूचीबद्ध करना और गलती करने का अधिकार रखना बेहतर है।

नीचे एक अनुरोध का एक उदाहरण है जिसके द्वारा आप सामान्य पूल की सेटिंग देख सकते हैं:

dbadmin => select * FROM resource_pools WHERE NAME = 'general';

-[ RECORD 1 ]------------+---------------
pool_id | 45035996273721212
name | general
is_internal | t
memorysize |
maxmemorysize | 30G
executionparallelism | AUTO
priority | 0
runtimepriority | MEDIUM
runtimeprioritythreshold | 2
queuetimeout | 0:05
plannedconcurrency | 10
maxconcurrency | 20
runtimecap |
singleinitiator | f
cpuaffinityset |
cpuaffinitymode | ANY
cascadeto |

ANSI SQL और अन्य सुविधाएँ

वर्टिका आपको SQL-99 में लिखने की अनुमति देता है - सभी कार्यक्षमता समर्थित है।
वेरिका में महान विश्लेषणात्मक क्षमताएं हैं - यहां तक कि मशीन सीखने के उपकरण भी शामिल हैं
वर्टिका ग्रंथों को अनुक्रमित कर सकती है
वर्टिका अर्ध-संरचित डेटा को संसाधित करता है

एकीकरण

वर्टिका, सभी मौजूदा उपकरणों की तरह, अन्य प्रणालियों के साथ गंभीरता से एकीकृत है। HDFS (Hadoop) के साथ अच्छा काम करने में सक्षम। पहले के संस्करणों में, वर्टिका केवल कुछ प्रारूपों के एचडीएफएस से डेटा डाउनलोड कर सकता था, लेकिन अब यह सब कुछ कर सकता है, सभी प्रारूपों के साथ काम करता है, उदाहरण के लिए, ओआरसी और पैरक। यहां तक कि यह बाहरी तालिकाओं के रूप में फाइलों को संलग्न कर सकता है और अपने डेटा को सीधे एचडीएफएस पर आरओएस कंटेनर में संग्रहीत कर सकता है। वर्टिका के आठवें संस्करण में, एचडीएफएस के साथ काम करने की गति, मेटाडेटा कैटलॉग और इन प्रारूपों के पार्सिंग का एक महत्वपूर्ण अनुकूलन किया गया था। आप वर्टिका क्लस्टर को सीधे Hadoop क्लस्टर पर बना सकते हैं।

संस्करण 7.2 के साथ शुरू करना वर्टेका अपाचे काफ्का के साथ काम कर सकता है - अगर किसी को एक संदेश दलाल की आवश्यकता है।

वर्टिका 8 को स्पार्क का पूरा समर्थन है। स्पार्क से वर्टिका और इसके विपरीत डेटा की प्रतिलिपि बनाना संभव है।

निष्कर्ष

वर्टिका बड़े डेटा के साथ काम करने का एक अच्छा विकल्प है जिसमें बहुत सारे इनपुट ज्ञान की आवश्यकता नहीं होती है। इस DBMS में व्यापक विश्लेषणात्मक क्षमताएं हैं। Minuses की - यह समाधान खुला स्रोत नहीं है, लेकिन आप 1 टीबी और तीन नोड्स की सीमा के साथ मुफ्त में तैनात करने का प्रयास कर सकते हैं - यह समझने के लिए पर्याप्त है कि आपको वर्टिका की आवश्यकता है या नहीं।

और हमारे लिए सब कुछ "ईमानदार" है - DBMS वर्टिका