🏐 ⛺️ 🍢 ग्रीनप्लम 6: नई सुविधाओं की समीक्षा ⛹🏽 🖋️ 👩🏿‍⚖️

पिछले 16 वर्षों से, ग्रीनप्लम, एक खुला, बड़े पैमाने पर समानांतर DBMS, ने डेटा विश्लेषण के आधार पर विभिन्न उद्यमों को निर्णय लेने में मदद की है।

इस समय के दौरान, ग्रीनप्लम विभिन्न व्यापारिक क्षेत्रों में घुस गया, जिसमें शामिल हैं: खुदरा, फिनटेक, दूरसंचार, उद्योग, ई-कॉमर्स। क्षैतिज, दोष सहिष्णुता, खुले स्रोत कोड, PostgreSQL, Transactionality और ANSI SQL के साथ पूर्ण संगतता के सैकड़ों नोड्स में स्केलिंग - एक विश्लेषणात्मक DBMS के लिए गुणों के बेहतर संयोजन की कल्पना करना मुश्किल है। वैश्विक दिग्गज कंपनियों जैसे मॉर्गन स्टेनली (डेटा के 200 नोड्स, 25 पीबी) या टिंकऑफ़ (> 70 नोड्स) में विशाल समूहों से शुरू, और आरामदायक स्टार्टअप्स में छोटे दो-नोड प्रतिष्ठानों के साथ समाप्त, अधिक से अधिक कंपनियां ग्रीनप्लम। रूस में इस प्रवृत्ति का पालन करना विशेष रूप से सुखद है - पिछले दो वर्षों में, ग्रीनप्लम का उपयोग करने वाली बड़ी घरेलू कंपनियों की संख्या तीन गुना हो गई है।

2019 के पतन में, एक और प्रमुख DBMS रिलीज जारी किया गया था। इस लेख में, मैं जीपी 6 की मुख्य नई विशेषताओं के बारे में संक्षेप में बात करूंगा।

ग्रीनप्लम संस्करण 5 की पिछली प्रमुख रिलीज सितंबर 2017 में प्रकाशित हुई थी, इस लेख में विवरण पाया जा सकता है। यदि आप अभी भी नहीं जानते हैं कि ग्रीनप्लम क्या है, तो इस लेख से एक संक्षिप्त परिचय प्राप्त किया जा सकता है। यह पुराना है, लेकिन DBMS वास्तुकला सही ढंग से प्रतिबिंबित करता है।

वर्तमान रिलीज, सही से, एक सामूहिक दिमाग की उपज कहा जा सकता है: दुनिया भर की कई कंपनियों ने विकास में भाग लिया - उनमें से Pivotal, Arenadata (जहां इस लेख का लेखक काम करता है), अलीबाबा।

तो ग्रीनप्लम 6 में नया क्या है?

प्रतिकृति टेबल

आपको याद दिला दूं कि ग्रीनप्लम में एक क्लस्टर में दो प्रकार के टेबल का वितरण था:

यादृच्छिक वर्दी वितरण
एक या कई क्षेत्रों में वितरण

ज्यादातर मामलों में, दो टेबल (जॉइन) में शामिल होने को क्वेरी निष्पादन के दौरान क्लस्टर सेगमेंट के बीच डेटा पुनर्वितरण के साथ प्रदर्शन किया गया था, और केवल तब जब जॉइन द्वारा दोनों टेबल शुरू में वितरित किए गए थे, कुंजी को सेगमेंट के बीच डेटा स्थानांतरित किए बिना सेगमेंट पर स्थानीय रूप से हुआ।

जीपी 6 आर्किटेक्ट्स को एक नया स्टोरेज स्कीम ऑप्टिमाइज़ेशन टूल - रिप्लाई टेबल देता है। क्लस्टर के सभी खंडों में ऐसी तालिकाओं को पूर्ण रूप से दोहराया गया है। डेटा को पुनर्वितरित किए बिना, दाईं ओर ऐसी तालिका का कोई भी कनेक्शन स्थानीय रूप से प्रदर्शित किया जाएगा। असल में, यह सुविधा स्वैच्छिक निर्देशिकाओं के भंडारण के लिए है।

प्रतिकृति तालिका के साथ क्वेरी उदाहरण

CREATE TABLE expand_replicated … DISTRIBUTED REPLICATED; CREATE TABLE expand_random … DISTRIBUTED RANDOMLY; explain select * from expand_rnd a2 left join expand_replicated a3 on a2.gen = a3.gen #  ,    redistribute/broadcast Limit (cost=0.00..1680.04 rows=1 width=22) -> Gather Motion 144:1 (slice1; segments: 144) (cost=0.00..1680.04 rows=2 width=22) -> Hash Left Join (cost=0.00..1680.04 rows=1 width=22) Hash Cond: (expand_rnd.gen = expand_replicated.gen) -> Seq Scan on expand_rnd (cost=0.00..431.00 rows=1 width=10) -> Hash (cost=459.60..459.60 rows=2000000 width=12) -> Seq Scan on expand_replicated (cost=0.00..459.60 rows=2000000 width=12)

Zstandard संपीड़न एल्गोरिथम (ZSTD)

2016 में फेसबुक डेवलपर्स द्वारा प्रस्तुत किया गया, दोषरहित संपीड़न एल्गोरिथ्म ने लगभग तुरंत हमारे अर्नडटा टीम के दिल को मार दिया, क्योंकि ज़्लिब की तुलना में (ग्रीनप्लम में डिफ़ॉल्ट रूप से उपयोग किया जाता है) इसमें कम संपीड़न और विखंडन के लिए आवश्यक कम समय के साथ उच्च संपीड़न अनुपात हैं:

स्रोत: cnx-software.com

संपीड़न दक्षता आधुनिक विश्लेषणात्मक DBMS के सबसे महत्वपूर्ण मापदंडों में से एक है। वास्तव में, यह आपको अपेक्षाकृत सस्ते सीपीयू लोड करके क्लस्टर के अपेक्षाकृत महंगे डिस्क सबसिस्टम पर लोड को कम करने की अनुमति देता है। जब क्रमिक रूप से बड़ी मात्रा में डेटा को पढ़ना और लिखना होता है, तो इससे सिस्टम के TCO में काफी कमी आती है।

2017 में, हमारी टीम ने ग्रीनप्लम में कॉलम टेबल के लिए ZSTD समर्थन जोड़ा, हालांकि, रिलीज नीति के अनुसार, यह संशोधन ग्रीनप्लम के आधिकारिक मामूली रिलीज में नहीं मिला। आज तक, यह केवल एरेनाडाटा वाणिज्यिक ग्राहकों के लिए उपलब्ध था, और 6.0 की रिहाई के साथ, हर कोई इसका उपयोग कर सकता है।

क्लस्टर विस्तार अनुकूलन (विस्तार)

जीपी के पिछले संस्करणों में, क्षैतिज क्लस्टर विस्तार (नई नोड्स जोड़ना) की कुछ सीमाएं थीं:

भले ही डाउनटाइम के बिना पृष्ठभूमि में डेटा पुनर्वितरण हुआ हो, नए नोड्स को जोड़ते समय एक सिस्टम पुनरारंभ आवश्यक था
हैशिंग और डेटा वितरण एल्गोरिथ्म को विस्तार के दौरान सभी तालिकाओं के पूर्ण पुनर्वितरण की आवश्यकता थी - पृष्ठभूमि डेटा वितरण प्रक्रिया में विशेष रूप से बड़े समूहों के लिए घंटे या दिन भी लग सकते हैं।
तालिकाओं के पृष्ठभूमि वितरण के दौरान, कोई भी जोड़ केवल वितरित किया गया था

ग्रीनप्लम 6 ने एक पूरी तरह से नया क्लस्टर विस्तार एल्गोरिदम पेश किया, जिसके कारण:

विस्तार अब सिस्टम को पुनरारंभ किए बिना होता है - डाउनटाइम की आवश्यकता नहीं है
सुसंगत हैशिंग एल्गोरिथ्म आपको नोड्स को जोड़ने पर ब्लॉकों के केवल हिस्से को फिर से विभाजित करने की अनुमति देता है, अर्थात, तालिकाओं की पृष्ठभूमि पुनर्वितरण कई बार तेजी से काम करता है
सिस्टम निर्देशिकाओं को बदलने का तर्क बदल गया है - अब विस्तार प्रक्रिया के दौरान भी सभी कनेक्शन (JOIN) हमेशा की तरह काम करते हैं - दोनों को स्थानीय रूप से वितरित किया जाता है

अब ग्रीनप्लम का विस्तार मिनटों का है, घंटों का नहीं, इससे क्लस्टर व्यावसायिक इकाइयों की बढ़ती भूख का पालन कर सकेंगे।

स्तंभ-स्तरीय सुरक्षा

अब तालिकाओं में विशिष्ट स्तंभों को अधिकार वितरित करना संभव है (पोस्टग्रेक्यूएल से फीचर आया):

 grant all (column_name) on public.table_name to gpadmin;

JSONB

जीपीएन-प्रकार की वस्तुओं का द्विआधारी, इष्टतम भंडारण अब जीपी में उपलब्ध है। प्रारूप के बारे में अधिक यहाँ पढ़ें।

ऑटो की व्याख्या

PostgreSQL से जीपी में आया एक और शानदार विस्तार। यह ग्रीनपैडम क्लस्टर पर अरेंडाटा टीम द्वारा वितरित मोड में काम करने के लिए संशोधित किया गया था।

के बारे में जानकारी को बचाने के लिए DBMS में प्रत्येक (या अलग से लिया गया) अनुरोध के लिए स्वचालित रूप से अनुमति देता है:

अनुरोध योजना;
प्रत्येक खंड (नोड) पर क्वेरी निष्पादन के प्रत्येक चरण में भस्म संसाधन;
समय बिताया;
प्रत्येक खंड (नोड) पर क्वेरी के प्रत्येक चरण में संसाधित पंक्तियों की संख्या।

Diskquota

PostgreSQL एक्सटेंशन जो आपको व्यक्तिगत उपयोगकर्ताओं और योजनाओं के लिए उपलब्ध डिस्क भंडारण को सीमित करने की अनुमति देता है:

 select diskquota.set_schema_quota('schema_name', '1 MB'); select diskquota.set_role_quota('user_name', '1 MB');

नई अरनदता डीबी वितरण सुविधाएँ

डिस्क्लेमर - अगले विज्ञापन की कुछ पंक्तियाँ होंगी :)

मुझे याद दिलाएं, हम, अरेंडाटा, ओपन सोर्स प्रौद्योगिकियों - ग्रीनप्लम, काफ्का, हडोप, क्लिकहाउस के आधार पर हमारे डेटा स्टोरेज प्लेटफॉर्म का विकास, कार्यान्वयन और समर्थन कर रहे हैं। हमारे ग्राहक खुदरा, दूरसंचार, फिनटेक और अन्य के क्षेत्रों में सबसे बड़ी रूसी कंपनियां हैं। एक ओर, हम स्वयं ओपन-सोर्स प्रोजेक्ट्स के योगदानकर्ता हैं (कर्नेल में परिवर्तन कर रहे हैं), दूसरी ओर, हम अतिरिक्त कार्यक्षमता विकसित कर रहे हैं जो केवल हमारे वाणिज्यिक ग्राहकों के लिए उपलब्ध है। आगे हम मुख्य विशेषताओं के बारे में बात करेंगे।

तकेमली कनेक्टर उर्फ कनेक्टर ग्रीनप्लम -> क्लिकहाउस

परियोजनाओं में, हम अक्सर ग्रीनप्लम + क्लिकहाउस गुच्छा का उपयोग करते हैं - एक तरफ, यह हमें डेटा वेयरहाउस (स्रोतों से डेटा marts तक) के निर्माण के सर्वोत्तम शास्त्रीय मॉडल का उपयोग करने की अनुमति देता है, जिन्हें कई कनेक्शनों की आवश्यकता होती है, विकसित एएनएसआई एसक्यूएल सिंटैक्स, लेन-देन और अन्य चिप्स जो ग्रीनप्लम के पास होते हैं, दूसरे पर, उपयोगकर्ताओं की एक महत्वपूर्ण संख्या के लिए अधिकतम गति के साथ अंतर्निहित चौड़ी दुकान-खिड़कियों तक पहुंच प्रदान करने के लिए - और क्लिकहाउस का इसमें कोई प्रतियोगी नहीं है।

इस तरह के एक बंडल का प्रभावी ढंग से उपयोग करने के लिए, हमने एक विशेष समानांतर कनेक्टर विकसित किया है, जो कि लेन-देन (रोलबैक लेनदेन के मामले में भी सुसंगत) आपको जीपी से केएच तक डेटा स्थानांतरित करने की अनुमति देता है। सामान्य तौर पर, इस कनेक्टर की वास्तुकला एक अलग विशुद्ध रूप से तकनीकी लेख की हकदार है - वास्तव में, अंदर हमें समानांतर रूप से एसिंक्रोनस कतारों को लागू करना था, जिसमें डायनामिक रूप से प्रति थ्रेड्स की संख्या और डेटा प्रवाह का चयन करना था।

परिणाम एक शानदार बातचीत की गति है: ठेठ एसएटीए डिस्क पर हमारे परीक्षणों में, हम ग्रीनप्लाम सर्वरों के एक जोड़े पर 1 जीबी / एस प्रति डालें - क्लिकहाउस। यह देखते हुए कि हमारे ग्राहकों के औसत जीपी क्लस्टर में 20+ सर्वर हैं, इंटरैक्शन की गति पर्याप्त से अधिक है।

काफ्का संबंधक

हमने काफ्का संदेश ब्रोकर के साथ एकीकरण के साथ भी ऐसा ही किया है - हम अक्सर वास्तविक समय मोड (सेकंड या दसियों सेकंड) के पास काफ्का से ग्रीनप्लम तक डेटा ओवरलोडिंग के कार्य का सामना करते हैं। हालांकि, काफ्का के लिए कनेक्टर आर्किटेक्चर अलग है। एक कनेक्टर ऑटो-डिस्कवरी के साथ अलग-अलग सिंक्रोनाइज़्ड प्रोसेस (डॉकर में लॉन्च किया गया) का एक समूह है, जो एक तरफ, काफ्का उपभोगकर्ता हैं, और दूसरी ओर, वे सीधे ग्रीनप्लम सेगमेंट में डेटा सम्मिलित करते हैं। कनेक्टर कफ़्का रजिस्ट्री के साथ काम कर सकता है और हार्डवेयर विफलताओं के मामले में भी स्थानांतरित डेटा की पूर्ण स्थिरता सुनिश्चित करता है।

प्रबंधन और निगरानी प्रणाली

उत्पादन में सिस्टम का संचालन क्लस्टर की तैनाती, अद्यतन और निगरानी पर उच्च मांग रखता है। यह महत्वपूर्ण है कि DBMS में होने वाली हर चीज परिचालन और DBA विशेषज्ञों के लिए पारदर्शी हो।

हमारे अरेंडाटा क्लस्टर प्रबंधक (एडीसीएम) प्रबंधन और निगरानी प्रणाली ऑपरेशन पेशेवरों को वे सभी उपकरण प्रदान करती है जिनकी उन्हें आवश्यकता होती है। वास्तव में, ग्रीनप्लम क्लस्टर को तैनात करना और अपडेट करना ग्राफिकल इंटरफ़ेस (सभी ओएस, सेवाओं, डिस्क माउंटिंग और नेटवर्क सेटिंग्स स्वचालित रूप से किया जाता है) में एक बटन के क्लिक पर किया जाता है, इसके अलावा, आपको पूरी तरह से कॉन्फ़िगर किया गया निगरानी स्टैक मिलता है, जो आपके कॉर्पोरेट सिस्टम के साथ एकीकृत करने के लिए तैयार है। वैसे, Arenadata क्लस्टर मैनेजर न केवल ग्रीनप्लम, बल्कि Hadoop, Kafka, Clickhouse (इन सेवाओं की हमारी असेंबली की आवश्यकता है) का प्रबंधन कर सकते हैं। ADCM की तरह ही उनके मुफ्त संस्करण, हमारी वेबसाइट में बिल्कुल मुफ्त डाउनलोड किए जा सकते हैं, बस पॉप-अप भरकर)।

निष्कर्ष

यदि आप ग्रीनप्लम 5.X का उपयोग कर रहे हैं, तो मैं अगले 2-3 महीनों में आपके क्लस्टर को वर्तमान संस्करण 6.X में अपग्रेड करने पर विचार करने की सलाह देता हूं।

यदि आप अभी तक ग्रीनप्लम का उपयोग नहीं कर रहे हैं, तो हमसे जुड़ें! हम, अर्नदता, हमेशा आपकी मदद करने के लिए तैयार हैं।

संदर्भ

गितूब पर ग्रीनप्लम
ग्रीनप्लम रूस टेलीग्राम चैनल - सीधे ग्रीनप्लम उपयोगकर्ताओं से अपने प्रश्न पूछें
ग्रीनप्लम 6 प्रलेखन

ग्रीनप्लम 6: नई सुविधाओं की समीक्षा