TiKV - क्लाउड मूल के लिए कुंजी-मूल्य डेटाबेस वितरित किया गया

28 अगस्त को, क्यूबर्नेट्स, प्रोमेथियस और आधुनिक क्लाउड अनुप्रयोगों के लिए अन्य ओपन सोर्स परियोजनाओं के पीछे सीएनसीएफ (क्लाउड नेटिव कम्प्यूटिंग फाउंडेशन) ने अपने सैंडबॉक्स - टीआईकेवी में एक नए उत्पाद को अपनाने की घोषणा की।

यह वितरित, कुंजी-मूल्य लेनदेन डेटाबेस डेटाबेस TiDB के अतिरिक्त पैदा हुआ था, एक वितरित डेटाबेस प्रबंधन प्रणाली जो OLTP और OLAP क्षमताओं की पेशकश करता है और MySQL प्रोटोकॉल के साथ संगतता प्रदान करता है ... लेकिन चलो इसके बारे में एक के बाद एक बात करते हैं।

माता-पिता के रूप में टीआईडीबी

चलो चीनी कंपनी पिंगकैप इंक द्वारा बनाई गई "मूल" TiDB परियोजना के साथ शुरू करते हैं।



इस DBMS की पहली बड़ी सार्वजनिक रिलीज़ - 1.0 - एक साल से भी कम समय पहले हुई थी। इसकी मुख्य विशेषताएं ट्रांसेक्शनल और एनालिटिकल डेटा प्रोसेसिंग (हाइब्रिड ट्रांजैक्शनल / एनालिटिकल प्रोसेसिंग, एचटीएपी) के संयोजन के साथ-साथ MySQL प्रोटोकॉल के साथ पहले से उल्लेख की गई संगतता हैं। नए DBMS के लिए पहले से ही सामान्य हो रहे - जैसे कि क्षैतिज स्केलेबिलिटी, उच्च उपलब्धता और सख्त ACID अनुपालन जैसे अन्य का उल्लेख करते समय TiDB की एक पूरी तस्वीर उभरती है।

TiDB की सामान्य वास्तुकला इस प्रकार है:



क्योंकि TiDB NoSQL स्केलेबिलिटी और ACID गारंटी प्रदान करता है, इसलिए इसे NewSQL के रूप में वर्गीकृत किया गया है । लेखक इस तथ्य को छिपाते नहीं हैं कि उन्होंने NewSQL के अन्य प्रतिनिधियों से प्रेरणा के तहत उत्पाद बनाया: Google स्पैनर और एफ 1 । हालांकि, चीनी डेवलपर्स ने "प्रौद्योगिकी का चयन करते समय अपनी सर्वोत्तम प्रथाओं और समाधानों" पर जोर दिया। विशेष रूप से, उन्होंने बेतरतीब आम सहमति समस्याओं को हल करने के लिए एक एल्गोरिथम चुना ( पैक्सोस के बजाय, जो कि स्पैनर में उपयोग किया जाता है), रॉक्सडीबी भंडारण (एक वितरित फ़ाइल सिस्टम के बजाय), और गो (और जंग) एक प्रोग्रामिंग भाषा के रूप में।

TiDB डिवाइस के बारे में कई विवरण पिंगकैप - मैक्स लियू के सह-संस्थापक और मुख्य कार्यकारी अधिकारी - " कैसे हम TiDB का निर्माण करते हैं " रिपोर्ट में पाया जा सकता है और हम उनमें से कुछ को TiKV से निकटता से लौटाएंगे। TiDB स्रोत कोड मुफ्त Apache लाइसेंस v2 के तहत वितरित किया जाता है। इसके प्रमुख उपयोगकर्ताओं में लेनोवो, Meizu, बैंक ऑफ बीजिंग, इंडस्ट्रियल एंड कमर्शियल बैंक ऑफ चाइना आदि का उल्लेख है।

TiKV क्या है और दुनिया में TiDB (और न केवल) की क्या भूमिका है?

TiKV आर्किटेक्चर और फीचर्स

आइए, कुछ अलग प्रस्तुति में TiDB की सामान्य वास्तुकला पर लौटते हैं:



आप देख सकते हैं कि TiDB खुद SQL कार्यान्वयन और MySQL * अनुकूलता प्रदान करता है, जबकि बाकी का काम TiKV क्लस्टर को सौंपा गया है। यह "बाकी काम" क्या है? यहाँ एक अधिक विस्तृत चित्र है:




TiKV योजना के लिए स्पष्टीकरण:

• केवी एपीआई - डेटा लिखने / पढ़ने के लिए प्रोग्राम इंटरफेस का एक सेट;
• कोप्रोसेसर - वितरित कंप्यूटिंग का समर्थन करने के लिए एक सहसंसाधक ढांचा (HBase के लिए समान के साथ तुलना);
• लेनदेन - Google Percolator के समान एक लेनदेन मॉडल (2 चरणों में प्रोटोकॉल प्रोटोकॉल; टाइमस्टैम्प आवंटन का उपयोग करता है; स्पैनर के साथ तुलना भी देखें);
• MVCC (MultiVersion Concurrency Control) ताले और ACID लेनदेन के बिना पढ़ने के लिए (डेटा उपयोगकर्ताओं के साथ टैग किया गया है, वर्तमान लेनदेन में किए गए कोई भी परिवर्तन अन्य लेन-देन के समय तक दिखाई नहीं देते हैं);
• बेड़ा केवी - क्षैतिज स्केलिंग और डेटा स्थिरता के लिए पहले से ही उल्लेखित रेज़ एल्गोरिथ्म; रस्ट में इसके कार्यान्वयन को etcd (व्यापक शोषण द्वारा सत्यापित) से पोर्ट किया गया है; वैसे, टीआईकेवी के लेखकों ने "डेटा की 100+ टीबी को सरल मापनीयता" घोषित किया;
• RocksDB - कुंजी-मूल्य प्रकार का स्थानीय भंडारण, उत्पादन (फेसबुक) में बड़े पैमाने पर परियोजनाओं में पहले से ही अच्छी तरह से स्थापित;
• प्लेसमेंट ड्राइवर - क्लस्टर का "मस्तिष्क", Google स्पैनर की अवधारणा के अनुसार बनाया गया है और क्षेत्रों के बारे में मेटाडेटा को संग्रहीत करने के लिए जिम्मेदार है, प्रतिकृतियों की आवश्यक संख्या का समर्थन करता है, यहां तक ​​कि लोड वितरण (रफ का उपयोग करके) भी करता है।

यदि हम मुख्य घटकों के अंतर्संबंधों को सामान्य करते हैं, तो हमें निम्नलिखित मिलते हैं:

• प्रत्येक TiKV क्लस्टर नोड में एक या अधिक रिपॉजिटरी (RocksDB) है।
• प्रत्येक भंडार के कई क्षेत्र हैं ।
• एक क्षेत्र "की-वैल्यू डेटा मूवमेंट की एक बुनियादी इकाई" है, इसे कई नोड्स में दोहराया जाता है। इस तरह की प्रतिकृति समूह समूह बनाती है ।
• अंत में, इस क्लस्टर को प्रबंधित करने वाला प्लेसमेंट ड्राइवर, जैसा कि आप देख सकते हैं, वह स्वयं एक क्लस्टर है।

TiKV की स्थापना और परीक्षण

TiKV कोड आधार मुख्य रूप से Rust में लिखा जाता है, लेकिन इसमें अन्य भाषाओं में कई तृतीय-पक्ष घटक हैं (C ++ में RocksDB और Go में GRPC)। एक ही मुफ्त अपाचे लाइसेंस v2 के तहत वितरित किया गया।

जैसा कि लेख की शुरुआत में उल्लेख किया गया है, TiKV शुरू में TiDB के एक महत्वपूर्ण घटक के रूप में दिखाई दिया था, लेकिन आज यह इस DBMS के भीतर और अलग-अलग दोनों तरह से संचालित किया जा सकता है। (लेकिन किसी भी स्थिति में, इसके संचालन के लिए Go में लिखे गए प्लेसमेंट ड्राइवर की आवश्यकता होती है और इसे एक अलग घटक के रूप में वितरित किया जाता है)।

TiDB DBMS के साथ मिलकर TiKV शुरू करने के लिए सबसे छोटा निर्देश Git, Docker (17.03+), Docker Compose (1.6.0+), MySQL क्लाइंट की आवश्यकता है और निम्नलिखित के लिए नीचे आता है:

 git clone https://github.com/pingcap/tidb-docker-compose.git cd tidb-docker-compose && docker-compose pull docker-compose up -d 

इन आदेशों के परिणामस्वरूप एक TiDB क्लस्टर की तैनाती होगी, जो डिफ़ॉल्ट रूप से निम्नलिखित घटकों के होते हैं:

• वास्तविक TiDB की 1 प्रति;
• TiKV की 3 प्रतियां;
• प्लेसमेंट चालक के 3 उदाहरण;
• प्रोमेथियस और ग्राफाना (निगरानी और रेखांकन के लिए) ;
• TiSpark की 2 प्रतियाँ (मास्टर + स्लेव) (जटिल OLAP अनुरोध करने के लिए TiDB / TiKV के शीर्ष पर Apache Spark को लॉन्च करने के लिए परत) ;
• TiDB- विज़न का 1 उदाहरण (प्लेसमेंट ड्राइवर के विज़ुअलाइज़ेशन के लिए) ।

विस्तारित DBMS के साथ आगे का काम:

• MySQL क्लाइंट के माध्यम से कनेक्शन: mysql -h 127.0.0.1 -P 4000 -u root ;
• क्लस्टर स्थिति देखने के लिए ग्राफाना वेब इंटरफ़ेस - http://localhost:3000 व्यवस्थापक / व्यवस्थापक के तहत;
• एक क्लस्टर में लोड संतुलन और नोड्स पर डेटा माइग्रेशन के बारे में जानकारी के लिए TiDB-Vision वेब इंटरफ़ेस - http://localhost:8010 ;
• स्पार्क वेब इंटरफेस - http://localhost:8080 ( spark://127.0.0.1:7077 माध्यम से टाइस्पार्क तक पहुंच http://localhost:8080 127.0.0.1 spark://127.0.0.1:7077 )।

यदि आप एक काफी मानक TiDB क्लस्टर नहीं चाहते (यानी इसका आकार दें, उपयोग की गई डॉकर छवियां, पोर्ट, आदि), तो tidb-docker-compos रिपॉजिटरी को क्लोन करने के बाद, आप ocker कम्पोज़ के लिए कॉन्फिगर को एडिट कर सकते हैं:

 $ cd tidb-docker-compose $ vi compose/values.yaml $ helm template compose > generated-docker-compose.yaml $ docker-compose -f generated-docker-compose.yaml pull $ docker-compose -f generated-docker-compose.yaml up -d 

और भी अधिक अनुकूलन के लिए, TiDB, TiKV, प्लेसमेंट ड्रायवर और अन्य बारीकियों के लिए कॉन्फ़िगरेशन की जानकारी के लिए " अनुकूलित TiDB क्लस्टर " देखें।

कुबर्नेटेस क्लस्टर में TiDB की सुविधाजनक तैनाती के लिए, एक ही नाम का ऑपरेटर तैयार किया गया है - TiDB ऑपरेटर । यह हेलम चार्ट में है, इसलिए इंस्टॉलेशन को निम्न कमांड्स तक कम किया जा सकता है (TiDB DevConf 2018 में प्रस्तुति से स्लाइड):



वैसे, इस डीबीएमएस की निगरानी पर TiDB डेवलपर्स के विचारों के बारे में एक ही प्रस्तुति बोलती है। पाठ्य विवरण, दुर्भाग्य से, चीनी में है, लेकिन इन स्लाइडों से एक सामान्य विचार प्राप्त किया जा सकता है:




सीधे TiKV के विषय पर वापस लौटना - इस परियोजना ने परीक्षण उद्देश्यों के लिए अपने लॉन्च गाइड प्रकाशित किए हैं:

• TiDB के साथ मिलकर ;
• अलग से:
  
  • डॉकर कम्पोज़ के साथ ;
  • कर्ता के साथ ;
  • एक बाइनरी की तरह ।

और उत्पादन में TiKV तैनाती के लिए , वहाँ के साथ तैयार किए गए विकास हैं - फिर से, TiDB के साथ और बिना ।

अंत में, TiKV के साथ काम करने के लिए इंटरफेस की पेशकश की जाती है:

• जाने पर TiDB क्लाइंट ;
• TiSpark जावा क्लाइंट
• गो के लिए दो प्रकार के एपीआई ।

डेवलपर्स की योजनाओं में रस्ट पर एक क्लाइंट बनाना भी शामिल है।

परिणाम

एक चीनी कंपनी के एक बड़े ओपन सोर्स प्रोजेक्ट के एक घटक के रूप में उत्पन्न होने के बाद, TiKV पहले से ही काफी व्यापक सर्कल में प्रसिद्धि हासिल करने में कामयाब रहा है। GitHub के आंकड़े न केवल 3600+ तारे दिखाते हैं, बल्कि लगभग 500 कांटे, और लगभग 100 योगदानकर्ता (हालांकि उनमें से केवल दो दर्जन ने 10 से अधिक कमिट किए हैं)।

तिवकवी को सीएनसीएफ परियोजनाओं की संख्या में शामिल होने और इस तथ्य के कारण कि यह इस प्रकार की पहली परियोजना है, यह भी स्पष्ट रूप से बादल मूल समुदाय द्वारा उत्पाद की मान्यता को इंगित करता है ... और बाहरी लोगों द्वारा इसके कोड आधार के अधिक सक्रिय विकास को प्रोत्साहन देना चाहिए (अर्थात मूल कंपनी और उसके DBMS के बाहर) ) विशेषज्ञों द्वारा।

पुनश्च

हमारे ब्लॉग में भी पढ़ें:

• " कॉकरोचडीबी को जानना और उबंटू 16.04 पर इसके साथ एक विफलता क्लस्टर बनाना ";
• " रूब एक" स्व-सेवा "कुबेरनेट्स के लिए डेटा वेयरहाउस " है;
• " कुबेरनेट्स के साथ बड़े डेटाबेस के बूटस्ट्रैप को तेज करना ";
• " क्लाउड मूल के लिए ओपन सोर्स सॉल्यूशंस (और अधिक) के लिए सीएनसीएफ गाइड ";
• " कुबेरनेट्स के लिए ऑपरेटर: स्टेटफुल एप्लिकेशन कैसे चलाएं ।"