लोकप्रिय खुला स्रोत - भाग एक: डेटा के साथ काम करने के लिए 3 उपकरण

हमने सबसे लोकप्रिय ओपन सोर्स प्रोजेक्ट की समीक्षा के साथ डिजीस्ट की एक श्रृंखला तैयार करने का निर्णय लिया। इस सूची में हैकर न्यूज में ओपन सोर्स समाधानों के बारे में सबसे अधिक चर्चा की गई है। पहले संग्रह का विषय लॉग और डेटाबेस के साथ काम करने के लिए उपकरण और सेवाएं हैं ।


/ फोटो AKT.UZ पीडी

हम FoundationDB , LogDevice और Queryparser जैसे समाधानों के बारे में बात करेंगे। पिछले साल, हैकर न्यूज़ में उनकी सक्रिय रूप से चर्चा हुई थी। रुचि इस तथ्य के कारण थी कि बड़ी आईटी कंपनियां - Apple, Uber और Facebook उनके विकास में शामिल थीं। इसका मतलब है कि सभी तीन उपकरण बड़े पैमाने पर और अत्यधिक भारित आईटी बुनियादी ढांचे के साथ काम करने के लिए उपयुक्त हैं।

---

FoundationDB

---

FoundationDB एक मल्टी-मॉडल DBMS है जो कि NoSQL का है । यह विज़ुअल साइंसेज के तीन इंजीनियरों द्वारा 2012 में पेश किया गया था, जिन्होंने डेटा विज़ुअलाइज़ेशन प्लेटफ़ॉर्म पर काम किया था (आज यह एडोब एनालिटिक्स का हिस्सा है)।

इसी तरह की अन्य प्रणालियों के विपरीत, फाउंडेशनडीबी में संचालन एसीआईडी ​​के सिद्धांतों का अनुपालन करते हैं: परमाणुता, स्थिरता, अलगाव और डेटा की स्थायित्व। इस मॉडल का पालन करने वाले DBMS को सबसे विश्वसनीय और अनुमानित माना जाता है, लेकिन NoSQL में कुछ ACID सिद्धांतों को अक्सर बेहतर प्रदर्शन के लिए बलिदान किया जाता है।

FoundationDB का एक और प्लस इसका शक्तिशाली निम्न-स्तरीय इंटरफ़ेस है। इसकी मदद से, कोई भी सिस्टम वितरित डेटा भंडारण के लिए एक डीबीएमएस का उपयोग कर सकता है। उदाहरण के लिए, FoundationDB के आधार पर, आप बड़े यूनिवर्सल DBMS के लिए फ्रंटएंड बना सकते हैं।

इन विशेषताओं के लिए धन्यवाद, FoundationDB जल्दी लोकप्रिय हो गया। इसे कई क्लाउड सेवाओं द्वारा लागू किया गया था: वेवफ्रंट मॉनिटरिंग सर्विस (अब VMware का हिस्सा) और स्नोफ्लेक और स्कुवॉल्ट स्टोरेज सिस्टम। फाउंडेशनडीबी की लोकप्रियता इस तथ्य से भी प्रभावित हुई कि इसकी स्थापना के बाद से, परियोजना का स्रोत कोड खुला है।

2015 में सब कुछ बदल गया जब Apple ने कंपनी का अधिग्रहण किया । IT दिग्गज ने FoundationDB कोड तक पहुंच बंद कर दी है और अपनी ऑनलाइन सेवाओं में DBMS का उपयोग करना शुरू कर दिया है। इस समाधान के कारण उन डेवलपर्स के लिए कुछ समस्याएँ पैदा हुईं जिन्होंने अपनी परियोजनाओं में FoundationDB का उपयोग किया । लेकिन अप्रैल 2018 में, Apple ने खुले स्रोत DBMS को वापस करने का फैसला किया। इससे न केवल आईटी समुदाय, बल्कि स्वयं Apple भी लाभान्वित हुआ है। दो सप्ताह में , सात हजार से अधिक डेवलपर्स ने परियोजना में रुचि दिखाई , और विषयगत मंच पर एक सौ नए धागे खोले गए।

आईटी दिग्गज ने "खुलेपन" की रणनीति का पालन करना जारी रखने का फैसला किया है। नवंबर 2018 में, एक नया DBMS घटक पेश किया गया था - दस्तावेज़ परत - यह आपको दस्तावेज़ रिपॉजिटरी बनाने की अनुमति देता है। भविष्य में, यह अतिरिक्त उपकरण विकसित करने की योजना है। और कोई भी उत्पाद के निर्माण में योगदान कर सकता है। आप सीख सकते हैं कि GitHub पर आधिकारिक भंडार में ऐसा कैसे करें - एक विस्तृत निर्देश है ।

---

LogDevice

---

LogDevice एक वितरित लॉग स्टोरेज सिस्टम है जिसे फेसबुक पर बनाया गया है। यह क्रमिक रूप से आने वाले डेटा को रिकॉर्ड करने के लिए अनुकूलित है: सिस्टम में किसी भी जानकारी को एक अलग फ़ाइल के रूप में नहीं, बल्कि एक निश्चित "रिकॉर्ड स्ट्रीम" के हिस्से के रूप में सहेजा जाता है। यह आपको उस क्रम को सही ढंग से निर्धारित करने की अनुमति देता है जिसमें डेटा प्राप्त होता है।

प्रारंभ में, परियोजना का उपयोग फेसबुक के आंतरिक कार्यों के लिए किया गया था, लेकिन सितंबर 2018 में, कंपनी ने अपना स्रोत कोड खोला। उस क्षण तक, LogDevice आईटी समुदाय में इतनी अच्छी तरह से ज्ञात नहीं था, लेकिन हैकर समाचार पाठकों में से कुछ पहले से ही उपकरण में रुचि रखते थे। उदाहरण के लिए, मशीन लर्निंग के लिए भंडारण प्रणालियों में इसकी क्षमता का उल्लेख किया ।

लेकिन एक राय है कि फेसबुक समाधान धीरे-धीरे लोकप्रियता हासिल करेगा। बाजार पर बड़ी संख्या में समान उपकरण हैं (उदाहरण के लिए, अपाचे काफ्का)। और उनके पास पहले से ही बड़ी संख्या में एकीकरण हैं, और लॉगडेविस को केवल उन्हें प्राप्त करना है। वैसे, अब टूल के डेवलपर्स कुबेरनेट्स कंटेनर ऑर्केस्ट्रेशन सिस्टम के साथ लॉगडेविस के एकीकरण को शुरू करने पर काम कर रहे हैं ।

सभी को भाग लेने के लिए आमंत्रित किया जाता है - कोड आवश्यकताओं को गिटहब पर एक अलग भंडार दस्तावेज में वर्णित किया गया है ।


/ फोटो अलेक्जेंडर डे सीसी बाय

---

Queryparser

---

Queryparser तीन SQL बोलियों के लिए एक पार्सिंग सिस्टम है: वर्टिका, हाइव और प्रेस्टो। LogDevice की तरह, Queryparser मूल रूप से एक बड़ी आईटी कंपनी के आंतरिक कार्यों के लिए बनाया गया था - इस बार परियोजना की उत्पत्ति Uber में हुई थी।

2015 में, कंपनी के इंजीनियरों ने डेटाबेस में वस्तुओं के नामकरण की प्रणाली को अद्यतन करने और यूयूआईडी मानक के अनुसार संख्याओं के साथ पूर्णांक प्रारूप में नामों को बदलने का फैसला किया। सभी पहचानकर्ताओं को फिर से लिखने के लिए, इंजीनियरों को तालिकाओं के सभी लिंक की पहचान करनी थी। यह एक मुश्किल काम था: डेटा के साथ हजारों तालिकाओं का जो कंपनी के विभिन्न विभागों से संबंधित था, उबेर में संग्रहीत किए गए थे। कई डेटाबेस के बीच संबंध स्थापित करने के लिए, डेवलपर्स ने Queryparser बनाया।

उपकरण ने सफलतापूर्वक कार्य पूरा कर लिया, लेकिन इंजीनियरों को इसके लिए अन्य संभावित अनुप्रयोग मिले। उदाहरण के लिए, डेटाबेस में परिवर्तन की स्वचालित निगरानी। Queryparser डेटा धाराओं के संयोजन या नए बनाने के बारे में सभी प्रश्नों को सहेजता है और इन परिवर्तनों से प्रभावित डेटाबेस उपयोगकर्ताओं को सूचित करता है।

Queryparser ने Uber को SQL प्रश्नों के बारे में आंकड़े इकट्ठा करने और भंडारण को अनुकूलित करने में भी मदद की: शायद ही कभी उपयोग की गई तालिकाओं को हटा दिया गया था, और डेटाबेस जो अक्सर एक-दूसरे को संदर्भित करते थे, संयुक्त थे।

क्विपरपरर के लिए स्रोत कोड परियोजना की शुरुआत से ही खुला था, लेकिन केवल 2018 में उबर ने टूल के बारे में एक विस्तृत लेख जारी किया । इसे सिस्टम के साथ काम करने के लिए एक मार्गदर्शक माना जा सकता है। और रिपॉजिटरी में आप उन लोगों के लिए इंस्टॉलेशन निर्देश और निर्देश पा सकते हैं जो क्वेरपैरसर के विकास में भाग लेना चाहते हैं।

भविष्य में, उबर ने समाधान को और विकसित करने की योजना बनाई है। उदाहरण के लिए, नई SQL बोलियों के लिए समर्थन जोड़ें: PostgreSQL, MySQL और SQLite। कंपनी के कार्यों के अलावा प्रश्नों में डेटा प्रकार की जाँच को जोड़ना और प्रश्नों का एक बोली से दूसरी में अनुवाद करना है।

---

अगली बार हम 2018 की लोकप्रिय ओपन सोर्स परियोजनाओं के बारे में कहानी जारी रखेंगे। आइए खुले स्रोत क्लाउड प्रबंधन समाधान और डेवलपर टूल के बारे में बात करते हैं।

---

पहले कॉर्पोरेट IaaS ब्लॉग से कुछ पोस्ट:

• क्यों कॉर्पोरेट ग्राहक कंटेनरों के बजाय VMs का उपयोग करते हैं
• क्लाउड सेवाएं: रूसी कंपनियों द्वारा IaaS का उपयोग करने का अनुभव

टेलीग्राम चैनल में हम क्या लिखते हैं:

• क्लाउड ड्राइव क्या है: VMware स्वचालन उपकरण
• क्लाउड प्रदाता के काम में ब्लॉकचेन - आवेदन के 3 क्षेत्र