इम्पाला बनाम हाइव बनाम स्पार्क एसक्यूएल: क्लूडेरा डेटा वेयरहाउस में ठीक से काम करने के लिए सही एसक्यूएल इंजन चुनना

हमारे पास हमेशा डेटा की कमी रहती है। और हम केवल अधिक डेटा नहीं चाहते हैं ... हम नए प्रकार के डेटा चाहते हैं जो हमें अपने उत्पादों, ग्राहकों और बाजारों को बेहतर ढंग से समझने की अनुमति देगा। हम हमेशा नए डेटा, सभी आकृति और आकार के डेटा, संरचित और बहुत नहीं की तलाश में हैं। हम व्यावसायिक पेशेवरों और तकनीकी विशेषज्ञों की एक नई पीढ़ी के लिए अपने दरवाजे खोलना चाहते हैं, जो उत्साहपूर्वक हमारे साथ नए डेटाबेस और प्रौद्योगिकियां खोलेंगे, जो बाद में प्रकृति के साथ हमारे डेटा पर कैसे प्रभाव डालते हैं और हमारे जीवन पर उनका क्या प्रभाव पड़ता है, इसकी प्रकृति को बदल देगा।

मैं एक जीवन उदाहरण दूंगा ताकि आप बेहतर तरीके से समझ सकें कि मेरा क्या मतलब है। लगभग दो साल पहले, डेटा ने मेरे दोस्त की बेटी की जान बचाई थी। जब वह पैदा हुई थी, तो उसे सात हृदय दोषों का पता चला था। नई तकनीकों के लिए धन्यवाद, जैसे इंटरैक्टिव 3 डी ग्राफिक्स, वर्चुअल मॉडलिंग, अधिक बुद्धिमान ईसीजी विश्लेषण, बिस्तर पर आराम करने वाले रोगियों की निगरानी के लिए आधुनिक समाधान, और डेटा के आधार पर अन्य उन्नत चिकित्सा प्रक्रियाओं के लिए धन्यवाद, वह दो खुले दिल की सर्जरी से बचने में सफल रही और अब एक स्वस्थ जीवन जीती है । डेटा ने उसकी जान बचा ली। यह वह है जो मुझे हर रोज नए नए समाधान खोजने और उन तरीकों से तेजी से डेटा स्थानांतरित करने के लिए प्रेरित करता है जिनकी उन्हें दूसरों की तुलना में अधिक आवश्यकता है।

मुझे क्लाडर डेटा प्लेटफ़ॉर्म (सीडीपी) द्वारा संचालित क्लोदेरा डेटा वेयरहाउस (सीडीडब्ल्यू) टीम का हिस्सा होने पर गर्व है। CDP को एंटरप्राइज़ डेटा क्लाउड या एंटरप्राइज़ डेटा क्लाउड (EDC) के रूप में खरोंच से बनाया गया था। ईडीसी एक मंच पर कई कार्यों को लागू करने के लिए एक बहुक्रियाशील उपकरण है। हाइब्रिड और मल्टी-क्लाउड सिस्टम के उपयोग के लिए धन्यवाद, सीडीपी कहीं भी काम कर सकता है - दोनों एक ऑपरेटिंग सिस्टम के बिना एक मंच पर, और एक निजी और सार्वजनिक क्लाउड में। जैसे ही अधिक क्लाउड समाधान हमारी डिजिटल विकास योजना के हिस्से के रूप में पेश किए जाते हैं, हम देखते हैं कि हाइब्रिड और मल्टी-क्लाउड समाधान नए मानदंड बन गए हैं। हालांकि, ये संयुक्त समाधान उन्हें प्रबंधित करने में समस्याएं पैदा करते हैं, जो बदले में नए सुरक्षा जोखिम, उपयोगकर्ता द्वारा निगरानी की संभावना, और बाद में कानून को तोड़ते हैं। इन समस्याओं को हल करने के लिए, सीडीपी में उन्नत सुरक्षा और नियंत्रण क्षमताएं हैं, जो किसी की सुरक्षा नीति या यहां तक ​​कि कानून का उल्लंघन किए बिना डेटा को खुले तक पहुंच बनाएगी।

सीडीपी पर सीडीडब्ल्यू एक नई सेवा है जो आपको बीआई एनालिटिक्स टीमों के लिए स्वयं सेवा डेटा गोदाम बनाने की अनुमति देती है। आप जल्दी से नए डेटा वेयरहाउस बना सकते हैं और उनका उपयोग खुद कर सकते हैं, या उन्हें लोगों के समूह तक पहुंचा सकते हैं और उनके साथ एकल डेटाबेस का उपयोग कर सकते हैं। क्या आपको वह समय याद है जब आप अपने डेटा वेयरहाउस का प्रबंधन स्वयं कर सकते थे? प्लेटफार्मों की भागीदारी और इसके संचालन के लिए आवश्यक बुनियादी ढांचे के बिना इसे प्रबंधित करें? ऐसा पहले कभी नहीं हुआ। सीडीडब्ल्यू ने इसे संभव बनाया।

सीडीडब्ल्यू के लिए धन्यवाद, विभिन्न एसक्यूएल इंजन उपलब्ध हो गए हैं, लेकिन भ्रम बड़े विकल्पों के साथ आता है। आइए सीडीडब्ल्यू पर सीडीडब्ल्यू में उपलब्ध एसक्यूएल इंजनों को देखें और चर्चा करें कि किसी विशिष्ट कार्य के लिए कौन सा एसक्यूएल विकल्प अधिक उपयुक्त है।

इतनी बढ़िया पसंद! इम्पाला? हाइव LLAP? स्पार्क? क्या उपयोग करें और कब करें? चलिए इसका पता लगाते हैं।

इम्पाला एसक्यूएल इंजन

इम्पाला एक लोकप्रिय ओपन सोर्स MPP इंजन है जिसमें क्लूडर डिस्ट्रीब्यूशन हडॉप (CDH) और CDP में कई तरह के फीचर हैं। इम्पाला ने अपने कम-विलंबता अत्यधिक इंटरैक्टिव एसक्यूएल प्रश्नों के साथ बाजार का विश्वास अर्जित किया है। इम्पाला की क्षमताएं बहुत विस्तृत हैं, इम्पाला न केवल हर्डॉप डिस्ट्रिब्यूटेड फाइल सिस्टम (HDFS - Hadoop डिस्ट्रिब्यूटेड फाइल सिस्टम) को Parquet, ऑप्टिमाइज़्ड रो कॉलम (ORC - ऑप्टिमाइज़्ड स्टोरेज नोड), जावास्क्रिप्ट ऑब्जेक्ट ऑब्जेक्ट (JSON), एवरो और टेक्स्ट फॉर्मेट का समर्थन करता है, बल्कि में कुडु, माइक्रोसॉफ्ट एज़्योर डेटा लेक स्टोरेज (ADLS), और अमेज़ॅन सिंपल स्टोरेज सर्विस (S3) के लिए अंतर्निहित समर्थन है। Impala में संतरी या रेंजर का उपयोग करके उच्च स्तर की सुरक्षा है और, जैसा कि आप जानते हैं, मल्टी-पेटाबाइट डेटासेट पर सैकड़ों उपयोगकर्ताओं के समूहों के साथ हजारों उपयोगकर्ताओं का समर्थन कर सकते हैं। आइए समग्र इम्पाला वास्तुकला को देखें।



इम्पाला क्लस्टर के स्वास्थ्य को सत्यापित करने के लिए स्टेटस्टोर का उपयोग करता है। यदि किसी कारण से इम्पाला नोड ऑफ़लाइन हो जाता है, तो स्टेटस्टोर इस बारे में सभी नोड्स को संदेश भेजेगा और दुर्गम नोड को छोड़ देगा। इम्पाला डायरेक्ट्री सर्विस क्लस्टर में सभी नोड्स के लिए सभी SQL स्टेटमेंट के लिए मेटाडेटा का प्रबंधन करती है। स्टेटस्टोर और डायरेक्टरी सर्विस ब्लॉक और फाइलों को स्टोर करने के लिए हाइव मेटास्टोर के साथ डेटा का आदान-प्रदान करते हैं, और फिर मेटाडेटा को काम नोड्स में स्थानांतरित करते हैं। जब कोई अनुरोध आता है, तो यह कई मिलान कार्यक्रमों में से एक को पारित किया जाता है जहां संकलन किया जाता है और योजना शुरू की जाती है। योजना के टुकड़े वापस आ गए हैं, और समन्वय कार्यक्रम इसके कार्यान्वयन का आयोजन करता है। इम्पेला सेवाओं के बीच इंटरमीडिएट के परिणाम उत्तीर्ण होते हैं और फिर लौट आते हैं।

यह वास्तुकला उन मामलों के लिए आदर्श है, जहां हमें कम विलंबता वाले प्रश्नों के उत्तर प्राप्त करने के लिए व्यावसायिक बुद्धि के लिए डेटा मौतों की आवश्यकता होती है, जैसा कि आमतौर पर तदर्थ, स्वयं सेवा और खोज प्रकारों के साथ होता है। इस परिदृश्य में, हमारे पास ग्राहक हैं जो हमें जटिल प्रश्नों के उत्तर एक से पांच सेकंड से भी कम समय में बता रहे हैं।

इंटरनेट ऑफ़ थिंग्स (IoT) डेटा और संबंधित परिदृश्यों के लिए, इम्पाला, स्ट्रीमिंग समाधान जैसे NiFi, कफ़्का या स्पार्क स्ट्रीमिंग और संबंधित डेटा वेयरहाउस जैसे कुडु के साथ, दस सेकंड से भी कम समय की देरी के साथ निरंतर पाइपलाइन प्रदान कर सकता है। । S3, ADLS, HDFS, हाइव, HBase, और अधिक पर अंतर्निहित पढ़ने / लिखने की क्षमताओं के साथ, इम्पाला 1000 नोड्स तक का क्लस्टर शुरू करते समय उपयोग करने के लिए एक उत्कृष्ट एसक्यूएल इंजन है, और 50BP या उससे अधिक के टेबल या डेटासेट में 100 ट्रिलियन से अधिक पंक्तियाँ।

हाइव LLAP

लाइव लॉन्ग एंड प्रोसेस, या लॉन्ग डिले एनालिटिक्स प्रोसेसिंग, जिसे LLAP के रूप में भी जाना जाता है, एक हाइव-आधारित निष्पादन इंजन है जो समान कैशिंग और प्रोसेसिंग संसाधनों का उपयोग करके लंबे समय तक चलने वाली प्रक्रियाओं का समर्थन करता है। यह प्रसंस्करण तंत्र हमें एसक्यूएल से बहुत कम विलंबता के साथ प्रतिक्रिया देता है, क्योंकि हमारे पास अनुरोधित संसाधनों को शुरू करने के लिए समय नहीं है।



इसके अलावा, LLAP सुरक्षा नीतियों के निष्पादन पर नियंत्रण प्रदान करता है और स्थापित करता है, इसलिए उपयोगकर्ता के लिए सभी LLAP कार्य पारदर्शी हैं, जो आज भी सबसे लोकप्रिय और पारंपरिक रूप से उपयोग किए जाने वाले भंडारण मीडिया के साथ काम के प्रदर्शन के मामले में Hive को प्रतिस्पर्धा करने में मदद करता है।

Hive LLAP बड़े डेटा पारिस्थितिकी तंत्र में सबसे उन्नत SQL इंजन प्रदान करता है। हाइव LLAP डेटा की एक बड़ी मात्रा के लिए बनाया गया था, जो उपयोगकर्ताओं को एंटरप्राइज़ डेटा वेयरहाउस (EDW) की व्यापक क्षमताओं के साथ प्रदान करता है, जो डेटा के बड़े संस्करणों के रूपांतरण, लंबे प्रश्नों के निष्पादन या सैकड़ों SQL के साथ भारी SQL प्रश्नों का समर्थन करता है। हाइव भौतिकवादी विचारों, सरोगेट कुंजियों और पारंपरिक संबंधपरक डेटाबेस प्रबंधन प्रणालियों के समान विभिन्न प्रतिबंधों का समर्थन करता है, जिसमें परिणामों के क्वेरी के लिए कैशिंग और डेटा क्वेरी करना शामिल है। Hive LLAP, प्रतिक्रिया समय को एक सेकंड के एक अंश तक कम करके बार-बार अनुरोधों के बोझ को कम कर सकता है। Hive LLAP HDFS (Hadoop Distributed File System) और ऑब्जेक्ट स्टोर्स के साथ-साथ वास्तविक समय की स्ट्रीमिंग, काफ्का और ड्र्यूड के साथ काम करने के लिए फेडरेटेड अनुरोधों का समर्थन कर सकता है।

इस प्रकार, हाइव LLAP एक एंटरप्राइज़ डेटा वेयरहाउस (EDW) समाधान के रूप में आदर्श रूप से अनुकूल है, जिसमें हमें बड़ी संख्या में लंबी-चौड़ी क्वेरी के साथ सामना करना पड़ेगा, जिसमें बड़े परिवर्तनों या तालिकाओं और बड़े डेटासेट के बीच कई जुड़ावों की आवश्यकता होती है। हाइव एलएलएपी में शामिल कैशिंग तकनीक के लिए धन्यवाद, अब हमारे पास ऐसे ग्राहक हैं जो कि विभाजन कुंजी के साथ या बिना 92 अरब अन्य रिकॉर्ड के साथ 330 बिलियन रिकॉर्ड में शामिल हो सकते हैं और सेकंड में परिणाम प्राप्त कर सकते हैं।

स्पार्क वर्ग

स्पार्क एक उच्च-प्रदर्शन, सामान्य-प्रयोजन डेटा प्रोसेसिंग इंजन है जो डेटा प्रोसेसिंग और वितरण का समर्थन करता है और इसमें अनुप्रयोगों की एक विस्तृत श्रृंखला है। डेटा विज्ञान और मशीन सीखने के विशेषज्ञों के लिए कई स्पार्क डेटा लाइब्रेरी हैं जो त्वरित विकास के लिए उच्च-स्तरीय प्रोग्रामिंग मॉडल का समर्थन करते हैं। स्पार्क के ऊपर, स्पार्क SQL, MLlib, स्पार्क स्ट्रीमिंग और GrapX हैं।



स्पार्क एसक्यूएल संरचित डेटा प्रोसेसिंग के लिए एक मॉड्यूल है, जो विभिन्न डेटा स्रोतों के साथ संगत है, हाइव, एवरो, पैरक, ओआरसी, जेएसएन और जेडीबीसी के लिए समर्थन के साथ। स्पार्क SQL अर्ध-संरचित डेटासेट पर कुशल है और Hive मेटास्टोर और NoSQL रिपॉजिटरी जैसे HBase के साथ एकीकृत है। स्पार्क का उपयोग अक्सर हमारे पसंदीदा प्रोग्रामिंग भाषाओं जैसे जावा, पायथन, आर, और स्काला में विभिन्न सॉफ्टवेयर एपीआई के साथ किया जाता है।

यदि आप बड़ी मात्रा में डेटा और उच्च भार के साथ काम करते हैं, तो स्पार्क कार्यक्रमों के साथ एसक्यूएल प्रश्नों को एम्बेड करने की आवश्यकता होने पर स्पार्क बहुत उपयोगी हो सकता है। स्पार्क हमारे कई उपयोगकर्ताओं की मदद करता है जो स्ट्रीमिंग डेटा के प्रसंस्करण को कम करने के लिए ग्लोबल 100 कंपनियों में काम करते हैं। MLlib के साथ इसे मिलाकर, हम देखते हैं कि हमारे कितने ग्राहक Spark के प्रति सकारात्मक प्रतिक्रिया देते हैं, क्योंकि डेटा वेयरहाउस अनुप्रयोगों के साथ काम करते समय मशीन सीखने में सक्षम एक उत्कृष्ट प्रणाली। उच्च प्रदर्शन, कम विलंबता और तीसरे पक्ष के उपकरणों के उत्कृष्ट एकीकरण के साथ, स्पार्क एसक्यूएल प्रोग्रामिंग और एसक्यूएल के बीच स्विच करने के लिए सबसे अच्छी स्थिति प्रदान करता है।

तो कौन सा एसक्यूएल इंजन का उपयोग करना है?

चूंकि आप सीडीडब्ल्यू में एक ही डेटा को सीडीपी से जोड़ सकते हैं, इसलिए आप प्रत्येक प्रकार के कार्यभार के लिए सही इंजन चुन सकते हैं, जैसे डेटा इंजीनियरिंग, पारंपरिक ईडीडब्ल्यू, तदर्थ विश्लेषिकी, बीआई डैशबोर्ड, ऑनलाइन विश्लेषणात्मक प्रसंस्करण (ओएलएपी) या ऑनलाइन लेनदेन प्रसंस्करण (ओएलटीपी)। नीचे दिए गए आरेख में चयन को सरल बनाने के उद्देश्य से कुछ सिद्धांतों को दिखाया गया है, जिसके अनुसार इंजन और उनके तंत्र प्रत्येक निर्दिष्ट लक्ष्यों के लिए अच्छी तरह से अनुकूल हैं।

निष्कर्ष

यदि आप ईडीडब्ल्यू समर्थन बीआई डैशबोर्ड का उपयोग करते हैं, तो हाइव एलएलएपी आपको सर्वोत्तम परिणाम देगा। जब आपको तदर्थ, स्व-सेवा और अनुसंधान डेटा वेयरहाउसिंग की आवश्यकता होती है, तो अपनी आंखों को इम्पाला के लाभों की ओर मोड़ें। यदि आप लंबे समय से चल रहे प्रश्नों के साथ और उच्च संगति के बिना डेटा इंजीनियरिंग को देखते हैं, तो स्पार्क एसक्यूएल एक बढ़िया विकल्प है। यदि आपको उच्च संगामिति समर्थन की आवश्यकता है, तो आप Tez पर Hive पर एक नज़र डाल सकते हैं। समय श्रृंखला डेटा के साथ OLAP समर्थन की तलाश करें, ड्र्यूड जोड़ें, और यदि आप कम विलंबता और उच्च संगति के साथ OLTP की तलाश कर रहे हैं, तो शायद आपको फीनिक्स जोड़ना चाहिए।

कुल - सीडीडब्ल्यू से सीडीपी में कई एसक्यूएल इंजन हैं, और यह उद्देश्य पर किया जाता है। निर्णय लेने से पहले विकल्प बनाना बड़े पैमाने पर डेटा वेयरहाउस पर बहु-थ्रेडेड प्रसंस्करण के साथ उच्च-प्रदर्शन अनुप्रयोगों के लिए प्रक्रियाओं का अनुकूलन करने का सबसे अच्छा तरीका है। CDP में CDW सुरक्षा, प्रबंधन, डेटा ट्रैकिंग और मेटाडेटा की एकल प्रणाली के तहत डेटा साझाकरण और साझाकरण प्रदान करता है, जो आपको अनुकूलित रिपॉजिटरी में SQL घटकों को संयोजित करने की अनुमति देता है। इस प्रकार, यह उपयोगकर्ता को उसके कार्यभार के आधार पर सर्वश्रेष्ठ एसक्यूएल इंजन चुनने की स्वतंत्रता देता है।