क्या हैडॉप मर गया? भाग 1

डेटा इंजीनियर कोर्स के छात्रों के लिए विशेष रूप से लेख का अनुवाद तैयार किया गया था।

---

क्लोडेरा और मैपआर दोनों ने सप्ताह पहले घोषणा की कि उनका व्यवसाय एक कठिन समय में था, मैंने सोशल मीडिया पोस्ट की एक धारा "हडोप डेड इज डेड" थीम के साथ देखी। ये पद नए नहीं हैं, लेकिन एक ऐसे क्षेत्र में जहां तकनीकी विशेषज्ञ शायद ही कभी सामाजिक नेटवर्क के लिए उच्च गुणवत्ता वाली सामग्री का उत्पादन करते हैं, इन विस्मयादिबोधकों में जोर से और जोर से हो रही है। मैं हाडोप की स्थिति के बारे में कुछ तर्कों पर विचार करना चाहूंगा।

मुफ्त के साथ प्रतियोगिता

क्लोडेरा के सुझाव हैं कि Hadoop को अधिक संपूर्ण समाधान बनाने में मदद करें। इन उपकरणों के दिखाई देने से पहले देवोप्स व्यापक हो गए, और स्वचालित तैनाती दुर्लभ थी।

उनके उपकरण 2,600 से अधिक ग्राहकों के लिए शानदार सौदे प्रदान करते हैं, लेकिन उनमें से अधिकांश सॉफ्टवेयर खुले स्रोत और मुफ्त हैं। क्लूडेरा अंततः मुफ्त सॉफ्टवेयर के साथ प्रतिस्पर्धा करती है। यह सब बंद करने के लिए, कई Hadoop पारिस्थितिक तंत्र डेवलपर्स ने एक समय या दूसरे पर Cloudera, यानी। अंत में, उन्होंने किसी भी तरह से मुफ्त में मिलने वाले ऑफर्स का फायदा उठाया।

जैसा कि वे मुफ्त में प्रतिस्पर्धा करते हैं, क्लोडा कभी भी हडोप उपयोगकर्ता के आधार का 100% सेवा नहीं करेगा। मैं उन्हें इस कारण से Hadoop के स्वास्थ्य के एक संकेतक के रूप में उपयोग करने की हिम्मत नहीं करूंगा।

टर्नकी स्पार्क और प्रेस्टो सॉल्यूशंस की पेशकश करने वाली अन्य कंपनियां Hadoop ब्रांड से खुद को दूर करने की कोशिश कर रही हैं। उनके प्रस्तावों में विभिन्न Hadoop परियोजनाओं की सैकड़ों .jar फाइलें शामिल हो सकती हैं, लेकिन फिर भी, ये कंपनियां खुले स्रोत सॉफ़्टवेयर के उपयोग के माध्यम से अपनी विकास लागत को कम करते हुए, मुफ्त ऑफ़र के साथ प्रतिस्पर्धा से बचने के लिए हर संभव प्रयास करना चाहती हैं। बिक्री इतनी आसान नहीं है जब आपका ग्राहक कानूनी रूप से आपके 80% ऑफर को बिना भुगतान के डाउनलोड कर सकता है।

AWS के साथ प्रतियोगिता

2012 में, मैंने Hadoop को 25 अन्य ठेकेदारों के साथ लागू करने पर काम किया। मेरे कुछ सहकर्मी Google से आए थे, अन्य लोग क्लाउडरा के लिए काम करते रहे। एक महत्वपूर्ण बजट शामिल था, टीम ने कई भुगतान घंटे का उत्पादन किया, लेकिन Hadoop पारिस्थितिकी तंत्र का एक बहुत छोटा हिस्सा तैयार था।

कुछ वर्षों के भीतर, AWS EMR दिखाई दिया और अपनी बाजार हिस्सेदारी को अवशोषित करना शुरू कर दिया। EMR आपको कुछ ही क्लिक में स्थापित सॉफ्टवेयर की एक विस्तृत विविधता के साथ Hadoop क्लस्टर चलाने की अनुमति देता है। यह बिंदु प्रतियों में काम कर सकता है, जो उपकरण की लागत को ~ 80% तक कम करता है, और S3 पर डेटा स्टोर कर सकता है, जो कि 99.9999999999% सस्ता और विश्वसनीय रहता है।

अचानक, परियोजना पर 25 ठेकेदारों की आवश्यकता गायब हो गई। कुछ परियोजनाओं पर, केवल मैं, एक पूर्णकालिक कार्यकर्ता, और कई अन्य अंशकालिक, हमारी अन्य जिम्मेदारियों के अलावा बुनियादी ढांचे को तैयार करने में शामिल हो सकते हैं। अभी भी AWS EMR का उपयोग करने वाले परियोजना सलाहकारों की आवश्यकता है, लेकिन इस तरह के काम के लिए समग्र बिलिंग क्षमता कुछ साल पहले की तुलना में बहुत कम है।
संभावित क्लाउड कारोबार का कितना हिस्सा EMR के पक्ष में खो गया था? क्लाउडरा ने नंगे धातु समूहों को स्थापित करने और प्रबंधित करने का अच्छा काम किया, लेकिन आज अधिकांश डेटा दुनिया क्लाउड में है। यह ध्यान देने योग्य है कि Hadoop आपके व्यवसाय के लिए कितना आकर्षक है, यदि केवल इसलिए कि AWS के पास बिंदु प्रतियों के साथ एक प्रबंधित ऑफ़र है।

Hadoop क्या है?

अगर आपने मुझसे हडोप की परिभाषा पूछी, तो मैं कहूंगा कि यह ओपन सोर्स सॉफ्टवेयर का एक बड़ा संग्रह है जो कुछ हद तक एकीकृत है और इसमें कई सामान्य पुस्तकालय हैं। मैं Hadoop को एक विभाजन डेटाबेस के रूप में देखता हूं, लगभग डेटा के लिए एक ऑपरेटिंग सिस्टम वितरण की तरह।
Hadoop द्वारा प्रायोजित सभी सॉफ्टवेयर परियोजनाएं Apache परियोजनाएं नहीं हैं। प्रेस्टो एक ऐसा अपवाद है। अन्य, जैसे कि ClickHouse, HDFS और Parquet के लिए आगामी समर्थन के साथ, एक Hadoop परियोजना के रूप में कई द्वारा नहीं माना जाएगा, हालांकि वे जल्द ही संगतता ग्राफ पर टिक करेंगे।

2012 तक, कोई ORC फाइलें या Parquet नहीं थे। इन प्रारूपों ने हडोप में त्वरित विश्लेषण के कार्यान्वयन में योगदान दिया। इन प्रारूपों से पहले, वर्कलोड ज्यादातर लाइन-उन्मुख थे। यदि आपको डेटा के टेराबाइट्स को बदलने की आवश्यकता है और आप इसे समानांतर में कर सकते हैं, तो Hadoop पूरी तरह से काम करेगा। MapReduce एक ऐसा ढांचा था जिसका उपयोग अक्सर इस उद्देश्य के लिए किया जाता था।

कॉलम संग्रहण किसके लिए पेश किया गया था यह कुछ ही सेकंड में डेटा की टेराबाइट्स का विश्लेषण है। जो बड़ी संख्या में उद्यमों के लिए अधिक मूल्यवान प्रस्ताव निकला। डेटा वैज्ञानिकों को एक विचार प्राप्त करने के लिए केवल थोड़ी मात्रा में डेटा की आवश्यकता हो सकती है, लेकिन पहले उन्हें सही लोगों को चुनने के लिए डेटा के संभावित पेटाबाइट्स को देखने की आवश्यकता होगी। कॉलम एनालिटिक्स उनके लिए डेटा के प्रसंस्करण में उनके प्रवाह में उनके लिए महत्वपूर्ण है, जो यह समझने के लिए आवश्यक है कि क्या चयन करने की आवश्यकता है।

MapReduce में दो कार्यात्मक डेटा प्रोसेसिंग ऑपरेटर हैं, नक्शे को कम करते हैं और डेटा को स्ट्रिंग्स के रूप में मानते हैं। स्पार्क तुरंत इसका अनुसरण करता है और इसमें अधिक कार्यात्मक ऑपरेटर होते हैं, जैसे कि फिल्टर और यूनियन, और निर्देशित एसाइक्लिक ग्राफ (डायरेक्ट एसाइक्लिक ग्राफ - डीएजी) में संरचित डेटा को मानता है। इन तत्वों ने स्पार्क को मशीन लर्निंग और ग्राफिकल एनालिटिक्स जैसे अधिक जटिल वर्कलोड चलाने में सक्षम किया। स्पार्क अभी भी एक क्षमता अनुसूचक के रूप में YARN का उपयोग कर सकता है, बहुत अधिक MapReduce में कार्यों की तरह। लेकिन स्पार्क टीम ने भी अपना शेड्यूलर बनाना शुरू कर दिया और बाद में कुबेरनेट्स के लिए समर्थन जोड़ा।

कुछ बिंदु पर, स्पार्क समुदाय ने हाडोप पारिस्थितिकी तंत्र से खुद को दूर करने की कोशिश की। वे नहीं चाहते थे कि उन्हें ऐड-ऑन लेगेसी सॉफ्टवेयर के रूप में या हैडोप के लिए "ऐड-ऑन" के रूप में देखा जाए। एकीकरण के स्तर को देखते हुए कि स्पार्क का बाकी हडोप पारिस्थितिकी तंत्र के साथ है, और स्पार्क द्वारा उपयोग की जाने वाली अन्य हडोप परियोजनाओं से सैकड़ों पुस्तकालय दिए गए हैं, मैं इस दृष्टिकोण से असहमत हूं कि स्पार्क एक अकेला उत्पाद है।

MapReduce इन दिनों अधिकांश वर्कलोड के लिए पहली पसंद नहीं हो सकता है, लेकिन यह अभी भी आधार वातावरण है जब हडॉप डिस्टकप का उपयोग किया जाता है - एक सॉफ्टवेयर पैकेज जो AWS S3 और HDFS के बीच डेटा को किसी भी अन्य प्रस्ताव की तुलना में तेजी से स्थानांतरित कर सकता है। का परीक्षण किया।

क्या हर Hadoop टूल सफल है?

नहीं, कुछ परियोजनाएं हैं जो पहले से ही नई वस्तुओं का निरीक्षण कर चुकी हैं।

उदाहरण के लिए, कई वर्कलोड जो पहले ओज़ी के साथ स्वचालित थे, अब एयरफ्लो के साथ स्वचालित हैं। Oozie के मुख्य डेवलपर रॉबर्ट कांटर ने कोड बेस का एक महत्वपूर्ण हिस्सा प्रदान किया जो आज भी मौजूद है। दुर्भाग्य से, रॉबर्ट ने 2018 में क्लोउडेरा छोड़ने के बाद से इस परियोजना में इतना सक्रिय हिस्सा नहीं लिया। इस बीच, एयरफ्लो में 800 से अधिक प्रतिभागी हैं, जिनमें से पिछले एक साल में इसकी संख्या लगभग दोगुनी हो गई है। लगभग हर ग्राहक, जिनके साथ मैंने 2015 से काम किया था, उनके संगठनों में कम से कम एक विभाग में एयरफ्लो का उपयोग किया।

Hadoop विभिन्न बिल्डिंग ब्लॉक्स और तत्वों को प्रदान करता है जो डेटा प्लेटफॉर्म बनाते हैं। अक्सर, कई परियोजनाएं समान कार्यक्षमता के प्रावधान के लिए प्रतिस्पर्धा करती हैं। अंत में, इनमें से कुछ प्रोजेक्ट फीके पड़ जाते हैं जबकि अन्य प्रमुख होते हैं।

2010 में, कई परियोजनाएं थीं जिन्हें विभिन्न कार्यभार के लिए पहली पसंद के रूप में तैनात किया गया था, जिसमें केवल कुछ प्रतिभागी थे या, कुछ मामलों में, कई महत्वपूर्ण तैनाती। तथ्य यह है कि ये परियोजनाएं आती हैं और जाती हैं, इस बात का सबूत के रूप में इस्तेमाल किया गया था कि पूरा Hadoop पारिस्थितिकी तंत्र मर रहा है, लेकिन मैं इस तरह के निष्कर्ष नहीं निकालता हूं।

मैं परियोजनाओं के इस कमजोर संघ को कई शक्तिशाली विशेषताओं को विकसित करने के तरीके के रूप में देखता हूं जो कि किसी भी महत्वपूर्ण अंत-उपयोगकर्ता लाइसेंस शुल्क के बिना उपयोग किया जा सकता है। यह योग्यतम के अस्तित्व का सिद्धांत है, और यह साबित करता है कि प्रत्येक समस्या के लिए एक से अधिक दृष्टिकोण पर विचार किया गया था।

अद्यतन: मैंने शुरू में कहा था कि गीज़ब पर जो रिपोर्ट की गई है, उसके आधार पर ओज़ी के पास 17 सदस्य थे। वास्तव में, Oozie के पास 152 डेवलपर्स द्वारा प्रस्तुत किए गए प्रत्यक्ष कमिट और पैच दोनों थे, न कि सिर्फ 17 जो कि GitHub गणना में दिखाई देते हैं। रॉबर्ट कान्टर ने इन अतिरिक्त 135 लेखकों के साक्ष्य के साथ इस पोस्ट के प्रारंभिक प्रकाशन के बाद मुझसे संपर्क किया, और मैं इस स्पष्टीकरण के लिए उन्हें धन्यवाद देता हूं।

खोज ट्रैफ़िक काम नहीं कर रहा है

Hadoop की "मौत" के पक्ष में एक तर्क यह है कि विभिन्न Hadoop तकनीकों पर Google खोज ट्रैफ़िक काम नहीं करता है। क्लाउडरा और कई अन्य सलाहकारों ने हाल के वर्षों में अच्छा धन उगाहने वाला काम किया है और अपने प्रस्तावों को आगे बढ़ाने के लिए महत्वपूर्ण प्रयास किए हैं। यह, बदले में, बहुत रुचि पैदा हुई, और कुछ बिंदु पर इन प्रौद्योगिकियों का अध्ययन करने वाले लोगों की एक लहर तकनीकी समुदाय में दिखाई दी। यह समुदाय विविध है, और कुछ बिंदु पर, ज्यादातर लोग, हमेशा की तरह, अन्य चीजों पर चले गए।

हाडोप के पूरे इतिहास में, आज की पेशकश की गई कार्यक्षमता की इतनी समृद्ध विविधता नहीं थी, और यह पहले कभी भी युद्ध में इतना स्थिर और परीक्षण नहीं किया गया था।

Hadoop परियोजनाओं में हजारों लेखकों द्वारा लिखित कोड की लाखों लाइनें शामिल हैं। हर हफ्ते, सैकड़ों डेवलपर विभिन्न परियोजनाओं पर काम करते हैं। अधिकांश व्यावसायिक डेटाबेस ऑफ़र भाग्यशाली होते हैं यदि कम से कम मुट्ठी भर इंजीनियर हर हफ्ते अपने कोड डेटाबेस में महत्वपूर्ण सुधार करते हैं।

Hadoop क्यों खास है?

सबसे पहले, 600 पीबी से अधिक की क्षमता वाले एचडीएफएस क्लस्टर हैं। RAM में HDFS मेटाडेटा की प्रकृति का अर्थ है कि आप प्रति सेकंड 60k संचालन को आसानी से संसाधित कर सकते हैं।
AWS S3 ने स्केलेबिलिटी हासिल करने के लिए POSIX फाइल सिस्टम पर बहुत कुछ पाया है। त्वरित फ़ाइल परिवर्तन, जैसे कि आवश्यक जब CSV फ़ाइलों को Parquet फ़ाइलों में परिवर्तित करते हैं, S3 में संभव नहीं होते हैं और यदि आप कार्यभार वितरित करना चाहते हैं तो HDFS जैसी किसी चीज़ की आवश्यकता होती है। यदि रूपांतरण सॉफ़्टवेयर को उपरोक्त S3- केवल कार्यभार बनाने के लिए संशोधित किया गया था, तो डेटा स्थानीयता वाले ट्रेडऑफ़ महत्वपूर्ण होने की संभावना है।

दूसरे, Hadoop Ozone परियोजना का उद्देश्य S3 API- संगत प्रणाली बनाना है जो किसी क्लस्टर में लाखों खरब वस्तुओं को अपनी क्लाउड सेवा का उपयोग करने की आवश्यकता के बिना संग्रहीत कर सकती है। इस परियोजना का उद्देश्य स्पार्क और हाइव के लिए बिल्ट-इन समर्थन है, जो इसे बाकी के हडोप इकोसिस्टम के साथ अच्छा एकीकरण देता है। एक बार जारी होने के बाद, यह सॉफ्टवेयर पहले ऐसे ओपन सोर्स प्रसादों में से एक होगा जो एक क्लस्टर में इतनी सारी फाइलें स्टोर कर सकते हैं।

तीसरा, भले ही आप डेटा के पेटाबाइट्स के साथ काम न करें, लेकिन Hadoop पारिस्थितिकी तंत्र में आपके लिए उपलब्ध API डेटा के गीगाबाइट को संसाधित करने के लिए एक सुसंगत इंटरफ़ेस प्रदान करता है। स्पार्क वितरित मशीन लर्निंग के लिए अंतिम समाधान है। जैसे ही आप एपीआई के साथ सहज हो जाते हैं, इससे कोई फर्क नहीं पड़ता कि आपका काम का बोझ जीबी या पीबी में मापा जाता है, जो कोड आप बनाते हैं उसे फिर से लिखने की आवश्यकता नहीं है, आपको इसे चलाने के लिए अधिक मशीनों की आवश्यकता है। मैं पहले किसी को SQL और PySpark कोड लिखना सिखाऊंगा, और फिर मैं उन्हें सिखाऊँगा कि कैसे कई मशीनों पर AWK कमांड वितरित करें।

चौथा, Hadoop पारिस्थितिकी तंत्र की कई विशेषताएं वाणिज्यिक आपूर्तिकर्ताओं के लिए नेता हैं। एक मालिकाना डेटाबेस के लिए प्रत्येक असफल विपणन चाल बिक्री विभाग को यह पता लगाने की ओर ले जाती है कि उनके प्रस्ताव में कितनी गायब विशेषताएं, व्यापार-अप और अड़चनें हैं। प्रत्येक POC विफलता बिक्री टीम को यह पता लगाने का कारण बनाती है कि उनका आंतरिक सॉफ्टवेयर परीक्षण कितना विश्वसनीय है।

यह अनुवाद के पहले भाग का निष्कर्ष निकालता है। निरंतरता यहां पढ़ी जा सकती है । और अब हम आपकी टिप्पणियों की प्रतीक्षा कर रहे हैं और हर किसी को इस विषय पर एक मुफ्त वेबिनार में आमंत्रित करते हैं: "स्ट्रीमिंग एनालिटिक्स सिस्टम के निर्माण के सिद्धांत । "