क्‍लाउडेरा में क्‍या खास है और इसे कैसे पकाएं

आंकड़ों के अनुसार, वितरित कंप्यूटिंग और बड़े डेटा के लिए बाजार, प्रति वर्ष 18-19% की दर से बढ़ रहा है। तो, इन उद्देश्यों के लिए सॉफ्टवेयर चुनने का सवाल प्रासंगिक बना हुआ है। इस पोस्ट में, हम शुरू करेंगे कि वितरित कंप्यूटिंग की आवश्यकता क्यों है, सॉफ़्टवेयर की पसंद पर ध्यान केंद्रित करें, क्लाउडर के साथ Hadoop का उपयोग करने के बारे में बात करें, और अंत में, चलो हार्डवेयर चुनने के बारे में बात करते हैं और यह विभिन्न तरीकों से प्रदर्शन को कैसे प्रभावित करता है।


हमें नियमित व्यवसाय में वितरित कंप्यूटिंग की आवश्यकता क्यों है? एक ही समय में सब कुछ सरल और जटिल है। सरल - क्योंकि ज्यादातर मामलों में हम प्रति इकाई सूचना की अपेक्षाकृत सरल गणना करते हैं। यह मुश्किल है क्योंकि इस तरह की बहुत सारी जानकारी है। बहुत कुछ। नतीजतन, आपको 1000 थ्रेड्स में डेटा की टेराबाइट्स को संसाधित करना होगा । इस प्रकार, उपयोग परिदृश्य काफी सार्वभौमिक हैं: गणना को लागू किया जा सकता है जहां कहीं भी डेटा की एक बड़ी सरणी पर बड़ी संख्या में मीट्रिक को ध्यान में रखना आवश्यक है।

एक हालिया उदाहरण: पिज्जा श्रृंखला डोडो पिज्जा ग्राहक के ऑर्डर बेस के विश्लेषण के आधार पर निर्धारित किया जाता है कि जब मनमाने ढंग से टॉपिंग के साथ पिज्जा चुनते हैं, तो उपयोगकर्ता आमतौर पर केवल छह बुनियादी सेटों के साथ-साथ यादृच्छिक लोगों के एक जोड़े के साथ काम करते हैं। इसके अनुसार, पिज़्ज़ेरिया ने खरीद को समायोजित किया। इसके अलावा, वह उपयोगकर्ताओं को ऑर्डर चरण में पेश किए गए अतिरिक्त उत्पादों की बेहतर सिफारिश करने में सक्षम था, जिससे मुनाफे को बढ़ाने में मदद मिली।

एक और उदाहरण: कमोडिटी पदों के विश्लेषण ने बिक्री के स्तर को बनाए रखते हुए एच एंड एम स्टोर को व्यक्तिगत दुकानों में सीमा को 40% तक कम करने की अनुमति दी। खराब बिक्री वाले पदों को समाप्त करके यह हासिल किया गया था, और गणना में सीज़न को ध्यान में रखा गया था।

उपकरण चयन

इस तरह के कंप्यूटिंग के लिए उद्योग मानक Hadoop है। क्यों? क्योंकि Hadoop एक उत्कृष्ट, अच्छी तरह से प्रलेखित ढांचा है (वही Habr इस विषय पर बहुत सारे विस्तृत लेख जारी करता है), जो उपयोगिताओं और पुस्तकालयों के एक पूरे सेट के साथ है। आप संरचित और असंरचित दोनों डेटा के विशाल सेटों को इनपुट कर सकते हैं, और सिस्टम स्वयं उन्हें कंप्यूटिंग शक्ति के बीच वितरित करेगा। इसके अलावा, इन समान क्षमताओं को किसी भी समय बढ़ाया या अक्षम किया जा सकता है - कार्रवाई में समान क्षैतिज मापनीयता।

2017 में, प्रभावशाली परामर्श कंपनी गार्टनर ने निष्कर्ष निकाला कि Hadoop जल्द ही अप्रचलित हो जाएगा। कारण बहुत ही भयावह है: विश्लेषकों का मानना ​​है कि कंपनियां बड़े पैमाने पर क्लाउड में प्रवास करेंगी, क्योंकि वहां वे कंप्यूटिंग शक्ति का उपयोग करने के तथ्य के लिए भुगतान कर सकते हैं। दूसरा महत्वपूर्ण कारक, माना जाता है कि "दफन" हैडोप - काम की गति है। क्योंकि Apache Spark या Google Cloud DataFlow जैसे विकल्प, Hadoop के अंतर्निहित अंतर्निहित MapReduce से तेज़ हैं।

Hadoop कई स्तंभों पर टिकी हुई है, जिनमें से सबसे उल्लेखनीय हैं MapReduce Technologies (सर्वर के बीच कंप्यूटिंग के लिए एक डेटा वितरण प्रणाली) और HDFS फ़ाइल सिस्टम। बाद को विशेष रूप से एक क्लस्टर में नोड्स के बीच वितरित जानकारी को संग्रहीत करने के लिए डिज़ाइन किया गया है: एक निश्चित आकार के प्रत्येक ब्लॉक को कई नोड्स पर रखा जा सकता है, और प्रतिकृति के लिए धन्यवाद, सिस्टम व्यक्तिगत नोड विफलताओं के लिए प्रतिरक्षा है। फ़ाइल तालिका के बजाय, NameNode नामक एक विशेष सर्वर का उपयोग किया जाता है।

नीचे चित्रण MapReduce वर्कफ़्लो दिखाता है। पहले चरण में, डेटा को एक निश्चित विशेषता के अनुसार विभाजित किया जाता है, दूसरे पर - उन्हें कंप्यूटिंग शक्ति के अनुसार वितरित किया जाता है, तीसरे पर - गणना की जाती है।


MapReduce मूल रूप से Google द्वारा अपनी खोज की जरूरतों के लिए बनाया गया था। फिर MapReduce मुफ्त कोड में चला गया, और अपाचे ने परियोजना को ले लिया। खैर, Google धीरे-धीरे अन्य समाधानों की ओर पलायन कर गया है। एक दिलचस्प बारीकियों: फिलहाल Google के पास Google क्लाउड डेटाफ़्लो नामक एक परियोजना है, जिसे Hadoop के बाद अगले चरण के रूप में एक त्वरित प्रतिस्थापन के रूप में तैनात किया गया है।

एक नज़दीकी नज़र से पता चलता है कि Google क्लाउड डेटाफ़्लो एपाचे बीम की एक किस्म पर आधारित है, जबकि अपाचे बीम में एक अच्छी तरह से प्रलेखित अपाचे स्पार्क फ्रेमवर्क शामिल है, जो हमें निर्णय निष्पादन की लगभग समान गति के बारे में बात करने की अनुमति देता है। ठीक है, अपाचे स्पार्क एचडीएफएस फाइल सिस्टम पर ठीक काम करता है, जो आपको इसे हडोप सर्वर पर तैनात करने की अनुमति देता है।

हम यहां Google क्लाउड डेटाफ़्लो के खिलाफ Hadoop और Spark के लिए प्रलेखन और टर्नकी समाधान की मात्रा जोड़ते हैं, और उपकरण का विकल्प स्पष्ट हो जाता है। इसके अलावा, इंजीनियर खुद के लिए तय कर सकते हैं कि कौन सा कोड - Hadoop या स्पार्क के तहत - उनके लिए निष्पादित करने के लिए, कार्य, अनुभव और योग्यता पर ध्यान केंद्रित करें।

बादल या स्थानीय सर्वर

क्लाउड के लिए एक सार्वभौमिक संक्रमण की ओर रुझान ने भी इस तरह के एक दिलचस्प पद को उत्पन्न किया है, जैसे कि Hadoop-as-a-service। इस परिदृश्य में, कनेक्टेड सर्वर का प्रशासन बहुत महत्वपूर्ण हो गया है। क्योंकि, अफसोस, अपनी लोकप्रियता के बावजूद, शुद्ध Hadoop को कॉन्फ़िगर करने के लिए काफी मुश्किल उपकरण है, क्योंकि बहुत सी चीजें आपके हाथों से करनी होती हैं। उदाहरण के लिए, व्यक्तिगत रूप से सर्वरों को कॉन्फ़िगर करें, उनके प्रदर्शन की निगरानी करें, ध्यान से कई मापदंडों को कॉन्फ़िगर करें। सामान्य तौर पर, शौकिया के लिए काम करना किसी चीज को पेंच करने या कुछ याद करने का एक शानदार मौका है।

इसलिए, विभिन्न वितरण, जो शुरू में सुविधाजनक तैनाती और प्रशासन उपकरणों से लैस हैं, ने बहुत लोकप्रियता हासिल की। सबसे लोकप्रिय वितरणों में से एक जो स्पार्क का समर्थन करता है और चीजों को आसान बनाता है, वह है क्लाउडरा। इसका एक भुगतान और एक नि: शुल्क संस्करण दोनों हैं - और बाद में सभी बुनियादी कार्यक्षमता उपलब्ध है, और नोड्स की संख्या को सीमित किए बिना।



सेटअप के दौरान, Cloudera Manager SSH के माध्यम से आपके सर्वर से जुड़ जाएगा। एक दिलचस्प बिंदु: स्थापना के दौरान यह इंगित करना बेहतर है कि इसे तथाकथित पार्सल द्वारा किया जाना चाहिए: विशेष पैकेज, जिनमें से प्रत्येक में सभी आवश्यक घटक शामिल हैं जो एक दूसरे के साथ काम करने के लिए कॉन्फ़िगर किए गए हैं। वास्तव में, यह पैकेज मैनेजर का ऐसा बेहतर संस्करण है।

स्थापना के बाद, हमें क्लस्टर प्रबंधन कंसोल मिलता है, जहाँ आप क्लस्टर द्वारा टेलीमेट्री देख सकते हैं, स्थापित सेवाएँ, साथ ही आप संसाधनों को जोड़ / हटा सकते हैं और क्लस्टर कॉन्फ़िगरेशन को संपादित कर सकते हैं।



नतीजतन, आप रॉकेट के केबिन को देखते हैं जो आपको बिगडाटा के उज्ज्वल भविष्य में ले जाएगा। लेकिन इससे पहले कि आप कहते हैं "चलो चलते हैं," चलो हुड के नीचे आते हैं।

हार्डवेयर आवश्यकताओं

क्लाउडरा ने अपनी वेबसाइट पर विभिन्न संभावित विन्यासों का उल्लेख किया है। सामान्य सिद्धांत जिनके द्वारा वे बनाए गए हैं, चित्रण में दिखाए गए हैं:


इस आशावादी तस्वीर को लुब्रिकेट करने के लिए MapReduce करें। यदि आप पिछले खंड से फिर से आरेख को देखते हैं, तो यह स्पष्ट हो जाता है कि लगभग सभी मामलों में MapReduce नौकरी डिस्क से या नेटवर्क से डेटा पढ़ते समय एक अड़चन में चल सकती है। यह भी Cloudera ब्लॉग पर चित्रित किया गया है। नतीजतन, स्पार्क के माध्यम से सहित किसी भी तेज गणना के लिए, जिसे अक्सर वास्तविक समय की गणना के लिए उपयोग किया जाता है, I / O गति बहुत महत्वपूर्ण है। इसलिए, Hadoop का उपयोग करते समय, यह बहुत महत्वपूर्ण है कि संतुलित और तेज़ मशीनें क्लस्टर में मिलती हैं, जो इसे हल्के ढंग से लगाने के लिए, हमेशा क्लाउड इन्फ्रास्ट्रक्चर में प्रदान नहीं की जाती हैं।

शक्तिशाली मल्टी-कोर सीपीयू के साथ सर्वर पर ओपनस्टैक वर्चुअलाइजेशन के उपयोग के माध्यम से संतुलित लोड संतुलन हासिल किया जाता है। डेटा नोड्स को उनके प्रोसेसर संसाधन और विशिष्ट डिस्क आवंटित किए जाते हैं। हमारे एटोस कोडेक्स डेटा लेक इंजन समाधान में, व्यापक वर्चुअलाइजेशन प्राप्त किया जाता है, यही वजह है कि हम दोनों प्रदर्शन (नेटवर्क इन्फ्रास्ट्रक्चर के प्रभाव को कम से कम) में जीतते हैं और टीसीओ में (अनावश्यक भौतिक सर्वर समाप्त हो जाते हैं)।


BullSequana S200 सर्वर का उपयोग करने के मामले में, हमें बहुत ही समान भार मिलता है, कुछ बाधाओं से रहित। न्यूनतम कॉन्फ़िगरेशन में 3 बुलस्पनाना S200 सर्वर शामिल हैं, जिनमें से प्रत्येक में दो JBODs हैं, साथ ही चार डेटा नोड्स वाले वैकल्पिक अतिरिक्त S200 वैकल्पिक रूप से जुड़े हुए हैं। यहाँ TeraGen परीक्षण में एक उदाहरण लोड है:



विभिन्न डेटा वॉल्यूम और प्रतिकृति मूल्यों के साथ परीक्षण क्लस्टर नोड्स के बीच लोड संतुलन के मामले में समान परिणाम दिखाते हैं। नीचे प्रदर्शन परीक्षणों द्वारा डिस्क एक्सेस के वितरण का एक ग्राफ है।



गणना 3 बुल्ससपाना S200 सर्वर के न्यूनतम कॉन्फ़िगरेशन पर आधारित हैं। इसमें 9 डेटा नोड्स और 3 मुख्य नोड्स, साथ ही ओपनस्टैक वर्चुअलाइजेशन पर आधारित सुरक्षा की तैनाती के मामले में आरक्षित वर्चुअल मशीनें शामिल हैं। TeraSort परीक्षा परिणाम: एन्क्रिप्शन के साथ तीन के प्रतिकृति गुणांक के 512 एमबी ब्लॉक का आकार 23.1 मिनट है।

मैं सिस्टम का विस्तार कैसे कर सकता हूं? डेटा लेक इंजन के लिए विभिन्न प्रकार के एक्सटेंशन उपलब्ध हैं:

• डेटा नोड्स: प्रत्येक 40 टीबी के लिए प्रयोग करने योग्य स्थान
  
• एक GPU स्थापित करने की क्षमता के साथ विश्लेषणात्मक नोड्स
  
• व्यवसाय की जरूरतों के आधार पर अन्य विकल्प (उदाहरण के लिए, यदि आपको काफ्का और इस तरह की आवश्यकता है)
  

एटोस कोडेक्स डेटा लेक इंजन में स्वयं सर्वर और पूर्व-स्थापित सॉफ़्टवेयर दोनों शामिल हैं, जिसमें एक लाइसेंस प्राप्त क्लॉउडर सुइट शामिल है; Hadoop ही, RedHat Enterprise Linux कर्नेल पर आधारित वर्चुअल मशीनों के साथ OpenStack, डेटा प्रतिकृति प्रणाली और बैकअप (बैकअप नोड और क्लाउड बीडीआर का उपयोग करके - बैकअप और डिजास्टर रिकवरी सहित)। एटोस कोडेक्स डेटा लेक इंजन, क्लूडेरा द्वारा प्रमाणित पहला वर्चुअलाइजेशन समाधान था।

यदि आप विवरण में रुचि रखते हैं, तो हमें टिप्पणियों में हमारे सवालों का जवाब देने में खुशी होगी।