डेटा लेक कॉन्सेप्ट में वितरित डेटा वेयरहाउस: सीडीएच स्थापित करना

हम डेटा वेयरहाउस के आयोजन में अपने अनुभव को साझा करना जारी रखते हैं, जिसके बारे में हमने पिछली पोस्ट में बात करना शुरू किया था । इस बार हम बात करना चाहते हैं कि हमने सीडीएच स्थापना कार्यों को कैसे हल किया।

सीडीएच स्थापना

हम क्लाउड प्रबंधक सर्वर शुरू करते हैं, इसे ऑटोलैड में जोड़ते हैं और जांचते हैं कि यह सक्रिय स्थिति में बदल गया है:

systemctl start cloudera-scm-server systemctl enable cloudera-scm-server systemctl status cloudera-scm-server 

इसके बढ़ जाने के बाद, हम "hostname: 7180 /" लिंक का अनुसरण करते हैं, लॉग इन करें (व्यवस्थापक / व्यवस्थापक) और GUI से इंस्टॉलेशन जारी रखें। प्राधिकरण के बाद, स्थापना स्वचालित रूप से शुरू हो जाएगी और क्लस्टर में मेजबानों को जोड़ने के लिए पृष्ठ पर एक संक्रमण हो जाएगा:

यह उन सभी मेजबानों को जोड़ने की सिफारिश की जाती है जो किसी तरह तैनात वातावरण के साथ जुड़े होंगे (भले ही वे क्लाउड सेवा की मेजबानी नहीं करेंगे)। ये निरंतर एकीकरण उपकरण, बीआई या ईटीएल उपकरण, या डेटा डिस्कवरी उपकरण के साथ मशीन हो सकते हैं। क्लस्टर में इन मशीनों को शामिल करने से आपको क्लस्टर सेवाओं के कॉन्फ़िगरेशन और स्थान के साथ क्लस्टर सेवाओं (गेटवे) की गेटवे स्थापित करने की अनुमति मिलेगी, जो तीसरे पक्ष के कार्यक्रमों के साथ एकीकरण को सरल करेगा। क्लूडेरा प्रबंधक सुविधाजनक निगरानी उपकरण और एकल विंडो में सभी क्लस्टर मशीनों के लिए प्रमुख मीट्रिक के मॉनिटर का निर्माण भी प्रदान करता है, जो ऑपरेशन के दौरान समस्याओं के स्थानीयकरण को सरल करेगा। "नई खोज" बटन का उपयोग करके होस्ट जोड़े जाते हैं - क्लस्टर में मशीनों को जोड़ने के लिए पृष्ठ पर एक संक्रमण किया जाता है, जहां एसएसएच के माध्यम से कनेक्ट करने के लिए उन्हें डेटा प्रदान करने का प्रस्ताव है:

मेजबानों को जोड़ने के बाद, हम स्थापना विधि को चुनने के चरण पर आगे बढ़ते हैं। चूंकि हमने पार्सल्स डाउनलोड किया था, इसलिए हम "यूज पार्सल (अनुशंसित)" विधि का चयन करते हैं, और अब हमें अपने रिपॉजिटरी को जोड़ना होगा। हम "अधिक विकल्प" बटन पर क्लिक करते हैं, वहां स्थापित सभी डिफ़ॉल्ट रिपॉजिटरी को हटाते हैं और सीडीएच पार्सल - "होस्टनाम / पार्सल / सीडीएच /" के साथ रिपॉजिटरी पते को जोड़ते हैं। पुष्टि के बाद, शिलालेख "सीडीएच के संस्करण का चयन करें" के दाईं ओर, डाउनलोड किए गए पार्सल में प्रस्तुत सीडीएच संस्करण को प्रदर्शित किया जाना चाहिए। इस स्थापना विधि के लिए, इस टैब पर कुछ भी कॉन्फ़िगर नहीं किया जा सकता है:

अगला टैब आपको JDK स्थापित करने के लिए संकेत देगा। चूंकि हमने स्थापना के लिए तैयारी में पहले से ही ऐसा किया था, इसलिए हम इस चरण को छोड़ देते हैं:

जब आप अगले टैब पर जाते हैं, तो निर्दिष्ट मेजबानों पर क्लस्टर घटकों की स्थापना शुरू होती है। स्थापना पूर्ण होने के बाद, अगले चरण के लिए संक्रमण उपलब्ध होगा। यदि स्थापना त्रुटियों के दौरान सामना किया जाता है (स्थानीय देव वातावरण स्थापित करते समय मुझे इस स्थिति का सामना करना पड़ा), आप कमांड "टेल -f /var/log/cloudera-scm-server/cloudera-scm-server.log" कमांड का उपयोग करके देख सकते हैं। और तालिका के दाईं ओर विवरण बटन पर क्लिक करके:

अगले स्थापना कदम पर, आपको स्थापना के लिए सेवाओं के तैयार सेटों में से एक का चयन करने के लिए प्रेरित किया जाएगा। भविष्य में, सेवाओं और उनकी भूमिकाओं को मैन्युअल रूप से कॉन्फ़िगर किया जा सकता है, इसलिए यह महत्वपूर्ण नहीं है कि इस टैब पर क्या चुनना है। हमारे मामले में, "कोर विथ इम्पाला" आमतौर पर स्थापित किया गया था। इसके अलावा यहाँ आप Cloudera नेविगेटर को स्थापित करने की आवश्यकता का संकेत कर सकते हैं। यदि आप एंटरप्राइज़ संस्करण स्थापित कर रहे हैं, तो आपको यह उपयोगी उपकरण स्थापित करना चाहिए:

चयनित सेट से सेवाओं के लिए अगले टैब पर, उन भूमिकाओं और मेजबानों का चयन करना प्रस्तावित है जिन पर उन्हें स्थापित किया जाएगा। नीचे मेजबान पर भूमिकाएं स्थापित करने के लिए कुछ दिशानिर्देश दिए गए हैं।

HDFS भूमिकाएँ

NameNode - मास्टर नोड्स में से एक पर एक प्रतिलिपि में रखा जाता है, अधिमानतः सबसे अधिक उतार दिया जाता है, क्योंकि यह क्लस्टर के संचालन के लिए बहुत महत्वपूर्ण है और संसाधन उपयोग में महत्वपूर्ण योगदान देता है।
द्वितीयक नामांक - मास्टर नोड्स में से एक पर एक प्रतिलिपि में रखा गया है, अधिमानतः नामोड के रूप में एक ही नोड पर नहीं (गलती सहिष्णुता सुनिश्चित करने के लिए)।
Balancer - मास्टर नोड्स में से एक पर एक प्रति में रखा गया है।
HttpFS - HDFS के लिए एक अतिरिक्त एपीआई, आप इसे स्थापित नहीं कर सकते।
एनएफएस गेटवे - एक बहुत ही उपयोगी भूमिका, आपको एचडीएफएस को नेटवर्क ड्राइव के रूप में माउंट करने की अनुमति देता है। यह मास्टर नोड्स में से एक पर एक एकल प्रति में रखा गया है।
DataNode - सभी Data Nodes पर डालें।

हाइव रोल्स

गेटवे - हाइव विन्यास फाइल। यह क्लस्टर के सभी मेजबानों पर लगाया जाता है।
हाइव मेटास्टोर सर्वर - एक मेटाडेटा सर्वर, मास्टर नोड्स में से एक पर एक प्रतिलिपि में स्थापित किया जाता है (उदाहरण के लिए, जहां पोस्टग्रेक्यूएल स्थापित है - यह वहां अपना डेटा संग्रहीत करता है)।
WebHCat - स्थापित करने की कोई आवश्यकता नहीं है।
HiveServer2 - Hive Metastore Server (उनके संयुक्त कार्य के लिए एक आवश्यकता) के रूप में एक ही मास्टर नोड पर एक प्रतिलिपि में स्थापित किया गया है।

ह्यू भूमिकाओं

ह्यू सर्वर - एचडीएफ के लिए जीयूआई, मास्टर नोड्स में से एक पर एक प्रति में स्थापित है।
लोड बैलेंसर - HDFS के लिए GUI पर एक लोड बैलेंसर, मास्टर नोड्स में से एक पर एक कॉपी में स्थापित किया गया है।

इम्पाला रोल्स

इम्पाला स्टेटस्टोर - मास्टर नॉड्स में से एक पर एक कॉपी में रखा गया है।
इम्पाला कैटलॉग सर्वर - मास्टर नोड्स में से एक पर एक प्रति में रखा जाता है।
इम्पाला डेमन - सभी डेटा नोड्स पर डालें (आप डिफ़ॉल्ट मान छोड़ सकते हैं)।

Cloudera प्रबंधक सेवा भूमिकाएँ

सर्विस मॉनिटर, एक्टिविटी मॉनिटर, होस्ट मॉनिटर, रिपोर्ट्स मैनेजर, इवेंट सर्वर, अलर्ट प्रकाशक मास्टर नोड्स में से एक पर एक कॉपी में स्थापित किए जाते हैं।

ऊजी भूमिकाएँ

Oozie Server - मास्टर नोड्स में से एक पर एक कॉपी में रखा जाता है।

रोल्स यार्न

रिसोर्स मैनजर - मास्टर नोड्स में से एक पर एक कॉपी में डाल दिया जाता है।
JobHistory सर्वर - मास्टर नोड्स में से एक पर एक प्रति में स्थापित किया गया है।
NodeManager - सभी डेटा नोड्स पर डालें (आप डिफ़ॉल्ट मान छोड़ सकते हैं)।

ज़ूकीर की भूमिकाएँ

चिड़ियाघरकीपर सर्वर - गलती सहिष्णुता सुनिश्चित करने के लिए, इसे मास्टर नोड्स पर तीन प्रतियों में स्थापित किया गया है।

क्लोडेरा नेविगेटर की भूमिकाएं

नेविगेटर ऑडिट सर्वर - मास्टर नोड्स में से एक पर एक प्रति में स्थापित किया गया है।
नेविगेटर मेटाडेटा सर्वर - मास्टर नोड्स में से एक पर एक एकल प्रति में रखा जाता है।

भूमिकाओं के वितरण के बाद, स्थापित सेवाओं के लिए सेटिंग्स की एक छोटी सूची के साथ एक टैब है। उनका परिवर्तन स्थापना के बाद उपलब्ध होगा और इस स्तर पर उन्हें अपरिवर्तित रखा जा सकता है:

सेवा सेटिंग्स के बाद, उन सेवाओं के लिए एक डेटाबेस कॉन्फ़िगरेशन है जिनकी उन्हें आवश्यकता है। हम उस होस्ट का पूरा नाम दर्ज करते हैं जिस पर PostgreSQL स्थापित है, "डेटाबेस प्रकार" सूची में, उपयुक्त आइटम का चयन करें और शेष क्षेत्रों में संबंधित डेटाबेस से कनेक्ट करने के लिए डेटा निर्दिष्ट करें। सभी डेटा दर्ज किए जाने के बाद, "टेस्ट कनेक्शन" बटन पर क्लिक करें और जांचें कि डेटाबेस उपलब्ध हैं। यदि यह मामला है, तो प्रत्येक डेटाबेस के विपरीत तालिका के दाईं ओर शिलालेख "सफल" दिखाई देगा:

सेवाओं की तैनाती के लिए सब कुछ तैयार है। अगले टैब पर जाएं और इस प्रक्रिया का निरीक्षण करें। यदि हमने सब कुछ सही किया, तो सभी चरण सफलतापूर्वक पूरे हो जाएंगे। अन्यथा, प्रक्रिया चरणों में से एक में बाधित हो जाएगी और त्रुटि लॉग तीर दबाकर उपलब्ध होगा:

बधाई - सीडीएच ऊपर और चल रहा है!

आप अतिरिक्त पार्सल्स की स्थापना के साथ आगे बढ़ सकते हैं।

अतिरिक्त पार्सल की स्थापना

ऐसे मामलों में जहां सीएचडी सेवाओं का मूल सेट पर्याप्त नहीं है या यदि हाल के संस्करण की आवश्यकता है, तो आप अतिरिक्त पार्सल स्थापित कर सकते हैं जो उन सेवाओं की उपलब्ध सूची का विस्तार करते हैं जो क्लस्टर में तैनात की जा सकती हैं। हमारे प्रोजेक्ट के दौरान, हमें विकसित कार्यों और डेटा डिस्कवरी टूल्स के कामकाज को शुरू करने के लिए स्पार्क संस्करण 2.2 सेवा की आवश्यकता थी। यह सीडीएच का हिस्सा नहीं है, इसलिए इसे अलग से स्थापित करें। ऐसा करने के लिए, "होस्ट" बटन पर क्लिक करें और "पार्सल" ड्रॉप-डाउन सूची आइटम का चयन करें:

पार्सल्स के साथ एक टैब खुलता है, इस क्लाउड मैनेजर द्वारा प्रबंधित क्लस्टर्स की सूची और उन पर स्थापित पार्सल्स। स्पार्क 2.2 के साथ एक पार्सल जोड़ने के लिए, वांछित क्लस्टर का चयन करें और ऊपरी दाएं कोने में "कॉन्फ़िगरेशन" बटन पर क्लिक करें।

हम "+" बटन पर क्लिक करते हैं, जिस पंक्ति में हम दिखाई देते हैं वह स्पार्क 2.2 पार्सल ("होस्टनाम / पार्सल / स्पार्क /") के साथ रिपॉजिटरी के पते को दर्शाता है और "सेव चेंजेस" बटन पर क्लिक करें:

इन जोड़तोड़ के बाद, SPARK2 नाम के साथ एक नया वाला पिछले टैब पर पार्सल की सूची में दिखाई देना चाहिए। प्रारंभ में, यह डाउनलोड के लिए उपलब्ध है, इसलिए अगला चरण "डाउनलोड" बटन पर क्लिक करके इसे डाउनलोड करना है:

डाउनलोड किए गए पार्सल को क्लस्टर नोड्स पर बिखेरने की आवश्यकता है ताकि सेवाओं को इससे स्थापित किया जा सके। ऐसा करने के लिए, SPARK2 पार्सल के साथ पंक्ति के दाईं ओर दिखाई देने वाले "वितरित करें" बटन पर क्लिक करें:

पार्सल के साथ काम करने में अंतिम चरण इसे सक्रिय करना है। हम इसे "सक्रिय करें" बटन पर क्लिक करके सक्रिय करते हैं, जो पार्सल के साथ पंक्ति के दाईं ओर दिखाई देता है:

पुष्टि के बाद, हमें जिस सेवा की आवश्यकता है वह स्थापना के लिए उपलब्ध हो जाती है। लेकिन बारीकियां हैं। क्लस्टर में कुछ सेवाओं को स्थापित करने के लिए, आपको पार्सल स्थापित करने के अलावा किसी भी अतिरिक्त कार्रवाई करने की आवश्यकता है। आमतौर पर इस सेवा को स्थापित करने और अपडेट करने के लिए अनुभाग में आधिकारिक वेबसाइट पर लिखा गया है (यहां स्पार्क 2 के लिए उसका उदाहरण है - www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html )। इस स्थिति में, आपको स्पार्क 2 सीएसडी फ़ाइल (संस्करण और पैकेजिंग सूचना पृष्ठ पर उपलब्ध - www.cloudera.com/documentation/spark2/latest/topics/spark2_packaging.html ) डाउनलोड करने की आवश्यकता है, इसे क्लाउड प्रबंधक के साथ होस्ट पर स्थापित करें, और बाद को पुनः आरंभ करें। चलो इसे करते हैं - इस फ़ाइल को डाउनलोड करें, इसे वांछित होस्ट में स्थानांतरित करें और निर्देशों से कमांड निष्पादित करें:

 mv SPARK2_ON_YARN-2.1.0.cloudera1.jar /opt/cloudera/csd/ chown cloudera-scm:cloudera-scm /opt/cloudera/csd/SPARK2_ON_YARN-2.1.0.cloudera1.jar chmod 644 /opt/cloudera/csd/SPARK2_ON_YARN-2.1.0.cloudera1.jar systemctl restart cloudera-scm-server 

जब Cloudera प्रबंधक उगता है, तो स्पार्क 2 को स्थापित करने के लिए सब कुछ तैयार हो जाएगा। मुख्य स्क्रीन पर, क्लस्टर नाम के दाईं ओर तीर पर क्लिक करें और ड्रॉप-डाउन मेनू में "सेवा जोड़ें" आइटम चुनें:

स्थापना के लिए उपलब्ध सेवाओं की सूची में, हमें जो चाहिए वह चुनें:

अगले टैब पर, नई सेवा के लिए निर्भरता के सेट का चयन करें। उदाहरण के लिए, वह सूची जहां व्यापक है:

इसके बाद भूमिकाओं और मेजबानों की पसंद के साथ टैब आता है जिस पर उन्हें स्थापित किया जाएगा, सीडीएच की स्थापना के दौरान उसी के समान। यह अनुशंसा की जाती है कि आप मास्टर नोड्स में से एक पर एक ही प्रतिलिपि में इतिहास सर्वर की भूमिका रखें, और सभी क्लस्टर सर्वर पर गेटवे:

भूमिकाओं का चयन करने के बाद, सेवा की स्थापना के दौरान क्लस्टर में किए गए परिवर्तनों की जांच और पुष्टि करना प्रस्तावित है। यहां आप डिफ़ॉल्ट रूप से सब कुछ छोड़ सकते हैं:

परिवर्तनों की पुष्टि से क्लस्टर में सेवा की स्थापना शुरू होती है। यदि सब कुछ सही ढंग से किया जाता है, तो स्थापना सफलतापूर्वक पूरी हो जाएगी:

बधाई! स्पार्क 2 को क्लस्टर में सफलतापूर्वक स्थापित किया गया है:

स्थापना प्रक्रिया को पूरा करने के लिए आपको क्लस्टर को पुनरारंभ करना होगा। उसके बाद, सब कुछ जाने के लिए तैयार है।

सेवा की स्थापना के चरण के दौरान त्रुटियां हो सकती हैं। उदाहरण के लिए, वातावरण में से एक पर स्थापित होने पर, स्पार्क 2 गेटवे की भूमिका को तैनात करना संभव नहीं था। इस समस्या के समाधान को होस्ट से फ़ाइल / var / lib / alternatives / spark2-conf की सामग्री की प्रतिलिपि बनाकर मदद की गई थी, जिस पर यह भूमिका समस्या मशीन में एक समान फ़ाइल में सफलतापूर्वक स्थापित की गई थी। स्थापना त्रुटियों का निदान करने के लिए, संबंधित प्रक्रियाओं की लॉग फ़ाइलों का उपयोग करना सुविधाजनक है, जो / var / run / clouddera-scm-agent / process / folder में संग्रहीत हैं।

आज के लिए बस इतना ही। श्रृंखला में अगली पोस्ट सीडीएच क्लस्टर प्रशासन के विषय को कवर करेगी।