🐒 📈 🧜🏾 डेटा लेक अवधारणा में वितरित डेटा वेयरहाउस: जहां से शुरू किया जाए 🧘🏾 💣 💃

उद्यम की दुनिया में, फ्रंट-एंड सिस्टम, डेटा बस और अन्य क्लासिक सिस्टम के साथ एक संतृप्ति थी जो पिछले 10-15 वर्षों से सभी के द्वारा लागू की गई है। लेकिन एक खंड है, जो हाल ही में "हर कोई चाहता है की स्थिति में था, लेकिन कोई नहीं जानता कि यह क्या है।" और यह बिग डेटा है। खूबसूरती से लगता है, शीर्ष पश्चिमी कंपनियों द्वारा प्रचारित - कैसे नहीं एक tidbit बनने के लिए?

लेकिन जबकि ज्यादातर सिर्फ देख रहे हैं और पूछ रहे हैं, कुछ कंपनियों ने अपने आईटी परिदृश्य में इस प्रौद्योगिकी स्टैक के आधार पर समाधान को सक्रिय रूप से लागू करना शुरू कर दिया है। इसमें एक महत्वपूर्ण भूमिका वाणिज्यिक अपाचे Hadoop वितरण के उद्भव द्वारा निभाई गई थी, जिनके डेवलपर्स अपने ग्राहकों को तकनीकी सहायता प्रदान करते हैं। इस तरह के समाधान की आवश्यकता को देखते हुए, हमारे ग्राहकों में से एक ने अपाचे हडोप पर आधारित डेटा लेक अवधारणा में एक वितरित डेटा वेयरहाउस को व्यवस्थित करने का निर्णय लिया।

परियोजना के उद्देश्य

सबसे पहले, जोखिम प्रबंधन विभाग के काम का अनुकूलन करें। काम शुरू करने से पहले, एक पूरा विभाग क्रेडिट जोखिम कारकों (FCR) की गणना करने में लगा हुआ था, और सभी गणना मैन्युअल रूप से की जाती थीं। पुनर्गणना में हर बार लगभग एक महीने का समय लगता था, और जिस डेटा पर आधारित था, उसके आउटडेटेड होने का समय था। इसलिए, समाधान के कार्यों में रिपॉजिटरी में डेटा डेल्टा के दैनिक लोडिंग को शामिल किया गया था, उन्हें कल्पना करने के लिए बीआई टूल (बीओ टूल में स्पैगबीआई की कार्यक्षमता पर्याप्त थी) में डेटा एमआरएस का निर्माण करना और डेटा कार्ट को बनाना।

दूसरी बात, डेटा साइंस में शामिल बैंक कर्मचारियों के लिए उच्च-प्रदर्शन डेटा माइनिंग टूल प्रदान करना। ये उपकरण, जैसे जुपिटर और अपाचे ज़ेपेलिन, स्थानीय रूप से स्थापित किए जा सकते हैं और डेटा का पता लगाने और मॉडल बनाने के लिए भी इस्तेमाल किया जा सकता है। लेकिन क्लाउडरा क्लस्टर के साथ उनका एकीकरण गणनाओं के लिए सबसे अधिक उत्पादक प्रणाली नोड्स के हार्डवेयर संसाधनों का उपयोग करने की अनुमति देता है, जो डेटा विश्लेषण के कार्यों को दसियों या सैकड़ों बार तक गति देता है।

ओरेकल बिग डेटा उपकरण रैक को लक्ष्य हार्डवेयर समाधान के रूप में चुना गया था, इसलिए क्लैचेरा के अपाचे हडोप वितरण को आधार के रूप में लिया गया था। रैक काफी समय से यात्रा कर रहा था, और इस प्रक्रिया को तेज करने के लिए, ग्राहक के निजी क्लाउड में सर्वर को इस परियोजना के लिए आवंटित किया गया था। समाधान उचित है, लेकिन कई समस्याएं थीं, जिनके बारे में मैं नीचे चर्चा करूंगा।

परियोजना के भीतर निम्नलिखित कार्यों की योजना बनाई गई थी:

Cloudera की CDH (Apache Hadoop सहित Cloudera का वितरण) और काम के लिए आवश्यक अतिरिक्त सेवाएँ तैनात करें।
स्थापित सॉफ़्टवेयर कॉन्फ़िगर करें।
विकास प्रक्रिया को तेज करने के लिए निरंतर एकीकरण सेट करें (एक अलग लेख में कवर किया जाएगा)।
डेटासेंटर के कार्य को सुनिश्चित करने के लिए रिपोर्टिंग और डेटा डिस्कवरी उपकरण बनाने के लिए बीआई-उपकरण स्थापित करें (इसे एक अलग पोस्ट में कवर किया जाएगा)।
अंत प्रणालियों से आवश्यक डेटा डाउनलोड करने के लिए, साथ ही साथ उनके नियमित अपडेट के लिए एप्लिकेशन विकसित करना।
एक बीआई उपकरण में डेटा की कल्पना के लिए रिपोर्टिंग फॉर्म विकसित करें।

यह पहला वर्ष नहीं है कि नियोफ्लेक्स अपाचे हडोप-आधारित प्रणालियों को विकसित और कार्यान्वित कर रहा है और यहां तक कि ईटीएल प्रक्रियाओं - नियोफ्लेक्स डाटाग्राम के दृश्य विकास के लिए अपना स्वयं का उत्पाद है। लंबे समय से मैं इस वर्ग की एक परियोजना में भाग लेना चाहता था और इस प्रणाली को संचालित करने के लिए खुश था। अनुभव बहुत मूल्यवान निकला और विषय का अध्ययन करने के लिए प्रेरित किया, इसलिए मैं इसे आपके साथ साझा करने के लिए जल्दबाजी करता हूं। उम्मीद है कि यह दिलचस्प होगा।

साधन

स्थापना शुरू करने से पहले, यह अनुशंसा की जाती है कि आप इसके लिए आवश्यक सब कुछ तैयार करें।
लोहे की मात्रा और शक्ति सीधे इस बात पर निर्भर करती है कि कितने और किस मीडिया को तैनात करने की आवश्यकता है। विकास के उद्देश्यों के लिए, आप कम से कम एक क्रमागत आभासी मशीन पर सभी घटकों को स्थापित कर सकते हैं, लेकिन यह दृष्टिकोण स्वागत योग्य नहीं है।

परियोजना के पायलटिंग चरण में और सक्रिय विकास, जब सिस्टम के उपयोगकर्ताओं की संख्या न्यूनतम थी, तो एक मुख्य वातावरण पर्याप्त था - यह अंत प्रणालियों से डेटा लोड करने के समय को कम करने की अनुमति देता है (डेटा गोदामों को विकसित करने के लिए सबसे लगातार और लंबी प्रक्रिया)। अब जब सिस्टम स्थिर हो गया है, तो हम तीन वातावरणों जैसे - परीक्षण, प्रीप्रोड और प्रॉडक्ट्स (मुख्य) के साथ एक विन्यास में आए हैं।

एक निजी क्लाउड में, सर्वरों को 2 वातावरणों के आयोजन के लिए आवंटित किया गया था - मुख्य और परीक्षण वाले। मीडिया विनिर्देशों को नीचे दी गई तालिका में दिखाया गया है:

नियुक्ति	संख्या	vCPU	vRAM, Gb	डिस्क, जी.बी.
मुख्य वातावरण, सेवाएं क्लोदेरा	3	8	64	2200
प्राथमिक वातावरण, एच.डी.एफ.एस.	3	22	288	5000
कोर पर्यावरण, डेटा डिस्कवरी उपकरण	1	16	128	2200
टेस्ट का माहौल, क्लाउड सेवा	1	8	64	2200
परीक्षा का माहौल, एच.डी.एफ.एस.	2	22	256	4000
कोर पर्यावरण, डेटा डिस्कवरी उपकरण	1	16	128	2200
सीआई	2	6	48	1000

बाद में, मुख्य वातावरण ओरेकल बीडीए में चला गया, और सर्वरों का इस्तेमाल प्रॉप्रोड पर्यावरण को व्यवस्थित करने के लिए किया गया था।

प्रवासन पर निर्णय उचित था - एचडीएफएस सर्वर के लिए आवंटित संसाधनों में उद्देश्यपूर्ण कमी थी। अड़चनें छोटे डिस्क थे (बिग डेटा के लिए 5 टीबी क्या है?) और अपर्याप्त रूप से शक्तिशाली प्रोसेसर, जो कि डेटा लोडिंग कार्यों के नियमित काम के दौरान 95% पर लोड किए गए थे। अन्य सर्वरों के साथ, स्थिति विपरीत है - लगभग हर समय वे निष्क्रिय हैं और उनके संसाधनों का अन्य परियोजनाओं पर बहुत फायदा हो सकता है।

सॉफ्टवेयर के साथ, चीजें आसान नहीं थीं - इस तथ्य के कारण कि इंटरनेट तक पहुंच के बिना विकास एक निजी क्लाउड में किया गया था, सभी फाइलों को सुरक्षा सेवा के माध्यम से और केवल समझौते से स्थानांतरित किया जाना था। इस संबंध में, मुझे सभी आवश्यक वितरण, पैकेज और निर्भरताएं उतारनी थीं।

/Etc/yum.conf फ़ाइल (RHEL 7.3 को OS के रूप में उपयोग किया जाता है) में Keepcache = 1 सेट करना इस मुश्किल काम में बहुत मदद करता है - नेटवर्क एक्सेस के साथ मशीन पर आवश्यक सॉफ़्टवेयर इंस्टॉल करना मैन्युअल रूप से निर्भरता के साथ रिपॉजिटरी से इसे डाउनलोड करने की तुलना में बहुत आसान है;)

आपको क्या तैनात करने की आवश्यकता है:

Oracle JDK (कहीं जावा नहीं)।
सीडीएच सेवाओं (उदाहरण के लिए, हाइव मेटास्टोर) द्वारा बनाई और उपयोग की जाने वाली सूचनाओं को संग्रहीत करने के लिए एक डेटाबेस। हमारे मामले में, PostgreSQL संस्करण 9.2.18 स्थापित किया गया था, लेकिन किसी भी समर्थित क्लाउड सेवा का उपयोग किया जा सकता है (सूची वितरण के विभिन्न संस्करणों के लिए अलग है, आधिकारिक वेबसाइट की आवश्यकताएँ और समर्थित संस्करण अनुभाग देखें)। यहां यह ध्यान दिया जाना चाहिए कि डेटाबेस का विकल्प पूरी तरह से सफल नहीं था - ओरेकल बीडीए MySQL डेटाबेस (उनके उत्पादों में से एक है, जो सूर्य की खरीद के साथ उनके पास गया था) और अन्य वातावरणों के लिए समान डेटाबेस का उपयोग करना अधिक तर्कसंगत होगा, जो माइग्रेशन प्रक्रिया को सरल करेगा। लक्ष्य हार्डवेयर समाधान के आधार पर वितरण चुनने की सिफारिश की जाती है।
सर्वर पर समय तुल्यकालन के लिए क्रॉनिकल डेमॉन।
क्लाउड प्रबंधक सर्वर।
दानव क्लोडेरा प्रबंधक।

स्थापना की तैयारी

सीडीएच की स्थापना शुरू करने से पहले, कई प्रारंभिक कार्य किए जाने चाहिए। एक भाग स्थापना के दौरान उपयोगी है, दूसरा ऑपरेशन को सरल करेगा।

ओएस स्थापना और सेटअप

सबसे पहले, यह वर्चुअल (और वास्तविक) मशीनों को तैयार करने के लायक है जो सिस्टम को होस्ट करेगा: उनमें से प्रत्येक पर समर्थित संस्करण स्थापित करें (सूची वितरण के विभिन्न संस्करणों के लिए भिन्न होती है, आधिकारिक वेबसाइट के "आवश्यकताएं और समर्थित संस्करण" अनुभाग देखें), होस्टनाम समझ में आने वाले नाम हैं (उदाहरण के लिए, <system_name> master1,2,3 ..., <system_name> slave1,2,3 ...), साथ ही फ़ाइल संग्रहण और सिस्टम ऑपरेशन के दौरान बनाई गई अस्थायी फ़ाइलों के लिए चिह्न डिस्क।

मार्कअप सिफारिशें इस प्रकार हैं:

HDFS के साथ सर्वर पर, फ़ाइलों के लिए कम से कम 500 Gb की मात्रा बनाएं जो YARN कार्यों के दौरान बनाता है और इसे / यार्न निर्देशिका में रखता है (जहाँ CDH को स्थापित करने के बाद यह वॉल्यूम बढ़ाना चाहिए)। ओएस, क्लाउड सेवा, लॉग और अन्य सुविधाओं के लिए एक छोटी मात्रा (लगभग 100 जीबी) आवंटित की जानी चाहिए। इन जोड़तोड़ के बाद बने रहने वाले सभी खाली स्थान को एक बड़ी मात्रा में जोड़ा जाना चाहिए और भंडारण में डेटा लोड करने से पहले / dfs निर्देशिका में माउंट किया जाना चाहिए। एचडीएफएस डेटा को छोटे ब्लॉकों के रूप में संग्रहीत करता है और यह बेहतर है कि एक बार फिर से उनके स्थानांतरण में संलग्न न हों। इसके अलावा, बाद में डिस्क जोड़ने की सुविधा के लिए, एलवीएम का उपयोग करने की सिफारिश की जाती है - भंडारण का विस्तार करना आसान होगा (विशेषकर जब यह वास्तव में बड़ा हो जाता है)।
क्लाउड सेवा के साथ सर्वर पर, आप रूट निर्देशिका में सभी उपलब्ध स्थान को माउंट कर सकते हैं - बड़ी मात्रा में फ़ाइलों के साथ कोई समस्या नहीं होनी चाहिए, खासकर यदि आप नियमित रूप से लॉग को साफ करते हैं। एकमात्र अपवाद डेटाबेस के साथ सर्वर है जो क्लोर्डा सेवाएं अपनी आवश्यकताओं के लिए उपयोग करती हैं - इस सर्वर पर यह उस निर्देशिका के तहत एक अलग वॉल्यूम को चिह्नित करने के लिए समझ में आता है जिसमें इस डेटाबेस की फाइलें संग्रहीत होती हैं (यह चयनित वितरण पर निर्भर करेगा)। सेवाएं काफी संयमित रूप से लिखती हैं और 500 जीबी पर्याप्त से अधिक होनी चाहिए। सुरक्षा के लिए, आप LVM का भी उपयोग कर सकते हैं।

Http सर्वर और ऑफलाइन yum और CDH संकुल की स्थापना

चूंकि सॉफ़्टवेयर इंटरनेट की पहुंच के बिना स्थापित किया गया है, पैकेजों की स्थापना को सरल बनाने के लिए, HTTP सर्वर को बढ़ाने और स्थानीय रिपॉजिटरी बनाने के लिए इसका उपयोग करने की सिफारिश की गई है जो नेटवर्क पर पहुंच योग्य होगी। आप स्थानीय रूप से उपयोग कर रहे सभी सॉफ़्टवेयर को स्थापित कर सकते हैं, उदाहरण के लिए, आरपीएम, लेकिन बड़ी संख्या में सर्वर और कई वातावरणों की उपस्थिति के साथ एक एकल रिपॉजिटरी का होना सुविधाजनक है जहां से आप पैकेज को मशीन से मैन्युअल रूप से स्थानांतरित करने के बिना पैकेज स्थापित कर सकते हैं।

स्थापना Red Hat 7.3 OS पर की गई थी, इसलिए, लेख में इसके लिए विशिष्ट कमांड और अन्य CentOS- आधारित ऑपरेटिंग सिस्टम होंगे। जब अन्य ऑपरेटिंग सिस्टम पर स्थापित किया जाता है, तो अनुक्रम समान होगा, केवल पैकेज प्रबंधक अलग होंगे।
हर जगह sudo नहीं लिखने के लिए, हम मानते हैं कि स्थापना रूट से है।

यहाँ आपको क्या करना है:
1. वह मशीन जिस पर HTTP सर्वर और डिस्ट्रीब्यूशन स्थित होगा, चुना जाता है।
2. समान OS वाली मशीन पर, लेकिन इंटरनेट से कनेक्ट होने के लिए, /etc/yum.conf फ़ाइल में httpcc = 1 ध्वज सेट करें और सभी निर्भरताओं के साथ httpd स्थापित है:

yum install httpd

यदि यह कमांड काम नहीं करता है, तो आपको यम रिपॉजिटरी की सूची में एक रिपॉजिटरी को जोड़ना होगा जिसमें ये पैकेज हैं, उदाहरण के लिए, यह एक सेंटोस है। xcellmedia.net/7/os/x86_64 :

 echo -e "\n[centos.excellmedia.net]\nname=excellmedia\nbaseurl=http://centos.excellmedia.net/7/os/x86_64/\nenabled=1\ngpgcheck=0" > /etc/yum.repos.d/excell.repo

उसके बाद, yum repolist कमांड का उपयोग करते हुए , हम यह सत्यापित करते हैं कि रिपॉजिटरी ने खींच लिया है - रिपॉजिटरी की सूची में एक जोड़ा रिपॉजिटरी दिखाई देनी चाहिए (repo id - centos.excellmedia.net; repo name - excammedia)।
अब जांचें कि yum ने उन पैकेजों को देखा जिनकी हमें आवश्यकता है:

 yum list | grep httpd

यदि आउटपुट में आवश्यक पैकेज हैं, तो आप उन्हें उपरोक्त कमांड के साथ स्थापित कर सकते हैं।

3. yum रिपॉजिटरी बनाने के लिए, हमें craitepo पैकेज की आवश्यकता है। यह उपरोक्त भंडार में भी है और इसी तरह सेट है:

 yum install createrepo

4. जैसा कि मैंने पहले कहा, सीडीएच सेवाओं को काम करने के लिए एक डेटाबेस की आवश्यकता होती है। इन उद्देश्यों के लिए PostgreSQL स्थापित करें:

 yum install postgresql-server

5. CDH के सही संचालन के लिए किसी एक शर्त को क्लस्टर में शामिल सभी सर्वरों पर समय सिंक्रनाइज़ेशन है। इन उद्देश्यों के लिए, क्रोनॉइड पैकेज का उपयोग किया जाता है (उन ओएस पर जहां मुझे सीडीएच को तैनात करना था, यह डिफ़ॉल्ट रूप से स्थापित किया गया था)। इसकी उपलब्धता की जाँच करें:

 chronyd -v

यदि यह स्थापित नहीं है, तो स्थापित करें:

 yum install chrony

यदि स्थापित है, तो बस डाउनलोड करें:

 yumdownloader --destdir=/var/cache/yum/x86_64/7Server/<repo id>/packages chrony

6. उसी समय, तुरंत सीडीएच स्थापित करने के लिए आवश्यक पैकेज डाउनलोड करें। वे आर्काइव पर उपलब्ध हैं ।cloudera.com - आर्काइव .cloudera.com/cm <CDH का प्रमुख संस्करण> / <आपके OS का नाम> / <आपके OS का संस्करण> / x86_64 / cm / <CDH का पूर्ण संस्करण> / RPMS / x86_64 /। आप मैन्युअल रूप से पैकेज डाउनलोड कर सकते हैं (क्लाउड-मैनेजर-सर्वर और क्लाउडडर-मैनेजर-डेमन), या सादृश्य द्वारा एक रिपॉजिटरी जोड़कर उन्हें स्थापित कर सकते हैं:

 yum install cloudera-manager-daemons cloudera-manager-server

7. स्थापना के बाद, संकुल और उनकी निर्भरता फ़ोल्डर / var / cache / yum / x86_64 / 7Server / \ <repo id \> / संकुल में कैश की जाती है। हम उन्हें HTTP सर्वर और वितरण के लिए चयनित मशीन में स्थानांतरित करते हैं, और इंस्टॉल करते हैं:

 rpm -ivh < >

8. httpd चलाएं, इसे हमारे क्लस्टर में अन्य होस्ट से दृश्यमान बनाएं, और इसे उन सेवाओं की सूची में भी जोड़ें जो लोड होने के बाद स्वचालित रूप से शुरू होती हैं:

 systemctl start httpd systemctl enable httpd systemctl stop firewalld #       systemctl disable firewalld #       setenforce 0

9. अब हमारे पास एक काम करने वाला HTTP सर्वर है। इसकी वर्किंग डायरेक्टरी / var / www / html है । इसमें 2 फ़ोल्डर बनाएँ - एक yum रिपॉजिटरी के लिए, दूसरा Cloudera पार्सर्स के लिए (अधिक बाद में):

 cd /var/www/html mkdir yum_repo parcels

10. Cloudera की सेवाओं के लिए हमें जावा की आवश्यकता है । सभी मशीनों को JDK के एक ही संस्करण की आवश्यकता होती है, Cloudera Oracle के हॉट स्पॉट की सिफारिश करता है। वितरण पैकेज को आधिकारिक वेबसाइट (http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html) से डाउनलोड करें और इसे yum_repo फ़ोल्डर में स्थानांतरित करें।

11. craitepo उपयोगिता का उपयोग करके yum_repo फ़ोल्डर में yum रिपॉजिटरी बनाएं ताकि क्लस्टर मशीनों से स्थापना के लिए JDK पैकेज उपलब्ध हो:

 createrepo -v /var/www/html/yum_repo/

12. प्रत्येक मेजबान पर हमारी स्थानीय रिपॉजिटरी बनाने के बाद, आपको पैराग्राफ 2 के समान, इसका विवरण जोड़ना होगा:

 echo -e "\n[yum.local.repo]\nname=yum_repo\nbaseurl=http://<   httpd>/yum_repo/\nenabled=1\ngpgcheck=0" > /etc/yum.repos.d/yum_repo.repo

आप पैराग्राफ 2 के समान चेक भी बना सकते हैं।

13. JDK उपलब्ध है, स्थापित करें:

 yum install jdk1.8.0_161.x86_64

जावा का उपयोग करने के लिए, आपको JAVA_HOME चर सेट करना होगा। मैं अनुशंसा करता हूं कि आप इसे इंस्टॉलेशन के तुरंत बाद निर्यात करें, साथ ही इसे / etc / पर्यावरण और / etc / डिफ़ॉल्ट / bigtop-utils फ़ाइलों में लिखें ताकि सर्वरों को पुनरारंभ करने के बाद यह स्वचालित रूप से निर्यात हो और इसका स्थान CDH सेवाओं को प्रदान किया जाए:

 export JAVA_HOME=/usr/java/jdk1.8.0_161 echo "JAVA_HOME=/usr/java/jdk1.8.0_161" >> /etc/environment export JAVA_HOME=/usr/java/jdk1.8.0_144 >> /etc/default/bigtop-utils

14. उसी तरह, क्लस्टर में सभी मशीनों पर क्रोनॉइड स्थापित करें (जब तक, निश्चित रूप से, यह अनुपस्थित है):

 yum install chrony

15. उस होस्ट का चयन करें जिस पर PostgreSQL काम करेगा, और इसे स्थापित करें:

 yum install postgresql-server

16. इसी प्रकार, उस होस्ट का चयन करें, जिस पर Cloudera Manager चलेगा, और इसे स्थापित करेगा:

 yum install cloudera-manager-daemons cloudera-manager-server

17. पैकेज स्थापित हैं, आप स्थापना से पहले सॉफ़्टवेयर को कॉन्फ़िगर करना शुरू कर सकते हैं।

पूरक:

सिस्टम के विकास और संचालन के दौरान, आपको संकुल होस्ट (उदाहरण के लिए, एनाकोंडा वितरण) पर उन्हें स्थापित करने के लिए यम भंडार में पैकेज जोड़ना होगा। ऐसा करने के लिए, फ़ाइलों को yum_repo फ़ोल्डर में स्थानांतरित करने के अलावा, आपको निम्न क्रियाएं करने की आवश्यकता है:

httpd के साथ मशीन पर, yum रिपॉजिटरी अपडेट कमांड चलाएँ:
```
 createrepo -v --update /var/www/html/yum_repo/ 
```
उन सभी मशीनों पर जहां आप पैकेज स्थापित करना चाहते हैं, यम कैश का एक फ्लश प्रदर्शन करें:
```
 yum clean all 
```
```
 rm -rf /var/cache/yum 
```

सहायक सॉफ्टवेयर का विन्यास

यह PostgreSQL को कॉन्फ़िगर करने और हमारी भविष्य की सेवाओं के लिए डेटाबेस बनाने का समय है। ये सेटिंग्स सीडीएच संस्करण 5.12.1 के लिए प्रासंगिक हैं, वितरण के अन्य संस्करणों को स्थापित करते समय, यह अनुशंसा की जाती है कि आप आधिकारिक वेबसाइट पर अनुभाग "क्लाउड प्रबंधक और प्रबंधित सेवा डेटास्टोर्स" पढ़ें।

शुरू करने के लिए, आइए डेटाबेस को आरंभ करें:

 postgresql-setup initdb

अब हम डेटाबेस के साथ नेटवर्क इंटरैक्शन सेट करते हैं। IPv4 स्थानीय कनेक्शन अनुभाग में /var/lib/pgsql/data/pg_hba.conf फ़ाइल में, पते के लिए विधि 127.0.0.1/32 से md5 विधि में बदलें, विश्वास विधि जोड़ें और विश्वास विधि के साथ क्लस्टर सबनेट जोड़ें :

 vi /var/lib/pgsql/data/pg_hba.conf pg_hba.conf: ----------------------------------------------------------------------- # TYPE DATABASE USER ADDRESS METHOD # "local" is for Unix domain socket connections only local all all peer # IPv4 local connections: host all all 127.0.0.1/32 md5 host all all 127.0.0.1/32 trust host all all <cluster_subnet> trust -----------------------------------------------------------------------

फिर हम फ़ाइल /var/lib/pgsql/data/postgres.conf फ़ाइल में कुछ समायोजन करेंगे (मैं केवल उन पंक्तियों को दूंगा जिन्हें अनुपालन के लिए बदलने या जांचने की आवश्यकता है:

 vi /var/lib/pgsql/data/postgres.conf postgres.conf: ----------------------------------------------------------------------- listen_addresses = '*' max_connections = 100 shared_buffers = 256MB checkpoint_segments = 16 checkpoint_completion_target = 0.9 logging_collector = on log_filename = 'postgresql-%a.log' log_truncate_on_rotation = on log_rotation_age = 1d log_rotation_size = 0 log_timezone = 'W-SU' datestyle = 'iso, mdy' timezone = 'W-SU' lc_messages = 'en_US.UTF-8' lc_monetary = 'en_US.UTF-8' lc_numeric = 'en_US.UTF-8' lc_time = 'en_US.UTF-8' default_text_search_config = 'pg_catalog.english' -----------------------------------------------------------------------

कॉन्फ़िगरेशन पूरा होने के बाद, आपको उन सेवाओं के लिए डेटाबेस (जो ओरेकल शब्दावली के करीब हैं - स्कीमा) बनाने की आवश्यकता है जो हम स्थापित करेंगे। हमारे मामले में, निम्नलिखित सेवाएं स्थापित की गई थीं: क्लोदेरा प्रबंधन सेवा, एचडीएफएस, हाइव, ह्यू, इम्पाला, ओजी, यार्न और ज़ूकिपर। इनमें से, Hive, Hue, और Oozie को डेटाबेस की आवश्यकता होती है, और 2 आधारों की आवश्यकता होती है Cloudera सेवाओं की आवश्यकता के लिए - एक Cloudera प्रबंधक सर्वर के लिए, दूसरा रिपोर्ट प्रबंधक के लिए, जो Cloudera प्रबंधन सेवा का हिस्सा है। PostgreSQL लॉन्च करें और इसे ऑटोलैड में जोड़ें:

 systemctl start postgresql systemctl enable postgresql

अब हम आवश्यक डेटाबेस कनेक्ट और बना सकते हैं:

 sudo -u postgres psql > CREATE ROLE scm LOGIN PASSWORD '<password>'; > CREATE DATABASE scm OWNER scm ENCODING 'UTF8'; #    Cloudera Manager > CREATE ROLE rman LOGIN PASSWORD '<password>'; > CREATE DATABASE rman OWNER rman ENCODING 'UTF8'; #      > CREATE ROLE hive LOGIN PASSWORD '<password>'; > CREATE DATABASE metastore OWNER hive ENCODING 'UTF8'; #    Hive Metastore > ALTER DATABASE metastore SET standard_conforming_strings = off; #   PostgreSQL   8.2.23 > CREATE ROLE hue_u LOGIN PASSWORD '<password>'; > CREATE DATABASE hue_d OWNER hue_u ENCODING 'UTF8'; #    Hue > CREATE ROLE oozie LOGIN ENCRYPTED PASSWORD '<password>' NOSUPERUSER INHERIT CREATEDB NOCREATEROLE; > CREATE DATABASE "oozie" WITH OWNER = oozie ENCODING = 'UTF8' TABLESPACE = pg_default LC_COLLATE = 'en_US.UTF-8' LC_CTYPE = 'en_US.UTF-8' CONNECTION LIMIT = -1; #    Oozie    : > \q

अन्य सेवाओं के लिए, डेटाबेस उसी तरह से बनाए जाते हैं।

Cloudera Manager सर्वर डेटाबेस तैयार करने के लिए स्क्रिप्ट चलाना न भूलें, इसके लिए बनाए गए डेटाबेस से कनेक्ट करने के लिए इनपुट डेटा को पास करना:

 . /usr/share/cmf/schema/scm_prepare_database.sh postgresql scm scm <password>

CDH फ़ाइलों के साथ एक रिपॉजिटरी बनाना

Cloudera CDH को स्थापित करने के लिए 2 तरीके प्रदान करता है - पैकेज का उपयोग करना और पार्सल का उपयोग करना। पहले विकल्प में आवश्यक संस्करणों की सेवाओं और उनके बाद की स्थापना के साथ पैकेज का एक सेट डाउनलोड करना शामिल है। यह विधि क्लस्टर कॉन्फ़िगरेशन में बहुत लचीलापन प्रदान करती है, लेकिन Cloudera उनकी संगतता की गारंटी नहीं देता है। इसलिए, पार्सल्स का उपयोग करके इंस्टॉलेशन का दूसरा संस्करण अधिक लोकप्रिय है - संगत संस्करणों के पैकेज के पूर्व-गठित सेट। नवीनतम संस्करण निम्नलिखित लिंक पर उपलब्ध हैं: आर्काइव .cloudera.com / cdh5 / parcels/ latest। पहले एक स्तर अधिक पाया जा सकता है। CDH से पार्सल के अलावा, आपको उसी रिपॉजिटरी डायरेक्टरी से मैनिफ़ेस्ट डाउनलोड करना होगा।

विकसित कार्यक्षमता का उपयोग करने के लिए, हमें स्पार्क 2.2 की भी आवश्यकता थी, जो सीडीएच पार्सल में शामिल नहीं है (इस सेवा का पहला संस्करण वहां उपलब्ध है)। इसे स्थापित करने के लिए, आपको इस सेवा और संबंधित मेनिफ़ेस्ट.जॉसन के साथ एक अलग पार्सल डाउनलोड करने की आवश्यकता है, जो क्लाउडसे आर्क में भी उपलब्ध है।

पार्सल्स और मैनिफ़ेस्ट को लोड करने के बाद, आपको हमारी रिपॉजिटरी में उपयुक्त फ़ोल्डर में स्थानांतरित करने की आवश्यकता है। CDH और स्पार्क फ़ाइलों के लिए अलग-अलग फ़ोल्डर बनाएँ:

 cd /var/www/html/parcels mkdir cdh spark

पार्सल और मैनिफ़ेस्ट.जेसन फ़ाइलों को बनाए गए फ़ोल्डर में स्थानांतरित करें। उन्हें नेटवर्क पर स्थापना के लिए उपलब्ध कराने के लिए, हम पार्सल्स के साथ संबंधित एक्सेस अनुमति फ़ोल्डर जारी करते हैं:

 chmod -R ugo+rX /var/www/html/parcels

आप सीडीएच स्थापित करना शुरू कर सकते हैं, जिसकी चर्चा मैं अगले पोस्ट में करूंगा।

डेटा लेक अवधारणा में वितरित डेटा वेयरहाउस: जहां से शुरू किया जाए