घर का बना बिगडाटा। भाग 1. AWS क्लस्टर पर स्पार्क स्ट्रीमिंग अभ्यास

नमस्ते

इस लेख में, हम घर पर EC2 AWS (Amazon Web Services) प्लेटफार्म पर Apache Kafka, Apache Spark, Zookeeper, Spark-shell स्थापित करेंगे और सीखेंगे कि यह सब कैसे उपयोग किया जाए।

पेश है अमेजन वेब सर्विसेज

1.1। आपको aws.amazon.com/console पर पंजीकरण करना होगा। एक नाम दर्ज करें और पासवर्ड याद रखें।

1.2। Zookeeper और Kafka सेवाओं के लिए नोड उदाहरण कॉन्फ़िगर करें।

• मेनू से "सेवाएँ-> EC2" चुनें। अगला, वर्चुअल मशीन की छवि के ऑपरेटिंग सिस्टम के संस्करण का चयन करें, उबंटू सर्वर 16.04 एलटीएस (एचवीएम), एसएसडी वॉल्यूम प्रकार का चयन करें, "चयन करें" पर क्लिक करें। हम सर्वर उदाहरण को कॉन्फ़िगर करने के लिए आगे बढ़ते हैं: 2vCPU, 4 जीबी मेमोरी, जनरल प्रयोजन के लिए "t3.medium" टाइप करें। "अगला: कॉन्फ़िगरेशन इंस्टेंस विवरण" पर क्लिक करें।
• उदाहरण 1 की संख्या जोड़ें, "अगला: भंडारण जोड़ें" पर क्लिक करें
• हम 8 जीबी के डिस्क आकार के लिए डिफ़ॉल्ट मान को स्वीकार करते हैं और प्रकार को चुंबकीय में बदलते हैं (डेटा मात्रा और उच्च प्रदर्शन एसएसडी के आधार पर उत्पादन सेटिंग्स में)
• "टैग उदाहरण" अनुभाग में "नाम" के लिए, नोड के उदाहरण का नाम दर्ज करें "होम 1" (जहां 1 सिर्फ एक सीरियल नंबर है) और "अगला: ..." पर क्लिक करें।
• "सुरक्षा समूह कॉन्फ़िगर करें" अनुभाग में, सुरक्षा समूह ("Spark_Kafka_Zoo_Project") के नाम का चयन करके "मौजूदा सुरक्षा समूह का उपयोग करें" विकल्प चुनें और आने वाले ट्रैफ़िक के लिए नियम निर्धारित करें। "अगला: ..." पर क्लिक करें
• अपनी प्रविष्टियों को सत्यापित करने और लॉन्च करने के लिए समीक्षा स्क्रीन के माध्यम से स्क्रॉल करें।
• क्लस्टर नोड्स से कनेक्ट करने के लिए, आपको पहचान और प्राधिकरण के लिए सार्वजनिक कुंजी की एक जोड़ी (हमारे मामले में, मौजूदा का उपयोग करें) बनाना होगा। ऐसा करने के लिए, सूची में ऑपरेशन प्रकार "मौजूदा जोड़ी का उपयोग करें" चुनें।

प्रमुख निर्माण

• क्लाइंट के लिए पोटीन डाउनलोड करें या टर्मिनल से एसएसएच कनेक्शन का उपयोग करें।
• .Pem कुंजी फ़ाइल सुविधा के लिए पुराने प्रारूप का उपयोग करती है, हम इसे पुट्टी द्वारा उपयोग किए जाने वाले पीपीपी प्रारूप में परिवर्तित करते हैं। ऐसा करने के लिए, PuTTYgen उपयोगिता को चलाएं, उपयोगिता में पुराने .pem प्रारूप में कुंजी लोड करें। हम एक्सटेंशन .ppk के साथ होम फोल्डर में बाद में उपयोग के लिए कुंजी और सेव (सेव प्राइवेट की) कन्वर्ट करते हैं।

क्लस्टर लॉन्च

1.3। सुविधा के लिए, Node01-04 संकेतन में क्लस्टर नोड्स का नाम बदलें। SSH के माध्यम से स्थानीय कंप्यूटर से क्लस्टर नोड्स से कनेक्ट करने के लिए, आपको नोड और उसके सार्वजनिक / निजी DNS नाम के आईपी पते को निर्धारित करने की आवश्यकता है, प्रत्येक क्लस्टर क्लस्टर को एक-एक करके चुनें और चयनित उदाहरण के लिए, SSH के माध्यम से कनेक्ट करने के लिए इसके सार्वजनिक / निजी DNS नाम लिखें और स्थापना के लिए पाठ फ़ाइल के लिए सॉफ्टवेयर HadoopAdm01.txt।

उदाहरण: ec2-35-162-169-76.us-west-2.compute.amazonaws.com

AWS क्लस्टर नोड पर सिंगलकोड मोड में Apache Kafka स्थापित करें

2.1। सॉफ़्टवेयर को स्थापित करने के लिए, SSH के माध्यम से कनेक्ट करने के लिए हमारे नोड (इसकी सार्वजनिक DNS की प्रतिलिपि बनाएं) का चयन करें। हम SSH के माध्यम से कनेक्शन कॉन्फ़िगर करते हैं। हम 1.3 खंड में निर्मित निजी / सार्वजनिक कुंजी जोड़ी "HadoopUser01.ppk" का उपयोग करके SSH के माध्यम से कनेक्शन को कॉन्फ़िगर करने के लिए पहले नोड के सहेजे गए नाम का उपयोग करते हैं। हम ब्राउज़ बटन के माध्यम से कनेक्शन / प्रामाणिक अनुभाग पर जाते हैं और उस फ़ोल्डर की तलाश करते हैं जहां हमने पहले फ़ाइल "HadoopUserXX.ppk" को सहेजा था।

हम सेटिंग्स में कनेक्शन कॉन्फ़िगरेशन को सहेजते हैं।

2.2। हम नोड से जुड़े हैं और लॉगिन का उपयोग करते हैं: ubuntu।

• रूट विशेषाधिकारों का उपयोग करते हुए हम संकुल को अद्यतन करते हैं और क्लस्टर की स्थापना और विन्यास के लिए आवश्यक अतिरिक्त संकुल स्थापित करते हैं।

sudo apt-get update sudo apt-get -y install wget net-tools netcat tar 

• जावा 8 jdk स्थापित करें और जावा के संस्करण की जाँच करें।

 sudo apt-get -y install openjdk-8-jdk 

• सामान्य क्लस्टर नोड प्रदर्शन के लिए, आपको मेमोरी स्वैप सेटिंग्स समायोजित करने की आवश्यकता है। VM स्वेपिन्स डिफ़ॉल्ट रूप से 60% पर सेट है, जिसका अर्थ है कि 60% में मेमोरी का उपयोग करते समय, सिस्टम रैम से डिस्क में डेटा को सक्रिय रूप से स्वैप करेगा। लिनक्स के संस्करण के आधार पर, वीएम स्वेपिन्स पैरामीटर को 0 या 1 पर सेट किया जा सकता है:

 sudo sysctl vm.swappiness=1 

• रिबूट के दौरान सेटिंग्स को बचाने के लिए, कॉन्फ़िगरेशन फ़ाइल में एक पंक्ति जोड़ें।

 echo 'vm.swappiness=1' | sudo tee --append /etc/sysctl.conf 

• सौंपे गए क्लस्टर नोड्स के निजी आईपी पते के लिए क्लस्टर नोड नाम कफका और ज़ुकेर के सुविधाजनक रिज़ॉल्यूशन के लिए / etc / मेजबानों में प्रविष्टियों का संपादन।

 echo "172.31.26.162 host01" | sudo tee --append /etc/hosts 

हम प्रविष्टियों में से किसी का उपयोग करके नामों की सही पहचान की जाँच करते हैं।

• काफ्का और स्कैला वितरण के नवीनतम वर्तमान संस्करण (http://kafka.apache.org/downloads) डाउनलोड करें और स्थापना फ़ाइलों के साथ एक निर्देशिका तैयार करें।

 wget http://mirror.linux-ia64.org/apache/kafka/2.1.0/kafka_2.12-2.1.0.tgz tar -xvzf kafka_2.12-2.1.0.tgz ln -s kafka_2.12-2.1.0 kafka 

• tgz संग्रह फ़ाइल को हटा दें, हमें अब इसकी आवश्यकता नहीं होगी

• इसके लिए ज़ूकीपर सेवा शुरू करने का प्रयास करें:

 ~/kafka/bin/zookeeper-server-start.sh -daemon ~/kafka/config/zookeeper.properties 

ज़ूकॉपर डिफ़ॉल्ट स्टार्टअप विकल्पों के साथ शुरू होता है। आप लॉग की जांच कर सकते हैं:

  tail -n 5 ~/kafka/logs/zookeeper.out 

यह सुनिश्चित करने के लिए कि ज़ुकीपर डेमन शुरू होता है, रिबूट करने के बाद, हमें ज़ुकपर को एक पृष्ठभूमि सेवा के रूप में शुरू करने की आवश्यकता है:

 bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 

ज़ुकपर के लॉन्च की जाँच करने के लिए, जाँच करें

 netcat -vz localhost 2181 

2.3। हम काम के लिए ज़ुकीपर और काफ्का सेवा को कॉन्फ़िगर करते हैं। प्रारंभ में, फ़ाइल /etc/systemd/system/zookeeper.service (नीचे फ़ाइल सामग्री) को संपादित / बनाएं।

 [Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/home/ubuntu/kafka/bin/zookeeper-server-start.sh /home/ubuntu/kafka/config/zookeeper.properties ExecStop=/home/ubuntu/kafka/bin/zookeeper-server-stop.sh [Install] WantedBy=multi-user.target 

इसके बाद, काफ्का के लिए, फ़ाइल /etc/systemd/system/kafka.service (नीचे दी गई फ़ाइल सामग्री) को संपादित / बनाएं।

 [Unit] Description=Apache Kafka server (broker) Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple ExecStart=/home/ubuntu/kafka/bin/kafka-server-start.sh /home/ubuntu/kafka/config/server.properties ExecStop=/home/ubuntu/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target 

• काफ्का और ज़ुकीपर सेवाओं के लिए सिस्टम स्क्रिप्ट को सक्रिय करें।

 sudo systemctl enable zookeeper sudo systemctl enable kafka 

• सिस्टमड स्क्रिप्ट के संचालन की जाँच करें।

 sudo systemctl start zookeeper sudo systemctl start kafka sudo systemctl status zookeeper sudo systemctl status kafka sudo systemctl stop zookeeper sudo systemctl stop kafka 

• काफ्का और ज़ुकीपर सेवाओं की सेवाक्षमता की जाँच करें।

 netcat -vz localhost 2181 netcat -vz localhost 9092 

• ज़ूकीपर लॉग फ़ाइल की जाँच करें।

 cat logs/zookeeper.out 

पहला आनंद

2.4। हम इकट्ठे कफका सर्वर पर अपना पहला विषय बनाते हैं।

• जैसा कि आपने server.properties कॉन्फ़िगरेशन फ़ाइल में इंगित किया है, "host01: 2181" कनेक्शन का उपयोग करना महत्वपूर्ण है।
• हम विषय में कुछ डेटा लिखते हैं।

 kafka-console-producer.sh --broker-list host01:9092 --topic first_topic     

Ctrl-C - विषय कंसोल से बाहर निकलें।

• अब विषय से डेटा पढ़ने का प्रयास करें।

 kafka-console-consumer.sh --bootstrap-server host01:9092 --topic last_topic --from-beginning 

• कफका विषयों की सूची देखें।

 bin/kafka-topics.sh --zookeeper spark01:2181 --list 

• एकल क्लस्टर सेटअप के लिए ट्यूनिंग के लिए काफ्का सर्वर मापदंडों का संपादन
# आपको ISR पैरामीटर को 1 में बदलना होगा।

 bin/kafka-topics.sh --zookeeper spark01:2181 --config min.insync.replicas=1 --topic __consumer_offsets --alter 

• काफ्का सर्वर को पुनरारंभ करें और उपभोक्ता ओम को फिर से कनेक्ट करने का प्रयास करें

• आइए विषयों की एक सूची देखें।

 bin/kafka-topics.sh --zookeeper host01:2181 --list 

अपाचे स्पार्क को सिंगल-नोड क्लस्टर पर कॉन्फ़िगर करें

हमने एडब्ल्यूएस पर स्थापित ज़ुकीपर और काफ्का सेवाओं के साथ नोड का एक उदाहरण तैयार किया, अब आपको इसके लिए अपाचे स्पार्क स्थापित करने की आवश्यकता है:

3.1। नवीनतम अपाचे स्पार्क वितरण डाउनलोड करें।

 wget https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.6.tgz 

• वितरण को अनज़िप करें और स्पार्क के लिए एक प्रतीकात्मक लिंक बनाएं और अनावश्यक संग्रह फ़ाइलों को हटा दें।

 tar -xvf spark-2.4.0-bin-hadoop2.6.tgz ln -s spark-2.4.0-bin-hadoop2.6 spark rm spark*.tgz 

• sbin निर्देशिका पर जाएं और स्पार्क विज़ार्ड चलाएं।

 ./start-master.sh 

• पोर्ट 8080 पर स्पार्क सर्वर के लिए वेब ब्राउज़र का उपयोग करके कनेक्ट करें।

• एक ही नोड पर स्पार्क-दास चलाएं

 ./start-slave.sh spark://host01:7077 

• होस्ट 01 पर मास्टर के साथ स्पार्क शेल चलाएं।

 ./spark-shell --master spark://host01:7077 

• यदि लॉन्च काम नहीं करता है, तो स्पार्क को बैश में पथ जोड़ें।

 vi ~/.bashrc #      SPARK_HOME=/home/ubuntu/spark export PATH=$SPARK_HOME/bin:$PATH 

 source ~/.bashrc 

• होस्ट 01 पर मास्टर के साथ फिर से स्पार्क शेल चलाएं।

 ./spark-shell --master spark://host01:7077 

3.2। काफ्का, ज़ुकीपर और स्पार्क के साथ एक एकल नोड क्लस्टर काम करता है। हुर्रे!

थोड़ी रचनात्मकता

4.1। Scala-IDE संपादक ( scala-ide.org पर ) डाउनलोड करें। हम कोड लिखना और शुरू करना शुरू करते हैं। यहां मैं खुद को अब नहीं दोहराऊंगा, क्योंकि हैबे पर एक अच्छा लेख है ।

4.2। उपयोगी साहित्य और मदद करने के लिए पाठ्यक्रम:

courses.hadoopinrealworld.com/courses/enrolled/319237
data-flair.training/blogs/kafka-consumer
www.udemy.com/apache-spark-with-scala-hands-on-with-big-data