👨🏻 🕝 🧘🏽 घर का बना बिगडाटा। भाग 1. AWS क्लस्टर पर स्पार्क स्ट्रीमिंग अभ्यास 🌡️ 🚵🏻 🧑🏿‍🤝‍🧑🏼

नमस्ते

इंटरनेट पर कई सेवाएं हैं जो क्लाउड सेवाएं प्रदान करती हैं। उनकी मदद से, आप बिगडाटा की तकनीक सीख सकते हैं।

इस लेख में, हम घर पर EC2 AWS (Amazon Web Services) प्लेटफार्म पर Apache Kafka, Apache Spark, Zookeeper, Spark-shell स्थापित करेंगे और सीखेंगे कि यह सब कैसे उपयोग किया जाए।

पेश है अमेजन वेब सर्विसेज

आपको aws.amazon.com/console पर पंजीकरण करना होगा। एक नाम दर्ज करें और पासवर्ड याद रखें।

Zookeeper और Kafka सेवाओं के लिए नोड उदाहरण कॉन्फ़िगर करें।

मेनू से "सेवाएँ-> EC2" चुनें। अगला, वर्चुअल मशीन की छवि के ऑपरेटिंग सिस्टम के संस्करण का चयन करें, उबंटू सर्वर 16.04 एलटीएस (एचवीएम), एसएसडी वॉल्यूम प्रकार का चयन करें, "चयन करें" पर क्लिक करें। हम सर्वर उदाहरण को कॉन्फ़िगर करने के लिए आगे बढ़ते हैं: 2vCPU, 4 जीबी मेमोरी, जनरल प्रयोजन के लिए "t3.medium" टाइप करें। "अगला: कॉन्फ़िगरेशन इंस्टेंस विवरण" पर क्लिक करें।
उदाहरण 1 की संख्या जोड़ें, "अगला: भंडारण जोड़ें" पर क्लिक करें
हम 8 जीबी के डिस्क आकार के लिए डिफ़ॉल्ट मान को स्वीकार करते हैं और प्रकार को चुंबकीय में बदलते हैं (डेटा मात्रा और उच्च प्रदर्शन एसएसडी के आधार पर उत्पादन सेटिंग्स में)
"टैग उदाहरण" अनुभाग में "नाम" के लिए, नोड के उदाहरण का नाम दर्ज करें "होम 1" (जहां 1 सिर्फ एक सीरियल नंबर है) और "अगला: ..." पर क्लिक करें।
"सुरक्षा समूह कॉन्फ़िगर करें" अनुभाग में, सुरक्षा समूह ("Spark_Kafka_Zoo_Project") के नाम का चयन करके "मौजूदा सुरक्षा समूह का उपयोग करें" विकल्प चुनें और आने वाले ट्रैफ़िक के लिए नियम निर्धारित करें। "अगला: ..." पर क्लिक करें
अपनी प्रविष्टियों को सत्यापित करने और लॉन्च करने के लिए समीक्षा स्क्रीन के माध्यम से स्क्रॉल करें।
क्लस्टर नोड्स से कनेक्ट करने के लिए, आपको पहचान और प्राधिकरण के लिए सार्वजनिक कुंजियों की एक जोड़ी (हमारे मामले में, मौजूदा का उपयोग करें) बनाना होगा। ऐसा करने के लिए, सूची में ऑपरेशन प्रकार "मौजूदा जोड़ी का उपयोग करें" चुनें।

प्रमुख निर्माण

क्लाइंट के लिए Putty (https://www.chiark.greenend.org.uk/~sgtatham/putty/latest.html) डाउनलोड करें या टर्मिनल से SSH कनेक्शन का उपयोग करें।
.Pem कुंजी फ़ाइल सुविधा के लिए पुराने प्रारूप का उपयोग करती है, हम इसे पुट्टी द्वारा उपयोग किए गए पीपीपी प्रारूप में परिवर्तित करते हैं। ऐसा करने के लिए, PuTTYgen उपयोगिता को चलाएं, उपयोगिता में पुराने .pem प्रारूप में कुंजी लोड करें। हम एक्सटेंशन .ppk के साथ होम फोल्डर में बाद में उपयोग के लिए कुंजी और सेव (सेव प्राइवेट की) कन्वर्ट करते हैं।

क्लस्टर लॉन्च

सुविधा के लिए, Node01-04 संकेतन में क्लस्टर नोड्स का नाम बदलें। SSH के माध्यम से स्थानीय कंप्यूटर से क्लस्टर नोड्स से कनेक्ट करने के लिए, आपको नोड और उसके सार्वजनिक / निजी DNS नाम के आईपी पते को निर्धारित करने की आवश्यकता है, प्रत्येक क्लस्टर नोड्स को एक-एक करके चुनें, और चयनित उदाहरण के लिए, SSH के माध्यम से कनेक्ट करने के लिए अपने सार्वजनिक / निजी DNS नाम को लिखकर स्थापना के लिए। पाठ फ़ाइल के लिए सॉफ्टवेयर HadoopAdm01.txt।

उदाहरण: ec2-35-162-169-76.us-west-2.compute.amazonaws.com

AWS क्लस्टर नोड पर सिंगलकोड मोड में Apache Kafka स्थापित करें

सॉफ़्टवेयर को स्थापित करने के लिए, SSH के माध्यम से कनेक्ट करने के लिए हमारे नोड (इसकी सार्वजनिक DNS की प्रतिलिपि बनाएं) का चयन करें। हम SSH के माध्यम से कनेक्शन कॉन्फ़िगर करते हैं। हम 1.3 खंड में निर्मित निजी / सार्वजनिक कुंजी जोड़ी "HadoopUser01.ppk" का उपयोग करके SSH के माध्यम से कनेक्शन को कॉन्फ़िगर करने के लिए पहले नोड के सहेजे गए नाम का उपयोग करते हैं। हम ब्राउज़ बटन के माध्यम से कनेक्शन / प्रामाणिक अनुभाग पर जाते हैं और उस फ़ोल्डर की तलाश करते हैं जहां हमने पहले फ़ाइल "HadoopUserXX.ppk" को सहेजा था।

हम सेटिंग्स में कनेक्शन कॉन्फ़िगरेशन को सहेजते हैं।

हम नोड से जुड़े हैं और लॉगिन का उपयोग करते हैं: ubuntu।

रूट विशेषाधिकारों का उपयोग करते हुए हम संकुल को अद्यतन करते हैं और क्लस्टर की स्थापना और विन्यास के लिए आवश्यक अतिरिक्त संकुल स्थापित करते हैं।
```
sudo apt-get update sudo apt-get -y install wget net-tools netcat tar 
```
जावा 8 jdk स्थापित करें और जावा के संस्करण की जाँच करें।
```
 sudo apt-get -y install openjdk-8-jdk 
```
सामान्य क्लस्टर नोड प्रदर्शन के लिए, आपको मेमोरी स्वैप सेटिंग्स समायोजित करने की आवश्यकता है। VM स्वेपिन्स डिफ़ॉल्ट रूप से 60% पर सेट है, जिसका अर्थ है कि 60% में मेमोरी का उपयोग करते समय, सिस्टम रैम से डिस्क में डेटा को सक्रिय रूप से स्वैप करेगा। लिनक्स के संस्करण के आधार पर, वीएम स्वेपिन्स पैरामीटर को 0 या 1 पर सेट किया जा सकता है:
```
 sudo sysctl vm.swappiness=1 
```
रिबूट के दौरान सेटिंग्स को बचाने के लिए, कॉन्फ़िगरेशन फ़ाइल में एक पंक्ति जोड़ें।
```
 echo 'vm.swappiness=1' | sudo tee --append /etc/sysctl.conf 
```
काफ्का क्लस्टर के नोड नामों के सुविधाजनक समाधान के लिए / etc / मेजबान फ़ाइल में प्रविष्टियों का संपादन और
असाइन किए गए क्लस्टर नोड्स के लिए निजी आईपी पते पर zookeeper।
```
 echo "172.31.26.162 host01" | sudo tee --append /etc/hosts 
```
हम प्रविष्टियों में से किसी का उपयोग करके नामों की सही पहचान की जाँच करते हैं।
काफ्का और स्कैला वितरण के नवीनतम वर्तमान संस्करण (http://kafka.apache.org/downloads) डाउनलोड करें और इंस्टॉलेशन फ़ाइलों के साथ निर्देशिका तैयार करें।
```
 wget http://mirror.linux-ia64.org/apache/kafka/2.1.0/kafka_2.12-2.1.0.tgz tar -xvzf kafka_2.12-2.1.0.tgz ln -s kafka_2.12-2.1.0 kafka 
```
Tgz संग्रह फ़ाइल हटाएं, हमें अब इसकी आवश्यकता नहीं होगी
आइए, इसके लिए ज़ूकीपर सेवा शुरू करने का प्रयास करें:
```
 ~/kafka/bin/zookeeper-server-start.sh -daemon ~/kafka/config/zookeeper.properties 
```
ज़ूकॉपर डिफ़ॉल्ट स्टार्टअप विकल्पों के साथ शुरू होता है। आप लॉग की जांच कर सकते हैं:
```
 tail -n 5 ~/kafka/logs/zookeeper.out 
```
यह सुनिश्चित करने के लिए कि ज़ुकीपर डेमन शुरू होता है, रिबूट करने के बाद, हमें ज़ुकपर को एक पृष्ठभूमि सेवा के रूप में शुरू करने की आवश्यकता है:
```
 bin/zookeeper-server-start.sh -daemon config/zookeeper.properties 
```
ज़ुकपर के लॉन्च की जाँच करने के लिए, जाँच करें
```
 netcat -vz localhost 2181 
```
हम काम के लिए ज़ुकीपर और काफ्का सेवा को कॉन्फ़िगर करते हैं। प्रारंभ में, फ़ाइल /etc/systemd/system/zookeeper.service (नीचे फ़ाइल सामग्री) को संपादित / बनाएं।
```
 [Unit] Description=Apache Zookeeper server Documentation=http://zookeeper.apache.org Requires=network.target remote-fs.target After=network.target remote-fs.target [Service] Type=simple ExecStart=/home/ubuntu/kafka/bin/zookeeper-server-start.sh /home/ubuntu/kafka/config/zookeeper.properties ExecStop=/home/ubuntu/kafka/bin/zookeeper-server-stop.sh [Install] WantedBy=multi-user.target 
```
इसके बाद, काफ्का के लिए, फ़ाइल /etc/systemd/system/kafka.service (नीचे दी गई फ़ाइल सामग्री) को संपादित / बनाएं।
```
 [Unit] Description=Apache Kafka server (broker) Documentation=http://kafka.apache.org/documentation.html Requires=zookeeper.service [Service] Type=simple ExecStart=/home/ubuntu/kafka/bin/kafka-server-start.sh /home/ubuntu/kafka/config/server.properties ExecStop=/home/ubuntu/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target 
```
हम काफ्का और ज़ुकीपर सेवाओं के लिए सिस्टम स्क्रिप्ट को सक्रिय करते हैं।
```
 sudo systemctl enable zookeeper sudo systemctl enable kafka 
```

Systemd स्क्रिप्ट के संचालन की जाँच करें।

 sudo systemctl start zookeeper sudo systemctl start kafka sudo systemctl status zookeeper sudo systemctl status kafka sudo systemctl stop zookeeper sudo systemctl stop kafka

हम काफ्का और ज़ुकीपर सेवाओं की कार्यक्षमता की जाँच करेंगे।
```
 netcat -vz localhost 2181 netcat -vz localhost 9092 
```
ज़ूकीपर लॉग फ़ाइल की जाँच करें।
```
 cat logs/zookeeper.out 
```

पहला आनंद

हम इकट्ठे कफका सर्वर पर अपना पहला विषय बनाते हैं।

जैसा कि आपने server.properties कॉन्फ़िगरेशन फ़ाइल में इंगित किया है, "host01: 2181" कनेक्शन का उपयोग करना महत्वपूर्ण है।
हम विषय में कुछ डेटा लिखते हैं।
```
 kafka-console-producer.sh --broker-list host01:9092 --topic first_topic     
```
Ctrl-C - विषय कंसोल से बाहर निकलें।
अब विषय से डेटा पढ़ने का प्रयास करें।
```
 kafka-console-consumer.sh --bootstrap-server host01:9092 --topic last_topic --from-beginning 
```
आइए कफका विषयों की सूची देखें।
```
 bin/kafka-topics.sh --zookeeper spark01:2181 --list 
```
एकल क्लस्टर सेटअप के लिए ट्यूनिंग के लिए काफ्का सर्वर सेटिंग्स का संपादन
# आपको ISR पैरामीटर को 1 में बदलना होगा।
```
 bin/kafka-topics.sh --zookeeper spark01:2181 --config min.insync.replicas=1 --topic __consumer_offsets --alter 
```
हम काफ्का सर्वर को पुनरारंभ करते हैं और उपभोक्ता ओम को फिर से जोड़ने का प्रयास करते हैं
आइए विषय सूची को देखें।
```
 bin/kafka-topics.sh --zookeeper host01:2181 --list 
```

अपाचे स्पार्क को सिंगल-नोड क्लस्टर पर कॉन्फ़िगर करें

हमने एडब्ल्यूएस पर स्थापित ज़ुकीपर और काफ्का सेवाओं के साथ नोड का एक उदाहरण तैयार किया, अब आपको इसके लिए अपाचे स्पार्क स्थापित करने की आवश्यकता है:

नवीनतम अपाचे स्पार्क वितरण डाउनलोड करें।

 wget https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0-bin-hadoop2.6.tgz

वितरण को अनज़िप करें और स्पार्क के लिए एक प्रतीकात्मक लिंक बनाएं और अनावश्यक संग्रह फ़ाइलों को हटा दें।
```
 tar -xvf spark-2.4.0-bin-hadoop2.6.tgz ln -s spark-2.4.0-bin-hadoop2.6 spark rm spark*.tgz 
```
Sbin निर्देशिका पर जाएं और स्पार्क विज़ार्ड चलाएं।
```
 ./start-master.sh 
```
हम पोर्ट 8080 पर स्पार्क सर्वर के लिए एक वेब ब्राउज़र का उपयोग करके कनेक्ट करते हैं।
उसी नोड पर स्पार्क-स्लेव्स चलाएं
```
 ./start-slave.sh spark://host01:7077 
```
होस्ट 01 पर मास्टर के साथ स्पार्क शेल चलाएं।
```
 ./spark-shell --master spark://host01:7077 
```
यदि लॉन्च काम नहीं करता है, तो स्पार्क को बैश में पथ जोड़ें।
```
 vi ~/.bashrc #      SPARK_HOME=/home/ubuntu/spark export PATH=$SPARK_HOME/bin:$PATH 
```
```
 source ~/.bashrc 
```
होस्ट 01 पर मास्टर के साथ फिर से स्पार्क शेल चलाएं।
```
 ./spark-shell --master spark://host01:7077 
```
काफ्का, ज़ुकीपर और स्पार्क के साथ एक एकल नोड क्लस्टर काम करता है। हुर्रे!

थोड़ी रचनात्मकता

Scala-IDE संपादक ( scala-ide.org पर ) डाउनलोड करें। हम कोड लिखना और शुरू करना शुरू करते हैं। यहां मैं खुद को अब नहीं दोहराऊंगा, क्योंकि हैबे पर एक अच्छा लेख है ।

उपयोगी साहित्य और मदद करने के लिए पाठ्यक्रम:

courses.hadoopinrealworld.com/courses/enrolled/319237
data-flair.training/blogs/kafka-consumer
www.udemy.com/apache-spark-with-scala-hands-on-with-big-data

घर का बना बिगडाटा। भाग 1. AWS क्लस्टर पर स्पार्क स्ट्रीमिंग अभ्यास