कुबेरनेट्स पर स्पार्क स्ट्रक्चर्ड स्ट्रीमिंग एप्लीकेशन। अनुभव तेजी से रस

आज मैं आपको बताऊंगा कि हमने कुबेरनेट्स (K8) में स्पार्क स्ट्रक्चर्ड स्ट्रीमिंग एप्लीकेशन को पोर्ट करने की समस्या को हल करने और सीआई स्ट्रीमिंग को कैसे लागू किया।

यह सब कैसे शुरू हुआ?

स्ट्रीमिंग FASTEN RUS BI मंच का एक प्रमुख घटक है। परिचालन रिपोर्ट बनाने के लिए वास्तविक समय डेटा का उपयोग दिनांक विश्लेषण टीम द्वारा किया जाता है।

स्पार्क स्ट्रक्चर्ड स्ट्रीमिंग का उपयोग करके स्ट्रीमिंग एप्लिकेशन को लागू किया जाता है। यह ढांचा एक सुविधाजनक डेटा परिवर्तन एपीआई प्रदान करता है जो सुधार की गति के संदर्भ में हमारी आवश्यकताओं को पूरा करता है।

धाराएँ स्वयं AWS EMR क्लस्टर पर बढ़ीं। इस प्रकार, जब क्लस्टर में एक नई धारा को बढ़ाते हुए, स्पार्क-नौकरियों को प्रस्तुत करने के लिए एक ssh स्क्रिप्ट रखी गई थी, जिसके बाद आवेदन लॉन्च किया गया था। और पहले तो सब कुछ हमें सूट करने लगा। लेकिन धाराओं की बढ़ती संख्या के साथ, सीआई स्ट्रीमिंग की आवश्यकता और अधिक स्पष्ट हो गई, जो नई संस्थाओं पर डेटा प्रदान करने के लिए एप्लिकेशन लॉन्च करते समय विश्लेषण तिथि कमांड की स्वायत्तता में वृद्धि करेगी।

और अब हम यह देखेंगे कि हमने कुबेरनेट को स्ट्रीमिंग पोर्ट करके इस समस्या को कैसे हल किया।

क्यों कुबेरनेट्स?

कुबेरनेट्स, एक संसाधन प्रबंधक के रूप में, हमारी आवश्यकताओं के अनुकूल है। यह डाउनटाइम के बिना एक तैनाती है, और कुबेरनेट्स पर सीआई कार्यान्वयन उपकरण की एक विस्तृत श्रृंखला, जिसमें हेलम भी शामिल है। इसके अलावा, हमारी टीम के K8 पर CI पाइपलाइन के कार्यान्वयन में पर्याप्त विशेषज्ञता थी। इसलिए, चुनाव स्पष्ट था।

कुबेरनेट्स-आधारित स्पार्क एप्लिकेशन प्रबंधन मॉडल का आयोजन कैसे किया जाता है?

क्लाइंट K8s पर स्पार्क-सबमिट चलाता है। एक एप्लिकेशन ड्राइवर पॉड बनाया जाता है। कुबेरनेट्स शेड्यूलर एक पॉड को क्लस्टर नोड में बांधता है। तब ड्राइवर पॉड्स को चलाने के लिए एक अनुरोध भेजता है अधिकारियों को चलाने के लिए, पॉड्स बनाए जाते हैं और क्लस्टर नोड्स से जुड़े होते हैं। उसके बाद, ऑपरेशन का एक मानक सेट डीएजी में एप्लिकेशन कोड के बाद के रूपांतरण के साथ प्रदर्शन किया जाता है, चरणों में अपघटन, कार्यों में टूट जाता है और निष्पादनयोग्य पर उनका निष्पादन होता है।

मैन्युअल रूप से स्पार्क एप्लिकेशन शुरू करते समय यह मॉडल काफी सफलतापूर्वक काम करता है। हालाँकि, क्लस्टर के बाहर स्पार्क-सबमिट शुरू करने का दृष्टिकोण हमें सीआई कार्यान्वयन के संदर्भ में सूट नहीं करता है। यह एक समाधान खोजने के लिए आवश्यक था जो स्पार्क को क्लस्टर के नोड्स पर सीधे चलाने (स्पार्क-सबमिट करने) की अनुमति देगा। और यहां कुबेरनेट्स ऑपरेटर मॉडल पूरी तरह से हमारी आवश्यकताओं को पूरा करता है।

कुबेरनेट्स ऑपरेटर एक स्पार्क एप्लीकेशन लाइफसाइकल मैनेजमेंट मॉडल के रूप में

कुबेरनेट्स ऑपरेटर कुबेरनेट्स में स्टेटफुल अनुप्रयोगों के प्रबंधन की एक अवधारणा है, जो कोरओएस द्वारा प्रस्तावित है, जिसमें परिचालन कार्यों का स्वचालन शामिल है, जैसे कि अनुप्रयोगों को तैनात करना, फाइलों के मामले में अनुप्रयोगों को फिर से शुरू करना, एप्लिकेशन कॉन्फ़िगरेशन को अपडेट करना। कुबेरनेट्स ऑपरेटर के प्रमुख पैटर्न में से एक CRD ( CustomResourceDefinitions ) है, जिसमें K8s क्लस्टर में कस्टम संसाधनों को शामिल करना शामिल है, जो बदले में, आपको इन संसाधनों के साथ मूलubernetes ऑब्जेक्ट्स के साथ काम करने की अनुमति देता है।

ऑपरेटर एक डेमन है जो क्लस्टर के पॉड में रहता है और एक कस्टम संसाधन की स्थिति के निर्माण / परिवर्तन का जवाब देता है।

स्पार्क एप्लिकेशन जीवन चक्र प्रबंधन के लिए इस अवधारणा पर विचार करें।



उपयोगकर्ता kubectl apply -f स्पार्क-application.yaml कमांड चलाता है, जहां स्पार्क-application.yaml स्पार्क एप्लिकेशन के विनिर्देश हैं। ऑपरेटर स्पार्क एप्लिकेशन ऑब्जेक्ट प्राप्त करता है और स्पार्क-सबमिट निष्पादित करता है।

जैसा कि हम देख सकते हैं, कुबेरनेट्स ऑपरेटर मॉडल में कुबरनेटेस क्लस्टर में सीधे स्पार्क एप्लिकेशन के जीवन चक्र का प्रबंधन करना शामिल है, जो हमारी समस्याओं को हल करने के संदर्भ में इस मॉडल के पक्ष में एक गंभीर तर्क था।

स्ट्रीमिंग अनुप्रयोगों के प्रबंधन के लिए कुबेरनेट्स ऑपरेटर के रूप में, स्पार्क-ऑन-के -8-ऑपरेटर का उपयोग करने का निर्णय लिया गया। यह ऑपरेटर काफी सुविधाजनक एपीआई प्रदान करता है, साथ ही स्पार्क अनुप्रयोगों के लिए पुनरारंभ नीति को कॉन्फ़िगर करने में लचीलापन (जो स्ट्रीमिंग अनुप्रयोगों का समर्थन करने के संदर्भ में काफी महत्वपूर्ण है) प्रदान करता है।

सीआई कार्यान्वयन

CI स्ट्रीमिंग को लागू करने के लिए, GitLab CI / CD का उपयोग किया गया था । K8s पर स्पार्क अनुप्रयोगों की तैनाती हेलम टूल्स का उपयोग करके आयोजित की गई थी।

पाइपलाइन में 2 चरण शामिल हैं:

• परीक्षण - सिंटैक्स की जाँच की जाती है, साथ ही हेल्म-टेम्प्लेट का प्रतिपादन भी किया जाता है;
• तैनाती - परीक्षण (देव) और उत्पाद (उत्पादों) वातावरण के लिए स्ट्रीमिंग अनुप्रयोगों की तैनाती।

आइए इन चरणों पर अधिक विस्तार से विचार करें।

परीक्षण के चरण में, स्पार्क एप्लिकेशन हेल्म टेम्पलेट (CRD - स्पार्क एपिलेशन ) को पर्यावरण-विशिष्ट मूल्यों के साथ प्रदान किया जाता है।

हेल्म-टेम्प्लेट के प्रमुख भाग हैं:

1. चिंगारी:
   
   • संस्करण - अपाचे स्पार्क संस्करण
   • छवि - डॉकर छवि का उपयोग किया गया
2. नोडसिलेक्टर - इसमें एक सूची (कुंजी → मान) होती है जो चूल्हों के लेबल के अनुरूप होती है।
3. सहिष्णुता - स्पार्क आवेदन की सहिष्णुता की सूची को इंगित करता है।
4. mainClass - स्पार्क एप्लिकेशन क्लास
5. applicationFile - स्थानीय पथ जहां स्पार्क एप्लिकेशन जार स्थित है
6. पुनरारंभपुलिपिक - स्पार्क आवेदन पुनरारंभ नीति
   
   • कभी नहीं - पूरा स्पार्क एप्लिकेशन को पुनरारंभ नहीं करता है
   • हमेशा - पूर्ण स्पार्क एप्लिकेशन स्टॉप के कारण की परवाह किए बिना पुनरारंभ होता है।
   • OnFailure - स्पार्क एप्लिकेशन केवल फ़ाइल के मामले में ही पुनरारंभ होता है
7. maxSubmissionRetries - एक स्पार्क एप्लिकेशन की सबमिशन की अधिकतम संख्या
8. ड्राइवर / निष्पादक:
   
   • कोर - चालक / निष्पादक को आवंटित कर्नेल की संख्या
   • उदाहरण (केवल अधिकारियों के विन्यास के लिए प्रयुक्त) - अधिकारियों की संख्या
   • मेमोरी - ड्राइवर / निष्पादक प्रक्रिया को आवंटित की गई मेमोरी की मात्रा
   • मेमोरीऑवरहेड - चालक / निष्पादक को आवंटित ऑफ-हाइप मेमोरी की मात्रा
9. धाराओं:
   
   • नाम - स्ट्रीमिंग एप्लिकेशन का नाम
   • तर्क - स्ट्रीमिंग एप्लिकेशन के लिए तर्क
10. सिंक - S3 पर डेटा लेक डेटासेट का पथ

टेम्प्लेट को प्रस्तुत करने के बाद, अनुप्रयोगों को हेल्म का उपयोग करके देव परीक्षण वातावरण में तैनात किया जाता है।

सीआई पाइप लाइन का काम किया।



तब हम तैनाती-ठेस नौकरी शुरू करते हैं - उत्पादन में एप्लिकेशन लॉन्च करना।

हम नौकरी के सफल प्रदर्शन के प्रति आश्वस्त हैं।



जैसा कि हम नीचे देख सकते हैं, एप्लिकेशन चल रहे हैं, पॉड्स रनिंग स्थिति में हैं।

निष्कर्ष

पोर्टिंग स्पार्क स्ट्रक्चर्ड स्ट्रीमिंग एप्लिकेशन को K8 और CI के बाद के कार्यान्वयन ने हमें नई संस्थाओं तक डेटा पहुंचाने के लिए स्ट्रीम के लॉन्च को स्वचालित करने की अनुमति दी। अगली स्ट्रीम को बढ़ाने के लिए, मानों के याम्ल फ़ाइल में स्पार्क एप्लिकेशन के कॉन्फ़िगरेशन के विवरण के साथ मर्ज अनुरोध तैयार करने के लिए पर्याप्त है और जब-जब तैनाती की नौकरी शुरू होती है, डेटा झील (S3) को डेटा वितरण शुरू किया जाएगा। इस समाधान ने रिपॉजिटरी में नई संस्थाओं को जोड़ने से संबंधित कार्य करते समय विश्लेषण तिथि कमांड की स्वायत्तता सुनिश्चित की। इसके अलावा, K8s के लिए स्ट्रीमिंग को पोर्ट करना और विशेष रूप से, कुबरनेट्स ऑपरेटर स्पार्क-ऑन-k8s- ऑपरेटर का उपयोग करके स्पार्क अनुप्रयोगों का प्रबंधन करने से स्ट्रीमिंग की लचीलापन काफी बढ़ गई। लेकिन उस पर अगले लेख में।