लिवी - हडोप स्पार्क एयरफ्लो पायथन श्रृंखला में लापता लिंक

हाय सब लोग, कुछ जानकारी "हुड के नीचे से" अल्टिफ्राखोवानिया की इंजीनियरिंग कार्यशाला की तारीख है - जो हमारे तकनीकी दिमागों को उत्तेजित करती है।

अपाचे स्पार्क एक अद्भुत उपकरण है जो आपको बड़ी मात्रा में कंप्यूटिंग संसाधनों पर डेटा की बड़ी मात्रा में त्वरित और आसानी से संसाधित करने की अनुमति देता है (मेरा मतलब है क्लस्टर प्रोसेसिंग)।

परंपरागत रूप से, जूपिटर नोटबुक का उपयोग तदर्थ डेटा प्रोसेसिंग में किया जाता है। स्पार्क के साथ संयोजन में, यह हमें लंबे समय तक रहने वाले डेटा फ़्रेमों में हेरफेर करने की अनुमति देता है (स्पार्क संसाधनों के आवंटन से संबंधित है, डेटा फ़्रेम क्लस्टर में कहीं रहते हैं, उनका जीवनकाल स्पार्क के जीवनकाल तक सीमित है)।

अपाचे एयरफ़्लो में डेटा प्रोसेसिंग को स्थानांतरित करने के बाद, फ़्रेम का जीवनकाल बहुत कम हो जाता है - स्पार्क संदर्भ "समान जीवन" के समान प्रवाह। इसके आसपास कैसे पहुंचें, चारों ओर क्यों जाएं और लिवी को इसके साथ क्या करना है - कटौती के तहत पढ़ें।

आइए एक बहुत, बहुत सरल उदाहरण देखें: मान लें कि हमें एक बड़ी तालिका में डेटा को अपभ्रंश करने की आवश्यकता है और परिणाम को आगे की प्रक्रिया (डेटा प्रसंस्करण पाइपलाइन का एक विशिष्ट तत्व) के लिए किसी अन्य तालिका में सहेजें।

हम यह कैसे करेंगे:

• डेटाफ्रेम में लोड डेटा (एक बड़ी तालिका और निर्देशिकाओं से चयन)
• परिणाम पर "आँखें" के साथ देखा (क्या यह सही ढंग से काम करता है)
• हाइव टेबल के लिए डेटाफ़्रेम सहेजा गया (उदाहरण के लिए)

विश्लेषण के परिणामों के आधार पर, हमें दूसरे चरण में कुछ विशिष्ट प्रसंस्करण (शब्दकोश प्रतिस्थापन या कुछ और) डालने की आवश्यकता हो सकती है। तर्क के संदर्भ में, हमारे पास तीन चरण हैं

• चरण 1: डाउनलोड करें
• चरण 2: प्रसंस्करण
• चरण 3: सहेजें

ज्यूपिटर नोटबुक में, यह है कि हम इसे कैसे करते हैं - हम डाउनलोड किए गए डेटा को मनमाने ढंग से लंबे समय तक संसाधित कर सकते हैं, जिससे स्पैन संसाधनों को नियंत्रित किया जा सकता है।

यह उम्मीद करना तर्कसंगत है कि इस तरह के विभाजन को एयरफ्लो में स्थानांतरित किया जा सकता है। यानी इस तरह का ग्राफ होना

दुर्भाग्य से, एयरफ्लो + स्पार्क संयोजन का उपयोग करते समय यह संभव नहीं है: प्रत्येक एयरफ्लो स्टेटमेंट को अपने स्वयं के अजगर दुभाषिया में निष्पादित किया जाता है, इसलिए, अन्य बातों के अलावा, प्रत्येक कथन को किसी न किसी तरह से अपनी गतिविधियों के परिणामों को "जारी" रखना चाहिए। इस प्रकार, हमारी प्रक्रिया एक चरण में "संपीड़ित" है - "डेटा को असामान्य करें"।

नोटबुक के लचीलेपन को जुपाइटर को एयरफ्लो में वापस कैसे लाया जा सकता है? यह स्पष्ट है कि उपरोक्त उदाहरण "इसके लायक नहीं है" (हो सकता है, इसके विपरीत, यह एक अच्छा समझने योग्य प्रसंस्करण कदम है)। लेकिन फिर भी - एयरफ्लो स्टेटमेंट्स को समान डेटाफ्रेम स्पेस पर समान स्पार्क संदर्भ में कैसे निष्पादित किया जाए?

स्वागत है Livy

एक और Hadoop पारिस्थितिकी तंत्र उत्पाद बचाव के लिए आता है - Apache Livy।

मैं यहाँ यह बताने की कोशिश नहीं करूँगा कि यह किस प्रकार का "जानवर" है। यदि यह बहुत ही संक्षिप्त और काला और सफेद है - लिवी आपको एक प्रोग्राम में अजगर कोड को "इंजेक्ट" करने की अनुमति देता है जो ड्राइवर निष्पादित करता है:

• पहले हम लिवी सत्र बनाते हैं
• उसके बाद हम इस सत्र में अनियंत्रित अजगर कोड को निष्पादित करने की क्षमता रखते हैं (बहुत कुछ ज्यूपिटर / आइपीथॉन विचारधारा के समान)

और इस सब के लिए एक REST API है।

हमारे सरल कार्य पर लौटना: लिवी के साथ हम अपने मूल्य-निर्धारण के मूल तर्क को बचा सकते हैं

• पहले चरण में (हमारे ग्राफ का पहला कथन) हम डेटा लोडिंग कोड को डेटाफ्रेम में लोड और निष्पादित करेंगे
• दूसरे चरण में (दूसरा कथन) - इस डेटाफ्रेम के आवश्यक अतिरिक्त प्रसंस्करण के लिए कोड निष्पादित करें
• तीसरे चरण में - तालिका में डेटाफ्रेम को बचाने के लिए कोड

एयरफ्लो के संदर्भ में इस तरह क्या हो सकता है:

(चूंकि चित्र बहुत वास्तविक स्क्रीनशॉट है, अतिरिक्त "वास्तविकताओं" को जोड़ दिया गया - स्पार्क संदर्भ बनाने के लिए एक अजीब नाम के साथ एक अलग ऑपरेशन बन गया, डेटा का "प्रसंस्करण" गायब हो गया क्योंकि इसकी आवश्यकता नहीं थी, आदि)

संक्षेप में, हम प्राप्त करते हैं

• यूनिवर्सल एयरफ्लो स्टेटमेंट जो लिवी सत्र में अजगर कोड को निष्पादित करता है
• अजगर कोड को काफी जटिल ग्राफ में "व्यवस्थित" करने की क्षमता (इसके लिए एयरफ्लो)
• उदाहरण के लिए, उच्च-स्तरीय अनुकूलन से निपटने की क्षमता, हमें किस क्रम में अपने परिवर्तन करने की आवश्यकता है ताकि स्पार्क सामान्य डेटा को क्लस्टर मेमोरी में यथासंभव लंबे समय तक रख सके।

मॉडलिंग के लिए डेटा तैयार करने के लिए एक विशिष्ट पाइपलाइन में 10 तालिकाओं पर लगभग 25 प्रश्न हैं, यह स्पष्ट है कि कुछ तालिकाओं का उपयोग अन्य (समान "सामान्य डेटा") की तुलना में अधिक बार किया जाता है और अनुकूलन करने के लिए कुछ है।

आगे क्या है

तकनीकी क्षमता का परीक्षण किया गया है, हम आगे सोचते हैं - कैसे अधिक तकनीकी रूप से इस प्रतिमान में हमारे परिवर्तनों का अनुवाद करें। और ऊपर बताए गए ऑप्टिमाइज़ेशन से कैसे संपर्क करें। हम अभी भी अपनी यात्रा के इस हिस्से की शुरुआत में हैं - जब कुछ दिलचस्प होगा, तो हम इसे साझा जरूर करेंगे।