विंडोज 10 पर अपाचे एयरफ्लो स्थापित करने का अनुभव

प्रस्तावना : अकादमिक विज्ञान (चिकित्सा) की दुनिया से भाग्य की इच्छा से, मैं सूचना प्रौद्योगिकी की दुनिया में पहुंच गया, जहां मुझे प्रयोगात्मक डेटा के विश्लेषण के लिए एक प्रयोग और कार्यनीतियों के निर्माण के तरीके के बारे में अपने ज्ञान का उपयोग करना है, हालांकि, मेरे लिए एक नई तकनीक का उपयोग करें। इन तकनीकों में महारत हासिल करने की प्रक्रिया में, मैं कई कठिनाइयों का सामना करता हूं, जो अब तक, सौभाग्य से, दूर हो गए हैं। शायद यह पोस्ट उन लोगों के लिए उपयोगी होगी जो अपाचे परियोजनाओं के साथ काम करना शुरू कर रहे हैं।

तो बात है । विश्लेषणात्मक प्रक्रियाओं के स्वचालन के क्षेत्र में अपाचे एयरफ्लो की क्षमताओं के बारे में यूरी एलेमानोव के एक लेख से प्रेरित होकर, मैं अपने काम में पुस्तकालयों के प्रस्तावित सेट का उपयोग करना शुरू करना चाहता था। जो लोग अपाचे एयरफ्लो से परिचित नहीं हैं वे राष्ट्रीय पुस्तकालय की वेबसाइट पर एक छोटी समीक्षा लेख में रुचि ले सकते हैं एन.ई.बौमन।

चूंकि एयरफ्लो शुरू करने के सामान्य निर्देश, जाहिरा तौर पर, विंडोज वातावरण में लागू नहीं होते हैं, और मेरे मामले में इस समस्या को हल करने के लिए डॉकडर का उपयोग करना अनावश्यक होगा, मैंने अन्य समाधानों की तलाश शुरू कर दी। मेरे लिए सौभाग्य से, मैं इस रास्ते पर पहले नहीं था, इसलिए मैंने विंडोज 10 में अपाचे एयरफ्लो को डॉकटर का उपयोग किए बिना स्थापित करने पर एक अद्भुत वीडियो ट्यूटोरियल खोजने में कामयाब रहा। लेकिन, जैसा कि अक्सर होता है, अनुशंसित चरणों का प्रदर्शन करते समय, कठिनाइयां पैदा होती हैं, और, मुझे विश्वास है, न केवल मेरे लिए। इसलिए, मैं अपाचे एयरफ्लो स्थापित करने के अपने अनुभव के बारे में बात करना चाहूंगा, शायद यह किसी के लिए कुछ समय बचाएगा।

आइए निर्देशों के चरणों के माध्यम से जाएं (स्पॉइलर - 5 वें चरण, सब कुछ ठीक हो गया):

1. लिनक्स वितरण के बाद की स्थापना के लिए लिनक्स के लिए विंडोज सबसिस्टम स्थापित करना

यह समस्याओं का कम है, जैसा कि वे कहते हैं:

कंट्रोल पैनल → प्रोग्राम → प्रोग्राम एंड कंपोनेंट्स → लिनक्स के लिए विंडोज कंपोनेंट्स → विंडोज सबसिस्टम को एनेबल और डिसेबल करना

2. अपनी पसंद का लिनक्स वितरण स्थापित करना

मैंने उबंटू एप्लिकेशन का उपयोग किया।

3. स्थापना और अद्यतन पाइप

sudo apt-get install software-properties-common sudo apt-add-repository universe sudo apt-get update sudo apt-get install python-pip 

4. अपाचे एयरफ्लो स्थापित करें

 export SLUGIFY_USES_TEXT_UNIDECODE=yes pip install apache-airflow 

5. डेटाबेस इनिशियलाइज़ेशन

और यहीं से मेरी थोड़ी मुश्किलें शुरू हुईं। निर्देश आपको airflow initdb कमांड दर्ज करने और अगले चरण पर जाने का निर्देश देता है। हालाँकि, मुझे हमेशा airflow: command not found मिला airflow: command not found प्रतिक्रिया airflow: command not found । यह मानना ​​तर्कसंगत है कि Apache Airflow के स्थापना चरण के दौरान कठिनाइयाँ थीं और बस कोई आवश्यक फाइल नहीं है। यह सुनिश्चित करने के बाद कि सब कुछ कहाँ है, यह होना चाहिए, मैंने ////airflow initdb को पूर्ण पथ निर्दिष्ट करने का प्रयास करने का निर्णय लिया (यह इस तरह दिखना चाहिए: ////airflow initdb )। लेकिन चमत्कार नहीं हुआ और जवाब एक ही airflow: command not found । मैंने फ़ाइल के सापेक्ष पथ का उपयोग करने का प्रयास किया (( ./.local/bin/airflow initdb ), जिसके कारण एक नई त्रुटि का पता ModuleNotFoundError: No module named json' , जिसे वर्कर्ज लाइब्रेरी (मेरे मामले में, 0.15.4 संस्करण में) अद्यतन करने से दूर किया जा सकता है। :

 pip install werkzeug==0.15.4 

यहाँ werkzeug के बारे में और पढ़ें।

इस सरल हेरफेर के बाद , ./.local/bin/airflow initdb . ./.local/bin/airflow initdb कमांड को सफलतापूर्वक पूरा किया गया।

6. एयरफ्लो सर्वर शुरू करना

एयरफ्लो एक्सेस करने की कठिनाइयां अभी खत्म नहीं हुई हैं। ./.local/bin/airflow webserver -p 8080 कमांड चलाने के परिणामस्वरूप No such file or directory त्रुटि नहीं हुई। संभवतः, एक अनुभवी उबंटू उपयोगकर्ता तुरंत export PATH=$PATH:~/.local/bin/ कमांड (यानी, PATH वैरिएबल द्वारा परिभाषित निष्पादन योग्य फ़ाइलों के लिए मौजूदा खोज पथ में जोड़कर) फ़ाइल को एक्सेस करके ऐसी कठिनाइयों को दूर करने का प्रयास करेगा। / बिन /), लेकिन यह पोस्ट उन लोगों के लिए है जो मुख्य रूप से विंडोज के साथ काम करते हैं और इस समाधान को स्पष्ट नहीं पाते हैं।

ऊपर वर्णित हेरफेर के बाद, ./.local/bin/airflow webserver -p 8080 कमांड को सफलतापूर्वक निष्पादित किया गया था।

7. URL: लोकलहोस्ट : 8080 /

यदि पिछले चरणों में सब कुछ ठीक हो गया है, तो आप विश्लेषणात्मक चोटियों को जीतने के लिए तैयार हैं।

मुझे उम्मीद है कि ऊपर वर्णित विंडोज 10 पर अपाचे एयरफ्लो स्थापित करने का अनुभव शुरुआती लोगों के लिए उपयोगी होगा और आधुनिक एनालिटिक्स टूल के ब्रह्मांड में उनके प्रवेश को गति देगा।

अगली बार मैं विषय को जारी रखना चाहूंगा और मोबाइल एप्लिकेशन के उपयोगकर्ताओं के व्यवहार का विश्लेषण करने के क्षेत्र में अपाचे एयरफ्लो के उपयोग के अनुभव के बारे में बात करूंगा।