Apache NiFi: यह क्या है और सुविधाओं का एक संक्षिप्त अवलोकन है

बिग डेटा के बारे में विषयगत विदेशी साइटों पर आज आप अपाचे NiFi के रूप में Hadoop पारिस्थितिकी तंत्र के लिए इस तरह के एक अपेक्षाकृत नए उपकरण का उल्लेख पा सकते हैं। यह एक आधुनिक ओपन सोर्स ईटीएल टूल है। तेजी से समानांतर लोडिंग और डेटा प्रोसेसिंग के लिए वितरित आर्किटेक्चर, स्रोतों और परिवर्तनों के लिए बड़ी संख्या में प्लग-इन, कॉन्फ़िगरेशन का संस्करण केवल इसके फायदे का हिस्सा हैं। अपनी सारी शक्ति के साथ, NiFi का उपयोग करना काफी आसान है।



हम रोस्टेलकॉम में हडोप के साथ काम करने का प्रयास करते हैं, इसलिए हमने अन्य समाधानों की तुलना में पहले ही अपाचे NiFi के फायदे की कोशिश की और सराहना की। इस लेख में मैं आपको बताऊंगा कि इस उपकरण ने हमें कैसे आकर्षित किया और हम इसका उपयोग कैसे करते हैं।

प्रागितिहास

बहुत समय पहले, हम Hadoop क्लस्टर में बाहरी स्रोतों से डेटा लोड करने के लिए एक समाधान की पसंद के साथ सामना कर रहे थे। इस तरह की समस्याओं को हल करने के लिए लंबे समय तक हमने अपाचे फ्लूम का इस्तेमाल किया। फ्लूम के बारे में पूरी तरह से कोई शिकायत नहीं थी, सिवाय कुछ बिंदुओं के जो हमें सूट नहीं करते थे।

पहली बात यह है कि हम, प्रशासक के रूप में, यह पसंद नहीं करते थे कि अगली तुच्छ डाउनलोड करने के लिए फ़्लूम कॉन्फ़िगर लिखना किसी डेवलपर या विश्लेषक को नहीं सौंपा जा सकता था जो इस टूल की पेचीदगियों में डूबा नहीं था। प्रत्येक नए स्रोत को जोड़ना प्रशासन टीम से अनिवार्य हस्तक्षेप की आवश्यकता है।
दूसरा बिंदु गलती सहिष्णुता और स्केलिंग था। भारी डाउनलोड के लिए, उदाहरण के लिए, syslog के माध्यम से, कई फ़्लम एजेंटों को कॉन्फ़िगर करना और उनके सामने एक बैलेंसर सेट करना आवश्यक था। यह सब तब किसी तरह की निगरानी और विफलता की स्थिति में बहाल किया जाना था।
तीसरे , फ्लूम ने विभिन्न डीबीएमएस से डेटा डाउनलोड करने और कुछ अन्य प्रोटोकॉल के साथ काम करने की अनुमति नहीं दी। बेशक, नेटवर्क के विशाल विस्तार में, आपको ओरेकल या एसएफटीपी के साथ फ्लूम का काम करने के तरीके मिल सकते हैं, लेकिन ऐसी साइकिलों का समर्थन करना बिल्कुल भी सुखद नहीं है। उसी ओरेकल से डेटा लोड करने के लिए, हमें एक और टूल का उपयोग करना पड़ा - Apache Sqoop ।
सच कहूं तो, मेरे स्वभाव से मैं एक आलसी व्यक्ति हूं, और मैं समाधान के चिड़ियाघर का समर्थन नहीं करना चाहता था। और मुझे यह पसंद नहीं आया कि यह सारा काम मुझे खुद करना था।

बेशक, ईटीएल-उपकरण बाजार में काफी शक्तिशाली समाधान हैं जो हडोप के साथ काम कर सकते हैं। इनमें Informatica, IBM Datastage, SAS और Pentaho Data Integration शामिल हैं। ये वे हैं जो अक्सर कार्यशाला में सहकर्मियों से सुनी जा सकती हैं और जो सबसे पहले दिमाग में आती हैं। वैसे, हम डेटा वेयरहाउस क्लास के समाधान पर ईटीएल के लिए आईबीएम डेटास्टेज का उपयोग करते हैं। लेकिन ऐसा ऐतिहासिक रूप से हुआ कि हमारी टीम Hadoop में डाउनलोड के लिए DataStage का उपयोग करने में सक्षम नहीं थी। फिर, हमें काफी सरल रूपांतरण और डेटा डाउनलोड करने के लिए इस स्तर के समाधान की पूर्ण शक्ति की आवश्यकता नहीं थी। हमें अच्छी विकास गतिकी के साथ एक समाधान की आवश्यकता थी, जो कई प्रोटोकॉल के साथ काम करने में सक्षम हो और एक सुविधाजनक और सहज ज्ञान युक्त इंटरफ़ेस हो, जो न केवल एक प्रशासक को समझे, जो इसके सभी सूक्ष्मता को समझने में सक्षम था, बल्कि एक विश्लेषक के साथ एक डेवलपर भी था, जो अक्सर हमारे साथ होता है डेटा के ग्राहक ही।

जैसा कि आप शीर्षक से देख सकते हैं, हमने Apache NiFi के साथ उपरोक्त समस्याओं को हल किया है।

Apache NiFi क्या है

NiFi नाम "Niagara Files" से आया है। परियोजना को आठ वर्षों के लिए यूएस नेशनल सिक्योरिटी एजेंसी द्वारा विकसित किया गया था, और नवंबर 2014 में इसका स्रोत कोड खोला गया था और एनएसए प्रौद्योगिकी हस्तांतरण कार्यक्रम के हिस्से के रूप में अपाचे सॉफ्टवेयर फाउंडेशन को स्थानांतरित कर दिया गया था।

NiFi एक खुला स्रोत ETL / ELT उपकरण है जो कई प्रणालियों के साथ काम कर सकता है, और न केवल बिग डेटा और डेटा वेयरहाउस कक्षाएं। यहाँ उनमें से कुछ हैं: एचडीएफएस, हाइव, एचबीएस, सोलर, कैसेंड्रा, मोंगोबीडी, इलास्टस्कर्च, काफ्का, रैबिटएमक्यू, सिसलॉग, एचटीटीपीएस, एसएफटीपी। आप आधिकारिक दस्तावेज में पूरी सूची देख सकते हैं।

एक उचित DBD ड्राइवर को जोड़कर एक विशिष्ट DBMS के साथ काम किया जाता है। अतिरिक्त रिसीवर या डेटा कनवर्टर के रूप में अपने मॉड्यूल को लिखने के लिए एक एपीआई है। उदाहरण यहां और यहां देखे जा सकते हैं ।

मुख्य विशेषताएं

NiFi DataFlow बनाने के लिए एक वेब इंटरफ़ेस का उपयोग करता है। एक विश्लेषक जिसने हाल ही में Hadoop, एक डेवलपर और एक दाढ़ी वाले व्यवस्थापक के साथ काम करना शुरू किया है, वह इसका सामना करेगा। अंतिम दो न केवल "आयतों और तीरों" के साथ बातचीत कर सकते हैं, बल्कि डेटा फ़्लो घटकों की निगरानी, ​​प्रबंधन और प्रबंधन के लिए REST API के साथ भी।


NiFi वेब आधारित प्रबंधन

नीचे मैं कुछ सामान्य ऑपरेशन करने के लिए कुछ डेटाफ़्लो उदाहरण दिखाऊंगा।


एक SFTP सर्वर से HDFS में फाइल डाउनलोड करने का उदाहरण

इस उदाहरण में, ListSFTP प्रोसेसर दूरस्थ सर्वर पर एक फ़ाइल लिस्टिंग करता है। इस सूची के परिणाम का उपयोग FetchSFTP प्रोसेसर द्वारा क्लस्टर के सभी नोड्स के समानांतर फ़ाइल लोडिंग के लिए किया जाता है। उसके बाद, उसके नाम को पार्स करके प्राप्त की गई प्रत्येक फ़ाइल में विशेषताएँ जोड़ दी जाती हैं, जो फ़ाइल को अंतिम निर्देशिका में लिखते समय पुटएचडीएफएस प्रोसेसर द्वारा उपयोग की जाती हैं।


काफ्का और एचडीएफएस में syslog डेटा डाउनलोड करने का एक उदाहरण

यहां, ListenSyslog प्रोसेसर का उपयोग करके, हमें इनपुट संदेश धारा मिलती है। उसके बाद, NiFi में उनके आगमन के समय और एवरो स्कीमा रजिस्ट्री में योजना का नाम प्रत्येक संदेश समूह में जोड़ा जाता है। इसके बाद, पहली शाखा QueryRecord प्रोसेसर के इनपुट पर भेजी जाती है, जो निर्दिष्ट योजना के आधार पर, डेटा पढ़ता है और उन्हें SQL का उपयोग करके पार्स करता है, और फिर उन्हें काफ्का को भेजता है। दूसरी शाखा मर्जेंकेंट प्रोसेसर को भेजी जाती है, जो 10 मिनट के लिए डेटा को एकत्र करता है, और फिर इसे अगले प्रोसेसर को पैराक प्रारूप में रूपांतरण और एचडीएफएस को रिकॉर्डिंग के लिए पास करता है।

यहाँ एक उदाहरण है कि आप कैसे और कैसे एक DataFlow शैली कर सकते हैं:

Kafka और HDFS के लिए syslog डेटा डाउनलोड करें। Hive में डेटा साफ़ करना

अब डेटा रूपांतरण के बारे में। NiFi आपको नियमित डेटा के साथ डेटा पार्स करने, उस पर SQL निष्पादित करने, फ़िल्टर करने और फ़ील्ड जोड़ने और एक डेटा स्वरूप को दूसरे में बदलने की अनुमति देता है। इसकी अपनी अभिव्यक्ति भाषा भी है, जो विभिन्न ऑपरेटरों और निर्मित कार्यों में समृद्ध है। इसके साथ, आप डेटा में चर और विशेषताओं को जोड़ सकते हैं, मूल्यों की तुलना और गणना कर सकते हैं, उन्हें बाद में विभिन्न मापदंडों के निर्माण में उपयोग कर सकते हैं, जैसे कि एचडीएफएस या हाइव में एसक्यूएल क्वेरी लिखने के लिए पथ। और पढ़ें यहाँ


UpdateAttribute प्रोसेसर में चर और कार्यों का उपयोग करने का एक उदाहरण

उपयोगकर्ता डेटा के पूर्ण पथ को ट्रैक कर सकता है, उनकी सामग्री और विशेषताओं में परिवर्तन का निरीक्षण कर सकता है।


DataFlow श्रृंखला दृश्य


सामग्री और डेटा विशेषताएँ देखें

DataFlow संस्करण के लिए एक अलग NiFi रजिस्ट्री सेवा है। इसे सेट करके, आपको परिवर्तनों को प्रबंधित करने की क्षमता मिलती है। आप स्थानीय परिवर्तन चला सकते हैं, वापस रोल कर सकते हैं या किसी भी पिछले संस्करण को डाउनलोड कर सकते हैं।


संस्करण नियंत्रण मेनू

NiFi में, आप वेब इंटरफ़ेस तक पहुँच और उपयोगकर्ता अधिकारों के पृथक्करण को नियंत्रित कर सकते हैं। वर्तमान में निम्नलिखित प्रमाणीकरण तंत्र समर्थित हैं:

• प्रमाण पत्र आधारित
  
• LDAP और Kerberos के माध्यम से उपयोगकर्ता नाम और पासवर्ड के आधार पर
  
• वाया अपाचे नॉक्स
  
• वाया ओपनआईडी कनेक्ट
  

एक साथ कई तंत्रों का एक साथ उपयोग समर्थित नहीं है। सिस्टम में उपयोगकर्ताओं को अधिकृत करने के लिए, FileUserGroupProvider और LdapUserGroupProvider का उपयोग किया जाता है। इसके बारे में यहाँ और पढ़ें।

जैसा कि मैंने कहा, NiFi क्लस्टर मोड में काम कर सकता है। यह दोष सहिष्णुता प्रदान करता है और क्षैतिज लोड स्केलिंग सक्षम करता है। कोई स्टैटिकली फिक्स्ड मास्टर नोड नहीं है। इसके बजाय, अपाचे ज़ुकाइपर समन्वयक के रूप में एक नोड और प्राथमिक के रूप में एक का चयन करता है। समन्वयक अन्य नोड्स से उनकी स्थिति के बारे में जानकारी प्राप्त करता है और क्लस्टर से उनके कनेक्शन और वियोग के लिए जिम्मेदार होता है।
प्राथमिक-नोड का उपयोग पृथक प्रोसेसर शुरू करने के लिए किया जाता है, जिसे सभी नोड्स पर एक साथ नहीं चलना चाहिए।


एक क्लस्टर में NiFi ऑपरेशन


एक उदाहरण के रूप में PutHDFS प्रोसेसर का उपयोग करके क्लस्टर नोड्स द्वारा लोड वितरण

NiFi वास्तुकला और घटकों का एक संक्षिप्त विवरण

NiFi इंस्टेंस आर्किटेक्चर

NiFi “फ्लो बेस्ड प्रोग्रामिंग” ( FBP ) की अवधारणा पर आधारित है। यहां मूल अवधारणाएं और घटक हैं जो प्रत्येक उपयोगकर्ता का सामना करते हैं:

फ़्लो फ़ाइल - एक इकाई जो शून्य या अधिक बाइट्स से सामग्री के साथ एक वस्तु का प्रतिनिधित्व करती है और इसके अनुरूप गुण। यह या तो स्वयं डेटा हो सकता है (उदाहरण के लिए, काफ़्का संदेश प्रवाह), या प्रोसेसर (पुटक्यूएस, उदाहरण के लिए) का परिणाम, जिसमें डेटा शामिल नहीं है, लेकिन केवल क्वेरी के परिणामस्वरूप उत्पन्न विशेषताएँ। विशेषताएँ फ़्लोफ़ाइल मेटाडेटा हैं।

फ़्लोफ़ाइल प्रोसेसर बिल्कुल सार है जो NiFi में मूल काम करता है। एक प्रोसेसर, एक नियम के रूप में, FlowFile के साथ काम करने के लिए एक या कई कार्य हैं: सामग्री बनाना, पढ़ना / लिखना और सामग्री बदलना, पढ़ना / लिखना / बदलना विशेषताएँ, रूटिंग। उदाहरण के लिए, ListenSyslog प्रोसेसर syslog प्रोटोकॉल का उपयोग करके डेटा प्राप्त करता है, जो FlowFiles को विशेषताएँ syslog.version, syslog.hostname, syslog.sender और अन्य के साथ बनाता है। रूटऑनअट्रैब्यूट प्रोसेसर प्रोसेसर फ्लोफाइल की विशेषताओं को पढ़ता है और विशेषताओं के मूल्यों के आधार पर, इसे दूसरे प्रोसेसर के साथ उचित कनेक्शन पर पुनर्निर्देशित करने का निर्णय लेता है।

कनेक्शन - flowFile कनेक्शन और विभिन्न प्रोसेसर और कुछ अन्य NiFi संस्थाओं के बीच स्थानांतरण प्रदान करता है। कनेक्शन फ़्लोफ़ाइल को एक कतार में रखता है, और फिर इसे श्रृंखला के नीचे से गुजरता है। आप कॉन्फ़िगर कर सकते हैं कि फ़्लोफ़ाइल्स को कतार से कैसे चुना जाता है, उनके जीवनकाल, कतार में सभी वस्तुओं की अधिकतम संख्या और अधिकतम आकार।

प्रोसेस ग्रुप - प्रोसेसर का एक सेट, उनके कनेक्शन और अन्य डेटाफ्लो तत्व। यह कई घटकों को एक तार्किक संरचना में व्यवस्थित करने के लिए एक तंत्र है। DataFlow की समझ को सरल बनाने में मदद करता है। प्रोसेस ग्रुप से डेटा प्राप्त करने और भेजने के लिए इनपुट / आउटपुट पोर्ट का उपयोग किया जाता है। उनके उपयोग के बारे में यहाँ और पढ़ें।

फ़्लोफ़ाइल रिपॉजिटरी वह जगह है जहाँ NiFi सिस्टम में मौजूद हर मौजूदा फ़्लोफ़ाइल के बारे में सारी जानकारी रखता है।

सामग्री रिपॉजिटरी - रिपॉजिटरी जिसमें सभी फ़्लोफ़ाइल्स की सामग्री स्थित है, अर्थात्। प्रेषित डेटा ही।

प्रोवेंस रिपॉजिटरी - प्रत्येक फ़्लोफ़ाइल के बारे में एक कहानी शामिल है। हर बार जब कोई घटना FlowFile (निर्माण, परिवर्तन, आदि) के साथ होती है, तो संबंधित जानकारी इस भंडार में दर्ज की जाती है।

वेब सर्वर - एक वेब इंटरफ़ेस और एक REST API प्रदान करता है।

निष्कर्ष

NiFi के साथ, रोस्टेलकॉम Hadoop पर डेटा लेक को डेटा देने के लिए तंत्र में सुधार करने में सक्षम था। सामान्य तौर पर, पूरी प्रक्रिया अधिक सुविधाजनक और विश्वसनीय हो गई है। आज, मैं विश्वास के साथ कह सकता हूँ कि NiFi Hadoop में डाउनलोड करने के लिए बहुत अच्छा है। हमें इसके संचालन में कोई समस्या नहीं है।

वैसे, NiFi Hortonworks डेटा फ्लो वितरण का हिस्सा है और Hortonworks द्वारा सक्रिय रूप से विकसित किया जाता है। उनके पास एक दिलचस्प अपाचे MiNiFi उपप्रोजेक्ट भी है, जो आपको विभिन्न उपकरणों से डेटा एकत्र करने और उन्हें NiFi के अंदर डेटाफ्लो में एकीकृत करने की अनुमति देता है।

NiFi के बारे में अतिरिक्त जानकारी

• आधिकारिक परियोजना प्रलेखन पृष्ठ
  
• परियोजना प्रतिभागियों में से एक से NiFi के बारे में दिलचस्प लेखों का एक संग्रह
  
• NiFi डेवलपर्स में से एक के बारे में ब्लॉग
  
• Hortonworks लेख
  

शायद यही सब है। ध्यान देने के लिए आप सभी का धन्यवाद। यदि आपके कोई प्रश्न हैं, तो टिप्पणियों में लिखें। मैं उन्हें खुशी के साथ जवाब दूंगा।