ओपन डाटा हब प्रोजेक्ट - रेड हैट ओपनशिफ्ट पर आधारित एक ओपन मशीन लर्निंग प्लेटफॉर्म

भविष्य आ गया है, आर्टिफिशियल इंटेलिजेंस और मशीन लर्निंग तकनीकें पहले से ही आपकी पसंदीदा दुकानों, परिवहन कंपनियों और यहां तक ​​कि टर्की को उगाने वाले खेतों द्वारा सफलतापूर्वक उपयोग की जाती हैं।



और अगर कुछ मौजूद है, तो इंटरनेट पर इसके बारे में पहले से ही मौजूद है ... एक खुली परियोजना! देखें कि ओपन डेटा हब कैसे नई तकनीकों को मापने में मदद करता है और उन्हें लागू करने की कठिनाइयों से बचता है।

आर्टिफिशियल इंटेलिजेंस (कृत्रिम बुद्धिमत्ता, एआई) और मशीन लर्निंग (मशीन लर्निंग, एमएल) के सभी फायदों के साथ, संगठनों को अक्सर इन तकनीकों को स्केल करने में कठिनाई होती है। इसके साथ मुख्य समस्याएं, एक नियम के रूप में, निम्नानुसार हैं:

• सूचना का आदान-प्रदान और सहयोग - अनावश्यक प्रयासों के बिना सूचना का आदान-प्रदान करना और तेज चलना मोड में सहयोग करना लगभग असंभव है।
• डेटा तक पहुंच - प्रत्येक कार्य के लिए इसे नए सिरे से और मैन्युअल रूप से बनाया जाना चाहिए, जो समय लेने वाली हो।
• ऑन-डिमांड एक्सेस - मशीन लर्निंग टूल्स और प्लेटफॉर्म पर ऑन-डिमांड एक्सेस प्राप्त करने का कोई तरीका नहीं है, साथ ही कंप्यूटिंग इन्फ्रास्ट्रक्चर भी।
• उत्पादन - मॉडल प्रोटोटाइप चरण में बने हुए हैं और उन्हें औद्योगिक शोषण में नहीं लाया जाता है।
• एआई परिणामों को ट्रैक करना और समझाना - प्रजनन, ट्रैकिंग, और एआई / एमएल परिणामों की व्याख्या करना मुश्किल है।

अनसुलझे छोड़ दिए गए, ये समस्याएं मूल्यवान डेटा प्रसंस्करण और विश्लेषण विशेषज्ञों की गति, दक्षता और उत्पादकता पर प्रतिकूल प्रभाव डालती हैं। इससे उनकी निराशा, काम में निराशा और परिणामस्वरूप, एआई / एमएल के बारे में व्यावसायिक अपेक्षाएं शून्य हो जाती हैं।

इन समस्याओं को हल करने की जिम्मेदारी आईटी पेशेवरों के पास है, जिन्हें डेटा विश्लेषकों को प्रदान करने की आवश्यकता है - सही, एक बादल जैसा कुछ। यदि अधिक विकसित है, तो हमें एक ऐसे मंच की आवश्यकता है जो पसंद की स्वतंत्रता देता है और सुविधाजनक, आसान पहुंच है। इसी समय, यह तेज, आसानी से पुन: प्राप्य, मांग पर स्केलेबल और विफलताओं के लिए प्रतिरोधी है। खुले स्रोत प्रौद्योगिकियों के आधार पर इस तरह के एक मंच का निर्माण विक्रेता पर निर्भर नहीं होने और लागत नियंत्रण के संदर्भ में दीर्घकालिक रणनीतिक लाभ बनाए रखने में मदद करता है।

कुछ साल पहले, अनुप्रयोग विकास में कुछ ऐसा ही हुआ और इसके कारण माइक्रोसर्विसेज, हाइब्रिड क्लाउड वातावरण, आईटी ऑटोमेशन और फुर्तीली प्रक्रियाओं का उदय हुआ। इस सब से निपटने के लिए, आईटी पेशेवरों ने कंटेनरों, कुबेरनेट्स और खुले हाइब्रिड बादलों का उपयोग करना शुरू कर दिया।

अब यह अनुभव अल की चुनौतियों का जवाब देने के लिए लागू किया जा रहा है। इसलिए, आईटी पेशेवर ऐसे प्लेटफ़ॉर्म बनाते हैं जो कंटेनरों पर आधारित होते हैं, जिससे आप एआई / एमएल सेवाओं को चुस्त प्रक्रियाओं के हिस्से के रूप में बना सकते हैं, नवाचार में तेजी ला सकते हैं और एक हाइब्रिड क्लाउड पर एक आंख के साथ बनाया जाता है।



हम Red Hat OpenShift, हाइब्रिड क्लाउड के लिए हमारे कंटेनर Kubernetes प्लेटफ़ॉर्म के साथ एक ऐसा प्लेटफ़ॉर्म बनाना शुरू करेंगे, जिसमें सॉफ़्टवेयर और हार्डवेयर ML समाधान (NVIDIA, H2O.ai, Starburst, PerceptorLabs, आदि) का तेजी से बढ़ता पारिस्थितिकी तंत्र है। Red Hat के कुछ ग्राहक, जैसे कि BMW Group, ExxonMobil, और अन्य ने पहले ही इस प्लेटफॉर्म और इसके पारिस्थितिकी तंत्र पर आधारित कंटेनरीकृत ML-टूल चेन और DevOps प्रक्रियाओं को तैनात कर दिया है ताकि अपने ML-आर्किटेक्चर को कमर्शियल ऑपरेशन में ला सकें और डेटा विश्लेषकों के काम में तेजी ला सकें।

एक और कारण है कि हमने ओपन डेटा हब प्रोजेक्ट लॉन्च किया है, कई ओपन सोर्स प्रोजेक्ट्स के आधार पर एक उदाहरण वास्तुकला का प्रदर्शन करना है और यह दिखाना है कि ओपनशिफ्ट प्लेटफॉर्म पर आधारित एमएल समाधान के पूरे जीवन चक्र को कैसे लागू किया जाए।

डाटा हब प्रोजेक्ट खोलें

यह एक ओपन सोर्स प्रोजेक्ट है जो संबंधित विकास समुदाय के ढांचे के भीतर विकसित होता है और संचालन के एक पूर्ण चक्र को लागू करता है - प्रारंभिक डेटा को लोड करने और परिवर्तित करने से लेकर मॉडल के गठन, प्रशिक्षण और रखरखाव तक - जब OpenShift प्लेटफॉर्म पर कंटेनरों और Kuberneses का उपयोग करके AI / ML कार्य हल करते हैं। इस परियोजना को एक संदर्भ कार्यान्वयन के रूप में माना जा सकता है, एक ओपन एआई / एमएल का निर्माण कैसे किया जा सकता है, जो ओपनशिफ्ट और संबंधित ओपन सोर्स टूल जैसे कि टेनसोरफ़्लो, जुपिटरहब, स्पार्क और अन्य के आधार पर सेवा समाधान के रूप में बनाया गया है। यह ध्यान रखना महत्वपूर्ण है कि Red Hat स्वयं इस परियोजना का उपयोग अपनी AI / ML सेवाएं प्रदान करने के लिए करता है। इसके अलावा, ओपनशिफ्ट NVIDIA, सेल्डन, स्टारबस्ट और अन्य विक्रेताओं से प्रमुख सॉफ्टवेयर और हार्डवेयर एमएल-समाधानों के साथ एकीकृत करता है, जो अपने स्वयं के मशीन लर्निंग सिस्टम के निर्माण और लॉन्च की सुविधा प्रदान करता है।



ओपन डेटा हब परियोजना उपयोगकर्ताओं की निम्नलिखित श्रेणियों और उपयोग के मामलों पर केंद्रित है:

• एक डेटा विश्लेषक जिसे स्वयं सेवा कार्यों के साथ क्लाउड के प्रकार द्वारा आयोजित एमएल परियोजनाओं को लागू करने के लिए एक समाधान की आवश्यकता होती है।
• एक डेटा विश्लेषक जिसे नवीनतम ओपन सोर्स एआई / एमएल टूल्स और प्लेटफार्मों की विस्तृत विविधता से अधिकतम चयन की आवश्यकता होती है।
• एक डेटा विश्लेषक जिसे प्रशिक्षण मॉडल के दौरान डेटा स्रोतों तक पहुंच की आवश्यकता होती है।
• डेटा विश्लेषक जिन्हें कंप्यूटिंग संसाधनों (सीपीयू, जीपीयू, मेमोरी) तक पहुंच की आवश्यकता है।
• दिनांक एक विश्लेषक है जिसे सहकर्मियों के साथ काम के परिणामों को सहयोग और साझा करने, प्रतिक्रिया प्राप्त करने और तेजी से पुनरावृत्ति विधि का उपयोग करके सुधारों को पेश करने के अवसर की आवश्यकता होती है।
• एक डेटा विश्लेषक जो डेवलपर्स के साथ बातचीत करना चाहता है (और टीमों को विचलित करता है) ताकि उसके एमएल मॉडल और काम के परिणाम उत्पादन में जाएं।
• एक डेटा इंजीनियर जिसे सुरक्षा मानकों और आवश्यकताओं के अनुपालन में विभिन्न प्रकार के डेटा स्रोतों तक पहुंच के साथ डेटा एनालिटिक्स प्रदान करने की आवश्यकता होती है।
• आईटी सिस्टम का एक प्रशासक / ऑपरेटर, जिसे खुले स्रोत के घटकों और प्रौद्योगिकियों के जीवन चक्र (स्थापना, विन्यास, अद्यतन) को आसानी से नियंत्रित करने की क्षमता की आवश्यकता होती है। हमें उचित प्रबंधन और कोटा उपकरण भी चाहिए।

ओपन डेटा हब परियोजना एक पूर्ण एआई / एमएल ऑपरेशन को लागू करने के लिए कई ओपन सोर्स टूल को जोड़ती है। ज्यूपिटर नोटबुक का उपयोग डेटा एनालिटिक्स के लिए मुख्य कार्य उपकरण के रूप में किया जाता है। यह टूलकिट अब डेटा प्रोसेसिंग और विश्लेषण पेशेवरों के साथ लोकप्रिय है, और ओपन डेटा हब उन्हें आसानी से निर्मित जुपिटरहब का उपयोग करके ज्यूपिटर नोटबुक कार्यस्थानों को बनाने और प्रबंधित करने की अनुमति देता है। नोटबुक ज्यूपिटर बनाने और आयात करने के अलावा, ओपन डेटा हब परियोजना में एआई लाइब्रेरी के रूप में कई तैयार नोटबुक भी शामिल हैं।

यह पुस्तकालय ओपन-सोर्स मशीन लर्निंग घटकों और नमूना स्क्रिप्टिंग समाधानों का एक संग्रह है जो तेजी से प्रोटोटाइप को सरल बनाता है। JupyterHub OpenShift RBAC एक्सेस मॉडल के साथ एकीकृत है, जो आपको मौजूदा OpenShift खातों का उपयोग करने और एकल साइन-ऑन को लागू करने की अनुमति देता है। इसके अलावा, JupyterHub एक सुविधाजनक उपयोगकर्ता इंटरफ़ेस प्रदान करता है जिसे स्पॉनर कहा जाता है, जिसके साथ उपयोगकर्ता चयनित Jupyter नोटबुक के लिए कंप्यूटिंग संसाधनों (प्रोसेसर कोर, मेमोरी, GPU) की मात्रा को आसानी से कॉन्फ़िगर कर सकता है।

डेटा विश्लेषक लैपटॉप बनाने और सेट करने के बाद, कुबेरनेट्स शेड्यूलर, जो ओपनशिफ्ट का हिस्सा है, बाकी की देखभाल करता है। उपयोगकर्ता केवल अपने प्रयोग कर सकते हैं, बचा सकते हैं और अपने काम के परिणामों को साझा कर सकते हैं। इसके अलावा, उन्नत उपयोगकर्ता कुबेरनेट्स आदिम को सक्षम करने के लिए सीधे Jupyter पुस्तिकाओं से OpenShift CLI खोल तक पहुँच सकते हैं, जैसे कि Job, या OpenShift कार्यक्षमता, जैसे Tekton या Knative। या आप इसके लिए “OpenShift Web Console” नामक सुविधाजनक OpenShift GUI का उपयोग कर सकते हैं।





अगले चरण पर आगे बढ़ते हुए, ओपन डेटा हब डेटा पाइपलाइनों को प्रबंधित करने की क्षमता प्रदान करता है। इसके लिए, एक सिफ ऑब्जेक्ट का उपयोग किया जाता है, जिसे एस 3-संगत ऑब्जेक्ट डेटा वेयरहाउस के रूप में प्रदान किया जाता है। अपाचे स्पार्क बाहरी स्रोतों या सेफ S3 के अंतर्निहित स्टोरेज से डेटा स्ट्रीम करता है, और आपको प्रारंभिक प्रारंभिक रूपांतरण भी करने की अनुमति देता है। अपाचे काफ्का डेटा पाइपलाइनों का उन्नत प्रबंधन प्रदान करता है (जहां आप कई डाउनलोड कर सकते हैं, साथ ही परिवर्तन, विश्लेषण और डेटा के भंडारण के संचालन भी कर सकते हैं)।

इसलिए, डेटा विश्लेषक ने डेटा तक पहुंच प्राप्त की और एक मॉडल बनाया। अब उन्हें सहयोगियों या एप्लिकेशन डेवलपर्स के साथ परिणाम साझा करने की इच्छा है, और उन्हें अपने सेवा सिद्धांतों के मॉडल के साथ प्रदान करने की है। ऐसा करने के लिए, आपको एक आउटपुट सर्वर की आवश्यकता होती है, और ओपन डेटा हब में ऐसा सर्वर होता है, इसे सेल्डन कहा जाता है और आपको मॉडल को एक रैस्टफुल सेवा के रूप में प्रकाशित करने की अनुमति देता है।

कुछ बिंदु पर, सेलडोन सर्वर पर कई ऐसे मॉडल हैं, और यह निगरानी करने की आवश्यकता है कि उनका उपयोग कैसे किया जाता है। ऐसा करने के लिए, ओपन डेटा हब प्रासंगिक मेट्रिक्स का एक संग्रह और व्यापक रूप से उपयोग किए जाने वाले ओपन सोर्स मॉनिटरिंग टूल्स प्रोमेथियस और ग्राफाना के आधार पर एक रिपोर्ट इंजन प्रदान करता है। नतीजतन, हमें एआई मॉडल के उपयोग की निगरानी के लिए प्रतिक्रिया मिलती है, विशेष रूप से उत्पादन वातावरण में।



इस प्रकार, ओपन डेटा हब मॉडल के प्रशिक्षण और औद्योगिक संचालन के लिए उपयोग और डेटा तैयार करने से लेकर पूरे एआई / एमएल ऑपरेशन चक्र में क्लाउड जैसा दृष्टिकोण प्रदान करता है।

यह सब एक साथ रखना

अब सवाल यह है कि OpenShift व्यवस्थापक के लिए इसे कैसे व्यवस्थित किया जाए। और यहां ओपन डाटा हब परियोजनाओं के लिए विशेष कुबेरनेट्स ऑपरेटर आता है।



यह ऑपरेटर ओपन डेटा हब परियोजना की स्थापना, विन्यास और जीवन चक्र का प्रबंधन करता है, जिसमें जुपाइटरहब, सेफ, स्पार्क, काफ्का, सेल्डन, प्रोमेथियस और ग्राफाना जैसे उपकरण शामिल हैं। ओपन डेटा हब परियोजना को ओपन-स्विफ्ट वेब कंसोल में, सामुदायिक-ऑपरेटर अनुभाग में पाया जा सकता है। इस प्रकार, OpenShift व्यवस्थापक निर्दिष्ट कर सकता है कि संबंधित OpenShift प्रोजेक्ट को "Open Data Hub Project" के रूप में वर्गीकृत किया गया है। यह एक बार किया जाता है। उसके बाद, OpenShift वेब कंसोल के माध्यम से डेटा विश्लेषक अपने प्रोजेक्ट स्थान में प्रवेश करता है और देखता है कि संबंधित Kubernetes ऑपरेटर अपनी परियोजनाओं के लिए स्थापित और उपलब्ध है। फिर वह एक क्लिक के साथ ओपन डेटा हब परियोजना का एक उदाहरण बनाता है और तुरंत ऊपर वर्णित टूल तक पहुंचता है। और यह सब उच्च उपलब्धता और दोष सहिष्णुता मोड में कॉन्फ़िगर किया जा सकता है।



यदि आप अपने स्वयं के हाथों से ओपन डाटा हब परियोजना का प्रयास करना चाहते हैं, तो स्थापना निर्देशों और एक परिचयात्मक ट्यूटोरियल से शुरू करें । ओपन डाटा हब आर्किटेक्चर के तकनीकी विवरण यहां देखे जा सकते हैं ; परियोजना विकास योजनाएं यहां हैं । भविष्य में, यह क्यूबफ़्लो के साथ अतिरिक्त एकीकरण को लागू करने, डेटा विनियमन और सुरक्षा के साथ कई मुद्दों को हल करने और ड्रोल्स और ऑप्टैप्लनर नियमों के आधार पर सिस्टम के साथ एकीकरण को व्यवस्थित करने की योजना बनाई गई है। आप अपनी राय व्यक्त कर सकते हैं और समुदाय पृष्ठ पर ओपन डेटा हब परियोजना के सदस्य बन सकते हैं।

हम संक्षेप में बताते हैं: स्केलिंग के साथ गंभीर समस्याएं संगठनों को कृत्रिम बुद्धि और मशीन सीखने की क्षमता को पूरी तरह से महसूस करने से रोकती हैं। Red Hat OpenShift का लंबे समय से सॉफ्टवेयर उद्योग में समान समस्याओं को हल करने के लिए सफलतापूर्वक उपयोग किया गया है। ओपन डेटा हब परियोजना, ओपन सोर्स डेवलपमेंट कम्युनिटी के भीतर कार्यान्वित की जाती है, ओपनशीफ़्ट हाइब्रिड क्लाउड पर आधारित पूर्ण एआई / एमएल ऑपरेशन चक्र के आयोजन के लिए एक संदर्भ वास्तुकला प्रदान करती है। हमारे पास इस परियोजना के लिए एक स्पष्ट और विचारशील विकास योजना है, और हम इसके चारों ओर OpenShift मंच पर खुले AI समाधान विकसित करने के लिए एक सक्रिय और फलदायी समुदाय बनाने के लिए गंभीर हैं।