पेंटाहो डेटा इंटीग्रेशन (पीडीआई), पायथन और डीप लर्निंग

नमस्कार, हेब्र! मैं आपके लिए "पेंटाहो डेटा इंटीग्रेशन (पीडीआई), पायथन और डीप लर्निंग" लेख का अनुवाद प्रस्तुत करता हूं।

डीप लर्निंग (डीएल) - उसके चारों ओर इतना शोर क्यों है?

सिय्योन मार्केट रिसर्च के अनुसार, 2017 में गहन शिक्षण बाजार (डीएल) $ 2.3 बिलियन से बढ़कर 2024 तक 23.6 बिलियन डॉलर से अधिक हो जाएगा। लगभग 40% सालाना की औसत वार्षिक वृद्धि दर के साथ, DL मॉडल बनाने के लिए विश्लेषिकी विशेषज्ञों के लिए सबसे गर्म क्षेत्रों में से एक बन गया है । । पेंटाहो कैसे अपने संगठन के डीएल मॉडल को उत्पाद के वातावरण में लागू करने में मदद कर सकता है, इस सवाल पर मुड़ने से पहले, आइए एक कदम पीछे देखें और देखें कि डीएल इतनी सफल तकनीक क्यों है। नीचे इस बारे में कुछ सामान्य जानकारी दी गई है:

• कृत्रिम तंत्रिका नेटवर्क का उपयोग करता है जिसमें कई छिपी हुई परतें होती हैं जो सटीक छवि मान्यता, कंप्यूटर दृष्टि / वस्तु का पता लगाने, वीडियो स्ट्रीम प्रसंस्करण, प्राकृतिक भाषा प्रसंस्करण, और बहुत कुछ कर सकती हैं। प्रस्तावित डीएल क्षमताओं में सुधार और कंप्यूटिंग शक्ति में, जैसे कि जीपीयू, क्लाउड स्टोरेज, ने पिछले कुछ वर्षों में डीएल के पहले से सक्रिय विकास को काफी तेज कर दिया है;
• न्यूरॉन्स की परतों के माध्यम से मानव मस्तिष्क की गतिविधि को अनुकरण करने की कोशिश करते हुए, डीएल ध्वनियों, वीडियो धाराओं, छवियों और अन्य डेटा के डिजिटल अभ्यावेदन में पैटर्न को पहचानना सीखता है;
• कई छिपी हुई परतों का उपयोग करके मॉडल को लॉन्च करने से पहले वस्तुओं को डिजाइन करने की आवश्यकता को कम करता है, जब मॉडल चल रहा होता है तो मक्खी पर वस्तुओं का निष्कर्षण करता है;
• अद्यतन किए गए चौखटे के लिए पारंपरिक मशीन लर्निंग एल्गोरिदम की तुलना में उत्पादकता और सटीकता को बढ़ाता है, बहुत ही चमकदार डेटा सरणियों (यानी बड़ा डेटा) की उपस्थिति और कंप्यूटिंग शक्ति की वृद्धि में महत्वपूर्ण उछाल, जैसे ग्राफिक्स प्रोसेसर और इतने पर;
• विकास के वातावरण, वातावरण और पुस्तकालय प्रदान करता है, जैसे कि टेनसफ़्लो, केरस, कैफ, पायटोर, और अन्य जो डीएल को विश्लेषणात्मक विशेषज्ञों के लिए अधिक सुलभ बनाते हैं।

पायथन का उपयोग करके गहन शिक्षण मॉडल विकसित करने और कार्यान्वित करने के लिए पीडीआई का उपयोग क्यों करें?

आज, डेटा वैज्ञानिक और डेटा इंजीनियर पीडीआई में बनाई गई सैकड़ों डेटा विज्ञान परियोजनाओं पर सहयोग करते हैं। पेंटाहो के लिए धन्यवाद, वे पारंपरिक डेटा तैयारी उपकरणों की तुलना में कम लागत पर परिष्कृत डेटा विज्ञान मॉडल को उत्पादन वातावरण में स्थानांतरित करने में सक्षम थे। हमें यह घोषणा करते हुए प्रसन्नता हो रही है कि हिताची वंतारा के संगठनों को अपने सभी डेटा के साथ नया करने के लिए सक्षम बनाने के लक्ष्य को आगे बढ़ाते हुए, पेंटाहो अब डीएल फ्रेमवर्क में उपयोग की इस आसानी को ला सकता है। PDI और नए पायथन एक्ज़ीक्यूटर स्टेप के साथ, पेंटाहो निम्नलिखित कार्य कर सकता है:

• परिवर्तन चरण के दौरान लोकप्रिय डीएल चौखटे के साथ एकीकरण, पेंटाहो की मौजूदा डेटा विज्ञान क्षमताओं का विस्तार;
• नए पीडीआई पायथन एक्ज़ीक्यूटर स्टेप के हिस्से के रूप में डेटा विशेषज्ञों से प्राप्त डीएल पायथन स्क्रिप्ट फ़ाइलों का सरल कार्यान्वयन;
• किसी भी सीपीयू / जीपीयू उपकरण पर डीएल मॉडल लॉन्च करना, संगठनों को अपने डीएल मॉडल के प्रदर्शन में सुधार करने के लिए GPU त्वरण का उपयोग करने की अनुमति देता है;
• डीएल प्रसंस्करण के लिए पायथन एक्जेकटर स्टेप में एक Numpy सरणी से पायथन पंडस डेटा फ़्रेम के रूप में डेटा स्ट्रीम के माध्यम से पिछले PDI चरणों से डेटा का समावेश;
• हिताची कंटेंट प्लेटफ़ॉर्म (HDFS, स्थानीय, S3, Google संग्रहण, आदि) के साथ एकीकरण, जो आपको असंरचित डेटा फ़ाइलों को स्थानीय क्षेत्र में स्थानांतरित करने और रखने की अनुमति देता है (उदाहरण के लिए, "डेटा झील" और इसी तरह), जिससे भंडारण और प्रसंस्करण लागत कम हो जाती है डीएल।

लाभ:

• पीडीआई सबसे व्यापक रूप से उपयोग किए जाने वाले डीएल प्लेटफॉर्म का समर्थन करता है, जो है, टेन्सरफ्लो, केरस, पायटोर और अन्य जिनके पास पायथन एपीआई है, जो डेटा विशेषज्ञों को उनके पसंदीदा पुस्तकालयों में काम करने की अनुमति देता है;
• पीडीआई डेटा इंजीनियरों और डेटा पेशेवरों को डीएल कार्यान्वयन पर सहयोग करने की अनुमति देता है;
• पीडीआई आपको डेटा विशेषज्ञों के कौशल और संसाधनों को प्रभावी ढंग से वितरित करने की अनुमति देता है (यानी, डीएल मॉडल तैयार करना, मूल्यांकन करना और चलाना) और डेटा इंजीनियर (डीएल प्रसंस्करण के लिए पीडीआई में डेटा पाइपलाइन बनाना)।

पीडीआई गहन शिक्षा को कैसे लागू करता है?

प्रयुक्त घटक:

• पेंटाहो 8.2, पीडीआई पायथन एक्ज़ीक्यूटर स्टेप, हिताची कंटेंट प्लेटफ़ॉर्म (एचसीपी) वीएफएस
• Python.org 2.7.x या Python 3.5.x
• टेन्सरफ्लो 1.10
• केरस 2.2.0।

Pentaho 8.2 Python Executor Step को Pentaho में ऑनलाइन निर्भरता की सूची के लिए देखें। पायथन एक्ज़ीक्यूटर - पेंटाहो डॉक्यूमेंटेशन ।

मुख्य प्रक्रिया:

1. PDI चरण में HCP VFS फ़ाइल का चयन करें। पीडीआई पायथन एक्ज़ीक्यूटर स्टेप का उपयोग करके डीएल फ्रेमवर्क के साथ उपयोग के लिए असंरचित डेटा फ़ाइलों को कॉपी और तैयार करें।



अतिरिक्त जानकारी:
https://help.pentaho.com/Documentation/8.2/Products/Data_Integration/Data_Integration_Perspective/Virtual_File_System


2. एक नए परिवर्तन का उपयोग करें जो डीएल फ्रेमवर्क और संबंधित डेटासेट को संसाधित करने के लिए वर्कफ़्लोज़ को लागू करेगा और अधिक। सबसे कुशल मॉडल का मूल्यांकन करने के लिए हाइपरपरमेटर्स (मॉडल को कॉन्फ़िगर और निष्पादित करने के लिए उपयोग किए जाने वाले मान) दर्ज करें। नीचे एक उदाहरण दिया गया है कि चार डीएल फ्रेमवर्क वर्कफ़्लो को लागू करता है, तीन में टेंसोरफ़्लो का उपयोग किया जाता है और एक कायर का उपयोग करके पायथन एक्ज़ीक्यूटर स्टेप के साथ किया जाता है।





3. टेंसरफ्लो डीएनएन क्लासिफायर वर्कफ़्लो (जो हाइपरपरमेटर्स के कार्यान्वयन को लागू करता है) पर ध्यान केंद्रित करते हुए, PDI डेटा ग्रिड स्टेप का उपयोग करें, जो कि इंजेक्टेड हाइपरपरमेटर्स नाम के साथ है, जो पायनियर स्क्रिप्ट एक्ज़ीक्यूटर चरणों के अनुरूप मानों के साथ है।



4. पायथन स्क्रिप्ट एक्ज़ीक्यूटर स्टेप में, पंडों डीएफ का उपयोग करें और इनपुट टैब पर चर के रूप में दर्ज किए गए हाइपरपरमेटर्स और मानों को लागू करें।



5. डीएल से जुड़े पायथन स्क्रिप्ट को चलाएं (या तो "एंबेड" का उपयोग करके या "फ़ाइल से लिंक का उपयोग करके") और डीएल फ्रेमवर्क के लिंक का उपयोग करके हाइपरपरमेटर्स में प्रवेश किया। इसके अलावा, आप पायथन वर्चुअल वातावरण के लिए डिफ़ॉल्ट से अलग होने के लिए पथ सेट कर सकते हैं।



6. सत्यापित करें कि TensorFlow स्थापित, कॉन्फ़िगर किया गया है, और सही ढंग से पायथन शेल में आयात किया गया है।



7. पायथन एक्ज़ीक्यूटर स्टेप पर लौटते हुए, आउटपुट टैब पर क्लिक करें, और फिर फ़ील्ड्स बटन पर क्लिक करें। पीडीआई त्रुटियों, आउटपुट और अन्य मापदंडों की जांच करने के लिए स्क्रिप्ट फ़ाइल की पूर्व जांच करेगा।



8. यह रूपांतरण शुरू करने के लिए सेटिंग्स को पूरा करता है।

Hitachi Vantara गहरी सीखने में तेजी लाने के लिए मालिकाना GPU समाधान प्रदान करता है

डीएल चौखटे प्रदर्शन में काफी लाभ कर सकते हैं जब एक केंद्रीय प्रोसेसर के बजाय GPU का उपयोग करके निष्पादित किया जाता है, इसलिए अधिकांश DL चौखटे GPU की कुछ किस्मों का समर्थन करते हैं। 2018 में, Hitachi Vantara ने NVIDIA Tesla V100 GPU के साथ एक उन्नत DS225 सर्वर विकसित और वितरित किया। यह पहला Hitachi Vantara ग्राफ़िक्स सर्वर है जिसे विशेष रूप से DL कार्यान्वयन के लिए डिज़ाइन किया गया है।



इस ऑफर के बारे में अधिक जानकारी Hitachi Vantara वेबसाइट पर देखी जा सकती है।

गहन सीखने के लिए संगठनों को पीडीआई और पायथन का उपयोग क्यों करना चाहिए?

• सहज ज्ञान युक्त खींचें और ड्रॉप उपकरण: पीडीआई पाइपलाइनों और डीएल-संबंधित वर्कफ़्लोज़ के लिए ग्राफिकल विकास के वातावरण का उपयोग करके डीएल फ्रेमवर्क के कार्यान्वयन और निष्पादन को सरल बनाता है;
• उत्पादक सहयोग: डेटा प्रोसेसिंग इंजीनियर और डेटा विशेषज्ञ एक सामान्य वर्कफ़्लो पर काम कर सकते हैं और प्रभावी रूप से अपने कौशल और समय का उपयोग कर सकते हैं;
• मूल्यवान संसाधनों का कुशल आवंटन: एक डेटा इंजीनियर वर्कफ़्लो बनाने, स्थानांतरित करने और / से एचसीपी के लिए असंरचित डेटा फ़ाइलों को बनाने के लिए पीडीआई का उपयोग कर सकता है, और एक विश्लेषणात्मक डेटा विशेषज्ञ से प्राप्त पायथन स्क्रिप्ट की तैयारी के लिए दर्ज किए गए हाइपरपरमेटर्स को कॉन्फ़िगर करने के लिए;
• बेस्ट-इन-क्लास जीपीयू प्रोसेसिंग: हिताची वंतारा NVIDIA Tesla V100 GPU के साथ DS225 एडवांस्ड सर्वर प्रदान करता है जो डीएल फ्रेमवर्क को GPU के प्रदर्शन का लाभ उठाने की अनुमति देता है।