इनसाइट-प्रेरित होने के नाते: मशीन लर्निंग मॉडल के उन्नत विश्लेषिकी और जीवनचक्र प्रबंधन

आज हम इनसाइट-ड्रिवेन कॉन्सेप्ट के बारे में बात करना चाहते हैं और डेटाऑप्स और मॉडलऑप्स का उपयोग करके इसे कैसे व्यवहार में लाना है। इनसाइट-प्रेरित दृष्टिकोण एक व्यापक विषय है जिसके बारे में हम अपने हाल ही में बनाए गए पुस्तकालय में डेटा प्रबंधन के बारे में उपयोगी सामग्री के बारे में विस्तार से बात करते हैं (लिंक नीचे होगा)। आज के हेब्रोटोपिका में, हम मशीन लर्निंग मॉडल के जीवन चक्र के प्रमुख चरणों पर ध्यान केंद्रित करेंगे, जैसा कि यह अवधारणा के भीतर मुख्य विषयों में से एक है।

इनसाइट-प्रेरित दृष्टिकोण का सार क्या है

कई विशेषज्ञ लंबे समय से डेटा-चालित के महत्व के बारे में बात कर रहे हैं, जो निश्चित रूप से, सामान्य रूप से बिल्कुल सही है, क्योंकि इस दृष्टिकोण में डेटा का विश्लेषण करके प्रबंधन के फैसले को अधिक कुशल बनाना शामिल है, और न केवल अंतर्ज्ञान और व्यक्तिगत नेतृत्व अनुभव। फॉरेस्टर विश्लेषकों ने ध्यान दिया कि कंपनियां अपनी गतिविधियों में डेटा विश्लेषण पर भरोसा करती हैं जो प्रतियोगियों की तुलना में औसतन 30% तेजी से बढ़ती हैं।

लेकिन हम सभी समझते हैं कि कंपनी डेटा की उपलब्धता से आगे नहीं बढ़ रही है, बल्कि उनके साथ काम करने की क्षमता से - यानी कि उन जानकारियों का पता लगाना जो मुद्रीकृत हो सकती हैं, और जिसके लिए यह डेटा संचय, प्रसंस्करण और विश्लेषण के लायक है। इसलिए, हम विशेष रूप से इनसाइट-प्रेरित दृष्टिकोण के बारे में बात कर रहे हैं, डेटा-प्रेरित के अधिक उन्नत संस्करण के रूप में।

सबसे अधिक बार, जब डेटा के साथ काम करने की बात आती है, तो ज्यादातर विशेषज्ञ मुख्य रूप से कंपनी के भीतर संरचित जानकारी का मतलब रखते हैं, हालांकि, बहुत समय पहले हमने इस बारे में बात नहीं की थी कि व्यापार का विशाल बहुमत संभावित रूप से उपलब्ध डेटा का लगभग 80% उपयोग क्यों नहीं करता है। इनसाइट-ड्रिवेन केवल बाहरी असंरचित जानकारी के साथ तस्वीर के पूरक के लिए आधार बनाता है, साथ ही उनके बीच निहित निर्भरता के लिए खोज करने के लिए डेटा व्याख्या के परिणाम भी।

डेटा प्रबंधन के बारे में सामग्रियों की एक पूरी लाइब्रेरी से वादा किया गया लिंक , जहां अप्रयुक्त डेटा के बारे में उल्लिखित वीडियो है।

DevOps + DataOps + ModelOps

इनसाइट-प्रेरित प्रथाएं DevOps, DataOps और ModelOps पर आधारित हैं। आइए इस बारे में बात करें कि इन विशेष प्रथाओं का संयोजन दृष्टिकोण के पूर्ण कार्यान्वयन को सुनिश्चित करने में सक्षम क्यों है।



DevOps + DataOps । DevOps में उत्पाद रिलीज के समय को कम करना, इसके अपडेट और संस्करण नियंत्रण के लिए उपकरणों के उपयोग, निरंतर एकीकरण, परीक्षण और निगरानी, ​​रिलीज प्रबंधन के माध्यम से और अधिक समर्थन की लागत को कम करना शामिल है। यदि हम इन प्रथाओं को कंपनी के अंदर क्या डेटा है, इसकी प्रारूप और संरचना, टैग, ट्रैक गुणवत्ता, परिवर्तन, एकत्रीकरण का प्रबंधन करने और जल्दी से विश्लेषण और कल्पना करने की क्षमता रखते हैं, तो हमें DataOps मिलता है। इस दृष्टिकोण का फोकस मशीन लर्निंग मॉडल का उपयोग करके परिदृश्यों का कार्यान्वयन है जो निर्णय समर्थन, अंतर्दृष्टि खोज और पूर्वानुमान प्रदान करते हैं।

मॉडलऑप्स । जैसे ही कंपनी मशीन लर्निंग मॉडल का सक्रिय रूप से उपयोग करना शुरू करती है, उन्हें प्रबंधित करना, गुणवत्ता मीट्रिक, फिर से देखना, तुलना, अद्यतन और संस्करण की निगरानी करना आवश्यक हो जाता है। ModOps प्रथाओं और दृष्टिकोणों का एक समूह है जो ऐसे मॉडलों के जीवन चक्र प्रबंधन को सरल बनाता है। इसका उपयोग कंपनियों द्वारा किया जाता है जो व्यवसाय के विभिन्न क्षेत्रों में बड़ी संख्या में मॉडलों के साथ व्यवहार करते हैं, उदाहरण के लिए, स्ट्रीमिंग सेवाएं।

एक कंपनी में इनसाइट-प्रेरित दृष्टिकोण को लागू करना कोई तुच्छ कार्य नहीं है। लेकिन उन लोगों के लिए जो अभी भी उसके साथ काम करना शुरू करना चाहते हैं, हम आपको बताएंगे कि यह कैसे करना है।

खोज और डेटा तैयार करना

इनसाइट-प्रेरित प्रथाओं का कार्यान्वयन डेटा की खोज और तैयारी के साथ शुरू होता है। बाद में उनका विश्लेषण किया जाता है और एमओ के मॉडल बनाने के लिए उपयोग किया जाता है, लेकिन ऐसे मामले पहले से निर्धारित होते हैं जिनमें बुद्धिमान एल्गोरिदम उपयोगी हो सकते हैं।

कार्यों की परिभाषा । इस स्तर पर, कंपनी व्यावसायिक लक्ष्यों को निर्धारित करती है, उदाहरण के लिए, बाजार में लाभ बढ़ाना। अगला, व्यावसायिक मैट्रिक्स उन्हें प्राप्त करने के लिए निर्धारित किया जाता है, जैसे कि नए ग्राहकों की संख्या में वृद्धि, औसत चेक का आकार और रूपांतरण का प्रतिशत। इसलिए ऐसे परिदृश्य हैं जिनके भीतर प्रासंगिक डेटा की खोज करना पहले से ही संभव है।



सोर्सिंग और डेटा विश्लेषण । जब डेटा पुनर्प्राप्ति के लक्ष्यों और दिशाओं को परिभाषित किया जाता है, तो स्रोतों का विश्लेषण करने का समय आ जाता है। यह और बुद्धिमान परिदृश्यों के विकास के बाद के चरण जो तैयारी से संबंधित हैं, कार्यान्वयन में कंपनियों के बजट का 70-80% लेते हैं । तथ्य यह है कि डेटा सेट की गुणवत्ता डिज़ाइन किए गए मशीन लर्निंग मॉडल की सटीकता को प्रभावित करती है। लेकिन आवश्यक जानकारी अक्सर विभिन्न प्रणालियों में "बिखरी हुई" होती है - यह रिलेशनल डेटाबेस में, जैसे MS SQL, Oracle, PostgreSQL, Hadoop प्लेटफ़ॉर्म और कई अन्य स्रोतों पर झूठ बोल सकती है। और इस स्तर पर, आपको यह समझने की आवश्यकता है कि प्रासंगिक डेटा कहां है और इसे कैसे इकट्ठा किया जाए।

अक्सर, विश्लेषकों ने सब कुछ मैन्युअल रूप से अनलोड और प्रोसेस किया, जो प्रक्रियाओं को बहुत धीमा कर देता है और त्रुटियों का खतरा बढ़ जाता है। हम SAP में अपने ग्राहकों को एक मेटा-सिस्टम लागू करने की पेशकश करते हैं जो सही स्रोतों से जुड़ता है और अनुरोध पर डेटा एकत्र करता है।
इसलिए, आप सभी तालिकाओं, बाहरी पूलों को असंरचित डेटा और अन्य स्रोतों - सेट टैग (श्रेणीबद्ध सहित) के साथ सूचीबद्ध कर सकते हैं और जल्दी से प्रासंगिक जानकारी एकत्र कर सकते हैं। सशर्त रूप से, यदि किसी क्लाइंट की जानकारी विभिन्न डेटाबेस में है, तो यह इन संस्थाओं को इंगित करने के लिए पर्याप्त है। अगली बार जब आपको "क्लाइंट डेटा सेट" की आवश्यकता होगी, तो आप एक तैयार-किए गए शोकेस का चयन करेंगे।

डेटा स्रोतों की पहचान हो जाने के बाद, आप डेटा गुणवत्ता ट्रैकिंग और प्रोफाइलिंग पर जा सकते हैं। यह ऑपरेशन अंतराल की संख्या, अद्वितीय मूल्यों को समझने और डेटा की समग्र गुणवत्ता को सत्यापित करने के लिए आवश्यक है। इस सब के लिए, आप नियमों के साथ डैशबोर्ड बना सकते हैं और किसी भी परिवर्तन को ट्रैक कर सकते हैं।

डेटा परिवर्तन । अगला चरण डेटा के साथ प्रत्यक्ष कार्य है जो कार्यों को हल करना चाहिए। ऐसा करने के लिए, डेटा साफ़ किया जाता है: चेक किया गया, घटाया गया, अंतराल में भरा गया। प्रवाह-आधारित प्रोग्रामिंग के साथ इस प्रक्रिया को सरल बनाया जा सकता है। इस मामले में, हम संचालन के अनुक्रम के साथ काम कर रहे हैं - एक पाइपलाइन। इसका आउटपुट बाद के काम के लिए एक ग्राफिकल इंटरफ़ेस या अन्य सिस्टम में भेजा जा सकता है। यहां, डेटा हैंडलर को एक कंस्ट्रक्टर के रूप में इकट्ठा किया जाता है (और परिदृश्य पर निर्भर करता है)। यह आवधिक या स्ट्रीमिंग प्रोसेसिंग या एक REST सेवा हो सकती है।



प्रवाह-आधारित प्रोग्रामिंग की अवधारणा कार्यों की एक विस्तृत श्रृंखला को हल करने के लिए उपयुक्त है: बिक्री का पूर्वानुमान लगाने और ग्राहक की मंशा के कारण खोजने के लिए सेवा की गुणवत्ता का मूल्यांकन करने से। एसएपी में डेटा को खोजने और तैयार करने के लिए दो उपकरण हैं। डेटा विश्लेषकों के लिए पहला SAP डेटा इंटेलिजेंस है । समान प्लेटफार्मों के विपरीत, यह समाधान वितरित डेटा के साथ काम करता है और इसे केंद्रीकरण की आवश्यकता नहीं होती है - यह मॉडल के कार्यान्वयन, प्रकाशन, एकीकरण, स्केलिंग और समर्थन के लिए एक एकीकृत वातावरण प्रदान करता है। दूसरा उपकरण एसएपी एजाइल डेटा तैयारी है , जो विश्लेषकों और व्यावसायिक उपयोगकर्ताओं पर लक्षित एक छोटी डेटा तैयारी सेवा है। इसका एक सरल इंटरफ़ेस है जो डेटा सेट, फ़िल्टर, प्रक्रिया और मानचित्र जानकारी एकत्र करने में मदद करता है। इसे विश्लेषणात्मक परिदृश्य बनाने के लिए स्वयं-सेवा BI - स्वयं-सेवा प्रणालियों को स्थानांतरित करने के लिए एक शोकेस में प्रकाशित किया जा सकता है (उन्हें डेटा विज्ञान के क्षेत्र में गहन ज्ञान की आवश्यकता नहीं है)।

मॉडल निर्माण

तैयारी के बाद, मशीन लर्निंग मॉडल बनाने की बारी है। यहाँ प्रतिष्ठित हैं: अनुसंधान, प्रोटोटाइप और उत्पादकता। अंतिम चरण में प्रशिक्षण और मॉडल के आवेदन के लिए पाइपलाइनों का कार्यान्वयन शामिल है।

अनुसंधान और प्रोटोटाइप । वर्तमान में, कई विषयगत ढांचे और पुस्तकालय उपलब्ध हैं। उपयोग की आवृत्ति में अग्रणी TensorFlow और PyTorch हैं, जिनकी पिछले एक साल में लोकप्रियता 243% बढ़ी है। SAP प्लेटफ़ॉर्म आपको इनमें से किसी भी फ्रेमवर्क का उपयोग करने की अनुमति देता है और लचीले ढंग से पुस्तकालयों के साथ पूरक किया जा सकता है जैसे कि Yandex से कैटबॉस्ट, माइक्रोसॉफ्ट से लाइट जीबीएम, स्किकिट-लर्न और पांडा। आप अभी भी हानाल लाइब्रेरी में हाना डेटाफ़्रेम का उपयोग कर सकते हैं। यह एपीआई पंडों की नकल करता है, और हाना आपको "आलसी कंप्यूटिंग" का उपयोग करके बड़ी मात्रा में डेटा संसाधित करने की अनुमति देता है।

प्रोटोटाइपिंग मॉडल के लिए, हम जुपिटर लैब की पेशकश करते हैं। यह डेटा-विज्ञान पेशेवरों के लिए एक खुला स्रोत उपकरण है। हमने कार्यक्षमता का विस्तार करते हुए इसे SAP इकोसिस्टम में बनाया। जुपिटर लैब डेटा इंटेलिजेंस प्लेटफॉर्म में काम करता है और बिल्ट-इन सैपदी लाइब्रेरी के कारण यह पिछले चरणों में जुड़े किसी भी डेटा स्रोतों से जुड़ सकता है, आगे के विश्लेषण के लिए प्रयोगों और गुणवत्ता मैट्रिक्स की निगरानी कर सकता है।

अलग-अलग, यह ध्यान देने योग्य है कि नोटबुक, डेटासेट, प्रशिक्षण और इंजेक्शन पाइपलाइन , साथ ही साथ मॉडल को तैनात करने की सेवाएं लगातार होनी चाहिए। इन सभी वस्तुओं को संयोजित करने के लिए, एमएल स्क्रिप्ट (संस्करणित वस्तु) का उपयोग करें।

मॉडल प्रशिक्षण । एमएल स्क्रिप्ट के साथ काम करने के लिए दो विकल्प हैं। ऐसे मॉडल हैं जिन्हें प्रशिक्षित करने की आवश्यकता नहीं है। उदाहरण के लिए, एसएपी डेटा इंटेलिजेंस में हम फेस रिकग्निशन सिस्टम, स्वचालित अनुवाद, ओसीआर (ऑप्टिकल कैरेक्टर रिकग्निशन) और अन्य की पेशकश करते हैं। वे सभी बॉक्स से बाहर काम करते हैं। दूसरी ओर, ऐसे मॉडल हैं जिन्हें प्रशिक्षित और उत्पादक होने की आवश्यकता है। यह प्रशिक्षण डेटा इंटेलिजेंस क्लस्टर में और बाह्य कंप्यूटिंग संसाधनों पर दोनों ही हो सकता है जो केवल गणना की अवधि के लिए जुड़े होते हैं।

एसएपी डेटा इंटेलीजेंस में "हुड के तहत" कुबेरनेट्स मंच है, इसलिए सभी ऑपरेटरों को डॉकटर कंटेनरों से बांधा गया है। मॉडल के साथ काम करने के लिए, यह डॉकटर फ़ाइल का वर्णन करने और उपयोग किए गए पुस्तकालयों और संस्करणों के लिए टैग को संलग्न करने के लिए पर्याप्त है।

मॉडल बनाने का एक और तरीका ऑटोएमएल के साथ है। ये स्वचालित MO सिस्टम हैं। ऐसे उपकरण H2O , Microsoft , Google आदि द्वारा विकसित किए जाते हैं । वे MIT में इस दिशा में काम करते हैं। लेकिन विश्वविद्यालय के इंजीनियर एम्बेडिंग और उत्पादकता पर ध्यान केंद्रित नहीं करते हैं। एसएपी में एक ऑटोएमएल प्रणाली भी है जो तेज परिणामों पर केंद्रित है। वह हाना में काम करती है और डेटा तक उसकी सीधी पहुंच है - उन्हें कहीं भी स्थानांतरित या संशोधित करने की आवश्यकता नहीं है। अब हम एक समाधान विकसित कर रहे हैं जो मॉडल की गुणवत्ता पर केंद्रित है - हम बाद में एक रिलीज की घोषणा करेंगे।

जीवन चक्र प्रबंधन । स्थितियां बदलती हैं, सूचना पुरानी हो जाती है, इसलिए समय के साथ एमओ मॉडल की सटीकता कम हो जाती है। तदनुसार, नया डेटा संचित होने पर, हम मॉडल को फिर से बना सकते हैं और परिणामों को परिष्कृत कर सकते हैं। उदाहरण के लिए, एक प्रमुख पेय उत्पादक स्मार्ट सिस्टम को वापस लेने के लिए 200 विभिन्न देशों में उपभोक्ता वरीयता जानकारी का उपयोग करता है। कंपनी लोगों के स्वाद, चीनी की मात्रा, पेय पदार्थों की कैलोरी सामग्री, और यहां तक ​​कि उन उत्पादों को भी ध्यान में रखती है, जो प्रतिस्पर्धी ब्रांडों को लक्षित बाजारों में पेश करते हैं। एमओ मॉडल स्वचालित रूप से निर्धारित करते हैं कि सैकड़ों उत्पादों में से कौन सा कंपनी किसी दिए गए क्षेत्र में सर्वश्रेष्ठ स्वीकार करेगी।


SAP डेटा हब में एजेंट-आधारित घटकों का पुन: उपयोग करना

लेकिन वर्जनिंग और अपडेटिंग मॉडल्स को भी करने की जरूरत है क्योंकि ताजा एल्गोरिदम और हार्डवेयर कंपोनेंट अपडेट जारी किए जाते हैं। उनके कार्यान्वयन से काम में उपयोग किए जाने वाले मॉडल की सटीकता और गुणवत्ता में सुधार हो सकता है।

व्यापार वृद्धि के लिए अंतर्दृष्टि-प्रेरित

ऊपर वर्णित मशीन लर्निंग मॉडल के जीवन चक्र चरणों के प्रबंधन के लिए दृष्टिकोण, वास्तव में, एक सार्वभौमिक ढांचा है जो एक कंपनी को इनसाइट-प्रेरित बनने और डेटा के साथ काम करने के लिए व्यापार के विकास के लिए एक प्रमुख चालक के रूप में उपयोग करने की अनुमति देता है। इस अवधारणा को मूर्त रूप देने वाले संगठन अधिक जानते हैं, तेजी से बढ़ते हैं, और, हमारी राय में, इस अत्याधुनिक तकनीक में और अधिक दिलचस्प काम करते हैं!

उपयोगी डेटा प्रबंधन सामग्री के हमारे पुस्तकालय में अंतर्दृष्टि-प्रेरित अवधारणा के निर्माण के बारे में अधिक जानें, जहां हमने एसएपी सिस्टम में वीडियो, उपयोगी ब्रोशर और ट्रायल एक्सेस एकत्र किए हैं।