SAP डेटा इंटेलिजेंस के साथ मशीन सीखने के व्यावहारिक अनुप्रयोग के लिए विचार से 5 कदम

मशीन सीखने का इतिहास पिछली शताब्दी के मध्य में शुरू हुआ था। उस समय, यह तकनीक वैज्ञानिक अनुसंधान और प्रयोगों के लिए एक क्षेत्र था, और शक्तिशाली कंप्यूटरों ने एमएल के व्यावहारिक अनुप्रयोग को एक प्रेरणा दी।

आज, मशीन सीखना आईटी बाजार में एक निर्विवाद प्रवृत्ति है। विभिन्न उद्योगों से अधिक से अधिक कंपनियां डेटा विज्ञान प्रभागों का निर्माण कर रही हैं ताकि विकास के लिए संचित डेटा में नए अवसरों को खोजने और व्यावसायिक दक्षता में सुधार करने के लिए मशीन सीखने का उपयोग किया जा सके। हालांकि, जबकि ये पहल उचित रिटर्न नहीं देती हैं। आंकड़ों के अनुसार, 10 में से 8 पुष्ट मामले वाणिज्यिक परिचालन में नहीं जाते हैं।

सबसे अधिक संभावना है, आप में से अधिकांश ने चुटकुला सुना है "मशीन सीखने को अधिक उत्पादक बनाने का सबसे प्रभावी तरीका PowerPoint स्लाइड है।" दुर्भाग्य से, यह एक मजाक नहीं है। अक्सर पूरी प्रक्रिया इस तरह दिखती है: एक व्यवसाय डेटा प्रसारित करता है और व्यावसायिक प्रणालियों से डाउनलोड किया गया व्यावसायिक मामला है। डेटा वैज्ञानिक बृहस्पति नोटबुक में एक मशीन लर्निंग मॉडल विकसित कर रहे हैं, रेखांकन का एक स्क्रीनशॉट एक PowerPoint स्लाइड पर रखा गया है, और व्यवसाय ग्राहक को भेजा गया है। क्या प्रबंधन निर्णय लेने में परिणामी स्लाइड का उपयोग करना संभव है? सबसे अधिक संभावना नहीं है, क्योंकि पूर्वानुमान डेटा जल्दी से पुराना हो जाता है, और इस समय के दौरान व्यवसाय की स्थिति गंभीरता से बदल सकती है।

सभी बाधाओं को दूर करने और प्रवाह पर मशीन सीखने की कोशिश करते हुए, अधिकांश कंपनियां बड़ी मात्रा में डेटा एकत्र करने, भंडारण और प्रसंस्करण के बुनियादी ढांचे में निवेश करती हैं - डेटा लेक। बेशक, यह एक आवश्यक कदम है। लेकिन व्यावसायिक दृष्टिकोण से यह क्या बदलता है? क्या मशीन सीखने के आधार पर निर्णय लेना संभव है? नहीं, क्योंकि डेटा लेक और व्यापार के बीच एक अंतर है। जाहिर है, सर्वेक्षण में शामिल 86% कंपनियों का मानना ​​है कि अगली पीढ़ी के व्यावसायिक अनुप्रयोगों को मशीन सीखने से लैस किया जाना चाहिए।

हमने SAP में नए SAP डेटा इंटेलिजेंस प्लेटफॉर्म के साथ मौजूदा कठिनाइयों को दूर करने के लिए लेखों की एक श्रृंखला लिखने का फैसला किया और इस तरह के एक शक्तिशाली टूल को मशीन लर्निंग के रूप में व्यवसाय की सेवा में रखा। और, यदि आप इस विषय में रुचि रखते हैं, तो :) पढ़ें

शुरू करने के लिए, मैं आपको किसी भी व्यवसाय के मामले में "डेटा खोज और तैयारी" के पहले और बहुत महत्वपूर्ण चरण के बारे में बताता हूँ। बाद के लेखों में, हम "मॉडल के विकास और प्रशिक्षण", "एसएपी और गैर-एसएपी के साथ एकीकरण-आधार और क्लाउड डेटा स्रोतों पर विस्तार से", "मॉडल का उपयोग करने के लिए सेवाएं बनाना", "व्यावसायिक मामलों को उत्पादक के लिए स्थानांतरित करना", "निगरानी" पर विचार करेंगे। और व्यापार के मामलों का संचालन ”और भी बहुत कुछ।

मशीन लर्निंग के आधार पर एक व्यावसायिक मामले का विकास। डेटा की खोज और तैयारी।

आइए एक व्यावसायिक मामला बनाने की प्रक्रिया को देखें (चित्र 1)।

प्रारंभ में, एक विचार आमतौर पर एक व्यवसाय द्वारा तैयार किया जाता है। अक्सर, वह इसे स्वेच्छा से करता है, क्योंकि उसके पास पूरे उद्यम के डिजिटल परिवर्तन के भीतर कार्यों को डिजिटल करने का एक निश्चित लक्ष्य है। विचारों का संग्रह, मूल्यांकन और प्राथमिकता के लिए, आप उदाहरण के लिए, एसएपी इनोवेशन मैनेजमेंट का उपयोग कर सकते हैं।


चित्र 1

डेटा खोज और तैयारी के पहले चरण में, यह समझना आवश्यक है कि क्या वे किसी व्यावसायिक मामले के विकास के लिए मौजूद हैं, जहां वे संग्रहीत हैं, वे किस प्रारूप में हैं और वे किस गुणवत्ता के हैं। आधुनिक विशिष्ट परिदृश्य में कई विषम प्रणालियां शामिल हैं। डेटा को अलग-अलग एप्लिकेशन में डुप्लिकेट किया जा सकता है। सही जानकारी मिलने में बहुत समय लग सकता है। इस प्रयोजन के लिए, SAP डेटा इंटेलिजेंस में, मेटाडेटा कैटलॉग का उपयोग करके इस कार्य को बहुत सरल बनाया गया है। आइए देखें कि यह क्या है और इसका उपयोग कैसे करना है।

मेटाडाटा कैटलॉग

मेटाडेटा कैटलॉग का उपयोग करने के लिए, आपको स्रोत सिस्टम को डेटा इंटेलिजेंस से कनेक्ट करना होगा। डेटा इंटेलिजेंस के लिए डेटा स्रोत SAP ERP, BW, मार्केटिंग ... और गैर-SAP MES, Oracle, MS SQL, DB2, Hadoop और कई अन्य लोगों के साथ-साथ क्लाउड सेवाओं Amazon, Azzure, Google SCP के आधार पर हो सकते हैं। डेटा स्रोतों से जुड़ने के लिए, आपको विशेष रूप से SAP डेटा इंटेलिजेंस के साथ एकीकरण के लिए इन सिस्टम में बनाए गए सिस्टम और तकनीकी उपयोगकर्ताओं के स्थान के बारे में जानकारी की आवश्यकता होती है। चित्रा 2 एसएपी डेटा इंटेलिजेंस में एक अनुकूलित डेटा परिदृश्य का एक उदाहरण दिखाता है।


चित्र 2

SAP डेटा इंटेलिजेंस मेटाडेटा कैटलॉग में कॉन्फ़िगर किए जाने के बाद, कनेक्टेड सिस्टम पर संग्रहीत जानकारी को देखना संभव है। चित्र 3 SAP डेटा इंटेलिजेंस से जुड़े Hadoop में DAT263 फ़ोल्डर में स्थित फ़ाइलों की सूची दिखाता है।


चित्र 3

यदि आपको वह डेटा मिलता है जो किसी व्यावसायिक मामले को लागू करने के लिए आवश्यक है, तो प्रकाशित फ़ंक्शन का उपयोग करके कैटलॉग में डेटा ऑब्जेक्ट जोड़ें। मैं autos_history.csv फ़ाइल का उपयोग करूंगा, जिसमें प्रयुक्त कार बिक्री के आँकड़े हैं। चित्र 4 में, आप देखते हैं कि आप भविष्य में त्वरित पहुँच के लिए कैटलॉग में डेटा ऑब्जेक्ट और इसके मेटाडेटा को कैसे प्रकाशित कर सकते हैं।


चित्र 4

आप अपनी व्यावसायिक मामलों की आवश्यकताओं के अनुसार निर्देशिका संरचना, पदानुक्रम स्तरों को अनुकूलित कर सकते हैं। उदाहरण के लिए, मेरे Habr_demo फ़ोल्डर में, सभी मेटाडेटा उन वस्तुओं के बारे में जो मुझे इस लेख के लिए चाहिए।

उत्पन्न मेटाडाटा कैटलॉग व्यापार के मामले के आंकड़ों के लिए एक त्वरित पहुँच है। मैं SAP डेटा इंटेलिजेंस मेटाडेटा कैटलॉग में अपने फ़ोल्डर की वस्तुओं पर उनकी गुणवत्ता की रूपरेखा और विश्लेषण का संचालन करूंगा। मेटाडाटा कैटलॉग की प्रारंभिक स्क्रीन अंजीर में दिखाई गई है। 5।


चित्र 5

और यहाँ बहुत डेटा ऑब्जेक्ट है जिसे मैंने Habr_demo फ़ोल्डर (छवि 6) में प्रकाशित किया है।


चित्र 6

इसके अतिरिक्त, खोज को बेहतर बनाने और गति देने के लिए, हम डेटा ऑब्जेक्ट्स की सूची में टैग या लेबल असाइन कर सकते हैं, जैसा कि अंजीर में दिखाया गया है। 7।


चित्र 7

मेटाडेटा कैटलॉग आपको उनके नाम, फ़ील्ड्स के साथ-साथ लेबल द्वारा ऑब्जेक्ट्स की खोज करने की अनुमति देता है। एक एकल डेटा ऑब्जेक्ट में कई लेबल हो सकते हैं। यह सुविधाजनक है यदि कई डेवलपर्स इसके साथ काम करते हैं, तो हर कोई अपने व्यवसाय के मामले में एक लेबल असाइन कर सकता है, और जल्दी से वह सब कुछ पा सकता है जिसकी आपको ज़रूरत है। इसके अलावा, टैग व्यक्तिगत और गोपनीय डेटा को उजागर कर सकते हैं, जिस तक पहुंच कड़ाई से सीमित होनी चाहिए।

माना डेटा सेट में, लेबल और फ़ील्ड नाम से एक खोज एक त्वरित परिणाम (छवि 8) देती है। सहमत हूँ, यह बहुत सुविधाजनक है!


चित्र 8

इसके बाद, हमें यह समझने की आवश्यकता है कि हमारी फ़ाइल कैसे भरी जाती है। ऐसा करने के लिए, हम डेटा को प्रोफाइल कर सकते हैं। हम मेटाडेटा कैटलॉग और डेटा ऑब्जेक्ट्स के लिए संदर्भ मेनू (छवि 9) से भी प्रक्रिया शुरू करते हैं।


चित्र 9

प्रोफाइलिंग के दौरान, मेटाडेटा कैटलॉग फ़ाइल की सामग्री को पढ़ेगा, इसकी संरचना और भरने का विश्लेषण करेगा। परिणाम फैक्ट शीट (छवि 10) में पाया जा सकता है।


चित्र 10

फैक्ट शीट में हम खेतों में भरने की फाइल संरचना और जानकारी देखते हैं।

1. चयनित फ़ाइल में, प्रोफाइलिंग के परिणामस्वरूप, हमने खुलासा किया: विक्रेता फ़ील्ड का सभी लाइनों में एक मान है। इसका मतलब है कि हम इस क्षेत्र को डेटा सेट से हटा सकते हैं ताकि मॉडल का निर्माण करते समय मशीन सीखने का उपयोग न करें, क्योंकि यह पूर्वानुमान परिणाम (छवि 11) को प्रभावित नहीं करेगा।


चित्र 11।

2. मूल्य स्तंभ का विश्लेषण करते हुए, हम समझते हैं कि हमारे पास मौजूद डेटा का लगभग 3% शून्य मूल्य है। हमारे व्यावसायिक मामले में इस फ़ाइल का उपयोग करने के लिए, हमें इस उत्पाद के लिए या तो वास्तविक मूल्यों या औसत के साथ मूल्य भरना चाहिए, या हमें फ़ाइल (छवि 12) से शून्य मूल्य वाली लाइनों को हटाना होगा।


चित्र 12।

हम डेटा प्रीप्रोसेसिंग दो तरीकों से कर सकते हैं: मेटाडेटा कैटलॉग में या सीधे बृहस्पति नोटबुक में। उपकरण का विकल्प इस बात पर निर्भर करता है कि व्यावसायिक मामले के लिए डेटा के प्रीप्रोसेसिंग के लिए कौन जिम्मेदार है। यदि एक विश्लेषक, तो मैं दृश्य डेटा तैयारी इंटरफ़ेस का उपयोग करने की सलाह देता हूं, जो मेटाडेटा कैटलॉग में उपलब्ध है। यदि एक डेटा वैज्ञानिक डेटा की तैयारी में लगा हुआ है, तो विकल्प निश्चित रूप से बृहस्पति नोटबुक के पक्ष में होना चाहिए, जो डेटा इंटेलिजेंस में भी एकीकृत है।

3. मॉडल क्षेत्र का मूल्य अच्छी तरह से वितरित किया गया है, जो हमें गुणात्मक रूप से मॉडल को प्रशिक्षित करने की अनुमति देगा, जैसा कि चित्र 13 में है।


चित्र 13।

अब हम समझते हैं कि किसी व्यावसायिक मामले को लागू करने के लिए डेटा ऑब्जेक्ट्स की क्या आवश्यकता है, डेटा ऑब्जेक्ट्स क्या भरे हैं, मॉडल के कार्यान्वयन, प्रशिक्षण और परीक्षण के लिए हमें इस डेटा का उपयोग करने के लिए क्या करना चाहिए। लेकिन इससे पहले कि आप प्रीप्रोसेसिंग शुरू करें, आपको डेटा की गुणवत्ता की जांच करने की आवश्यकता है। ऐसा करने के लिए, व्यापार नियम मेटाडाटा कैटलॉग में उपलब्ध हैं। मैं तुरंत ध्यान देता हूं कि फिलहाल व्यावसायिक नियमों की कार्यक्षमता में कई गंभीर सीमाएं हैं। इसलिए, मैं बृहस्पति नोटबुक में अधिक या कम जटिल डेटा प्रीप्रोसेसिंग की सिफारिश करता हूं, जिसे एसएपी डेटा इंटेलिजेंस में एकीकृत किया गया है।

तो, चलिए अपने डेटा सेट पर वापस जाते हैं और मूल्य क्षेत्र में न्यूनतम और अधिकतम सीमा के अनुपालन का सत्यापन करते हैं, इसलिए हम मोटे तौर पर अनुमान लगा सकते हैं कि डेटा में विसंगतियाँ हैं या गलत मूल्य हैं। जैसा कि आप पहले से ही समझ चुके हैं, व्यावसायिक नियम मेटाडाटा कैटलॉग में भी कॉन्फ़िगर किए गए हैं, जैसे कि अंजीर में। 14 ए, सी। नियम और डेटा का संबंध नियम पुस्तिका (नियम पुस्तिका) में कॉन्फ़िगर किया गया है। यह आपको विभिन्न डेटा को सत्यापित करने के लिए समान नियमों का उपयोग करने की अनुमति देता है।


चित्र 14 a।


चित्र 14 c।

इसलिए, जैसा कि हम देखते हैं, हमारा डेटा 100% सही है।

लेकिन हमेशा ऐसा नहीं होता है। यदि नियमों में निर्दिष्ट शर्तों का 75% रिकॉर्ड पूरा होता है, तो डेटा को सही माना जा सकता है।

डेटा की गुणवत्ता में सुधार करना संभव है, और सबसे बढ़कर, यह लेखा प्रणालियों में किया जाता है। ऐसा करने के लिए, कंपनियां डेटा प्रबंधन प्रक्रिया को व्यवस्थित करती हैं। एक और संभावित कारण गलत तरीके से परिभाषित डेटा गुणवत्ता मानदंड है।

संक्षेप में, मैं मेटाडाटा कैटलॉग के फायदे और नुकसान के बारे में कहना चाहता हूं।
मेरी राय में, इसके 3 मुख्य लाभ हैं:

1. डेटा एक्सेस को सरल बनाएं।
2. डेटा पुनर्प्राप्ति को गति देना।
3. सुविधाजनक और सहज ज्ञान युक्त इंटरफ़ेस, जो न केवल आईटी या डेटा साइंस विशेषज्ञों में उन्नत के लिए है, बल्कि कार्यान्वयन में शामिल व्यवसाय और व्यावसायिक मामले के आगे समर्थन के लिए भी है।

और, ज़ाहिर है, खामियों के बारे में। वे स्पष्ट हैं। वर्तमान में, एसएपी डेटा इंटेलिजेंस में मेटाडेटा कैटलॉग की कार्यक्षमता एक बुनियादी स्तर पर है। इसका उपयोग करना शुरू करने के लिए पर्याप्त हो सकता है, लेकिन कार्यक्षमता डेटा प्रबंधन समाधान के लिए सभी आवश्यकताओं को ठीक से कवर नहीं करती है।

और यह एसएपी डेटा इंटेलिजेंस की नवीनता और जटिलता का परिणाम है। एसएपी इस समाधान को बेहतर बनाने के लिए बहुत सारे संसाधनों का निवेश करता है। और यह विश्वास को प्रेरित करता है कि निकट भविष्य में मेटाडेटा कैटलॉग डेटा प्रबंधन के लिए एक शक्तिशाली उपकरण में बदल जाएगा। प्रोग्रामिंग के बिना जटिल व्यावसायिक नियम बनाने का अवसर होगा। डेटा प्रबंधन के विषय के पूरी तरह कार्यात्मक कवरेज के उद्देश्य के लिए SAP Information Steward और SAP डेटा हब को एकीकृत करना भी संभव होगा।

अगले लेख में, हम “SAP डेटा इंटेलिजेंस” चरण में एक मॉडल के विकास और प्रशिक्षण के बारे में बात करेंगे। सभी सबसे दिलचस्प आगे!

ऐलेना Ganchenko, एसएपी सीआईएस विशेषज्ञ द्वारा पोस्ट किया गया