🐋 👐🏼 🤷 बड़े उद्यमों में मशीन लर्निंग मॉडल पेश करने के चरण 😆 🈵 💓

RAIF 2019 फ़ोरम में, जो ओपन इनोवेशंस के हिस्से के रूप में स्कोल्कोवो में आयोजित किया गया था, मैंने इस बारे में बात की थी कि मशीन लर्निंग मॉडल की शुरूआत कैसे लागू की जा रही है। पेशे की विशेषताओं के संबंध में, मैं उत्पादन में हर हफ्ते कई दिन बिताता हूं, मशीन लर्निंग मॉडल पेश करता हूं, और बाकी समय इन मॉडलों को विकसित करता हूं। यह पोस्ट एक रिपोर्ट की रिकॉर्डिंग है जिसमें मैंने अपने अनुभव को संक्षेप में बताने की कोशिश की।

हम बड़े स्ट्रोक में प्रक्रिया का वर्णन करके शुरू करते हैं, धीरे-धीरे प्रत्येक चरण के विवरण में जाते हैं।
चाहे हम एक पूर्ण सर्वेक्षण (आदर्श रूप से) के परिणामों के आधार पर उत्पादन का अनुकूलन कर रहे हैं, या केवल विचारों को इकट्ठा कर रहे हैं, "पैचवर्क ऑप्टिमाइज़ेशन", परिणाम किसी भी तरह की पहल की एक सूची है । यह समझना आवश्यक है कि हम उत्पादन के किन क्षेत्रों का अनुकूलन करेंगे। इस प्रक्रिया में आमतौर पर लगभग दो महीने लगते हैं।

फिर हम पायलटिंग चरण के लिए आगे बढ़ते हैं, इसमें तीन से चार महीने लगेंगे - हमें एक बुनियादी मॉडल बनाना होगा और समझना होगा कि क्या मशीन लर्निंग इस पर लागू होती है, और यह व्यवसाय के लिए क्या लाभ ला सकती है।

अगला चरण, बहुत समय में, इस पर बहुत कुछ सीखने की मशीन नहीं है - कार्यान्वयन , जब आपको एकीकृत करने की आवश्यकता होती है, तो वर्तमान प्रणालियों का निर्माण करना और दूसरे चरण में हमने जो बहुत लाभ की भविष्यवाणी की थी, उसे प्राप्त करना शुरू करते हैं। कार्यान्वयन आमतौर पर छह महीने से नौ महीने तक होता है।

नियंत्रण चरण प्रक्रिया को पूरा करता है। एक मॉडल बनाना और दिखाना एक बात है, और कुछ समय के लिए मॉडल बनाए रखना है। उत्पादन बदल रहा है, मशीन टूल्स को बदला जा रहा है। इन स्थितियों में, मॉडल को लगातार "स्पिन अप" करना पड़ता है और अनुकूलन के नए अवसरों की तलाश होती है।

अब क्रम में अधिक विस्तार से:

एक परिकल्पना की तलाश है

परिकल्पना कहाँ से आती है? उसे कौन नामांकित करेगा?

आमतौर पर परिकल्पना के लिए आईटी विभाग में जाना आम है, लेकिन जो लोग सिस्टम को कॉन्फ़िगर कर सकते हैं वे वहां काम करते हैं, एकीकरण के बारे में जानते हैं और मशीन सीखने के बारे में कुछ भी नहीं जानते हैं। इसके अलावा, वे उत्पादन के बारे में इतनी अच्छी तरह से वाकिफ नहीं हैं। उनके पास यह समझने की कोई क्षमता नहीं है कि मशीन कैसे काम करती है।

प्रयास संख्या दो उत्पादन परिकल्पना पर जाने के लिए है। दरअसल, उत्पादन के करीब विशेषज्ञ प्रक्रिया की तकनीकी विशेषताओं को जानते हैं, लेकिन ... मशीन सीखने को नहीं जानते हैं। इसलिए, वे यह नहीं कह सकते कि यह कहां लागू है और कहां नहीं है।

इस मामले में, परिकल्पना कहाँ से आ सकती है? ऐसा करने के लिए, वे एक विशेष स्थिति के साथ आए - मुख्य डिजिटल परिवर्तन अधिकारी। यह एक ऐसा व्यक्ति है जो डिजिटल परिवर्तन में लगा हुआ है। या मुख्य तिथि अधिकारी - एक व्यक्ति जो डेटा जानता है और इसे कैसे लागू किया जा सकता है। यदि ये दोनों लोग कंपनी में नहीं हैं, तो शीर्ष प्रबंधन से परिकल्पनाएं आनी चाहिए। यही है, विशेषज्ञ जो व्यवसाय को पूरी तरह से समझते हैं और आधुनिक तकनीक में लगे हुए हैं।

यदि उद्यम के पास न तो मुख्य डिजिटल परिवर्तन अधिकारी है, न ही मुख्य तिथि अधिकारी, और शीर्ष प्रबंधन एक परिकल्पना को जन्म देने में सक्षम नहीं है, तो ... प्रतियोगी बचाव में आएंगे। अगर उन्होंने कुछ लागू किया है, तो इससे उन्हें दूर नहीं किया जा सकता है। लेकिन, परियोजना से जुड़ी एक इंटीग्रेटर कंपनी बता सकती है कि क्या और कैसे अनुकूलित किया जा सकता है।

कैसे एक विचार का चयन करने के लिए?

चार कारक यहां महत्वपूर्ण हैं:

प्रक्रिया का कारोबार अनुकूलित किया जाना है।
इस प्रक्रिया में महत्वपूर्ण विचलन। एक छह-सिग्मा पद्धति है, जो बताती है कि सभी प्रक्रियाओं को अपने परिणामों से छह से अधिक मानक विचलन से रहित होना चाहिए। यदि आपके पास इन विचलन के अधिक हैं, तो आपको उन्हें पार्स करने की आवश्यकता है, और मशीन सीखने में मदद मिलेगी।
उपलब्धता और डेटा की उपलब्धता। यदि, उदाहरण के लिए, आपको 12 महीनों के बाद उपकरणों के संचालन पर सेंसर से डेटा प्राप्त होता है, तो आप मशीन लर्निंग को लागू नहीं करेंगे।
प्रक्रिया में डिजिटलकरण को लागू करने की जटिलता। अपने मॉडल को पेश करने की लागत, इसकी लागत की तुलना में जो इसे बचा सकता है।

डेटा क्या हैं?

डेटा की संरचना हैं:

संरचित: कुछ टेबल, रीडिंग - सब कुछ सरल है। जब हम सोशल नेटवर्क या फोटो के सेट से डेटा का उपयोग करना चाहते हैं, तो हमें अनस्ट्रक्चर्ड डेटा से निपटना होगा। यह बिछाने के लिए आवश्यक है कि इस तरह के डेटा को भी संरचित किया जाना चाहिए, जो संख्या में बदलकर मशीन सीखने का अनुभव कर सकते हैं। तीसरे प्रकार का डेटा थ्रेडेड है। यदि हम ऐसे डेटा के साथ काम करते हैं जो हर मिलीसेकंड को बदलता है, तो हमें तुरंत लोड संतुलन के बारे में सोचने की आवश्यकता है: क्या हमारी प्रणाली इसकी प्राप्ति की गति का सामना कर सकती है?

मूल रूप से, डेटा में विभाजित हैं:

स्वचालित - सेंसर कुछ प्रकार की संख्या उत्पन्न करते हैं, हम उन पर भरोसा करते हैं या नहीं। लेकिन वे उसी के बारे में हैं। मैन्युअल रूप से दर्ज किया गया - यहां आपको यह समझने की आवश्यकता है कि मानव कारक से संबंधित कोई गलती हो सकती है। और मॉडल को इसके लिए प्रतिरोधी होना चाहिए। बाहरी डेटा - शायद हम विनिमय दरों में रुचि रखते हैं यदि कार्यान्वयन वित्तीय लेनदेन से संबंधित है, या मौसम के पूर्वानुमान अगर हम तापमान गर्मी विनिमय का अनुमान लगाते हैं। स्थैतिक डेटा वह सब है जिसका पुन: उपयोग किया जा सकता है।

डेटा की समस्या

पूर्णता - वह क्षण जब कुछ डेटा / महीनों को छोड़ दिया जा सकता है।
परिवर्तन की त्रुटि - यदि, उदाहरण के लिए, आपके सेंसर में 5 मिलीसेकंड की त्रुटि है, तो दो मिलीसेकंड की सटीकता के साथ मॉडल - आप सक्षम नहीं होंगे, क्योंकि इनपुट डेटा का विचलन शुरू होता है।
ऑनलाइन पहुँच - यदि आप "अभी" का पूर्वानुमान लगाना चाहते हैं, तो डेटा तैयार होना चाहिए।
भंडारण समय - यदि आप वार्षिक रुझानों का उपयोग करना चाहते हैं, और आपको मांग का पूर्वानुमान लगाने की आवश्यकता है, और डेटा केवल छह महीने के लिए संग्रहीत किया जाता है - आप एक मॉडल का निर्माण नहीं करेंगे।

डेटा के साथ काम करें

पेशेवरों को सुनें, लेकिन केवल डेटा पर विश्वास करें। आपको कार्यशाला में जाने, पेशेवरों से बात करने, कारखाने में जाने, ऑपरेटरों से बात करने, उनके व्यवसाय को समझने की आवश्यकता है। लेकिन केवल आंकड़ों पर विश्वास करें। ऐसे कई उदाहरण थे जब ऑपरेटर कहते हैं कि यह नहीं हो सकता है - हम डेटा दिखाते हैं - यह पता चलता है कि यह वास्तव में हो रहा है। एक दिलचस्प उदाहरण: एक बार मॉडल ने दिखाया कि सप्ताह का दिन उत्पादन को प्रभावित करता है। सोमवार को - एक गुणांक, शुक्रवार को - एक और।

प्रभाव केवल लड़ाई में समझ में आता है - तेजी से प्रोटोटाइप बहुत महत्वपूर्ण है। सबसे महत्वपूर्ण बात यह है कि मॉडल को रोजमर्रा की जिंदगी में कैसे काम करना है। प्रस्तुतियों में और स्थानीय लैपटॉप पर, परियोजना वास्तव में जो है उससे पूरी तरह से अलग दिख सकती है: एक नियम के रूप में, वास्तव में पूरी तरह से अलग समस्याएं पहले आती हैं।

केवल एक व्याख्या किए गए मॉडल में सुधार का मौका है। आपको हमेशा यह स्पष्ट रूप से समझने की आवश्यकता है कि मॉडल ने इस तरह से क्यों तय किया और अन्यथा नहीं।

मैट्रिक्स के साथ काम करें

वास्तव में, लाभ पर सटीकता की निर्भरता कोई भी हो सकती है। जब तक हम समझते हैं कि यह सटीकता कैसे प्रभावित करती है, सटीकता का सवाल पूरी तरह से व्यर्थ है। आपको हमेशा लाभ में अनुवाद करने की आवश्यकता है। नीचे दिए गए रेखांकन बताते हैं कि मॉडल की सटीकता के आधार पर मुनाफा अलग-अलग हो सकता है। पहले चार्ट से पता चलता है कि अग्रिम में यह निर्धारित करना कितना मुश्किल है कि मॉडल की सटीकता लाभ वृद्धि के लिए पर्याप्त है:

इसके अलावा, मॉडल की अपर्याप्त सटीकता के साथ कुछ मामलों के लिए, यह बस नुकसान लाएगा:

एकीकरण के बारे में मुख्य बातें:

एकीकरण मॉडल के विकास की तुलना में अधिक समय लेता है।
नए विचार। कभी-कभी यह पता चलता है कि परियोजना से लाभ होता है जहाँ इसकी उम्मीद नहीं थी।
शिक्षा। लोग लोहे की तुलना में तेजी से अनुकूलन करते हैं

एक और बिंदु जो डेटास्टाइनिस्ट अक्सर भूल जाते हैं, वह है मॉडल शुरू करने का लक्ष्य: पूर्वानुमान या सिफारिश। आमतौर पर सिफारिशें प्रेडिक्टिव मॉडल पर आधारित होती हैं, लेकिन इस मामले में प्रेडिक्टिव मॉडल को विशेष रूप से बनाया जाना चाहिए, क्योंकि अचानक अप्रिय प्रभावों के साथ न्यूनतम ब्लैक बॉक्स ढूंढना काफी मुश्किल है। यदि हम प्रदर्शन मीट्रिक के बारे में बात करते हैं, तो कार्यान्वयन के उद्देश्य पर निर्भर करता है:

एक पूर्वानुमान जारी करें, - ज्ञान को लागू करने के परिणाम का मूल्यांकन करें;
सिफारिशें दें - पुरानी प्रक्रिया के साथ तुलना का मूल्यांकन करें।

कार्यान्वयन चरण की महत्वपूर्ण बारीकियाँ:

कार्यान्वयन / प्रशिक्षण

सांख्यिकीय साक्षरता - स्थानीय कर्मचारियों द्वारा सही सांख्यिकीय शब्दों के साथ संचालन शुरू करने पर कार्यान्वयन अधिक सफल होता है।
विभिन्न संरचनात्मक इकाइयों की प्रेरणा - सभी को यह समझना चाहिए कि ऐसा क्यों हो रहा है, और परिवर्तन से डरना नहीं चाहिए।
संगठनात्मक परिवर्तन - कम से कम एक कर्मचारी मॉडल के परिणामों को देखेगा, जिसका अर्थ है कि वे प्रक्रिया के लिए अपना दृष्टिकोण बदल देंगे। यह अक्सर पता चलता है कि लोग इसके लिए तैयार नहीं हैं।

समर्थन

यह मत भूलो कि स्थितियां बदल रही हैं और मॉडल को लगातार "मोड़" करना है और अनुकूलन के नए अवसरों की तलाश करना है। यहाँ महत्वपूर्ण हैं:

मॉडल प्रबंधन रणनीतियों और पूर्वानुमानों के प्रति प्रतिक्रिया थोड़ा आत्म-प्रचार है: हमने जेट इन्फोसिस्टम्स में बस इस बारे में बहुत सोचा और अपने स्वयं के जेटा गेटा सिस्टम को विकसित किया।
मानव कारक - मॉडल की मुख्य समस्याएं अक्सर इसके उपयोग, या मानव हस्तक्षेप से जुड़ी होती हैं, जो मॉडल की उम्मीद नहीं कर सकता था।
क्षेत्र के पेशेवरों के साथ काम का नियमित विश्लेषण - यह संभावना नहीं है कि सब कुछ एक संख्या में कम हो जाएगा, जो इंगित करेगा कि क्या सुधार करने की आवश्यकता है, प्रत्येक संदिग्ध पूर्वानुमान या सिफारिश का विश्लेषण करना आवश्यक होगा। कार्यस्थल में प्रौद्योगिकीविदों और डिवाइस ऑपरेटरों के साथ एक ही भाषा बोलने के लिए एक और पेशा सीखने के लिए तैयार रहें।

निकोले कनीज़ेव, मशीन लर्निंग ग्रुप के प्रमुख, जेट इन्फोसिस्टम्स द्वारा पोस्ट किया गया

बड़े उद्यमों में मशीन लर्निंग मॉडल पेश करने के चरण