😠 🉐 🚵🏿 मशीन लर्निंग को व्यवसाय में पेश करने के बारे में बुरी सलाह 🚏 👈🏿 🤡

_{कृत्रिम बुद्धिमत्ता पर भरोसा न करें,} _{जब तक आपको प्रक्रिया की गहरी समझ न हो।} _{रे डालियो}

जेट इन्फोसिस्टम्स में, हम विभिन्न प्रकार के उद्योगों में मशीन लर्निंग की शुरुआत करते हैं, और अपने अनुभव के आधार पर हम एक सफल कार्यान्वयन के लिए आवश्यक घटकों को एकल करते हैं:

व्यवसाय के लिए प्राथमिकता मीट्रिक को अनुकूलित करने के उद्देश्य से समस्या का बयान;
डेटा वैज्ञानिकों की एक टीम, जिनके पास क्षमता है और वे इस प्रक्रिया में गहराई से गोता लगाने के लिए तैयार हैं;
डेटा जो व्यावसायिक कार्य के लिए प्रासंगिक है;
विधि का पर्याप्त विकल्प।

व्यवहार में, ये सभी तत्व एक साथ अत्यंत दुर्लभ हैं, आंकड़ों के अनुसार, एमएल के साथ केवल 7% परियोजनाएं सफल मानी जाती हैं। इन सभी घटकों के साथ परियोजनाओं को सुरक्षित रूप से सफलता के रूप में वर्गीकृत किया जा सकता है! वर्णन करने के लिए, हमने कई बिंदुओं को तैयार किया है जिन्हें व्यापार में मशीन सीखने की शुरूआत के बारे में हानिकारक सुझाव कहा जा सकता है।

बुरी सलाह नंबर 1: "कार्य केवल एमएल को लागू करना है"

अक्सर, व्यवसाय मेट्रिक्स और व्यावसायिक कार्यों की प्राथमिकता के बिना किसी भी कनेक्शन के बिना, "बस कुछ अनुकूलन के लिए मशीन सीखने की शुरुआत करने के लिए" ग्राहक तैयार करता है।

इस मामले में, हम कई नकारात्मक परिदृश्य देख सकते हैं। उदाहरण के लिए, जैसे ही वे काम करते हैं, लक्ष्य बदल जाएंगे, लेकिन इसका मतलब है कि सभी प्रीप्रोसेसिंग और अनुकूलन के तरीकों की पसंद बदल जाएगी, क्योंकि वे सीधे लक्ष्य के अर्थ से संबंधित हैं। या एक डेटा वैज्ञानिक मशीन लर्निंग से कुछ मीट्रिक का चयन करेगा, उदाहरण के लिए, auc, और इसमें सुधार करेगा, सभी प्रचार रूपरेखाओं और पुस्तकालयों में लाएगा, सौंदर्य की उसकी भावना के आधार पर - चुने हुए मीट्रिक में "पांचवें दशमलव स्थान" में सुधार करेगा। उसी समय, व्यवसाय के लिए यह काम पूरी तरह से महत्वहीन हो सकता है और सफल कार्यान्वयन के लिए नेतृत्व नहीं कर सकता है। या कुछ छोटी व्यावसायिक समस्या हल होने लगेगी, जब वास्तव में पास में मशीन सीखने की शुरुआत करने की बहुत अधिक संभावना है।

परिणामस्वरूप, आप नकारात्मक परिणामों का सामना कर सकते हैं:

समय और श्रम लागत की भविष्यवाणी करना असंभव है;
बिजनेस मेट्रिक्स से अलगाव में मॉडल में सुधार होता है;
मामूली काम में निवेश किया।

बुरी सलाह # 2: "कोई भी डेटा वैज्ञानिक करेगा"

एक राय है कि आप बाजार से किसी भी डेटा वैज्ञानिक को ले सकते हैं, उसे एक्सेल के साथ अलगाव में डाल सकते हैं और वह जादुई रूप से यह पता लगाएगा कि क्या अनुकूलित करने की आवश्यकता है। हमारी राय में, उत्पादन अनुकूलन में शामिल होने वाले डेटा वैज्ञानिकों की मानसिकता अत्यंत महत्वपूर्ण है। इसका मतलब यह है कि उन्हें तकनीकी प्रक्रियाओं (उदाहरण के लिए, एल्यूमीनियम इलेक्ट्रोलिसिस, ऑक्सीजन-क्षारीय सेलुलोज उपचार, ब्लास्ट फर्नेस उत्पादन, आदि) में गहरी गोता लगाने के लिए तैयार होना चाहिए। कारखाने में प्रौद्योगिकीविदों और ऑपरेटरों से व्यक्तिगत रूप से बात करने के लक्ष्य के साथ दूर की व्यावसायिक यात्राओं पर जाने के लिए डेटा वैज्ञानिकों की इच्छा भी महत्वपूर्ण है, यह समझने के लिए कि सब कुछ वास्तव में कैसे काम करता है। इसके बिना, सबसे अधिक संभावना है, उन्हें एन्यूमरेटिंग मॉडल की बड़ी संख्या में विचारहीन पुनरावृत्तियों के लिए बर्बाद किया जाएगा, और आप कभी भी एक उपयोगी कार्यान्वयन तक नहीं पहुंच सकते हैं।

बुरी सलाह नंबर 3: "काम पैचवर्क होना चाहिए"

लागत को कम करने के लिए श्रम के अधिकतम विभाजन के साथ काम के सबसे खंडित संगठन की विचारधारा नियमित रूप से मिलती है। उदाहरण के लिए, एक विश्लेषक है जो प्रक्रिया को समझता है, ग्राहकों और प्रौद्योगिकीविदों के साथ संवाद करता है। एक तिथि इंजीनियर है - वह डेटा संसाधित करता है, सुविधाएँ उत्पन्न करता है। और अंत में, एक डेटा वैज्ञानिक है - वह स्केलेर और फिट / भविष्यवाणी का आयात करता है। इस प्रकार, एक डेटा वैज्ञानिक का कार्य जीवन की वास्तविकताओं, अत्यंत प्रयोगशाला से अलगाव में होता है, और बड़ी संख्या में त्रुटियों को करने और मूल कार्य के महत्वपूर्ण पहलुओं को गायब करने का एक उच्च जोखिम है।

बुरी सलाह # 4: "डेटा वैज्ञानिकों को यह न समझाएं कि डेटा कैसे एकत्र किया जाता है"

यह हमेशा स्पष्ट नहीं होता है कि डेटा वैज्ञानिकों को यह समझना होगा कि डेटा कैसे और कहाँ एकत्र किया जाता है। ऐसे मामले भी हैं जब एमएल कार्यान्वयन अनुबंधों पर डेटा की समीक्षा किए बिना हस्ताक्षर किए जाते हैं, और ऐसी स्थितियों में अनुबंध में वर्णित मैट्रिक्स के लक्ष्य मूल्यों तक कभी नहीं पहुंचने का जोखिम होता है। इस दृष्टिकोण के साथ, मॉडल की गुणवत्ता का आकलन करने और उनके वास्तविक अनुप्रयोग की संभावना के साथ दोनों में समस्याएं अनिवार्य रूप से उत्पन्न होंगी।

कई डेटा गुण तरीकों की पसंद को प्रभावित करते हैं: औसत डेटा और माप त्रुटियां, उदाहरणों का असमान नमूनाकरण, माप में समय अंतराल। कारकों और लक्ष्यों में शोर से डेटा को सही ढंग से साफ करना महत्वपूर्ण है, शोर के कारण अलग-अलग हो सकते हैं: डिजिटलीकरण की त्रुटियां, बाह्य रूप से, चर का दोहराव, उपकरण की त्रुटियां, आदि।

कंपनी को इस तथ्य में रुचि होनी चाहिए कि डेटा वैज्ञानिक डेटा की प्रकृति को अच्छी तरह से समझते हैं, अन्यथा डेटा प्रसंस्करण लंबे समय तक रहेगा और सफल मॉडलिंग नहीं करेगा। डेटा एकत्र करने और संग्रहीत करने की प्रक्रिया की बारीकियों की गहरी समझ के बिना, कोई भी निम्नलिखित समस्याओं का सामना कर सकता है:

डेटा प्रीप्रोसेसिंग में बहुत समय लगेगा;
मॉडल वास्तविक स्थितियों में लागू नहीं हो सकता है;
अनुबंध की शर्तें अप्राप्य हो सकती हैं।

बुरी सलाह # 5: “डेटा संग्रह को एक जटिल और समझ से बाहर करने वाली प्रक्रिया बनाएं ताकि किसी को पता न चले कि यह कैसे काम करता है। मॉडल की शुरुआत के बाद, प्रक्रिया में बदलाव करना सुनिश्चित करें ”

अक्सर, मॉडल के विकास और कार्यान्वयन के समानांतर, तकनीकी प्रक्रियाएं बदल जाती हैं जो डेटा संग्रह को प्रभावित करती हैं। कल्पना करें कि तकनीकी प्रक्रिया को अनुकूलित करना आवश्यक है, और मॉडल की शुरुआत के बाद, कुछ इकाइयां पुन: व्यवस्थित हो जाती हैं और इससे डेटा संग्रह प्रभावित होता है: विशेषताएं "फ्लोट" होंगी, वितरण बदल जाएगा, प्रशिक्षण नमूना प्रतिनिधि हो जाएगा। बेशक, इसके बारे में पहले से कोई नहीं जानता। परिणामस्वरूप: मॉडल काम करना बंद कर देगा और सब कुछ फिर से करने की आवश्यकता है। उदाहरण के लिए, पेड़ों के साथ मामलों में, डोमेन समस्या का एक बाहर हो सकता है।

डेटा वैज्ञानिकों के साथ तकनीकी प्रक्रियाओं में सभी परिवर्तनों के साथ अग्रिम रूप से समन्वय करना महत्वपूर्ण है ताकि वे मॉडल को नई परिस्थितियों में जल्दी से अनुकूलित कर सकें।

बुरी सलाह # 6: "औसत संकेत"

उदाहरण के लिए, समस्याओं के लिए औसत प्रकार के कुछ प्रकार:

कार्य प्रति घंटा ऊर्जा खपत की भविष्यवाणी करना है, लेकिन साथ ही, ऊर्जा खपत डेटा केवल महीनों तक संग्रहीत किया जाता है - इस स्थिति में, कच्चे डेटा के संचय से पहले कुछ भी नहीं किया जा सकता है;
औसत उन विशेषताओं पर होता है जो समय में काफी भिन्न बिंदुओं पर मापी जाती हैं;
चलती औसत का उपयोग करना जो भविष्यवाणी अवधि पर कब्जा कर लेता है (जो डेटा लीक समस्या और मॉडल विरूपण की ओर जाता है);
सबसे खराब यह है कि जब डेटा किसी तरह से औसतन होता है और यह तथ्य अज्ञात रहता है।

ऐसे मामलों में, जब तक प्रासंगिक कच्चा डेटा प्रकट नहीं होता तब तक कार्य को पर्याप्त समाधान नहीं मिल सकता है।

बुरी सलाह नंबर 7: "अतिरिक्त डेटा न दें"

कई परिदृश्य हैं जहां डेटा वैज्ञानिक अतिरिक्त डेटा के लिए पूछते हैं:

अतिरिक्त कच्चे डेटा की जरूरत;
डेटा सेट में नए संकेत जोड़ना आवश्यक है। उदाहरण के लिए, बैंकिंग क्षेत्र और उत्पाद सिफारिशों के कार्यों में, यथासंभव सामाजिक-जनसांख्यिकीय विशेषताओं का उपयोग करना उपयोगी है;
डेटा सेट का आकार बढ़ाएँ
डेटा की मात्रा सीमित है, लेकिन ऐतिहासिक डेटा के कारण इसका विस्तार किया जा सकता है, या छवि और वीडियो प्रसंस्करण कार्यों जैसे अतिरिक्त डेटा बनाना संभव है।

डेटा वैज्ञानिक अतिरिक्त डेटा के लिए पूछते हैं जब उनके पास समान समस्याओं को हल करने का अनुभव होता है जिसमें इस डेटा का उपयोग सकारात्मक परिणाम देता है, अन्यथा आप संभावित रूप से प्राप्त मॉडल की तुलना में बहुत खराब मॉडल प्राप्त कर सकते हैं।

खराब सलाह नंबर 8: "मैन्युअल अंकन की सटीकता महत्वपूर्ण नहीं है"

चलो मैन्युअल मार्किंग के आधार पर उत्पादों की गुणवत्ता की भविष्यवाणी करने की आवश्यकता है, अर्थात्। उत्पादन ऑपरेटर मैन्युअल रूप से लक्ष्य मान रिकॉर्ड करते हैं। यदि उसी समय ऑपरेटरों को अच्छे परिणाम के लिए बोनस मिलता है और बुरे लोगों को सजा मिलती है, तो:

लक्ष्य एक ऑफसेट शामिल होने की संभावना है;
प्रशिक्षण के परिणामस्वरूप, यह पूर्वाग्रह मॉडल में जाएगा;
मॉडल लक्ष्य चर के वास्तविक वितरण की भविष्यवाणी नहीं करेगा।

क्राउडसोर्सिंग सॉल्यूशंस (उदाहरण के लिए, Yandex.Toloka) के उपयोग से इसी तरह की समस्याएं उत्पन्न हो सकती हैं, जहां विशेषज्ञ डेटा को चिह्नित करने के लिए पुरस्कार प्राप्त करते हैं। इस मामले में, आपको परिणामी मार्कअप को सावधानीपूर्वक सत्यापित करने की आवश्यकता है। इसके लिए कई दृष्टिकोण हैं:

ओवरलैपिंग: कई स्वतंत्र विशेषज्ञ मार्कअप;
गोल्डन सेट: पूर्व-ज्ञात परिणामों के साथ उदाहरण ऑपरेटरों की सटीकता और उनके चयन का मूल्यांकन करने के लिए डेटा में जोड़े जाते हैं;
अधिकांश मतदान: ओवरलैप मार्कअप के आधार पर निर्णय चयन एल्गोरिदम।

निष्कर्ष: यदि डेटा का एक मैनुअल मार्कअप है - आपको इसे जांचने की आवश्यकता है, अन्यथा व्यवस्थित त्रुटियां हो सकती हैं।

बुरी सलाह नंबर 9: "सबसे फैशनेबल का उपयोग करें"

लोकप्रिय लेख पढ़ें और मांग करें कि समस्या का समाधान एक फैशनेबल पद्धति पर आधारित होना चाहिए।

आज, डेटा विज्ञान एक फैशन क्षेत्र है, बहुत सारे लेख प्रकाशित किए जाते हैं, लगभग हर दिन सम्मेलन आयोजित किए जाते हैं, तरीकों की बढ़ती संख्या बनाई जा रही है। हालांकि, इसका मतलब यह नहीं है कि औद्योगिक कार्यों में एक मनमाना रूप से लोकप्रिय तरीका इष्टतम है। आमतौर पर सुअर के लोहे के उत्पादन के अनुकूलन के कार्य में LSTM का उपयोग करना आवश्यक नहीं है, और न ही विपणन या खनन के छोटे डेटा सेट पर RL का उपयोग करना आवश्यक है। ऐसे कार्यों में, पारंपरिक तरीकों (उदाहरण के लिए, ग्रेडिंग बूस्टिंग) के साथ शुरू करना बुद्धिमान है, जो ग्राहकों को समझाने में काफी मुश्किल हो सकता है। फैशनेबल एमएल विधियां हमेशा उद्योग के कार्यों के लिए उपयुक्त नहीं होती हैं और अक्सर लागू करने के लिए महंगा साबित होती हैं।

नैतिकता

युक्तियों के दिए गए सेट संपूर्ण नहीं हैं, लेकिन वे सभी नियमित रूप से अभ्यास में मिलते हैं। इस दृष्टिकोण के साथ, यह सुनिश्चित करने की संभावना है कि एमएल उद्योग में काम नहीं कर रहा है और बस पैसे की बर्बादी है।

संक्षेप में, हम कह सकते हैं कि वास्तव में सफलता के मामले एमएल-प्रोजेक्ट हैं, समय पर कार्यान्वित किए जाते हैं और व्यापार के लिए औसत दर्जे का लाभ लाते हैं। इसे प्राप्त करने के लिए, डेटा विश्लेषण और मशीन लर्निंग की दक्षताओं महत्वपूर्ण हैं, और जब डेटा वैज्ञानिक अच्छी तरह से एक व्यावसायिक समस्या की पूरी तस्वीर को समझते हैं।

इरीना पिमेनोवा, खनन प्रमुख, जेट इन्फोसिस्टम्स द्वारा पोस्ट किया गया

मशीन लर्निंग को व्यवसाय में पेश करने के बारे में बुरी सलाह