हम क्या मापेंगे? व्यावसायिक कार्यों के लिए सही एमएल मेट्रिक्स कैसे चुनें

आज, व्यवसाय में मशीन सीखने की शुरूआत करने के लिए मुख्य बाधाओं में से एक एमएल मेट्रिक्स और संकेतकों की असंगति है जो शीर्ष प्रबंधन के साथ संचालित होता है। विश्लेषक के पूर्वानुमान से लाभ बढ़ा? लेकिन आपको यह समझने की जरूरत है कि किन मामलों में मशीन लर्निंग वृद्धि का कारण बनेगी, और किन अन्य कारकों में। काश, अक्सर एमएल मेट्रिक्स में सुधार से लाभ में वृद्धि नहीं होती। इसके अलावा, कभी-कभी डेटा की जटिलता ऐसी होती है कि अनुभवी डेवलपर्स भी गलत मैट्रिक्स चुन सकते हैं जो उन्मुख नहीं हो सकते।

आइए देखें कि एमएल मैट्रिक्स क्या हैं और जब वे उपयोग करने के लिए उपयुक्त हैं। हम सामान्य गलतियों का विश्लेषण करेंगे, साथ ही इस बारे में बात करेंगे कि समस्या को स्थापित करने के लिए कौन से विकल्प मशीन सीखने और व्यापार के लिए उपयुक्त हो सकते हैं।

एमएल मेट्रिक्स: इतने सारे क्यों हैं?

मशीन लर्निंग मेट्रिक्स बहुत विशिष्ट हैं और अक्सर भ्रामक होते हैं, जो खराब खेल पर एक अच्छा चेहरा दिखाते हैं , बुरे मॉडल के लिए एक अच्छा परिणाम है। मॉडल का परीक्षण करने और उन्हें बेहतर बनाने के लिए, आपको एक मीट्रिक चुनने की ज़रूरत है जो मॉडल की गुणवत्ता को पर्याप्त रूप से दर्शाती है, और इसे कैसे मापना है। आमतौर पर, मॉडल की गुणवत्ता का मूल्यांकन करने के लिए एक अलग परीक्षण डेटा सेट का उपयोग किया जाता है। और जैसा कि आप जानते हैं, सही मीट्रिक चुनना एक मुश्किल काम है।

मशीन सीखने की सहायता से कौन से कार्य प्रायः हल किए जाते हैं? सबसे पहले, यह प्रतिगमन, वर्गीकरण और क्लस्टरिंग है। पहले दो शिक्षक के साथ तथाकथित प्रशिक्षण हैं: लेबल किए गए डेटा का एक सेट है, कुछ अनुभव के आधार पर, आपको सेट मूल्य की भविष्यवाणी करने की आवश्यकता है। प्रतिगमन कुछ मूल्य की एक भविष्यवाणी है: उदाहरण के लिए, ग्राहक कितना खरीदेगा, सामग्री का पहनने का प्रतिरोध क्या है, कार पहले टूटने से पहले कितने किलोमीटर की यात्रा करेगी।

क्लस्टरिंग (उदाहरण के लिए, ग्राहक श्रेणियों) को उजागर करके डेटा संरचना की परिभाषा है, और हमारे समूहों के बारे में हमारी कोई धारणा नहीं है। हम इस प्रकार की समस्या पर विचार नहीं करेंगे।

मशीन लर्निंग एल्गोरिदम ऑप्टिमाइज़ (नुकसान फ़ंक्शन की गणना करके) गणितीय मीट्रिक - मॉडल भविष्यवाणी और सच्चे मूल्य के बीच का अंतर। लेकिन यदि मीट्रिक विचलन का योग है, तो दोनों दिशाओं में समान विचलन के साथ, यह योग शून्य होगा, और हम बस यह नहीं जान पाएंगे कि कोई त्रुटि है या नहीं। इसलिए, वे आमतौर पर औसत निरपेक्ष (विचलन के पूर्ण मूल्यों का योग) या माध्य वर्ग त्रुटि (सही मूल्य से विचलन के वर्गों का योग) का उपयोग करते हैं। कभी-कभी सूत्र जटिल होता है: लघुगणक को लें या इन रकमों का वर्गमूल निकालें। इन मैट्रिक्स के लिए धन्यवाद, आप मॉडल की गणना की गुणवत्ता की गतिशीलता का मूल्यांकन कर सकते हैं, लेकिन इसके लिए आपको परिणाम की तुलना किसी चीज़ से करने की आवश्यकता है।

यह मुश्किल नहीं होगा यदि पहले से ही एक निर्मित मॉडल है जिसके साथ परिणामों की तुलना करना है। लेकिन क्या होगा अगर आपने पहली बार एक मॉडल बनाया है? इस मामले में, निर्धारण गुणांक, या आर 2 अक्सर उपयोग किया जाता है। निश्चय के गुणांक को निम्न के रूप में व्यक्त किया जाता है:



जहां:
आर ^ 2 - निर्धारण का गुणांक,
e _t ^ 2 माध्य वर्ग त्रुटि है,
y _t सही मान है,
y _t एक कवर के साथ औसत मूल्य है।

इकाई नमूना के औसत वर्ग त्रुटि के माध्य वर्ग त्रुटि के अनुपात को परीक्षण नमूने के औसत मान के अनुपात से घटाता है।

यही है, दृढ़ संकल्प का गुणांक हमें मॉडल द्वारा भविष्यवाणी के सुधार का मूल्यांकन करने की अनुमति देता है।

कभी-कभी ऐसा होता है कि एक दिशा में एक त्रुटि दूसरे में त्रुटि के बराबर नहीं होती है। उदाहरण के लिए, यदि कोई मॉडल किसी स्टोरहाउस के गोदाम में माल के लिए ऑर्डर की भविष्यवाणी करता है, तो गलती करना और थोड़ा और ऑर्डर करना संभव है, माल अपने समय के लिए गोदाम में इंतजार करेगा। और अगर मॉडल दूसरे तरीके से गलती करता है और कम ऑर्डर करता है, तो आप ग्राहकों को खो सकते हैं। ऐसे मामलों में, एक मात्रात्मक त्रुटि का उपयोग किया जाता है: सही मूल्य से सकारात्मक और नकारात्मक विचलन को अलग-अलग वजन के साथ ध्यान में रखा जाता है।

वर्गीकरण की समस्या में, मशीन लर्निंग मॉडल दो वर्गों में वस्तुओं को वितरित करता है: उपयोगकर्ता साइट छोड़ देता है या नहीं छोड़ता है, भाग दोषपूर्ण है या नहीं, आदि। भविष्यवाणी सटीकता को अक्सर अनुमानों की कुल संख्या के लिए सही ढंग से परिभाषित कक्षाओं की संख्या के अनुपात के रूप में अनुमानित किया जाता है। हालांकि, इस विशेषता को शायद ही कभी एक पर्याप्त पैरामीटर माना जा सकता है।


अंजीर। 1. ग्राहक की भविष्यवाणी की समस्या के लिए त्रुटि मैट्रिक्स

उदाहरण : यदि 100 में से 7 लोग मुआवजे के लिए आवेदन करते हैं, तो बीमित घटना की अनुपस्थिति का अनुमान लगाने वाले मॉडल में 93% की सटीकता होगी, बिना किसी पूर्वानुमान के।


अंजीर। 2. असंतुलित वर्गों के मामले में मॉडल की सटीकता पर कंपनी के वास्तविक लाभ की निर्भरता का एक उदाहरण

कुछ कार्यों के लिए, आप पूर्णता के मीट्रिक (इस वर्ग की सभी वस्तुओं के बीच वर्ग की सही ढंग से परिभाषित वस्तुओं की संख्या) और सटीकता (इस वर्ग को सौंपे गए मॉडल को सभी वस्तुओं के बीच वर्ग की सही ढंग से परिभाषित वस्तुओं की संख्या) लागू कर सकते हैं। यदि पूर्णता और सटीकता दोनों को ध्यान में रखना आवश्यक है, तो इन मूल्यों (एफ 1-माप) के बीच हार्मोनिक मतलब को लागू करें।

इन मैट्रिक्स का उपयोग करके, आप प्रदर्शन किए गए वर्गीकरण का मूल्यांकन कर सकते हैं। हालांकि, कई मॉडल किसी विशेष वर्ग के प्रति मॉडल के रिश्ते की संभावना की भविष्यवाणी करते हैं। इस दृष्टिकोण से, संभवतया थ्रेशोल्ड को बदलना संभव है जिसके संबंध में तत्वों को एक या किसी अन्य वर्ग को सौंपा जाएगा (उदाहरण के लिए, यदि ग्राहक 60% की संभावना के साथ निकलता है, तो इसे शेष माना जा सकता है)। यदि कोई विशिष्ट थ्रेशोल्ड सेट नहीं है, तो मॉडल की प्रभावशीलता का मूल्यांकन करने के लिए, विभिन्न थ्रेशोल्ड मूल्यों ( आरओसी-वक्र या पीआर-वक्र ) पर मीट्रिक की निर्भरता का एक ग्राफ बनाना संभव है, चयनित वक्र के तहत मीट्रिक क्षेत्र के रूप में ले रहा है।


अंजीर। 3. पीआर वक्र

व्यापार मेट्रिक्स

व्यावसायिक रूप से बोलना, व्यापार मीट्रिक हाथी हैं: उन्हें नजरअंदाज नहीं किया जा सकता है, और इस तरह के "हाथी" में बड़ी संख्या में मशीन-लर्निंग "तोते" फिट हो सकते हैं। इस सवाल का जवाब कि एमएल मेट्रिक्स मुनाफे में वृद्धि करेगा, सुधार पर निर्भर करता है। वास्तव में, बिजनेस मेट्रिक्स किसी भी तरह से बढ़ते मुनाफे से बंधे होते हैं, लेकिन हम लगभग कभी भी प्रॉफिट को सीधे उनके साथ नहीं जोड़ते हैं। उदाहरण के लिए, मध्यवर्ती मैट्रिक्स का आमतौर पर उपयोग किया जाता है:

• स्टॉक में माल की अवधि और जब वे उपलब्ध नहीं हैं तो माल के लिए अनुरोधों की संख्या;
• ग्राहकों को छोड़ने के लिए पैसे की राशि;
• निर्माण प्रक्रिया में बचाई गई सामग्री की मात्रा।

जब मशीन लर्निंग का उपयोग करके किसी व्यवसाय को अनुकूलित करने की बात आती है, तो दो मॉडल का निर्माण हमेशा निहित होता है: पूर्वानुमान और अनुकूलन।

पहला अधिक जटिल है, दूसरा इसके परिणामों का उपयोग करता है। भविष्यवाणी मॉडल में त्रुटियां हमें अनुकूलन मॉडल में एक बड़ा मार्जिन बिछाने के लिए मजबूर करती हैं, इसलिए अनुकूलित राशि कम हो जाती है।

उदाहरण : ग्राहक व्यवहार की भविष्यवाणी करने की सटीकता या औद्योगिक दोषों की संभावना की कम सटीकता, कम ग्राहक रखने में सक्षम होते हैं और बचाई गई सामग्रियों की मात्रा कम होती है।

एमएल कार्यों की स्थापना के दौरान व्यवसाय की सफलता (ईबीआईटीडीए, आदि) के आम तौर पर स्वीकार किए जाते हैं। आमतौर पर आपको बारीकियों का गहराई से अध्ययन करना होता है और उस क्षेत्र में स्वीकृत मेट्रिक्स को लागू करना होता है जिसमें हम मशीन लर्निंग (औसत जांच, उपस्थिति आदि) का परिचय देते हैं।

अनुवाद की कठिनाइयाँ

विडंबना यह है कि मैट्रिक्स का उपयोग करके मॉडल का अनुकूलन करना सबसे सुविधाजनक है जो व्यापार प्रतिनिधियों के लिए समझना मुश्किल है। टिप्पणी टन मॉडल में आरओसी वक्र के तहत क्षेत्र एक विशिष्ट राजस्व आकार से कैसे संबंधित है? इस दृष्टिकोण से, व्यवसाय दो कार्यों का सामना करता है: मशीन सीखने की शुरूआत करने के लिए कैसे मापें और कैसे अधिकतम करें?

पहला कार्य हल करना आसान है यदि आपके पास पूर्वव्यापी डेटा है और उसी समय अन्य कारकों को समतल या मापा जा सकता है। फिर कुछ भी आपको पूर्वव्यापी डेटा के साथ प्राप्त मूल्यों की तुलना करने से नहीं रोकता है। लेकिन एक जटिलता है: नमूना प्रतिनिधि होना चाहिए और उसी समय के समान है जिसके साथ हम मॉडल का परीक्षण करते हैं।

उदाहरण : आपको पता लगाने के लिए सबसे समान ग्राहकों को खोजने की आवश्यकता है कि क्या उनका औसत चेक बढ़ा है। लेकिन एक ही समय में, असामान्य व्यवहार के कारण वृद्धि से बचने के लिए ग्राहकों का नमूना काफी बड़ा होना चाहिए। इस समस्या को पहले समान ग्राहकों के एक पर्याप्त बड़े चयन को बनाने और उनके प्रयासों के परिणाम की जांच करने के लिए इसका उपयोग करके हल किया जा सकता है।

हालाँकि, आप पूछ सकते हैं: मशीन लर्निंग के लिए चयनित मीट्रिक को नुकसान फ़ंक्शन (जो मॉडल कम से कम हो रहा है) में अनुवाद कैसे करें। इस कार्य को तुरंत हल नहीं किया जा सकता है: मॉडल के डेवलपर्स को व्यावसायिक प्रक्रियाओं में गहराई से झुकना होगा। लेकिन अगर आप एक मीट्रिक का उपयोग करते हैं जो मॉडल का प्रशिक्षण देते समय व्यवसाय पर निर्भर करता है, तो मॉडल की गुणवत्ता तुरंत बढ़ती है। कहते हैं, यदि मॉडल यह भविष्यवाणी करता है कि ग्राहक कौन से काम छोड़ेंगे, तो आप एक व्यवसायिक मीट्रिक की भूमिका में हैं, आप एक ग्राफ का उपयोग कर सकते हैं जहाँ मॉडल के अनुसार, छोड़ने वाले ग्राहकों की संख्या एक अक्ष पर स्थित होती है, और इन ग्राहकों के लिए कुल धनराशि दूसरे अक्ष पर स्थित होती है। इस तरह की अनुसूची की मदद से, एक व्यवसाय ग्राहक अपने लिए सुविधाजनक बिंदु चुन सकता है और इसके साथ काम कर सकता है। यदि, रैखिक परिवर्तनों का उपयोग करते हुए, हम ग्राफ को एक पीआर वक्र (एक अक्ष पर सटीकता, दूसरी पूर्णता) पर कम करते हैं, तो हम व्यापार मीट्रिक के साथ एक साथ इस वक्र के तहत क्षेत्र को अनुकूलित कर सकते हैं।


अंजीर। 4. धन प्रभाव वक्र

निष्कर्ष

मशीन सीखने और एक मॉडल बनाने के लिए कार्य निर्धारित करने से पहले, आपको एक उचित मीट्रिक चुनने की आवश्यकता है। यदि आप मॉडल का अनुकूलन करने जा रहे हैं, तो आप एक मानक मैट्रिक्स का उपयोग त्रुटि फ़ंक्शन के रूप में कर सकते हैं। ग्राहक के चयनित मीट्रिक, उसके वजन और अन्य मापदंडों के साथ समन्वय करना सुनिश्चित करें, व्यावसायिक मैट्रिक्स को एमएल मॉडल में परिवर्तित करें। अवधि के संदर्भ में, यह मॉडल के विकास के साथ तुलना की जा सकती है, लेकिन इसके बिना काम शुरू करने का कोई मतलब नहीं है। यदि आप व्यावसायिक प्रक्रियाओं के अध्ययन में गणितज्ञों को शामिल करते हैं, तो आप मैट्रिक्स में त्रुटियों की संभावना को बहुत कम कर सकते हैं। विषय क्षेत्र को समझने और व्यवसाय और सांख्यिकी स्तर पर संयुक्त रूप से कार्य निर्धारित किए बिना मॉडल का प्रभावी अनुकूलन असंभव है। और सभी गणनाओं के बाद, आप मॉडल के प्रत्येक सुधार के आधार पर लाभ (या बचत) का मूल्यांकन करने में सक्षम होंगे।

निकोले कनीज़ेव ( iRumata ), मशीन लर्निंग ग्रुप के प्रमुख, जेट इन्फोसिस्टम्स