🎆 🤙 ☝️ एक साँप के साथ एक हाथी की तुलना करने के लिए हमें कैसे कार्य सौंपा गया था 🏮 ㊙️ 🤸🏿

नमस्कार, हेब्र! इस लेख में, हम, बिक्री समर्थन विभाग के विश्लेषिकी के अभ्यास के सलाहकार, विश्लेषणात्मक समस्याओं को हल करने में मॉडलिंग की गुणवत्ता का सही आकलन करने के महत्व पर विचार करेंगे। हमारे काम के हिस्से के रूप में, हमें अक्सर ग्राहक डेटा के आधार पर पूर्वानुमान मॉडल के निर्माण की समस्या को हल करना होगा। उसी समय, न केवल विश्लेषणात्मक समस्या का विवरण ग्राहकों से आ सकता है, बल्कि विकसित मॉडल की गुणवत्ता का आकलन करने के लिए एक प्रक्रिया भी हो सकती है। और कभी-कभी ऐसा होता है कि ग्राहक सांप के साथ हाथी की तुलना करने की पेशकश करता है। अधिकांश बार इसका सामना तब किया जा सकता है जब डेटा को प्रशिक्षण और परीक्षण नमूनों में पूर्व-विभाजित किया जाता है, क्योंकि दोनों नमूनों के लिए डेटा संग्रह थोड़ा भिन्न हो सकता है।

यह ठीक ऐसी स्थिति है जब हमारे पास उन मामलों में से एक था जहां ग्राहक लक्षित संचार की "ताकत" का परीक्षण करना चाहता था।

समस्या का बयान

बैंक ने एक बार अभियान चलाया, जिसके भीतर उसने अपने ग्राहकों (~ 10 हजार ग्राहकों) के हिस्से को फोन किया और एक विशिष्ट ऋण उत्पाद खरीदने की पेशकश की। अभियान के अंत में, संचार की प्रतिक्रिया पर डेटा एकत्र किया गया था। बैंक ने हमें न केवल कार्य का वर्णन किया, जिसे हल किया जाना चाहिए, बल्कि यह भी इंगित किया जाना चाहिए कि मॉडल को कैसे और किस डेटा पर बनाया जाना चाहिए, साथ ही गुणवत्ता की जांच कैसे की जानी चाहिए।

हमें क्या चाहिए था:

संचार प्रतिक्रिया की भविष्यवाणी करने के लिए एक मॉडल बनाएं।
मॉडल बनाने के लिए, उन ग्राहकों के डेटा का उपयोग करें, जिन्होंने अभियान में भाग नहीं लिया था । इसके लिए, बैंक ने हमें उन सभी ग्राहकों के लिए अज्ञात डेटा दिया, जो उन ग्राहकों के नमूने को छोड़कर जो एक बार के अभियान में भाग लेते थे।
मॉडल का निर्माण करते समय लक्ष्य घटना के रूप में, ऋण उत्पाद के लिए आवेदन करने के तथ्य का उपयोग करें, जिसे अभियान के हिस्से के रूप में प्रस्तावित किया गया था।

निर्माण किए गए मॉडल की गुणवत्ता को अभियान में भाग लेने वाले ग्राहकों पर जाँच करना चाहिए था। यानी यदि मॉडल भविष्यवाणी करता है कि ग्राहक ऋण उत्पाद खरीदने के लिए इच्छुक है और ग्राहक को संचार के परिणामों से सकारात्मक प्रतिक्रिया मिली है, तो यह माना जाता है कि मॉडल ने प्रतिक्रिया की सही भविष्यवाणी की है।

पहले चिंता

पहले से ही गुणवत्ता मूल्यांकन पद्धति की चर्चा के चरण में, इस मूल्यांकन पद्धति की गलतता के बारे में चिंता व्यक्त की गई थी। गलत होने के दो कारण हैं।

सबसे पहले, मॉडल निर्माण के चरण में और इसकी गुणवत्ता का आकलन करने के चरण में विभिन्न लक्ष्य चर। किसी भी संचार के बिना ऋण उत्पाद के लिए आवेदन करने के तथ्य की भविष्यवाणी करने के लिए एक मॉडल बनाया गया है, और संचार के प्रति प्रतिक्रिया का पूर्वानुमान करने के कार्य के लिए मॉडल को लागू करने के परिणामों से गुणवत्ता की जांच की जाती है।

दूसरे, अभियान में भाग लेने वाले ग्राहक सभी ग्राहकों से बहुत भिन्न हो सकते हैं (क्योंकि यह मान लेना उचित है कि ग्राहकों को अभियान में भाग लेने के लिए कुछ मानदंडों के अनुसार चुना गया था)।

चिंताओं के बावजूद, हम मौजूदा समस्या बयान के साथ एक मॉडल बनाने की कोशिश करने के लिए सहमत हुए। हालाँकि, हमने एक स्वतंत्र (परीक्षण) नमूने के रूप में उपयोग के लिए ग्राहक कॉल के परिणामों के साथ डेटा के एक हिस्से का अनुरोध किया।

मोडलिंग

जब हम कॉल के परिणामों के साथ डेटा के भाग की प्रतीक्षा कर रहे थे, हमने उन ग्राहकों पर मॉडल बनाया, जिन्होंने अभियान में भाग नहीं लिया (~ 200 हजार ग्राहक, लगभग 5% ने ऋण उत्पाद खरीदा)। अच्छे परिणाम प्राप्त हुए (Gini ~ 0.75 प्रशिक्षण, सत्यापन और परीक्षण नमूने में)।

बाद में हमें अभियान में भाग लेने वाले ग्राहकों के हिस्से पर डेटा अपलोड किया गया। पहले निर्मित मॉडल को इस डेटा पर लागू किया गया था। नमूने के इस हिस्से में मॉडल को लागू करते समय, परिणाम वांछित होने के लिए बहुत कुछ छोड़ दिया (गिन्नी = 0.16)।

वितरण

हमने अभियान में भाग लेने वाले ग्राहकों के नमूने को छांटना शुरू किया, और पाया कि कई चर में डेटा का वितरण उन ग्राहकों के डेटा के वितरण के साथ मेल नहीं खाता, जिन्होंने अभियान में भाग नहीं लिया।

यह वितरण की तरह लग रहा था

NDA धुरों पर अंकन की अनुमति नहीं देता है।

इसलिए खराब परिणामों की व्याख्या। उन्होंने अभियान में भाग लेने वाले ग्राहकों के उस हिस्से पर एक मॉडल बनाने की कोशिश की (लगभग 5 हजार - प्रतिक्रिया = 8%)। परिणाम खराब है (पर्याप्त डेटा नहीं - खराब गुणवत्ता संकेतक - गिन्नी ~ 0.3)।

समस्याओं

नतीजतन, कई धारणाएँ मेज़र सिमुलेशन परिणाम से बनी थीं:

विभिन्न लक्ष्य चर (याद रखें कि हम ऋण उत्पाद खरीदने की प्रवृत्ति का निर्धारण करने के लिए सीख रहे हैं, और हम संचार की प्रतिक्रिया की भविष्यवाणी करते हैं)।
अभियान में भाग लेने वाले ग्राहकों का नमूना अनियमित रूप से उत्पन्न नहीं हुआ था, यही वजह है कि इसमें भविष्यवक्ताओं का वितरण सभी बैंक ग्राहकों की सामान्य आबादी में वितरण से भिन्न हो सकता है।
- उन ग्राहकों के नमूने में, जिन्होंने अभियान में भाग नहीं लिया, ऐसे ग्राहक हैं जो ऋण के लिए आवेदन नहीं कर सकते
- अभियान में भाग लेने वाले ग्राहकों के पास वस्तुतः कोई ऋण उत्पाद नहीं हैं: केवल 2% के पास ऋण भुगतान के इतिहास में प्रविष्टियां हैं, जबकि उन 19% ग्राहकों की तुलना में जिन्होंने अभियान में भाग नहीं लिया था।
मॉडल के निर्माण के लिए उनका उपयोग करने के लिए अभियान के परिणामों पर पर्याप्त डेटा नहीं है।

समस्या हल करना

परिणाम का मूल्यांकन करने के लिए सही मानदंड निर्धारित करने के लिए हमेशा शुरुआत में यह आवश्यक है।
- लक्ष्य चर समान होना चाहिए।
- जिस डेटा पर वे अध्ययन करने का प्रस्ताव रखते हैं, और जिस पर वे परिणाम का परीक्षण करने का प्रस्ताव करते हैं, वह एक सामान्य आबादी से होना चाहिए।
अग्रिम में परियोजना के दायरे पर चर्चा करना आवश्यक है (और वे प्रशिक्षण और नमूनों के परीक्षण के लिए लागू होते हैं)।
डेटा की कमी या तो कार्य में बदलाव (पर्याप्त होना) या नए संचार की अपेक्षा है।

परिणाम

उपरोक्त तर्क बैंक के सहयोगियों के समक्ष प्रस्तुत किए गए थे और कार्य को फिर से करने का निर्णय लिया गया था।

समस्या के नए बयान में, हमें नियमित अभियान की प्रतिक्रिया की भविष्यवाणी करने की आवश्यकता थी। हालाँकि, इस बार हमारे पास उसी अभियान के लिए संचार डेटा पहले था। परिणाम एक सफल परियोजना थी (प्रतिक्रिया को 2 गुना से अधिक बढ़ाना संभव था)।

निष्कर्ष

परिणामस्वरूप, हम मॉडलिंग की मूल बातों पर लौटते हैं:

यह समझना हमेशा आवश्यक है कि क्या हम मॉडल से मेल खाते हैं जो ग्राहक हमसे चाहता है। इस मामले में, संचार की प्रतिक्रिया की भविष्यवाणी करने के लिए, संचार डेटा होना आवश्यक था।
डेटा एक ही जनसंख्या से होना चाहिए। यदि मॉडल को उसी पैटर्न पर प्रशिक्षित किया जाएगा, और परीक्षण नमूने में अन्य पैटर्न का सामना करने के लिए, तो परीक्षण के नमूने पर एक अच्छी गुणवत्ता स्कोर प्राप्त करने की बहुत कम संभावना है।

एक साँप के साथ एक हाथी की तुलना करने के लिए हमें कैसे कार्य सौंपा गया था