पर्म छात्रों ने डेटा माइनिंग कप 2019 अंतर्राष्ट्रीय डेटा विश्लेषण चैम्पियनशिप के फाइनल में कैसे जगह बनाई

सभी को नमस्कार। इस लेख में, मैं डेटा माइनिंग कप 2019 (DMC) डेटा विश्लेषण प्रतियोगिता में भाग लेने के हमारे अनुभव के बारे में बात करूंगा और हम शीर्ष 10 टीमों में प्रवेश करने और बर्लिन में इन-पर्सन चैम्पियनशिप फाइनल में भाग लेने में कैसे कामयाब रहे।



मैं हमारी टीम की ओर से वर्णन करूंगा, जिसमें मैं प्रवेश करता हूं (अलेक्जेंडर पेरेवलोव), साथ ही साथ मेरे सहयोगी सर्गेई बोबोव। हम पर्म पॉलीटेक्निक विश्वविद्यालय के स्नातक छात्र हैं, काम और अध्ययन से अपने खाली समय में हम डेटा साइंस प्रतियोगिता को हल करने में लगे हुए हैं।

DMC क्या है और हमें इसके बारे में कैसे पता चला

डेटा माइनिंग कप एक वैश्विक छात्र डेटा विश्लेषण चैंपियनशिप है जिसे वर्ष में एक बार आयोजित किया जाता है। इसका इतिहास 20 साल पहले शुरू हुआ था, काग्ले से बहुत पहले, यह कहा जा सकता है कि मुख्य धारा बनने से पहले डीएमसी ने डेटा विश्लेषण प्रतियोगिताओं का आयोजन किया था ।

DMC को रिटेल इंटेलिजेंस कंपनी जर्मन कंपनी PrudSys ने होस्ट किया है । इससे पहले, चैंपियनशिप में केवल एक-हाथ की भागीदारी की अनुमति थी, तब प्रतिभागियों को विश्वविद्यालय से टीमों को एकजुट करने की अनुमति दी गई थी, वैसे, विश्वविद्यालय से टीमों की अधिकतम संख्या केवल 2 है। विश्वविद्यालय में सदस्यता भी कड़ाई से नियंत्रित है, भागीदारी के लिए आपके छात्र के डोमेन के साथ मेल होना आवश्यक है। संस्थानों, साथ ही अपने छात्र कार्ड की एक प्रति भेजें।

आज, यदि हम DMC और काग्ले में प्रतिभागियों के स्तर की तुलना करते हैं, तो निश्चित रूप से, कागले का स्तर बहुत अधिक है। यह DMC में छात्रों पर प्रतिबंध और कागल की लोकप्रियता के कारण है। डीएमसी की एक विशिष्ट विशेषता लीडरबोर्ड की अनुपस्थिति है , जो इसे फिटिंग की समस्याओं को समाप्त करती है।

मुझे उस समय डेटा माइनिंग कप के बारे में पता चला जब हम जर्मनी में इंटर्नशिप के लिए अपने विश्वविद्यालय से एक समूह के साथ गए, घर पर आने पर, मेरे दोस्त और टीम के साथी ने मुझे भाग लेने के लिए आमंत्रित किया, यह अप्रैल के मध्य में था। ईमानदारी से, मुझे इस विचार पर संदेह था, हालांकि, यह जानने के बाद कि इस वर्ष डेटा और कार्य काफी सरल हैं - हमने अभी भी इसे हल करना शुरू कर दिया है।

हमने कार्य को कैसे हल किया

2019 में, कार्य स्व-चेकआउट धोखाधड़ी का पता लगाने के क्षेत्र में है। निश्चित रूप से आप पहले से ही सुपरमार्केट में स्वयं-सेवा चेकआउट काउंटर पर आ चुके हैं। ये उपकरण स्टोर कर्मचारी की देखरेख में और पूरी तरह से स्वचालित रूप से दोनों काम करते हैं। स्वयं-सेवा नकद रजिस्टर आपको कर्मचारियों की लागतों को अनुकूलित करने और सुपरमार्केट में कतारों को कम करने की अनुमति देते हैं। हालांकि, एक समस्या है, मानव प्रकृति ऐसी है कि एक तरह से या किसी अन्य में हमारे रेफ्रिजरेटर में जो सामान देखना चाहते हैं, उसके माध्यम से "नहीं तोड़ना" है। इससे बचने के लिए, नियंत्रण आवश्यक है, लेकिन ऐसा है कि यह ग्राहकों को शर्मिंदा या परेशान नहीं करता है।

इस प्रकार, स्व-चेकआउट लेनदेन पर टैग किए गए डेटा के आधार पर, एक गणितीय मॉडल विकसित करना आवश्यक है जो किसी विशेष लेनदेन को धोखाधड़ी या गैर-धोखाधड़ी के रूप में वर्गीकृत करेगा। तो, हम बाइनरी वर्गीकरण समस्या को हल करते हैं।

डेटा इस प्रकार था:



प्रशिक्षण नमूने का आकार केवल ~ 1800 उदाहरण था, जबकि परीक्षण नमूना 499000 उदाहरण था। इसके अलावा, प्रशिक्षण नमूना संतुलित नहीं था : केवल 4% लेनदेन धोखाधड़ी थे, यह स्पष्ट है कि सटीकता (सही उत्तरों का हिस्सा) यहां बेकार है। हैरानी की बात है कि डेटा में कोई लापता मान नहीं थे, और कुछ विशेषताओं को समान रूप से वितरित किया गया था। इसके आधार पर, हम यह निष्कर्ष निकाल सकते हैं कि डेटा कृत्रिम रूप से उत्पन्न होता है।

इसके अलावा, आयोजकों ने एक उलझन मैट्रिक्स के रूप में अपनी मीट्रिक का प्रस्ताव रखा, जिसे मौद्रिक इकाइयों में मापा जाता है:

इसका विश्लेषण करने के बाद, यह हमारे लिए स्पष्ट हो गया कि इस मामले में परिशुद्धता अधिक महत्वपूर्ण है, क्योंकि यदि हम गलती से एक ईमानदार खरीदार को धोखेबाज कहते हैं तो हम अधिकतम नुकसान उठाते हैं।

हमारे समाधान के पाठ्यक्रम में शास्त्रीय चरण शामिल थे:

• मूल डेटा विश्लेषण
• संकेतों का विश्लेषण, उनके वर्णनात्मक आँकड़े और वितरण
• बाहर निकालना
• चरित्र निर्माण
• एक मॉडल का निर्माण और मापदंडों की स्थापना
• सत्यापन और अंतिम पूर्वानुमान

हमारे समाधान की सामग्री के साथ स्लाइड पर पाया जा सकता है: www.docdroid.net/2XEDfYg/dmc-2019-1.pdf
GitHub पर भंडार यहां है: github.com/Perevalov/dmc2019 (सब कुछ अलग-अलग शाखाओं पर बिखरा हुआ है, जब तक कि सब कुछ क्रम में रखने का समय नहीं था)

संगठनात्मक फ़ाइनल

मई के प्रारंभ में अंतिम निर्णय भेजने के बाद, हमने परिणामों की उम्मीद करना शुरू कर दिया। आयोजकों की स्थितियां ऐसी हैं कि शीर्ष 10 टीमों को बर्लिन में एक व्यक्ति-फाइनल में आमंत्रित किया जाता है , जिसे खुदरा खुफिया शिखर सम्मेलन 2019 सम्मेलन: स्मार्ट रिटेल के लिए स्मार्ट निर्णय के हिस्से के रूप में आयोजित किया जाता है।

संदर्भ के लिए, 2019 में, 28 देशों में स्थित 114 विश्वविद्यालयों की 149 टीमों ने DMC में भाग लिया।

ईमानदार होने के लिए, हमें फाइनल में पहुंचने की उम्मीद भी नहीं थी , लेकिन अब, मई के अंत में, पोषित निमंत्रण पत्र आता है। इसके अलावा, सभी फाइनलिस्ट को 500 यूरो तक के खर्च का भुगतान करने के लिए कहा गया था, और उन्होंने एक रात के लिए एक होटल में आवास की पेशकश की, जहां कार्यक्रम आयोजित किया गया था।

बिना किसी हिचकिचाहट के हमने बर्लिन के लिए टिकट खरीदे और वीजा प्राप्त करने चले गए। गरीब छात्र होने के नाते, 2-दिवसीय यात्रा के लिए खर्च की राशि हमारे लिए बड़ी नहीं थी। पर्म-बर्लिन-पर्म टिकट और वीजा प्रसंस्करण की लागत लगभग 40,000 रूबल थी। प्रति व्यक्ति, यह 500 यूरो से थोड़ा अधिक है।

चूंकि हम आयोजन में अपने विश्वविद्यालय का प्रतिनिधित्व करते हैं, इसलिए हमने इससे भौतिक समर्थन प्राप्त करने का निर्णय लिया। इसके अलावा, पर्म पॉलीटेक्निक विश्वविद्यालय रूसी-जर्मन संबंधों के विकास के लिए एक कार्यक्रम लागू करता है और दृढ़ता से पहल छात्रों का समर्थन करता है (यह हमें ऐसा लगता था)। जिस विभाग में हम अध्ययन करते हैं उसके प्रमुख के अनुमोदन और हस्ताक्षर के साथ, हम विज्ञान और नवाचार विभाग में गए। एक महीने का नौकरशाही महाकाव्य शुरू हुआ, जो निम्नलिखित के साथ समाप्त हुआ: "कोई पैसा नहीं है, लेकिन आप पकड़ते हैं । " बेशक हम थोड़े परेशान थे, लेकिन हिम्मत नहीं हारी। अब हमारे विश्वविद्यालय के शीर्ष प्रबंधन द्वारा "युवा वैज्ञानिकों का समर्थन करने की आवश्यकता" और अन्य बकवास के बारे में विभिन्न बयानों को पढ़ना हास्यास्पद है। वैसे यह एक विषयांतर है।

हमें सिर्फ 2 हफ्तों में वीजा मिल गया। उसी दौरान, हमने भाषण के लिए एक रिपोर्ट तैयार की और 2 जुलाई को शाम को हम हवाई अड्डे पर गए।

डाटा माइनिंग कप के फाइनल में प्रदर्शन और पुरस्कृत

बर्लिन में 3 जुलाई को सुबह उठकर हम nHow होटल गए, जहाँ सम्मेलन आयोजित किया गया था। संगठन का स्तर, निश्चित रूप से, उच्च है। वास्तव में, इसमें भाग लेने की लागत प्रति व्यक्ति 1000 यूरो थी (हमारे लिए यह मुफ़्त है)। और यह होटल कैसा दिखता है:



हमारा प्रदर्शन 16:30 निर्धारित था। यह मुख्य सम्मेलन कक्ष में हुआ, स्वाभाविक रूप से अंग्रेजी में। वैसे, प्रदर्शन को अंतिम रेटिंग में ध्यान में नहीं रखा गया था, इसकी गणना केवल अंतिम दर के आधार पर की गई थी, जिसमें केवल आयोजकों का डेटा था।

पहले 10 टीमों में इस तरह के विश्वविद्यालय थे: जॉर्ज वाशिंगटन विश्वविद्यालय (यूएसए), जिनेवा विश्वविद्यालय (स्विटजरलैंड), टेक्नोलॉजिकल यूनिवर्सिटी ऑफ केमिट्ज (जर्मनी), यूनिवर्सिटी ऑफ आयोवा (यूएसए), आदि। और निश्चित रूप से, हमारे पर्म नेशनल रिसर्च पॉलिटेक्निक यूनिवर्सिटी।

यह सम्मेलन कक्ष जैसा दिखता था:



एक छोटी सी शर्मिंदगी यह थी कि मुझे स्लाइड के साथ नहीं, बल्कि स्क्रीन पर प्रदर्शित एक पोस्टर के साथ बोलना था। इसलिए, प्रतिभागियों का प्रदर्शन पर्याप्त जानकारीपूर्ण नहीं था। हालांकि, सम्मेलन कक्ष में प्रत्येक प्रतिभागियों के पेपर पोस्टर को देखने और देखने का अवसर था। मूल रूप से, ज्यादातर लोग स्टैकिंग, ब्लेंडिंग और असेम्बलिंग (हम उनमें से हैं) का उपयोग करते थे, साथ ही, कुछ प्रतिभागियों ने वर्गीकरण मॉडल के लिए एक बढ़ी हुई सीमा का उपयोग किया, टीमों के एक जोड़े ने सभी विशेषताओं को उत्पन्न करने में कामयाब नहीं किया और मॉडल को स्रोत पर बनाया।

वैसे, हम सबसे छोटी टीम थी - केवल 2 लोग।

प्रदर्शन के बाद, एक गाला डिनर और पुरस्कृत शुरू हुआ। हमें पुरस्कारों की उम्मीद थी, लेकिन एहसास हुआ कि यह असंभव नहीं था, इसलिए हमारी सांसारिक इच्छा "कम से कम 10 नहीं" होनी चाहिए। जैसा कि हम चाहते थे, यह ठीक निकला - हमने सम्मानजनक 9 वां स्थान प्राप्त किया। स्वाभाविक रूप से, यह थोड़ा परेशान करने वाला था, लेकिन इस तरह के गंभीर विश्वविद्यालयों के बीच हम पहले ही फाइनल में थे। विजेता आयोवा विश्वविद्यालय (यूएसए) के प्रतिभागी थे, हालांकि आप यह नहीं कह सकते कि वे राज्यों से आए थे (फोटो देखें):



पहले, दूसरे और तीसरे स्थान के लिए पुरस्कार क्रमशः 2,000, 1,000 और 500 यूरो थे। अंतिम रेटिंग इस प्रकार है:

निष्कर्ष

इस प्रतियोगिता में हमने कितना भाग लिया इसका हमें कोई अफसोस नहीं है। न्यूनतम पर, यह पोर्टफोलियो में +1 उपलब्धि है, लोगों के साथ सबसे उपयोगी संपर्कों पर और एक अंतर्राष्ट्रीय कार्यक्रम में हमारे शहर और देश का प्रतिनिधित्व करने का अवसर।

मैं सभी वैज्ञानिकों को इस तरह के आयोजनों में भाग लेने की सलाह देता हूं, यह अच्छा है!