एमएल बूट कैंप VI में प्रथम स्थान की कहानी

कई वर्षों के लिए Mail.ru ने मशीन लर्निंग चैंपियनशिप की मेजबानी की है, हर बार यह कार्य अपने तरीके से दिलचस्प है और अपने तरीके से जटिल है। यह मेरा चौथी बार प्रतियोगिताओं में भाग ले रहा है, मुझे वास्तव में मंच और संगठन पसंद है, और यह बूटकैंप्स के साथ था कि प्रतिस्पर्धी मशीन सीखने के लिए मेरा रास्ता शुरू हुआ, लेकिन मैं पहली बार पहली जगह लेने में कामयाब रहा। लेख में, मैं आपको बताऊंगा कि सार्वजनिक लीडरबोर्ड पर या विलंबित नमूनों पर या तो जांच किए बिना एक स्थिर परिणाम कैसे दिखाया जाए, यदि परीक्षण भाग डेटा के प्रशिक्षण भाग से काफी अलग है।

कार्य

कार्य का पूरा पाठ → लिंक पर उपलब्ध है। संक्षेप में: 10 जीबी डेटा है, जहां प्रत्येक पंक्ति में तीन प्रमुख प्रकार के "कुंजी: काउंटर" होते हैं, एक निश्चित श्रेणी, एक निश्चित टाइमस्टैम्प और उपयोगकर्ता आईडी। एकाधिक प्रविष्टियाँ एक उपयोगकर्ता के अनुरूप हो सकती हैं। यह निर्धारित करना आवश्यक है कि उपयोगकर्ता किस वर्ग का है, पहला या दूसरा। मॉडल के लिए गुणवत्ता मीट्रिक ROC-AUC है, यह अलेक्जेंडर डायकोनोव [1] के ब्लॉग में इसके बारे में अच्छी तरह से लिखा गया है।

उदाहरण फ़ाइल प्रविष्टि

00000d2994b6df9239901389031acaac 5 {"809001":2,"848545":2,"565828":1,"490363":1} {"85789":1,"238490":1,"32285":1,"103987":1,"16507":2,"6477":1,"92797":2} {} 39 

निर्णय

डेटा साइंटिस्ट से पहला विचार जो एक डेटासेट को सफलतापूर्वक डाउनलोड किया है, वह है जर्स कॉलम को विरल मैट्रिक्स में बदलना। इस बिंदु पर, कई प्रतिभागियों ने रैम की कमी के साथ समस्याओं का अनुभव किया। जब अजगर में एक कॉलम भी तैनात किया गया था, तो मेमोरी की खपत औसत लैपटॉप पर उपलब्ध की तुलना में अधिक थी।

कुछ सूखे आँकड़े। प्रत्येक कॉलम में अद्वितीय कुंजियों की संख्या 2053602, 20275, 1057788 है। इसके अलावा, ट्रेन के हिस्से में और परीक्षण भाग में केवल 493866, 20268, 141931 हैं। ट्रेन में 427994 अद्वितीय उपयोगकर्ता और परीक्षण भाग में 181024 हैं। प्रशिक्षण भाग में कक्षा 1 का लगभग 4%।

जैसा कि आप देख सकते हैं, हमारे पास बहुत सारे संकेत हैं, उन सभी का उपयोग करना ट्रेन पर ओवरफिट करने का एक स्पष्ट तरीका है, क्योंकि, उदाहरण के लिए, निर्णय पेड़ संकेतों के संयोजन का उपयोग करते हैं, और इतनी बड़ी संख्या में संकेतों के और भी अधिक अद्वितीय संयोजन होते हैं और उनमें से लगभग सभी प्रशिक्षण भाग में ही मौजूद हैं। डेटा या परीक्षण में। हालांकि, मेरे पास एक बुनियादी मॉडल था, जो कोलम्बम्प ~ 0.1 के साथ हल्का था और बहुत सख्त नियमितीकरण था। हालांकि, नियमितीकरण के विशाल मापदंडों के बावजूद, इसने सार्वजनिक और निजी भागों में एक अस्थिर परिणाम दिखाया, क्योंकि यह प्रतियोगिता के अंत के बाद निकला।

इस प्रतियोगिता में भाग लेने का फैसला करने वाले व्यक्ति का दूसरा विचार संभवतः प्रशिक्षकों द्वारा ट्रेन और परीक्षण एकत्र करना, जानकारी एकत्र करना होगा। उदाहरण के लिए, राशि। या एक अधिकतम। और यहाँ यह दो बहुत ही दिलचस्प बातें बताती है जो Mail.ru हमारे लिए आई। सबसे पहले, परीक्षण को बहुत अधिक सटीकता के साथ वर्गीकृत किया जा सकता है। यहां तक ​​कि क्यूड के लिए प्रविष्टियों की संख्या और जोंस में अद्वितीय कुंजियों की संख्या के आंकड़ों के अनुसार, परीक्षण ट्रेन से काफी अधिक है। बेस क्लासिफायर ने परीक्षण मान्यता में 0.9+ आरओसी-औक दिया। दूसरे, काउंटरों का कोई मतलब नहीं है, लगभग सभी मॉडल काउंटर से स्विच करने से बेहतर हो गए हैं फॉर्म के द्विआधारी संकेत: कोई कुंजी नहीं है। यहां तक ​​कि पेड़, जो सिद्धांत में इस तथ्य से भी बदतर नहीं होना चाहिए कि एक इकाई के बजाय एक निश्चित संख्या है, काउंटरों के लिए मुकर जाना प्रतीत होता है।

सार्वजनिक लीडरबोर्ड पर परिणाम क्रॉस-वेलिडेशन पर बहुत अधिक हो गए। यह स्पष्ट रूप से इस तथ्य के कारण था कि ट्रेन की तुलना में परीक्षण में दो रिकॉर्ड की रैंकिंग का निर्माण करना मॉडल के लिए आसान था, क्योंकि बड़ी संख्या में संकेतों ने रैंकिंग के लिए अधिक शर्तें दीं।

इस स्तर पर, यह पूरी तरह से स्पष्ट हो गया कि इस प्रतियोगिता में मान्यता कोई साधारण बात नहीं है और न ही सार्वजनिक सूचना और न ही अन्य प्रतिभागियों के सीवी, जिन्हें आधिकारिक चैट [2] में फुसलाया जा सकता है। ऐसा क्यों हुआ? ऐसा लगता है कि ट्रेन और परीक्षण समय के अनुसार अलग हो जाते हैं, जिसकी पुष्टि बाद में आयोजकों ने की थी।

कोई भी अनुभवी कागल सदस्य तुरंत सलाहकार सलाह [3] की सलाह देगा, लेकिन यह इतना आसान नहीं है। इस तथ्य के बावजूद कि ट्रेन और परीक्षण के लिए क्लासिफायर की सटीकता मीट्रिक आरओसी-एक द्वारा 1 के करीब है, ट्रेन में कई समान प्रविष्टियां नहीं हैं। मैंने एक ही लक्ष्य के साथ क्यूड-एग्रीगेटेड नमूनों को संक्षेप में प्रस्तुत करने का प्रयास किया, ताकि बड़ी संख्या में अद्वितीय कुंजियों के साथ रिकॉर्ड्स की संख्या बढ़ जाए, लेकिन इससे क्रॉस-वेलिडेशन और सार्वजनिक रूप से दोनों में कमियां हुईं, और मैं इन मॉडलों का उपयोग करने से डरता था।

इसके दो तरीके हैं: अनपेक्षित सीखने के साथ शाश्वत मूल्यों की तलाश करें या उन विशेषताओं को लेने की कोशिश करें जो परीक्षण के लिए अधिक महत्वपूर्ण हैं। मैं परीक्षण में आवृत्ति द्वारा असुरक्षित और चयन सुविधाओं के लिए TruncatedSVD का उपयोग करते हुए दोनों तरीके से चला गया।

पहला चरण, हालांकि, मैंने एक गहरा ऑटोकेनोडर बनाया, लेकिन मुझसे गलती हुई, एक ही मैट्रिक्स को दो बार लेने पर, मैं त्रुटि को ठीक नहीं कर सका और संकेतों के पूर्ण सेट का उपयोग कर सकता हूं: इनपुट टेंसर किसी भी घने परत के आकार में GPU मेमोरी में फिट नहीं हुआ। मुझे एक गलती मिली और बाद में मैंने सुविधाओं को कोड करने की कोशिश नहीं की।

मैंने सभी तरीकों से SVD उत्पन्न किया जो कल्पनाशील थे: cat_feature के साथ मूल डेटासेट पर और बाद में cuid द्वारा सारांश। प्रत्येक स्तंभ के लिए अलग से। Tf-idf by json on bag-of-words [4] (मदद नहीं) के रूप में।

अधिक विविधता के लिए, मैंने क्रॉस-सत्यापन में प्रत्येक गुना के ट्रेन भाग के लिए ए-एनओवीए का उपयोग करते हुए, ट्रेन में कम संख्या में सुविधाओं का चयन करने का प्रयास किया।

आदर्श

मुख्य आधार मॉडल: lightgbm, vowpal wabbit, xgboost, SGD। इसके अलावा, मैंने कई तंत्रिका नेटवर्क आर्किटेक्चर का उपयोग किया। दिमित्री निकितको, जो सार्वजनिक लीडरबोर्ड के पहले स्थान पर थे, ने हैशमबेडिंग्स का उपयोग करने की सलाह दी, मापदंडों के कुछ चयन के बाद इस मॉडल ने एक अच्छा परिणाम दिखाया और पहनावा में सुधार किया।

3-4-5 डेटा कॉलम (तीन बाएं इनपुट), संख्यात्मक आंकड़े (4 इनपुट), एसवीडी मैट्रिक्स (5 इनपुट) के बीच इंटरैक्शन (फैक्टराइजेशन मशीन शैली) की खोज के साथ एक और तंत्रिका नेटवर्क मॉडल।

कलाकारों की टुकड़ी

मैंने सिलवटों द्वारा सभी मॉडलों को गिना, विभिन्न सिलवटों पर प्रशिक्षित मॉडलों से औसत परीक्षण अनुमान। स्टैकिंग के लिए ट्रेन की भविष्यवाणियों का उपयोग किया गया था। बेस मॉडल की भविष्यवाणियों पर xgboost का उपयोग करते हुए स्तर 1 स्टैक द्वारा सबसे अच्छा परिणाम दिखाया गया था और प्रत्येक json कॉलम से 250 विशेषताएँ, उस आवृत्ति के अनुसार चुनी गई जिसके साथ परीक्षण में विशेषता मिली थी।

मैंने अपने समाधान में ~ 30 घंटे का समय बिताया, 4 कोर-आई 7 कोर, 64 गीगाबाइट्स रैम, और एक जीटीएक्स 1080 के साथ एक सर्वर पर गिनती। नतीजतन, मेरा समाधान काफी स्थिर हो गया और मैं सार्वजनिक लीडरबोर्ड पर तीसरे स्थान से पहले निजी एक में चला गया।

कोड का एक बड़ा हिस्सा लैपटॉप के रूप में एक बिटबकेट पर उपलब्ध है [5] ।

मैं समूह में दिलचस्प संचार के लिए दिलचस्प प्रतियोगिताओं और अन्य प्रतिभागियों के लिए Mail.ru को धन्यवाद देना चाहता हूं!

[१] अलेक्जेंड्रोव डायकोनोव के ब्लॉग पर आरओसी-एयूसी
[२] आधिकारिक चैट एमएल बूटकैम्प अधिकारी
[३] सलाहकार संबंधी मान्यता
[४] थैला-शब्द
[५] अधिकांश मॉडलों के लिए स्रोत कोड