फरवरी-मार्च 2019 में, SNA हैकथॉन 2019 सोशल नेटवर्क फीड की रैंकिंग के लिए एक प्रतियोगिता आयोजित की गई, जिसमें हमारी टीम ने पहला स्थान हासिल किया। इस लेख में मैं प्रतियोगिता के संगठन, हमारे द्वारा आजमाए गए तरीकों और बड़े डेटा पर प्रशिक्षण के लिए कैटबॉस्ट सेटिंग्स के बारे में बात करूंगा।

SNA हैकाथॉन

इस नाम के तहत हैकाथॉन तीसरी बार आयोजित किया गया है। यह क्रमशः ओकेवी सोशल नेटवर्क द्वारा आयोजित किया जाता है, कार्य और डेटा सीधे इस सामाजिक नेटवर्क से संबंधित हैं।
इस मामले में SNA (सोशल नेटवर्क विश्लेषण) को सामाजिक ग्राफ के विश्लेषण के रूप में नहीं, बल्कि एक सामाजिक नेटवर्क के विश्लेषण के रूप में समझा जाता है।

• 2014 में, यह कार्य इस पसंद की संख्या का अनुमान लगाने के लिए किया गया था कि पोस्ट को लाभ होगा।
• 2016 में, VVZ का लक्ष्य (शायद आप परिचित हैं), सामाजिक ग्राफ के विश्लेषण के करीब।
• 2019 में - उपयोगकर्ता द्वारा पोस्ट पसंद किए जाने की संभावना द्वारा उपयोगकर्ता के फ़ीड की रैंकिंग।

मैं 2014 के बारे में नहीं कह सकता, लेकिन 2016 और 2019 में डेटा का विश्लेषण करने की क्षमता के अलावा, बड़े डेटा के साथ काम करने में कौशल की भी आवश्यकता थी। मुझे लगता है कि यह मशीन लर्निंग और बड़े डेटा प्रोसेसिंग कार्यों का संयोजन था जिसने मुझे इन प्रतियोगिताओं के लिए आकर्षित किया, और इन क्षेत्रों में अनुभव ने जीतने में मदद की।

mlbootcamp

2019 में, प्रतियोगिता https://mlbootcamp.ru के मंच पर आयोजित की गई थी।

प्रतियोगिता 7 फरवरी से शुरू हुई और इसमें 3 कार्य शामिल थे। हर कोई साइट पर पंजीकरण कर सकता है, आधार रेखा डाउनलोड कर सकता है और कई घंटों तक अपनी कार अपलोड कर सकता है। 15 मार्च को ऑनलाइन चरण के अंत में, प्रत्येक शो के शीर्ष 15 को ऑफ़लाइन चरण के लिए Mail.ru कार्यालय में आमंत्रित किया गया था, जो 30 मार्च से 1 अप्रैल तक हुआ था।

कार्य

स्रोत डेटा उपयोगकर्ता पहचानकर्ता (userId) और पोस्ट पहचानकर्ता (objectId) प्रदान करता है। यदि उपयोगकर्ता को एक पोस्ट दिखाया गया था, तो डेटा में यूजरआईडी, ऑब्जेक्टआईड, इस पोस्ट के लिए उपयोगकर्ता प्रतिक्रिया (प्रतिक्रिया) और चित्रों और ग्रंथों के विभिन्न संकेतों या लिंक का एक सेट शामिल है।

परीक्षण डेटा सेट में एक समान संरचना होती है, लेकिन प्रतिक्रिया फ़ील्ड गायब है। उद्देश्य प्रतिक्रिया क्षेत्र में एक 'पसंद' प्रतिक्रिया की उपस्थिति की भविष्यवाणी करना है।
सबमिट फ़ाइल में निम्न संरचना है:

मीट्रिक - उपयोगकर्ताओं द्वारा औसत आरओसी एयूसी।

डेटा का अधिक विस्तृत विवरण पूर्णता साइट पर पाया जा सकता है। आप परीक्षण और चित्रों सहित डेटा डाउनलोड कर सकते हैं।

ऑनलाइन चरण

ऑनलाइन चरण में, कार्य को 3 भागों में विभाजित किया गया था

• सहयोगात्मक प्रणाली - छवियों और ग्रंथों को छोड़कर सभी संकेत शामिल हैं;
• छवियाँ - केवल छवियों के बारे में जानकारी शामिल है;
• ग्रंथों - केवल ग्रंथों के बारे में जानकारी शामिल है।

ऑफ़लाइन मंच

ऑफ़लाइन चरण में, डेटा में सभी विशेषताएँ शामिल थीं, जबकि पाठ और चित्र विरल थे। डेटासेट में 1.5 गुना अधिक पंक्तियाँ थीं, जिनमें से कई पहले से थीं।

समस्या हल करना

जब से मैं काम पर cv कर रहा हूं, मैंने इस प्रतियोगिता में "छवियाँ" कार्य के साथ अपनी यात्रा शुरू की। जो डेटा प्रदान किया गया था वह userId, objectId, ownerId (पोस्ट पोस्ट प्रकाशित किया गया है), पोस्ट बनाने और प्रदर्शित करने के टाइमस्टैम्प और, निश्चित रूप से, इस पोस्ट के लिए छवि।
टाइमस्टैम्प पर आधारित कई विशेषताओं को उत्पन्न करने के बाद, अगला विचार एक कल्पना-पूर्व-प्रशिक्षित न्यूरॉन की दंडात्मक परत को लेना था और इन एम्बेडों को बढ़ावा देने के लिए भेजना था।

परिणाम प्रभावशाली नहीं थे। कल्पनाशील न्यूरॉन से एंबेडिंग अप्रासंगिक हैं, मैंने सोचा, मुझे अपने ऑटो एनकोडर को दर्ज करने की आवश्यकता है।

इसमें काफी समय लगा और परिणाम में सुधार नहीं हुआ।

फ़ीचर जेनरेशन

छवियों के साथ काम करने में बहुत समय लगता है, और मैंने कुछ सरल करने का फैसला किया।
जैसा कि आप तुरंत देख सकते हैं, डेटासेट में कई स्पष्ट संकेत हैं, और बहुत अधिक परेशान न करने के लिए, मैंने अभी-अभी कैटबॉस्ट लिया। समाधान उत्कृष्ट था, बिना किसी सेटिंग के, मैं तुरंत लीडरबोर्ड की पहली पंक्ति में पहुंच गया।

बहुत सारे डेटा हैं और उन्हें लकड़ी की छत के प्रारूप में रखा गया है, इसलिए दो बार सोचने के बिना, मैंने स्कैला लिया और चिंगारी में सब कुछ लिखना शुरू कर दिया।

सबसे सरल विशेषताएं, जिन्होंने छवि एम्बेडिंग की तुलना में अधिक वृद्धि दी:

• कितनी बार objectId, userId और ownerId डेटा में मिले (लोकप्रियता के साथ सहसंबंध होना चाहिए);
• कितने उपयोगकर्ता पोस्ट को स्वामी ने देखा (समूह में उपयोगकर्ता की रुचि के साथ सहसंबंध होना चाहिए);
• कितने अनूठे userId ने स्वामी के पदों को देखा (समूह के दर्शकों के आकार को दर्शाता है)।

टाइमस्टैम्प से उस दिन का समय प्राप्त करना संभव था जिस पर उपयोगकर्ता ने टेप देखा (सुबह / दिन / शाम / रात)। इन श्रेणियों को मिलाकर, आप विशेषताएं उत्पन्न करना जारी रख सकते हैं:

• कितनी बार userId ने शाम को लॉग इन किया;
• किस समय यह पोस्ट अक्सर दिखाई जाती है (ऑब्जेक्टआईड) और इसी तरह।

यह सब धीरे-धीरे मीट्रिक में सुधार हुआ। लेकिन प्रशिक्षण डेटासेट का आकार लगभग 20M रिकॉर्ड है, इसलिए सुविधाओं को जोड़ना सीखने को बहुत धीमा कर देता है।

मैंने डेटा उपयोग दृष्टिकोण को फिर से परिभाषित किया। यद्यपि डेटा समय-निर्भर है, मैंने भविष्य में कोई स्पष्ट जानकारी लीक नहीं देखी है, फिर भी, बस मामले में, मैंने इस तरह से तोड़ दिया:

हमें प्रदान किया गया प्रशिक्षण सेट (फरवरी और मार्च के 2 सप्ताह) 2 भागों में विभाजित किया गया था।
आखिरी एन दिनों के आंकड़ों पर उन्होंने मॉडल को प्रशिक्षित किया। ऊपर वर्णित एकत्रीकरण परीक्षण सहित सभी डेटा पर बनाए गए थे। उसी समय, डेटा दिखाई दिया जिस पर लक्ष्य चर के विभिन्न एन्कोडर का निर्माण किया जा सकता है। सबसे सरल दृष्टिकोण उस कोड का पुन: उपयोग करना है जो पहले से ही नई सुविधाओं का निर्माण कर रहा है, और बस इसे डेटा प्रदान करता है जो प्रशिक्षित नहीं होगा और लक्ष्य 1 = होगा।

इस प्रकार, हमें समान सुविधाएँ मिलीं:

• कितनी बार userId ने ownerId ग्रुप में पोस्ट देखी है;
• कितनी बार userId ने स्वामी को पोस्ट पसंद किया;
• उन पोस्ट का प्रतिशत जो userId को पसंद है

यही है, यह स्पष्ट विशेषताओं के विभिन्न संयोजनों के अनुसार डेटासेट की ओर से औसत लक्ष्य एन्कोडिंग निकला। सिद्धांत रूप में, कैटबॉस्ट भी लक्ष्य एन्कोडिंग का निर्माण करता है, और इस दृष्टिकोण से कोई लाभ नहीं है, लेकिन, उदाहरण के लिए, इस समूह में पोस्ट पसंद करने वाले अद्वितीय उपयोगकर्ताओं की संख्या की गणना करना संभव हो गया। उसी समय, मुख्य लक्ष्य हासिल किया गया था - मेरे डेटासेट में कई बार कमी आई, और यह संभव है कि जेनरेटिंग फीचर्स को जारी रखा जाए।

जबकि कैटबॉस्ट केवल पसंद प्रतिक्रिया के अनुसार एन्कोडर्स का निर्माण कर सकता है, फीडबैक में अन्य प्रतिक्रियाएं हैं: पुनः साझा, नापसंद, अवांछित, क्लिक किए गए, उपेक्षित, जो मैन्युअल रूप से किए जा सकते हैं। मैंने सभी प्रकार के समुच्चय की पुनरावृत्ति की और कम महत्व के साथ सुविधाओं को बाहर निकाला, ताकि डेटासेट को न बढ़ाया जाए।

उस समय तक मैं व्यापक अंतर से पहले स्थान पर था। एकमात्र शर्मिंदगी यह थी कि छवियों का एम्बेडिंग लगभग लाभ नहीं देता था। सब कुछ कैटोबोस्ट को देने का विचार आया। क्लस्टर कोण चित्र और एक नया श्रेणीबद्ध चित्र प्राप्त करें।

केमियंस से प्राप्त क्लस्टर को मैन्युअल रूप से फ़िल्टर करने और मर्ज करने के बाद यहां कुछ कक्षाएं हैं।

ImageCat के आधार पर हम उत्पन्न करते हैं:

• नई श्रेणीगत विशेषताएं:
  
  • क्या ImageCat सबसे अधिक बार देखा userId;
  • कौन सा इमेजकैट सबसे अधिक बार स्वामी द्वारा दिखाया गया है;
  • कौन सा इमेजकैट सबसे अधिक बार पसंद किया जाता है userId;
• विभिन्न काउंटर:
  
  • कितने अनोखे इमेजकट ने देखा userId;
  • जैसा कि ऊपर बताया गया है, लगभग 15 समान सुविधाएं प्लस लक्ष्य एन्कोडिंग हैं।

ग्रंथों

छवि प्रतियोगिता के परिणाम मेरे अनुकूल थे और मैंने खुद को ग्रंथों में आज़माने का फैसला किया। पहले, मैंने ग्रंथों के साथ ज्यादा काम नहीं किया और, मूर्खता से, मैंने tf-idf और svd पर एक दिन मार डाला। तब मैंने doc2vec के साथ एक आधार रेखा देखी, जो कि मुझे बस जरूरत है। Doc2vec के मापदंडों को थोड़ा समायोजित करने के बाद, मुझे टेक्स्ट एम्बेडिंग प्राप्त हुई।

और फिर उसने बस छवियों के लिए कोड का पुन: उपयोग किया, जिसमें उसने छवि को टेक्स्ट एम्बेडिंग के साथ बदल दिया। परिणामस्वरूप, मुझे पाठ प्रतियोगिता में दूसरा स्थान मिला।

सहयोगात्मक प्रणाली

केवल एक प्रतियोगिता थी जिसमें मैंने अभी तक "छड़ी नहीं ली थी", लेकिन लीडरबोर्ड पर एयूसी द्वारा निर्णय लेते हुए, इस विशेष प्रतियोगिता के परिणामों का ऑफ़लाइन मंच पर सबसे अधिक प्रभाव होना चाहिए था।
मैंने उन सभी संकेतों को लिया, जो स्रोत डेटा में थे, श्रेणीबद्ध लोगों का चयन किया और छवियों के लिए समान एग्रीगेट्स की गणना की, छवियों से सुविधाओं को छोड़कर। बस इसे कैटबॉस्ट में डालकर, मैं 2 वें स्थान पर पहुंच गया।

कैटोबोस्ट के अनुकूलन के लिए पहला कदम

एक पहले और दो दूसरे स्थानों ने मुझे प्रसन्न किया, लेकिन एक समझ यह थी कि मैंने कुछ विशेष नहीं किया है, जिसका अर्थ है कि हम स्थिति की हानि की उम्मीद कर सकते हैं।

प्रतियोगिता का कार्य उपयोगकर्ता के ढांचे के भीतर पदों को रैंक करना है, और इस बार मैं वर्गीकरण समस्या को हल कर रहा हूं, अर्थात, मैंने गलत मीट्रिक को अनुकूलित किया है।

मैं एक सरल उदाहरण दूंगा:

हम एक छोटे क्रमपरिवर्तन करते हैं

हमें निम्न परिणाम मिलते हैं:

जैसा कि आप देख सकते हैं, समग्र एयूसी मीट्रिक में सुधार का मतलब उपयोगकर्ता के भीतर औसत एयूसी मीट्रिक में सुधार नहीं है।

कैटबॉस्ट बॉक्स से बाहर रैंकिंग मेट्रिक्स का अनुकूलन कर सकता है । मैं कैटबॉस्ट का उपयोग करते समय रैंकिंग मेट्रिक्स, सफलता की कहानियों के बारे में पढ़ता हूं और रात के लिए अध्ययन करने के लिए यतिरैंकपेयरवाइज सेट करता हूं। परिणाम प्रभावशाली नहीं था। यह तय करने के बाद कि मैंने अच्छी तरह से नहीं सीखा है, मैंने त्रुटि फ़ंक्शन को QueryRMSE में बदल दिया, जो कि कैटबॉस्ट के प्रलेखन द्वारा देखते हुए, तेजी से परिवर्तित होता है। नतीजतन, मुझे वर्गीकरण के लिए प्रशिक्षण के दौरान समान परिणाम मिले, लेकिन इन दो मॉडलों के पहनावाओं ने अच्छी वृद्धि दी, जिससे मुझे सभी तीन प्रतियोगिताओं में पहले स्थान पर लाया गया।

सहयोगात्मक प्रणाली प्रतियोगिता में ऑनलाइन चरण के समापन से 5 मिनट पहले, सेर्गेई शल्नोव मुझे दूसरे स्थान पर ले गया। आगे का रास्ता हम साथ साथ गए।

ऑफ़लाइन चरण के लिए तैयारी कर रहा है

ऑनलाइन चरण में जीत हमें RTX 2080 TI वीडियो कार्ड की गारंटी थी, लेकिन 300,000 रूबल के मुख्य पुरस्कार और, बल्कि, यहां तक ​​कि अंतिम प्रथम स्थान ने हमें इन 2 हफ्तों में काम करने के लिए मजबूर किया।

जैसा कि यह निकला, सर्गेई ने कैटबॉस्ट का भी इस्तेमाल किया। हमने विचारों और सुविधाओं का आदान-प्रदान किया, और मुझे अन्ना वेरोनिका डोरोगुश की रिपोर्ट के बारे में पता चला, जिसमें मेरे कई सवालों के जवाब थे, और यहां तक ​​कि उन लोगों के लिए जो मुझे अभी तक दिखाई नहीं दिए थे।

रिपोर्ट देखने से मुझे इस विचार का सामना करना पड़ा कि हमें डिफ़ॉल्ट मान के लिए सभी मापदंडों को वापस करने की जरूरत है, और सेटिंग्स को बहुत सावधानी से और केवल संकेतों के एक सेट को ठीक करने के बाद। अब, एक प्रशिक्षण में लगभग 15 घंटे लग गए, लेकिन एक मॉडल ने रैंकिंग के साथ पहनावा में गति को बेहतर बनाने में कामयाबी हासिल की।

फ़ीचर जेनरेशन

"सहयोगात्मक प्रणाली" प्रतियोगिता में बड़ी संख्या में सुविधाओं का मूल्यांकन मॉडल के लिए महत्वपूर्ण है। उदाहरण के लिए, audweights_spark_svd सबसे महत्वपूर्ण विशेषता है, और इसके बारे में कोई जानकारी नहीं है कि इसका क्या अर्थ है। मुझे लगा कि यह महत्वपूर्ण संकेतों के आधार पर विभिन्न इकाइयों की गिनती के लायक है। उदाहरण के लिए, औसत ऑडिटवेट्स_स्पार्क_एसवीडी प्रति उपयोगकर्ता, प्रति समूह, प्रति वस्तु। उसी डेटा से गणना की जा सकती है जिस पर प्रशिक्षण नहीं किया गया है और लक्ष्य 1 =, यानी औसत ऑडिटवेट्स_स्पार्क_एसवीडी प्रति उपयोगकर्ता जिसे वह पसंद करता है। ऑडिटवाइट्स_स्पार्क_सर्व के अलावा कई महत्वपूर्ण संकेत थे। यहाँ उनमें से कुछ हैं:

• auditweightsCtrGender
• auditweightsCtrHigh
• userOwnerCounterCreateLikes

उदाहरण के लिए, userId द्वारा ऑडिटवेट्सचट्रगेंडर का औसत मूल्य एक महत्वपूर्ण विशेषता है, साथ ही userIwnerCounterCreateLikes का औसत मान userId + ownerId द्वारा दिया गया है। इससे हमें यह सोचना चाहिए था कि खेतों का अर्थ कैसे समझा जाए।

अन्य महत्वपूर्ण विशेषताएं ऑडिटवेट्स लाइकस और ऑडवेइट्सशोस्काउंट थे। एक को दूसरे में विभाजित करना, एक और भी महत्वपूर्ण विशेषता प्राप्त की गई थी।

डेटा लीक

प्रतियोगिता और उत्पादन मॉडल बहुत अलग कार्य हैं। डेटा तैयार करते समय, सभी विवरणों को ध्यान में रखना और परीक्षण पर लक्ष्य चर के बारे में कुछ गैर-तुच्छ जानकारी स्थानांतरित नहीं करना बहुत मुश्किल है। यदि हम उत्पादन समाधान बनाते हैं, तो हम मॉडल का प्रशिक्षण देते समय डेटा लीक के उपयोग से बचने की कोशिश करेंगे। लेकिन अगर हम प्रतियोगिता जीतना चाहते हैं, तो डेटा लीक सबसे अच्छी विशेषताएं हैं।

डेटा की जांच करने के बाद, आप देख सकते हैं कि objectId के अनुसार, audweightsLikesCount और audweightsShowsCount के मान बदलते हैं, जिसका अर्थ है कि इन संकेतों के अधिकतम मूल्यों का अनुपात प्रसव के समय अनुपात से बेहतर पोस्ट रूपांतरण को प्रतिबिंबित करेगा।

हमें जो पहली लीक मिली, वह ऑडिटवाइटसलाइकसाउंटमैक्स / ऑडिटवाइटशोस्काउंटमैक्स थी ।
लेकिन क्या होगा अगर आप डेटा को अधिक बारीकी से देखते हैं? वितरण तिथि के अनुसार क्रमबद्ध करें और प्राप्त करें:

जब मैंने इस तरह का पहला उदाहरण पाया तो यह आश्चर्य की बात थी और मेरी भविष्यवाणी सच नहीं हुई। लेकिन, इस तथ्य को देखते हुए कि वस्तु के ढांचे के भीतर इन संकेतों के अधिकतम मूल्यों में वृद्धि हुई है, हम बहुत आलसी नहीं थे और ऑडिटवॉइट्सशॉउनक् नेक्स्ट और आडिटवेइट्स लाइकसकाउंटरनेक्स्ट को खोजने का फैसला किया, जो कि, अगले समय में मूल्य हैं। जोड़ने की सुविधा
(audweightsShowsCountNext-audweightsShowsCount) / (audweightsLikesCount-AudweightsLikesCountNext) हमने घड़ी के चारों ओर एक तेज छलांग लगाई।
यदि उपयोगकर्ता के लिए userId + ownerId के भीतर userOwnerCounterCreateLikes के लिए निम्न मान पाए गए थे और उदाहरण के लिए, इसी तरह के लीक का उपयोग किया जा सकता है, उदाहरण के लिए, objectIdCtrGender में objectId + userGender। हमने लीक के साथ 6 समान क्षेत्र पाए और जितना संभव हो सके उनसे जानकारी खींची।

उस समय तक, हमने सहयोगी विशेषताओं से अधिकतम जानकारी निचोड़ ली थी, लेकिन छवियों और ग्रंथों के प्रतियोगिता में वापस नहीं आए। जाँच करने के लिए एक महान विचार था: संबंधित प्रतियोगिताओं में छवियों या ग्रंथों पर सीधे कितनी सुविधाएँ दी जाती हैं?

छवियों और ग्रंथों के लिए प्रतियोगिताओं में कोई लीक नहीं थे, लेकिन उस समय तक मैंने कैटबॉस्ट के डिफ़ॉल्ट मापदंडों को वापस कर दिया था, कोड को कंघी किया और कुछ विशेषताएं जोड़ीं। कुल परिणाम:

यह स्पष्ट हो गया कि बहुत सारे ग्रंथों और छवियों को निचोड़ने की संभावना नहीं थी, और सबसे दिलचस्प विचारों के एक जोड़े की कोशिश करने के बाद, हमने उनके साथ काम करना बंद कर दिया।

सहयोगी प्रणालियों में सुविधाओं की आगे की पीढ़ी ने विकास नहीं दिया, और हमने रैंकिंग शुरू की। ऑनलाइन चरण में, वर्गीकरण और रैंकिंग के कलाकारों की टुकड़ी ने मुझे एक छोटी सी वृद्धि दी, क्योंकि यह निकला क्योंकि मेरे पास प्रशिक्षित प्रशिक्षण था। यतिरालप्रेयर वाइज सहित कोई भी त्रुटि कार्य, यहां तक ​​कि करीबी परिणाम भी दिए जो लॉगलॉस ने दिए (0.725 के खिलाफ 0.745)। QueryCrossEntropy के लिए आशा की गई थी जिसे लॉन्च नहीं किया जा सका।

ऑफ़लाइन मंच

ऑफ़लाइन चरण में, डेटा संरचना समान बनी हुई है, लेकिन छोटे परिवर्तन हुए हैं:

• पहचानकर्ता userId, objectId, ownerId को पुन: यादृच्छिक किया गया है;
• कई संकेतों को हटा दिया गया था और कई का नाम बदल दिया गया था;
• डेटा लगभग 1.5 गुना अधिक हो गया है।

सूचीबद्ध कठिनाइयों के अलावा, एक बड़ा प्लस था: टीम के लिए RTX 2080TI के साथ एक बड़ा सर्वर आवंटित किया गया था। मैंने लंबे समय तक आनंद लिया।

विचार एक था - सिर्फ पहले से ही जो है उसे पुन: उत्पन्न करने के लिए। सर्वर पर पर्यावरण स्थापित करने में कुछ घंटे बिताने के बाद, हमने धीरे-धीरे यह सत्यापित करना शुरू किया कि परिणाम पुन: पेश किए जा रहे हैं। मुख्य समस्या जिसका हम सामना कर रहे हैं वह है डेटा वॉल्यूम में वृद्धि। हमने लोड को थोड़ा कम करने और पैरामीटर catboost ctr_complexity = 1 सेट करने का निर्णय लिया। यह गति थोड़ी कम करता है, लेकिन मेरे मॉडल ने काम करना शुरू कर दिया, परिणाम अच्छा था - 0.733। सर्जी, मेरे विपरीत, डेटा को 2 भागों में नहीं तोड़ते थे और सभी डेटा पर प्रशिक्षित होते थे, हालांकि इसने ऑनलाइन चरण में सबसे अच्छा परिणाम दिया, ऑफ़लाइन चरण में बहुत मुश्किलें थीं। यदि हम उन सभी सुविधाओं को लेते हैं जो हमने उत्पन्न की हैं और इसे "माथे पर" कैटबॉस्ट में डालने की कोशिश करते हैं, तो ऑनलाइन चरण में कुछ भी नहीं हुआ होगा। सर्गेई ने टाइप ऑप्टिमाइज़ेशन किया, उदाहरण के लिए, फ्लोट64 प्रकार को फ्लोट 32 में परिवर्तित करना। इस लेख में आप पंडों में स्मृति को अनुकूलित करने के बारे में जानकारी पा सकते हैं। नतीजतन, सर्गेई ने सभी डेटा पर सीपीयू को प्रशिक्षित किया और यह लगभग 0.735 निकला।

ये परिणाम जीतने के लिए पर्याप्त थे, लेकिन हमने अपनी वास्तविक गति को छिपा दिया और यह सुनिश्चित नहीं किया जा सकता था कि अन्य टीमें ऐसा नहीं कर रही थीं।

आखिरी तक लड़ाई

ट्यूनिंग कैटबॉस्ट

हमारा समाधान पूरी तरह से पुन: पेश किया गया था, हमने पाठ डेटा और छवियों की सुविधाओं को जोड़ा, इसलिए जो कुछ भी रहा वह कैटबॉस्ट मापदंडों को ट्यून करना था। सेर्गेई ने सीपीयू पर पुनरावृत्तियों की एक छोटी संख्या के साथ अध्ययन किया, और मैंने ctr_complexity = 1 के साथ अध्ययन किया। केवल एक दिन शेष था, और यदि आप केवल पुनरावृत्तियों को जोड़ते हैं या ctr_complexity बढ़ाते हैं, तो सुबह आप और भी बेहतर गति प्राप्त कर सकते हैं, और पूरे दिन चल सकते हैं।

ऑफ़लाइन चरण में, स्कोर को छिपाना बहुत आसान हो सकता है, बस साइट पर सबसे अच्छा समाधान नहीं चुनकर। हमने सबमिशन के बंद होने से पहले आखिरी मिनटों में लीडरबोर्ड में तेज बदलाव की उम्मीद की और रुकने का फैसला नहीं किया।

अन्ना के वीडियो से, मैंने सीखा कि मॉडल की गुणवत्ता में सुधार करने के लिए, निम्नलिखित मापदंडों का चयन करना सबसे अच्छा है:

• Learning_rate - डिफ़ॉल्ट मान की गणना डेटासेट के आकार के आधार पर की जाती है। Learning_rate में कमी के साथ, गुणवत्ता बनाए रखने के लिए पुनरावृत्तियों की संख्या बढ़ाना आवश्यक है।
• l2_leaf_reg - नियमितीकरण गुणांक, 3 का डिफ़ॉल्ट मान, अधिमानतः 2 से 30 तक। मूल्य में कमी से ओवरफिट में वृद्धि होती है।
• bagging_tENS - चयन में वस्तुओं के भार के लिए यादृच्छिककरण जोड़ता है। डिफ़ॉल्ट मान 1 है, जिस पर घातांक का वितरण घातांक वितरण से किया जाता है। मूल्य में कमी से ओवरफिट में वृद्धि होती है।
• random_strength - किसी विशेष पुनरावृत्ति के लिए विभाजन की पसंद को प्रभावित करता है। उच्च random_strength, उच्च कम महत्व के विभाजन का मौका चुना जा रहा है। प्रत्येक बाद के पुनरावृत्ति पर, यादृच्छिकता कम हो जाती है। मूल्य में कमी से ओवरफिट में वृद्धि होती है।

अन्य पैरामीटर अंतिम परिणाम को काफी कम प्रभावित करते हैं, इसलिए मैंने उन्हें चुनने की कोशिश नहीं की। Ctr_complexity = 1 के साथ मेरे GPU डेटासेट पर प्रशिक्षण का एक पुनरावृत्ति 20 मिनट ले लिया, और कम डाटासेट पर चयनित पैरामीटर पूर्ण डेटासेट पर इष्टतम लोगों से थोड़ा अलग थे। नतीजतन, मैंने डेटा के 10% पर लगभग 30 पुनरावृत्तियों को किया, और फिर सभी डेटा पर लगभग 10 पुनरावृत्तियों को। यह लगभग निम्नलिखित निकला:

• मैंने डिफ़ॉल्ट से 40% तक Learning_rate बढ़ाया;
• l2_leaf_reg ने वही छोड़ा;
• बैगिंग_टैंस और रैंडम_स्ट्रक्चर 0.8 तक कम हो गया।

हम यह निष्कर्ष निकाल सकते हैं कि डिफ़ॉल्ट मापदंडों के साथ, मॉडल को प्रशिक्षित किया जाता है।

जब मैंने लीडरबोर्ड पर परिणाम देखा तो मैं बहुत हैरान था:

मैंने अपने लिए निष्कर्ष निकाला है कि यदि आपको मॉडल के त्वरित अनुप्रयोग की आवश्यकता नहीं है, तो मापदंडों के चयन को गैर-अनुकूलित मापदंडों पर कई मॉडल के कलाकारों की टुकड़ी के साथ बदलना बेहतर है।

सर्गेई जीपीयू पर इसे चलाने के लिए डेटासेट के आकार को अनुकूलित करने में लगा हुआ था। — , :

• ( ), ;
• ;
• userId, ;
• userId, .

— .

, 0,742. ctr_complexity=2 30 5 . 4 , , 0,7433.

, , . predict(prediction_type='RawFormulaVal') scale_pos_weight=neg_count/pos_count.

.

. , , , 2 .

• . , Mail.ru, , , .
• , , facebook , .

निष्कर्ष

:

• , target encoding, catboost.
• , , learning_rate iterations. — .
• GPU. Catboost GPU, .
• rsm~=0.2 (CPU only) ctr_complexity=1.
• अन्य टीमों के विपरीत, हमारे मॉडल के कलाकारों की टुकड़ी ने एक बड़ी वृद्धि दी। हमने विचारों का आदान-प्रदान किया और विभिन्न भाषाओं में लिखा। हमारे पास डेटा को विभाजित करने के लिए एक अलग दृष्टिकोण था, और मुझे लगता है कि सभी के पास अपने बग थे।
• यह स्पष्ट नहीं है कि रैंकिंग अनुकूलन के वर्गीकरण अनुकूलन की तुलना में खराब परिणाम क्यों आए।
• मुझे ग्रंथों के साथ थोड़ा अनुभव मिला और यह समझने की सलाह दी गई कि सिफारिश प्रणाली कैसे बनाई जाती है।

आयोजकों को प्राप्त भावनाओं, ज्ञान और पुरस्कार के लिए धन्यवाद।