विषाक्त टिप्पणियों की पहचान और वर्गीकरण। यैंडेक्स में व्याख्यान

सभी आधुनिक मॉडरेशन सिस्टम या तो क्राउडसोर्सिंग या मशीन लर्निंग का उपयोग करते हैं जो पहले से ही एक क्लासिक बन गया है। यैंडेक्स में अगले एमएल प्रशिक्षण में, कोंस्टेंटिन कोटिक, इगोर गाल्टस्की और एलेक्सी नोसकोव ने आक्रामक टिप्पणियों की सामूहिक पहचान के लिए प्रतियोगिता में अपनी भागीदारी के बारे में बात की। प्रतियोगिता कागेल मंच पर आयोजित की गई थी।


- सभी को नमस्कार! मेरा नाम कोंस्टेंटिन कोटिक है, मैं बटन कंपनी ऑफ लाइफ कंपनी में एक भौतिकी वैज्ञानिक हूं, भौतिकी विभाग का छात्र हूं और मॉस्को स्टेट यूनिवर्सिटी के ग्रेजुएट स्कूल ऑफ बिजनेस।

आज, हमारे सहयोगियों, इगोर गैलीट्सकी और एलेक्सी नोसकोव, आपको विषाक्त टिप्पणी वर्गीकरण चैलेंज प्रतियोगिता के बारे में बताएंगे, जिसमें हमारी निर्णय टीम ने 4551 टीमों के बीच 10 वां स्थान हासिल किया।

हमारे लिए महत्वपूर्ण विषयों की एक ऑनलाइन चर्चा मुश्किल हो सकती है। अपमान, आक्रामकता, और उत्पीड़न जो ऑनलाइन होते हैं, अक्सर कई लोगों को उनके हित के मुद्दों पर विभिन्न उचित राय के लिए खोज को छोड़ने के लिए मजबूर करते हैं, खुद को व्यक्त करने से इनकार करते हैं।

कई प्लेटफ़ॉर्म ऑनलाइन प्रभावी ढंग से संवाद करने के लिए संघर्ष करते हैं, लेकिन यह अक्सर कई समुदायों को केवल उपयोगकर्ता टिप्पणियों को बंद करने की ओर जाता है।

ऑनलाइन चर्चा को बेहतर बनाने में मदद करने के लिए Google की एक शोध टीम और दूसरी कंपनी टूल पर काम कर रही है।

जिन ट्रिक्स पर वे ध्यान केंद्रित करते हैं, उनमें से एक नकारात्मक ऑनलाइन व्यवहार जैसे विषाक्त टिप्पणियों की खोज कर रहा है। ये ऐसी टिप्पणियाँ हैं जो अपमानजनक हो सकती हैं, अपमानजनक हो सकती हैं, या बस उपयोगकर्ता को चर्चा छोड़ने के लिए मजबूर कर सकती हैं।

_{^लिंक}

आज तक, इस समूह ने एक सार्वजनिक एपीआई विकसित किया है जो एक टिप्पणी की विषाक्तता की डिग्री निर्धारित कर सकता है, लेकिन उनके वर्तमान मॉडल अभी भी गलतियां करते हैं। और इस प्रतियोगिता में, हम, केगेलर्स को एक मॉडल बनाने के लिए चुनौती दी गई थी जो खतरों, घृणा, अपमान और इस तरह की टिप्पणियों की पहचान करने में सक्षम था। और आदर्श रूप से, इस मॉडल को उनके एपीआई के लिए मौजूदा मॉडल से बेहतर होना आवश्यक था।

हमारे पास टेक्स्ट प्रोसेसिंग का काम है: टिप्पणियों की पहचान करना और फिर वर्गीकृत करना। नमूने के प्रशिक्षण और परीक्षण के रूप में, टिप्पणियाँ विकिपीडिया चर्चा पृष्ठों से प्रदान की गईं। ट्रेन में लगभग 160 हजार टिप्पणियां थीं, परीक्षण में 154 हजार।



प्रशिक्षण नमूना निम्नानुसार चिह्नित किया गया था। प्रत्येक टिप्पणी में छह लेबल हैं। लेबल मान 1 लेता है यदि टिप्पणी में इस प्रकार की विषाक्तता होती है, तो 0 अन्यथा। और यह हो सकता है कि सभी लेबल शून्य हों, एक पर्याप्त कमेंटरी केस। या यह हो सकता है कि एक टिप्पणी में कई प्रकार की विषाक्तता हो, तुरंत एक खतरा और अश्लीलता।

इस तथ्य के कारण कि हम हवा में हैं, मैं इन वर्गों के विशिष्ट उदाहरणों का प्रदर्शन नहीं कर सकता। परीक्षण नमूने के संबंध में, प्रत्येक टिप्पणी के लिए प्रत्येक प्रकार के विषाक्तता की संभावना का अनुमान लगाना आवश्यक था।

गुणवत्ता मीट्रिक आरओसी एयूसी है जो विषाक्तता के प्रकारों पर औसत है, अर्थात प्रत्येक वर्ग के लिए आरओसी एयूसी के अंकगणितीय माध्य अलग-अलग हैं।



यहां प्रशिक्षण सेट में कक्षाओं द्वारा वस्तुओं का वितरण होता है। यह देखा जा सकता है कि डेटा बहुत असंतुलित हैं। मुझे तुरंत कहना होगा कि हमारी टीम ने असंतुलित डेटा के साथ काम करने के तरीकों का एक नमूना बनाया है, उदाहरण के लिए, ओवरसम्पलिंग या अंडरस्लिंग।



मॉडल का निर्माण करते समय, मैंने प्री -प्रोसेसिंग दो-चरण डेटा का उपयोग किया। पहला चरण डेटा का मूल प्रीप्रोसेसिंग है, ये स्लाइड पर दृश्य के रूपांतरण हैं, यह पाठ को लोअरकेस, लिंक, आईपी पते, संख्या और विराम चिह्न को हटा रहा है।



सभी मॉडलों के लिए, इस बुनियादी डेटा प्रीप्रोसेसिंग का उपयोग किया गया था। दूसरे चरण में, डेटा का आंशिक पूर्व-प्रसंस्करण किया गया था - इसी शब्दों के साथ इमोटिकॉन्स को बदलना, संक्षिप्तीकरण करना, अपवित्रता में टाइपो को सही करना, विभिन्न प्रकार के मैट को एक ही रूप में लाना, और छवियों को भी नष्ट करना। कुछ टिप्पणियों में, छवियों के लिंक इंगित किए गए थे, हमने बस उन्हें हटा दिया था।

प्रत्येक मॉडल के लिए, डेटा और उसके विभिन्न तत्वों के आंशिक प्रीप्रोसेसिंग का उपयोग किया गया था। यह सब बेस मॉडल के लिए किया गया था ताकि आगे की रचना का निर्माण करते समय बेस मॉडल के बीच क्रॉस-सहसंबंध को कम किया जा सके।
चलो सबसे दिलचस्प भाग पर चलते हैं - एक मॉडल का निर्माण।

मैंने तुरंत शब्दों के दृष्टिकोण के क्लासिक बैग को छोड़ दिया। इस तथ्य के कारण कि इस दृष्टिकोण में प्रत्येक शब्द एक अलग विशेषता है। यह दृष्टिकोण सामान्य शब्द क्रम को ध्यान में नहीं रखता है, यह माना जाता है कि शब्द स्वतंत्र हैं। इस दृष्टिकोण में, पाठ की पीढ़ी होती है ताकि शब्दों में कुछ वितरण हो, इस वितरण से एक शब्द यादृच्छिक रूप से चुना जाता है और पाठ में डाला जाता है।

बेशक, अधिक जटिल जनरेटिव प्रक्रियाएं हैं, लेकिन सार नहीं बदलता है - यह दृष्टिकोण सामान्य शब्द क्रम को ध्यान में नहीं रखता है। आप एनग्राम में जा सकते हैं, लेकिन केवल शब्दों के विंडो ऑर्डर को ध्यान में रखा जाएगा, और सामान्य नहीं। इसलिए, मैंने अपने टीम के साथियों को भी समझा कि उन्हें कुछ बेहतर करने की आवश्यकता है।

_{^लिंक}

मेरे पास जो पहली स्मार्ट चीज़ आई, वह Doc2vec का उपयोग करके एक वेक्टर प्रतिनिधित्व का उपयोग करना था। यह Word2vec प्लस एक वेक्टर है जो किसी विशेष दस्तावेज़ की विशिष्टता को ध्यान में रखता है। मूल लेख में, इस वेक्टर को आईडी पैराग्राफ कहा जाता है।

फिर, इस तरह के एक वेक्टर प्रतिनिधित्व के अनुसार, लॉजिस्टिक प्रतिगमन का अध्ययन किया गया था, जहां प्रत्येक दस्तावेज़ को 10,000-आयामी वेक्टर द्वारा दर्शाया गया था। गुणवत्ता का मूल्यांकन दस गुना के एक क्रॉस-सत्यापन पर किया गया था, यह स्तरीकृत था, और यह ध्यान रखना महत्वपूर्ण है कि लॉजिस्टिक प्रतिगमन का अध्ययन प्रत्येक वर्ग के लिए किया गया था, छह वर्गीकरण समस्याओं को अलग-अलग हल किया गया था। और अंत में, परिणाम वर्ग द्वारा एक संभावना वितरण था।

लॉजिस्टिक रिग्रेशन को बहुत लंबे समय तक प्रशिक्षित किया गया है। मैं आमतौर पर रैम में फिट नहीं होता था। इगोर की सुविधाओं पर, उन्होंने परिणाम प्राप्त करने के लिए एक दिन कहीं बिताया, जैसे स्लाइड पर। इस कारण से, हमने उच्च उम्मीदों के कारण तुरंत Doc2vec का उपयोग करने से इनकार कर दिया, हालांकि अतिरिक्त डेटा प्रीप्रोसेसिंग के साथ एक टिप्पणी की गई तो इसे 1000 तक सुधार किया जा सकता है।



होशियार है कि हम और अन्य प्रतियोगियों आवर्तक तंत्रिका नेटवर्क थे इस्तेमाल किया। वे क्रमिक रूप से प्रवेश द्वार पर शब्द प्राप्त करते हैं, प्रत्येक शब्द के बाद अपने छिपे हुए राज्य को अपडेट करते हैं। इगोर और मैंने शब्द फास्टटैक्स्ट को एम्बेड करने के लिए जीआरयू आवर्तक नेटवर्क का उपयोग किया, जो इस बात में विशेष है कि यह कई स्वतंत्र बाइनरी वर्गीकरण समस्याओं को हल करता है। स्वतंत्र रूप से संदर्भ शब्द की उपस्थिति या अनुपस्थिति की भविष्यवाणी करें।

हमने दस तह के क्रॉस-वैलिडेशन पर एक गुणवत्ता मूल्यांकन भी किया, यह यहां स्तरीकृत नहीं किया गया था, और यहां संभावना वितरण तुरंत वर्ग द्वारा प्राप्त किया गया था। बाइनरी वर्गीकरण की प्रत्येक समस्या को अलग से हल नहीं किया गया था, लेकिन एक छह-आयामी वेक्टर तुरंत उत्पन्न हुआ था। यह हमारे सर्वश्रेष्ठ एकल मॉडलों में से एक था।

आप पूछते हैं, सफलता का रहस्य क्या था?



इसमें सम्मिश्रण शामिल था, इसमें बहुत सारे थे, दृष्टिकोण में स्टैकिंग और नेटवर्किंग के साथ। नेटवर्किंग दृष्टिकोण को एक निर्देशित ग्राफ के रूप में चित्रित किया जाना चाहिए।



प्रतियोगिता के प्रारंभ में, DecisionGuys टीम में दो लोग शामिल थे। तब ओडीएस स्लैक चैनल में पावेल प्लास्कोव ने इच्छा व्यक्त की कि वह शीर्ष 200 में से किसी के साथ टीम बनाना चाहता है। उस समय हम 157 वें स्थान पर कहीं थे, और 154 वें स्थान पर पावेल प्लास्कोव, कहीं पड़ोस में थे। इगोर ने शामिल होने की अपनी इच्छा पर ध्यान दिया, और मैंने उसे टीम में आमंत्रित किया। फिर एंड्री लिट्विनोव ने हमारे साथ शामिल किया, फिर पावेल ने ग्रैंडमास्टर अलेक्सी नोसकोव को हमारी टीम में आमंत्रित किया। इगोर - यूजीन। और हमारी टीम का अंतिम साथी बल्गेरियाई अटानास एटानासोव था, और यह एक मानव अंतरराष्ट्रीय पहनावा का परिणाम था।

अब इगोर गैलीत्स्की बताएगा कि उसने कैसे सिखाया, और अधिक विस्तार से वह पावेल प्लास्कोकोव, आंद्रेई लिट्विनोव और अटानास अटानासोव के विचारों और दृष्टिकोणों के बारे में बात करेगा।

इगोर गैलिट्स्की:
- मैं एपोच 8 में एक डेटा वैज्ञानिक हूं, और मैं उन अधिकांश आर्किटेक्चर के बारे में बात करूंगा जिनका हमने उपयोग किया था।



यह सभी दो परतों के साथ मानक डिडायरेक्शनल ग्रू के साथ शुरू हुआ, लगभग सभी टीमों ने इसका इस्तेमाल किया, और फास्टटैक्स, ईएल सक्रियण फ़ंक्शन का उपयोग एम्बेडिंग के रूप में किया गया था।

कहने के लिए कुछ भी विशेष नहीं है, साधारण वास्तुकला, बिना तामझाम के। उसने हमें इतने अच्छे परिणाम क्यों दिए, जिसके साथ हम शीर्ष 150 में काफी समय तक रहे? हमारे पास पाठ की अच्छी प्रीप्रोसेसिंग थी। आगे बढ़ना जरूरी था।



पॉल का अपना दृष्टिकोण था। हमारे साथ सम्मिश्रण के बाद, इसने एक महत्वपूर्ण वृद्धि दी। इससे पहले, हम Doc2vec पर ग्रू और मॉडल सम्मिश्रण करते थे, इसने 61 LB दिए।



मैं आपको अटानास अटानासोव के दृष्टिकोण के बारे में बताऊंगा, वह सीधे किसी भी नए लेख के प्रति उत्साही है। यहाँ स्लाइड के साथ सभी मापदंडों पर ध्यान दिया गया है। उनके पास वास्तव में बहुत अच्छा दृष्टिकोण था, लेकिन आखिरी क्षण तक उन्होंने अपने प्रीप्रोसेसिंग का उपयोग किया, और सभी लाभ समतल किए गए। स्लाइड पर गति।



तब एक पदानुक्रमित ध्यान था, इसने और भी बुरे परिणाम दिखाए, क्योंकि शुरू में यह वाक्यों से युक्त दस्तावेजों को वर्गीकृत करने के लिए एक नेटवर्क था। उसने इसे खराब कर दिया, लेकिन दृष्टिकोण बहुत नहीं है।

_{^लिंक}

एक दिलचस्प दृष्टिकोण था, हम शुरुआत से और अंत से प्रस्ताव से सुविधाएँ प्राप्त कर सकते हैं। कनवल्शन, कनफ्यूजनियल लेयर्स की मदद से हमें पेड़ के बाईं और दाईं ओर अलग से फीचर मिलते हैं। यह वाक्य की शुरुआत और अंत से होता है, फिर वे विलीन हो जाते हैं और फिर से भीषण रूप से चलते हैं।



इसके अलावा ध्यान ब्लॉक के साथ द्वि-जीआरयू। यह निजी पर सबसे अच्छा में से एक है एक काफी गहरा नेटवर्क था, अच्छे परिणाम दिखाए।



अगला दृष्टिकोण जितना संभव हो सुविधाओं को उजागर करना है? आवर्तक नेटवर्क की परत के बाद, हम तीन और अधिक समानांतर परतें बनाते हैं। और यहां हमने इतने लंबे वाक्यों को नहीं लिया, उन्हें 250 तक काट दिया, लेकिन तीन दृढ़ संकल्पों के कारण इसने अच्छा परिणाम दिया।

_{^लिंक}

यह सबसे गहरा नेटवर्क था। जैसा कि अतनास ने कहा, वह सिर्फ कुछ बड़ा और दिलचस्प सिखाना चाहते थे। एक साधारण दृढ़ ग्रिड जो पाठ सुविधाओं से सीखा, परिणाम कुछ खास नहीं हैं।

_{^लिंक}

यह एक बल्कि दिलचस्प नया दृष्टिकोण है, 2017 में इस विषय पर एक लेख था, इसका उपयोग इमेजनेट के लिए किया गया था, और वहां इसने हमें पिछले परिणाम में 25% तक सुधार करने की अनुमति दी। इसकी मुख्य विशेषता यह है कि एक छोटी परत को कन्वेक्शन ब्लॉक के समानांतर लॉन्च किया जाता है, जो इस ब्लॉक में प्रत्येक कनवल्शन के लिए वेट सिखाता है। सजा काटने के बावजूद उसने बहुत अच्छा तरीका दिया।

समस्या यह है कि इन कार्यों में वाक्यों की अधिकतम लंबाई 1,500 शब्दों तक पहुंच गई, बहुत बड़ी टिप्पणियां थीं। अन्य टीमों के भी विचार थे कि इस बड़े प्रस्ताव को कैसे पकड़ा जाए, कैसे पाया जाए, क्योंकि सब कुछ बहुत धक्का नहीं है। और कई ने कहा कि वाक्य के अंत में एक बहुत ही महत्वपूर्ण इन्फैटा था। दुर्भाग्य से, इन सभी दृष्टिकोणों में, इस पर ध्यान नहीं दिया गया था, क्योंकि शुरुआत की गई थी। शायद यह एक और वृद्धि देगा।

_{^लिंक}

यहाँ AC-BLSTM आर्किटेक्चर है। लब्बोलुआब यह है कि अगर ध्यान के अलावा, दो हिस्सों में निचला विभाजन चतुर खींच रहा है, लेकिन समानांतर में अभी भी सामान्य है, और यह सब संक्षिप्त है। साथ ही अच्छे परिणाम भी।



और अटानास ने अपने मॉडलों के पूरे चिड़ियाघर को, फिर शांत मिश्रण था। स्वयं मॉडल के अलावा, मैंने कुछ पाठ सुविधाएँ, आमतौर पर लंबाई, बड़े अक्षरों की संख्या, बुरे शब्दों की संख्या, वर्णों की संख्या, यह सब जोड़ा। पांच तह के क्रॉस-सत्यापन, और निजी एलबी 0.9867 पर उत्कृष्ट परिणाम मिले।

_{^लिंक}

और दूसरा दृष्टिकोण, उन्होंने एक अलग एम्बेडिंग के साथ पढ़ाया, लेकिन परिणाम बदतर थे। अधिकतर सभी ने फास्टटेक्स्ट का इस्तेमाल किया।

मैं अपने अन्य सहयोगी आंद्रेई के दृष्टिकोण के बारे में बात करना चाहता था, ओडीएस में लाओल उपनाम के साथ। उसने बहुत सारी सार्वजनिक गुठली सिखाई, उसने उन्हें पी लिया जैसे कि वह खुद से बाहर हो, और इससे वास्तव में बहुत अच्छे परिणाम मिले। आप यह सब नहीं कर सकते हैं, लेकिन बस अलग-अलग सार्वजनिक कर्नेल का एक गुच्छा लें, यहां तक ​​कि tf-idf पर, सभी प्रकार की भीषण सजाएँ हैं।

_{^लिंक}

उनके पास एक सबसे अच्छा तरीका था, जिसके साथ हम शीर्ष 15 में लंबे समय तक रहे, जब तक एलेक्सी और एटानास हमारे साथ नहीं हो गए, उन्होंने इस सभी के सम्मिश्रण और स्टैकिंग को जोड़ दिया। और एक बहुत अच्छा क्षण भी, जो, जैसा कि मैं इसे समझता हूं, टीमों में से कोई भी इस्तेमाल नहीं किया, हमने तब आयोजकों एपीआई के परिणामों से भी विशेषताएं बनाईं। इसके बारे में आगे एलेक्स को बताएं।

एलेक्सी नोसकोव:
- हाय। मैं आपको उस दृष्टिकोण के बारे में बताता हूँ जो मैंने उपयोग किया था, और हमने इसे कैसे पूरा किया।



मेरे लिए सब कुछ काफी सरल था: क्रॉस-सत्यापन के 10 तह, विभिन्न प्रीप्रोसेसिंग के साथ अलग-अलग वैक्टरों पर पूर्व-प्रशिक्षित मॉडल, ताकि वे पहनावा में अधिक विविधता, थोड़ा वृद्धि और दो विकास चक्र हो। पहले वाले, जो मूल रूप से शुरुआत में काम करते थे, एक निश्चित संख्या में मॉडल को प्रशिक्षित करते थे, क्रॉस-वैलिडेशन त्रुटियों को देखते थे, यह स्पष्ट त्रुटि क्या उदाहरण देता है, और इसके आधार पर प्रीप्रोसेसिंग को ठीक किया, क्योंकि यह उन्हें ठीक करने के तरीके के बारे में अधिक स्पष्ट है।

और दूसरा दृष्टिकोण, जिसका अंत में अधिक उपयोग किया गया था, ने कुछ मॉडलों के सेट को सिखाया, सहसंबंधों को देखा, उन मॉडलों के ब्लॉकों को पाया जो कमजोर रूप से एक दूसरे के साथ सहसंबंधित हैं, उनमें से मिलकर भाग को मजबूत किया। यह मेरे मॉडल के बीच क्रॉस-मान्यता सहसंबंध मैट्रिक्स है।



यह देखा जा सकता है कि कुछ स्थानों पर इसकी ब्लॉक संरचना है, जबकि कुछ मॉडल अच्छी गुणवत्ता के थे, वे दूसरों के साथ कमजोर रूप से सहसंबद्ध थे, और बहुत अच्छे परिणाम प्राप्त हुए जब मैंने इन मॉडलों को एक आधार के रूप में लिया, उन्हें कई अलग-अलग विविधताएं सिखाईं जो अलग-अलग हैं हाइपरपरमेटर्स या प्रीप्रोसेसिंग, और फिर पहनावा में जोड़ा गया।

_{^लिंक}

वृद्धि के लिए, विचार जो कि मंच पर पावेल ओस्तियाकोव द्वारा प्रकाशित किया गया था, सबसे छिड़ गया। यह इस तथ्य में शामिल था कि हम एक टिप्पणी ले सकते हैं, इसे किसी अन्य भाषा में अनुवाद कर सकते हैं, और फिर वापस कर सकते हैं। दोहरे अनुवाद के परिणामस्वरूप, एक सुधार प्राप्त किया जाता है, कुछ खो जाता है, लेकिन पूरे पर एक समान थोड़ा अलग पाठ प्राप्त होता है, जिसे वर्गीकृत भी किया जा सकता है और जिससे डेटासेट का विस्तार हो सकता है।

और दूसरा दृष्टिकोण, जिसने इतनी मदद नहीं की, लेकिन यह भी मदद की, कि आप दो मनमानी टिप्पणियां लेने की कोशिश कर सकते हैं, आमतौर पर बहुत लंबे समय तक नहीं, उन्हें गोंद करें और लक्ष्य पर एक लेबल के रूप में ले जाएं या थोड़ा सा उत्साह का एक संयोजन है। उनमें एक लेबल था।

इन दोनों दृष्टिकोणों ने अच्छी तरह से काम किया अगर वे पूरे सेट सेट के लिए अग्रिम रूप से लागू नहीं किए गए थे, लेकिन उन उदाहरणों के सेट को बदलने के लिए जिनमें हर युग में वृद्धि लागू की जानी चाहिए। प्रत्येक युग में एक बैच बनाने की प्रक्रिया में, हम चुनते हैं, कहते हैं, 30% उदाहरण हैं कि यह अनुवाद के माध्यम से चलता है। बल्कि, अग्रिम में, कहीं न कहीं समानांतर झूठ पहले से ही स्मृति में है, हम बस इसके आधार पर अनुवाद के लिए संस्करण का चयन करते हैं, और इसके प्रशिक्षण के दौरान इसे बैच में जोड़ते हैं।

_{^{पहला लिंक , दूसरा लिंक}}

एक दिलचस्प अंतर बीपीई में प्रशिक्षित मॉडल था। एक सेंटेंसपाइज़र है - एक Google टोकनर, जो आपको टोकन में विभाजित करने की अनुमति देता है जिसमें कोई भी यूएनके नहीं होगा। एक सीमित शब्दकोश जिसमें किसी भी स्ट्रिंग को कुछ टोकन में तोड़ दिया जाता है। यदि वास्तविक पाठ में शब्दों की संख्या शब्दकोश के लक्ष्य आकार से बड़ी है, तो वे छोटे टुकड़ों में टूटने लगते हैं, और चरित्र स्तर और शब्द स्तर मॉडल के बीच एक मध्यवर्ती दृष्टिकोण प्राप्त होता है।

दो मुख्य निर्माण एल्गोरिदम वहां उपयोग किए जाते हैं: बीपीई और यूनिग्राम। BPE एल्गोरिथ्म के लिए, नेटवर्क में प्री-ट्रेडमार्क किए गए एम्बेडिंग को ढूंढना काफी आसान था, और कुछ निश्चित शब्दावली के साथ - मेरे पास केवल एक अच्छी 50k शब्दावली थी - मैं उन मॉडलों को भी प्रशिक्षित कर सकता था जो एक अच्छा (अश्रव्य - लगभग) एड।), थोड़ा खराब था। फास्टटैक्स पर सामान्य से अधिक, लेकिन वे सभी अन्य लोगों के साथ बहुत कमजोर रूप से सहसंबद्ध थे और एक अच्छा बढ़ावा दिया।



यह एक क्लासिक स्टैकिंग योजना है। मैं, एक नियम के रूप में, संयोजन से पहले अधिकांश प्रतियोगिता के लिए अपने सभी मॉडलों को बिना वजन के मिश्रण करता था। इसने सर्वोत्तम परिणाम दिए। लेकिन विलय के बाद, मैं थोड़ी अधिक जटिल योजना प्राप्त करने में सक्षम था, जिसने अंत में एक अच्छा बढ़ावा दिया।



मेरे पास बड़ी संख्या में मॉडल थे। बस उन्हें किसी तरह के स्टेकर में फेंक दें? यह बहुत अच्छी तरह से काम नहीं करता था, वह पीछे हट गया, लेकिन चूंकि मॉडल ऐसे समूह थे जो काफी मजबूती से सहसंबद्ध थे, इसलिए मैंने उन्हें इन समूहों में एकजुट किया, प्रत्येक समूह के भीतर मैंने औसत रूप से बहुत ही समान मॉडल के 5-7 समूह प्राप्त किए, जिसमें से सुविधाओं के लिए अगले स्तर में औसत मूल्यों का उपयोग किया गया। मैंने इस पर लाइट जीबीएम को प्रशिक्षित किया, विभिन्न नमूनों के साथ 20 लॉन्च किए, जो कि एटानास के समान मेटा-कार्यक्षमता का एक सा अपलोड किया और अंत में यह सरल औसत से अधिक कुछ बढ़ावा देते हुए काम करना शुरू कर दिया।

_{^लिंक}

सबसे अधिक, मैंने एपीआई को जोड़ा जो आंद्रेई को मिला और जिसमें समान सेट का लेबल था। आयोजकों ने शुरू में उनके लिए मॉडल बनाए। चूंकि यह मूल रूप से अलग था, प्रतिभागियों ने इसका उपयोग नहीं किया, बस इसे उन लोगों के साथ तुलना करना असंभव था जिनकी हमें भविष्यवाणी करने की आवश्यकता थी। लेकिन अगर यह मेटा-फीचर के रूप में एक अच्छी तरह से काम कर रहे स्टैकिंग में खुद को फेंक देता है, तो यह एक अद्भुत बढ़ावा देगा, विशेष रूप से TOXIC वर्ग में, जो, जाहिर है, लीडरबोर्ड पर सबसे कठिन था, और हमें अंत में कई स्थानों पर कूदने की अनुमति दी, शाब्दिक रूप से अंतिम दिन। ।



चूंकि हमने पाया है कि स्टैकिंग और एपीआई ने हमारे लिए इतनी अच्छी तरह से काम किया, अंतिम प्रस्तुतियाँ से पहले, हमें इस बारे में थोड़ा संदेह था कि यह निजी रूप से कितनी अच्छी तरह चित्रित किया जाएगा। इसने बहुत संदेह से काम किया, इसलिए हमने निम्नलिखित सिद्धांत के अनुसार दो सबमिशन चुने: एक - बिना एपीआई वाला मॉडल का मिश्रण जो इससे पहले प्राप्त किया गया था, साथ ही एपीआई से मेटाफ़िज़िक्स के साथ स्टैकिंग। यहाँ यह सार्वजनिक पर 0.9880 और निजी पर 0.9874 निकला। यहाँ मेरे निशान उलझन में हैं।



और दूसरा एक एपीआई के बिना मॉडल का एक मिश्रण है, स्टैकिंग का उपयोग किए बिना और लाइट जीबीएम का उपयोग किए बिना, क्योंकि डर था कि यह सार्वजनिक रूप से किसी तरह का मामूली छंटनी था, और हम इसके साथ उड़ सकते थे। ऐसा हुआ, उन्होंने उड़ान नहीं भरी, और परिणामस्वरूप, निजी पर 0.9876 के परिणाम के साथ हमें दसवां स्थान मिला। वह सब है।