Habré पर मशीन सीखने की प्रतियोगिता के विषय को जारी रखते हुए, हम पाठकों को दो और प्लेटफार्मों से परिचित कराना चाहते हैं। वे निश्चित रूप से केगल के रूप में विशाल नहीं हैं, लेकिन वे निश्चित रूप से ध्यान देने योग्य हैं।

व्यक्तिगत रूप से, मुझे कई कारणों से बहुत ज्यादा पसंद नहीं है:

• सबसे पहले, प्रतियोगिताओं अक्सर कई महीनों तक चलती हैं, और सक्रिय भागीदारी के लिए बहुत प्रयास करना पड़ता है;
• दूसरी बात, सार्वजनिक कर्नेल (सार्वजनिक समाधान)। कागल के अनुयायी उन्हें तिब्बती भिक्षुओं के साथ शांत रहने की सलाह देते हैं, लेकिन वास्तव में यह काफी शर्म की बात है जब आप एक या दो महीने के लिए अचानक चले गए तो सभी के लिए एक योजना बनाई गई थी।

सौभाग्य से, मशीन सीखने की प्रतियोगिताओं को अन्य प्लेटफार्मों पर आयोजित किया जाता है, और ऐसी कुछ प्रतियोगिताओं पर चर्चा की जाएगी।

IDAO। पहला चरण

कार्य उनकी विशेषताओं के अनुसार म्यूऑन / गैर-म्यूऑन कणों को वर्गीकृत करना था। इस कार्य की एक प्रमुख विशेषता प्रशिक्षण डेटा में एक भार स्तंभ की उपस्थिति थी, जिसे आयोजकों ने स्वयं इस पंक्ति के उत्तर में विश्वास के रूप में व्याख्या की थी। समस्या यह थी कि काफी कुछ लाइनों में नकारात्मक भार थे।

एक संकेत के साथ लाइन पर कुछ मिनटों के लिए सोचने के बाद (संकेत ने केवल वजन स्तंभ की इस विशेषता पर ध्यान आकर्षित किया) और इस ग्राफ का निर्माण करते हुए, हमने 3 विकल्पों की जांच करने का निर्णय लिया:

1) नकारात्मक वजन (और वजन, क्रमशः) के साथ पंक्तियों के लिए लक्ष्य को उल्टा करें
2) भार को न्यूनतम मूल्य पर स्थानांतरित करें, ताकि वे 0 से शुरू हों
3) पंक्तियों के लिए वज़न का उपयोग न करें

तीसरा विकल्प सबसे खराब निकला, लेकिन पहले दो ने परिणाम में सुधार किया, सबसे अच्छा विकल्प नंबर 1 था, जिसने हमें पहले कार्य में वर्तमान दूसरे स्थान पर लाया और दूसरे में पहला।

हमारा अगला कदम लापता मूल्यों के लिए डेटा को देखना था। आयोजकों ने हमें पहले से ही कंघी डेटा दिया था, जहां कुछ गायब मूल्य थे, और उन्हें -9999 से बदल दिया गया था।

हमें मिलान किए गए मान में कॉलम में गुम मान मिले थे {X, Y, Z} [N] और MatchedHit_D {X, Y, Z} [N], और केवल जब N = 2 या 3. जैसा कि हमने समझा, कुछ कण सभी 4 डिटेक्टरों के माध्यम से नहीं उड़ते थे , और 3 या 4 प्लेट पर रुक गया। डेटा में Lextra_ {X, Y} [N] कॉलम भी थे, जो जाहिरा तौर पर MatchedHit_ {X, Y, Z} [N] जैसी ही चीज़ों का वर्णन करते हैं, लेकिन कुछ प्रकार के एक्सट्रपलेशन का उपयोग करते हैं। इन अल्प अनुमानों ने सुझाव दिया कि मिलानहिट_ {X, Y, Z} [N] में लापता मानों के बजाय, आप Lextra_ {X, Y} [N] (केवल X और Y निर्देशांक के लिए) स्थानापन्न कर सकते हैं। माचिसहिट_जेड [एन] एक मीडियन से अच्छी तरह भरा हुआ था। इन जोड़तोड़ों ने हमें दोनों कार्यों के लिए 1 मध्यवर्ती स्थान पर जाने की अनुमति दी।

यह देखते हुए कि पहले चरण में जीत के लिए उन्होंने कुछ भी नहीं दिया, हम इस पर रोक सकते थे, लेकिन हमने जारी रखा, कुछ खूबसूरत तस्वीरें खींचीं और नई विशेषताओं के साथ आए।

उदाहरण के लिए, हमने पाया कि यदि हम डिटेक्टरों की चार प्लेटों में से प्रत्येक के कणों के प्रतिच्छेदन बिंदुओं का निर्माण करते हैं, तो हम देख सकते हैं कि प्रत्येक प्लेटों के बिंदुओं को 4 से 5 के पहलू अनुपात के साथ 5 आयतों में बांटा गया है और केंद्र में (0,0) पहले आयत का कोई अंक नहीं है।

इन आकारों को निर्धारित करने के बाद, हमने प्रत्येक कण 4 नई श्रेणीगत विशेषताओं के लिए जोड़ा - आयत की संख्या जिसमें यह प्रत्येक प्लेट को प्रतिच्छेद करता है।

हमने यह भी देखा कि कण केंद्र से दूर बिखरने लगे थे और यह विचार किसी तरह इस बिखराव की "गुणवत्ता" का मूल्यांकन करने के लिए आया था। आदर्श रूप से, शायद, कोई व्यक्ति प्रवेश के बिंदु के आधार पर किसी तरह के "आदर्श" परवलय के साथ आ सकता है और इससे विचलन का अनुमान लगा सकता है, लेकिन हमने खुद को "आदर्श" रेखा तक सीमित कर लिया। प्रत्येक प्रविष्टि बिंदु के लिए ऐसी आदर्श रेखाओं का निर्माण करके, हम इस रेखा के प्रत्येक कण के प्रक्षेपवक्र के माध्य-वर्ग विचलन की गणना करने में सक्षम थे। चूंकि लक्ष्य = 1 के लिए औसत विचलन 152 था, और लक्ष्य = 0 के लिए यह 390 निकला, हमने अस्थायी रूप से इस सुविधा को अच्छा माना। वास्तव में, इस सुविधा ने तुरंत सबसे उपयोगी को सबसे ऊपर मारा।

हम खुश थे, और एक अतिरिक्त 4 सुविधाओं के रूप में आदर्श रेखा से प्रत्येक कण के लिए सभी 4 चौराहे बिंदुओं के विचलन को जोड़ा (और उन्होंने भी अच्छी तरह से काम किया)।

प्रतियोगिता के विषय पर वैज्ञानिक लेखों के लिंक, आयोजकों द्वारा हमें दिए गए, ने इस विचार को प्रेरित किया कि हम इस समस्या को हल करने के लिए पहले से बहुत दूर हैं और शायद, कुछ विशेष सॉफ्टवेयर है। गितुब पर रिपॉजिटरी की खोज करने के बाद जहां IsMuonSimple, IsMuon, IsMuonLoose विधियों को लागू किया गया था, हमने उन्हें मामूली संशोधनों के साथ खुद को स्थानांतरित कर दिया। स्वयं विधियां बहुत सरल थीं: उदाहरण के लिए, यदि ऊर्जा एक सीमा से कम है, तो यह एक म्यूऑन नहीं है, अन्यथा एक म्यूऑन। इस तरह के सरल संकेत स्पष्ट रूप से ढाल बढ़ाने का उपयोग करने के मामले में वृद्धि नहीं दे सके, इसलिए हमने दहलीज में एक और संकेत "दूरी" जोड़ा। इन फीचर्स में भी थोड़ा सुधार हुआ। शायद, मौजूदा तरीकों का अधिक अच्छी तरह से विश्लेषण करने के बाद, कोई भी मजबूत तरीकों का पता लगा सकता है और उन्हें विशेषताओं में जोड़ सकता है।

प्रतियोगिता के अंत की ओर, हमने दूसरे कार्य के लिए थोड़ा "त्वरित" समाधान निकाला, नतीजतन, यह निम्नलिखित बिंदुओं में आधार रेखा से भिन्न था:

1. नकारात्मक वजन वाली पंक्तियों में, लक्ष्य उलटा था
2. MatchedHit_ (X, Y, Z) [N] में लापता मानों से भरा
3. गहराई को 7 तक कम कर दिया
4. 0.1 को कम सीखने की दर (0.19 थी)

नतीजतन, हमने कुछ और विशेषताएं (विशेष रूप से सफल नहीं) की कोशिश की, मापदंडों और प्रशिक्षित कैटबॉस्ट, लाइटबैम और एक्सगबॉस्ट को उठाया, अलग-अलग भविष्यवाणी मिश्रणों की कोशिश की और आत्मविश्वास से निजीकरण से पहले दूसरा काम जीता, और पहले नेताओं में शामिल थे।

निजीकरण खोलने के बाद, हम 1 कार्य के लिए 10 वें स्थान पर थे और दूसरे के लिए 3। सभी नेताओं को मिलाया गया था, और निजीकरण की गति लिबरबोर्ड की तुलना में अधिक थी। ऐसा लगता है कि डेटा खराब रूप से स्तरीकृत था (या उदाहरण के लिए, निजी में नकारात्मक भार के साथ कोई रेखाएं नहीं थीं) और यह थोड़ा निराशाजनक था।

एसएनए हैकथॉन 2019 - ग्रंथ। पहला चरण

कार्य उपयोगकर्ता के पदों को Odnoklassniki सोशल नेटवर्क पर रैंक करने के लिए था, उनमें निहित पाठ के अलावा, पाठ के अलावा, पोस्ट (भाषा, स्वामी, निर्माण तिथि और समय, दिनांक और समय को देखने) की कुछ और विशेषताएं थीं।

पाठ के साथ काम करने के लिए शास्त्रीय दृष्टिकोण के रूप में, मैं दो विकल्पों में से एक चुनूंगा:

1. प्रत्येक शब्द को एन-डायमेंशनल वेक्टर स्पेस में मैप करना, जैसे कि समान शब्दों में समान वैक्टर (अधिक विवरण हमारे लेख में पाए जा सकते हैं), या तो टेक्स्ट के लिए बीच का शब्द ढूंढना या ऐसे तंत्र का उपयोग करना जो शब्दों की सापेक्ष स्थिति को ध्यान में रखते हैं (CNN, LIMM / GRU) ।
2. उन मॉडलों का उपयोग करना जो तुरंत पूरे वाक्यों के साथ काम करने में सक्षम हैं। उदाहरण के लिए, बर्ट। सिद्धांत रूप में, यह दृष्टिकोण बेहतर काम करना चाहिए।

चूंकि यह ग्रंथों के साथ मेरा पहला अनुभव था, इसलिए किसी को पढ़ाना गलत होगा, इसलिए मैं खुद को सिखाऊंगा। ये वो टिप्स हैं जो मैं खुद को प्रतियोगिता की शुरुआत में दूंगा:

1. इससे पहले कि आप कुछ सीखने के लिए दौड़ें, डेटा देखें! स्वयं ग्रंथों के अलावा, डेटा में कई कॉलम थे, और जितना मैंने किया उससे कहीं अधिक उन्हें निचोड़ा जा सकता था। सबसे आसान काम स्तंभों के भाग के लिए लक्ष्य एन्कोडिंग करना है।
2. सभी डेटा से मत सीखो! बहुत सारे डेटा (लगभग 17 मिलियन पंक्तियाँ) थे और उन सभी का परिकल्पनाओं का परीक्षण करने के लिए उपयोग करना पूरी तरह से वैकल्पिक था। प्रशिक्षण और प्रीप्रोसेसिंग बहुत धीमी थी, और मेरे पास स्पष्ट रूप से अधिक दिलचस्प परिकल्पनाओं का परीक्षण करने का समय होगा।
3. < विवादास्पद सलाह > हत्यारे मॉडल की तलाश करने की आवश्यकता नहीं है। मैंने एल्मो और बर्ट के साथ एक लंबे समय के लिए निपटा, उम्मीद है कि वे मुझे तुरंत एक उच्च स्थान पर ले जाएंगे, और परिणामस्वरूप मैंने रूसी भाषा के लिए फास्टटेक्स्ट पूर्व-प्रशिक्षित एम्बेडिंग का उपयोग किया। एल्मो के साथ, बेहतर गति प्राप्त करना संभव नहीं था, लेकिन बर्ट के साथ मैंने इसका पता लगाने का प्रबंधन नहीं किया।
4. < विवादास्पद सलाह > एक हत्यारा सुविधा के लिए मत देखो। आंकड़ों को देखते हुए, मैंने देखा कि 1 प्रतिशत ग्रंथों के क्षेत्र में, वास्तव में, पाठ नहीं है! लेकिन तब कुछ संसाधनों के लिंक थे, और मैंने एक साधारण पार्सर लिखा था जिसने साइट को खोला और नाम और विवरण निकाला। यह एक अच्छा विचार लगता है, लेकिन फिर मैं दूर हो गया, सभी ग्रंथों के लिए सभी लिंक को पार्स करने का फैसला किया, और फिर से बहुत समय खो दिया। यह सब अंतिम परिणाम में एक महत्वपूर्ण सुधार नहीं दिया था (हालांकि मैं उदाहरण के लिए, stemming के साथ पता लगा)।
5. क्लासिक सुविधाएँ काम करती हैं। Google, उदाहरण के लिए, "पाठ सुविधाएँ कागल", सब कुछ पढ़ें और जोड़ें। TF-IDF ने एक सुधार दिया, सांख्यिकीय विशेषताएं, जैसे कि पाठ की लंबाई, शब्द, विराम चिह्न की मात्रा, भी।
6. यदि डेटटाइम कॉलम हैं, तो आपको उन्हें कई अलग-अलग विशेषताओं (घंटों, सप्ताह के दिनों आदि) में पार्स करना चाहिए। हाइलाइट करने के लिए किन विशेषताओं का विश्लेषण ग्राफ / कुछ मैट्रिक्स के साथ किया जाना चाहिए। यहां मैंने एक कूबड़ पर सब कुछ ठीक किया और आवश्यक सुविधाओं का चयन किया, लेकिन एक सामान्य विश्लेषण चोट नहीं पहुंचाएगा (उदाहरण के लिए, जैसा कि हमने फाइनल में किया था)।

प्रतियोगिता के परिणामस्वरूप, मैंने एक केरस मॉडल को शब्दों के अनुसार दृढ़ संकल्प के साथ प्रशिक्षित किया, और एक और एलएसटीएम और जीआरयू पर आधारित था। वहाँ और वहाँ दोनों रूसी भाषा के लिए पूर्व-प्रशिक्षित फास्टटेक्स्ट एम्बेडिंग का उपयोग किया गया था (मैंने कई अन्य एम्बेडिंग की कोशिश की, लेकिन इन लोगों ने सबसे अच्छा काम किया)। भविष्यवाणियों को औसत करने के बाद, मैंने 76 प्रतिभागियों में से अंतिम 7 वां स्थान प्राप्त किया।

पहले चरण के बाद, निकोलाई अनोखिन द्वारा एक लेख प्रकाशित किया गया था, जिसने दूसरा स्थान लिया (उन्होंने प्रतियोगिता से भाग लिया), और उनका निर्णय कुछ चरण तक दोहराया गया था, लेकिन क्वेरी-की-वैल्यू ध्यान तंत्र के कारण वे आगे बढ़ गए।

दूसरा चरण OK और IDAO

प्रतियोगिताओं के दूसरे चरण लगभग एक पंक्ति में आयोजित किए गए थे, इसलिए मैंने उन्हें एक साथ विचार करने का फैसला किया।

सबसे पहले, नई अधिग्रहीत टीम के साथ, मैं Mail.ru के प्रभावशाली कार्यालय में समाप्त हुआ, जहां हमारा काम पहले चरण के तीनों ट्रैक - टेक्स्ट, पिक्चर्स और कोलाब के मॉडल को मिलाना था। इसके लिए 2 दिन से अधिक का समय आवंटित किया गया था, जो बहुत छोटा निकला। वास्तव में, हम एसोसिएशन से कोई लाभ प्राप्त किए बिना, केवल पहले चरण के अपने परिणाम दोहरा सकते हैं। परिणामस्वरूप, हमने 5 वां स्थान लिया, लेकिन पाठ मॉडल का उपयोग नहीं किया जा सका। अन्य प्रतिभागियों के निर्णयों को देखते हुए, ऐसा लगता है कि यह ग्रंथों को क्लस्टर करने और उन्हें कोलाब मॉडल में जोड़ने के लिए लायक था। इस चरण का एक नया प्रभाव नए प्रतिभागियों, परिचितों और शांत प्रतिभागियों और आयोजकों के साथ संचार, साथ ही नींद की गंभीर कमी है, जो आईडीएओ के अंतिम चरण के परिणाम को प्रभावित कर सकता है।

आईडीएओ 2019 फाइनल के इन-पर्सन स्टेज पर कार्य हवाई अड्डे पर यैंडेक्स टैक्सी ड्राइवरों के लिए एक आदेश के लिए प्रतीक्षा समय की भविष्यवाणी करना था। स्टेज 2 पर, 3 कार्य = 3 हवाई अड्डे आवंटित किए गए थे। प्रत्येक हवाई अड्डे के लिए, छह महीने के टैक्सी आदेशों की संख्या पर प्रति मिनट डेटा दिया जाता है। और पिछले 2 हफ्तों के लिए अगले महीने और प्रति मिनट ऑर्डर डेटा टेस्ट डेटा के रूप में दिया गया था। पर्याप्त समय (1.5 दिन) नहीं था, कार्य काफी विशिष्ट था, केवल एक व्यक्ति टीम से प्रतियोगिता में आया था - और परिणामस्वरूप, दुखद स्थान अंत के करीब था। दिलचस्प विचारों में से, बाहरी डेटा का उपयोग करने के प्रयास थे: मौसम, ट्रैफिक जाम और यैंडेक्स टैक्सी के आदेश पर आंकड़े। हालांकि आयोजकों ने यह नहीं बताया कि हवाई अड्डे क्या थे, कई प्रतिभागियों ने सुझाव दिया कि वे शेरमेतियोवो, डोमोडेडोवो और वेदुकोवो थे। हालांकि इस धारणा को प्रतियोगिता के बाद नकार दिया गया था, उदाहरण के लिए, मॉस्को के मौसम डेटा से, सत्यापन और लीडरबोर्ड दोनों पर परिणाम में सुधार हुआ।

निष्कर्ष

1. एमएल प्रतियोगिता शांत और दिलचस्प हैं! डेटा विश्लेषण, और चालाक मॉडल और तकनीकों में कौशल के लिए एक आवेदन है, और बस सामान्य ज्ञान का स्वागत है।
2. एमएल पहले से ही ज्ञान की एक बड़ी परत है जो तेजी से बढ़ती है। मैंने खुद को विभिन्न क्षेत्रों (संकेतों, चित्रों, तालिकाओं, पाठ) को जानने का लक्ष्य निर्धारित किया और पहले से ही महसूस किया कि कितना सीखना है। उदाहरण के लिए, इन प्रतियोगिताओं के बाद, मैंने अध्ययन करने का फैसला किया: क्लस्टरिंग एल्गोरिदम, ग्रेडिंग बूस्टिंग लाइब्रेरी के साथ काम करने के लिए उन्नत तकनीक (विशेष रूप से, GPU पर कैटबॉस्ट के साथ काम करना), कैप्सूल नेटवर्क, और क्वेरी-की-वैल्यू ध्यान तंत्र।
3. एक भी खड़ग नहीं! कई अन्य प्रतियोगिताएं हैं जहां कम से कम एक टी-शर्ट प्राप्त करना आसान है, और अन्य पुरस्कारों के लिए अधिक संभावनाएं हैं।
4. संवाद! मशीन लर्निंग और डेटा विश्लेषण के क्षेत्र में, पहले से ही एक बड़ा समुदाय है, टेलीग्राम, स्लैक में विषयगत समूह हैं और Mail.ru, Yandex और अन्य कंपनियों के गंभीर लोग सवालों के जवाब देते हैं और शुरुआती लोगों की मदद करते हैं और ज्ञान के इस क्षेत्र में अपनी यात्रा जारी रखते हैं।
5. मैं हर किसी को सलाह देता हूं जो डेटाफ़ेस्ट की यात्रा करने के लिए पिछले पैराग्राफ के साथ imbued है - मास्को में एक बड़ा मुफ्त सम्मेलन, जो 10-11-11 को आयोजित किया जाएगा।