चैम्पियनशिप सीजन 2019 खुला है! एसएनए हैकथॉन अला एमएल बूट कैंप 8 किक बंद

नमस्ते!

पाठकों में से कई पहले से ही जानते हैं कि हम विभिन्न विषयों पर लगातार विभिन्न आईटी चैंपियनशिप आयोजित करने का प्रयास करते हैं। पिछले साल ही, 10 से अधिक विभिन्न प्रमुख प्रतियोगिताएं ( रूसी एआई कप , एमएल बूट कैंप , टेक्नोकब और अन्य) आयोजित की गई थीं। कम से कम 25,000 लोगों ने उनमें भाग लिया, और 2011 से - 150,000 से अधिक।

यदि आपको अभी इस बारे में पता चला है, तो बधाई: उसी क्षण से आप हमारी प्रतियोगिताओं में भाग लेने वाले लोगों के एक बड़े समुदाय का हिस्सा बन गए और एक दूसरे के साथ अनुभवों का आदान-प्रदान किया। पहले से ही अब आप कृत्रिम बुद्धि , खेल प्रोग्रामिंग , उच्च-लोड परियोजनाओं और प्रशासन , मशीन सीखने और डेटा विश्लेषण पर समुदायों के टेलीग्राम-समूहों में शामिल हो सकते हैं। यह आपको जल्दी से एक गंभीर पार्टी में शामिल होने में मदद करेगा!



तो, चलो व्यापार के लिए नीचे उतरो। आज, 7 फरवरी को, हम 2019 चैंपियनशिप के नए सीजन को खोलकर खुश हैं। और हम आठवीं मशीन लर्निंग और डेटा विश्लेषण प्रतियोगिता के साथ विशेष एमएल बूट कैंप प्लेटफ़ॉर्म (हमारे कागल एनालॉग) - एसएनए हैकथॉन, या एमएल बूट कैंप 8 (जैसा आप चाहें) पर आयोजित करेंगे।

इस चैंपियनशिप के आयोजक Mail.ru Group और Odnoklassniki हैं। हम इस लेख के बाद स्मार्ट टेप का एक संक्षिप्त इतिहास पढ़ने की सलाह देते हैं, जिसमें दिमित्री बुगाएन्को ओडनोक्लास्निक में टेप की रैंकिंग के लिए एल्गोरिदम के बारे में बात करता है, बहुत उपयोगी जानकारी है।

और अब हम चैम्पियनशिप के मैकेनिक्स, इसकी अनुसूची, कार्यों और प्रस्तावित डेटा को बताएंगे।

चैम्पियनशिप यांत्रिकी

सब कुछ सरल है। एमएल बूट कैंप में चैंपियनशिप के उद्घाटन के बाद, आपको निम्न करने की आवश्यकता है:

1. कार्यों की शर्तों को पढ़ें (वे पहले से ही इस लेख में हैं);
2. एक कार्य या कार्य चुनें जिसे आप हल करने जा रहे हैं;
3. डेटा डाउनलोड करें;
4. मॉडल बनाना और भविष्यवाणियां करना शुरू करें;
5. परीक्षण प्रणाली पर अपने उत्तर (नियमित फ़ाइल) अपलोड करें।

हर दिन आप अपनी उत्तर फ़ाइलों को हमें पाँच बार अपलोड कर सकते हैं। सिस्टम केवल 50% नमूने (सार्वजनिक) के लिए प्रतिक्रियाओं की जांच करेगा, इसलिए परिणाम प्रारंभिक होंगे। बाकी नमूना (निजी) पर अंतिम परिणाम प्रतिभागियों को दिखाया जाएगा जब प्रतियोगिता पहले ही समाप्त हो गई है।

यदि आपने कभी ऐसी प्रतियोगिताओं में भाग नहीं लिया है, तो चिंता की कोई बात नहीं है। लेख पढ़ें और आप सफल होंगे :)

समय सारिणी

चैंपियनशिप दो चरणों में होगी:

1. ऑनलाइन - 7 फरवरी से 15 मार्च तक;
2. ऑफ़लाइन - 30 मार्च से 1 अप्रैल तक।

15 मार्च के बाद, मध्यवर्ती परिणाम का सारांश दिया जाएगा और प्रत्येक कार्य के लिए शीर्ष नेताओं के 15 लोगों को दूसरे चरण के लिए आमंत्रण प्राप्त होगा, जो Mail.ru समूह के मास्को कार्यालय में आयोजित किया जाएगा। इसके अलावा, अंतिम चरण के निमंत्रण को तीन लोग प्राप्त होंगे जो 23 फरवरी के अंत में रैंकिंग की अगुवाई कर रहे हैं।

कार्य विवरण

एसएनए हैकथॉन प्रतियोगिता के लिए, फरवरी-मार्च 2018 के लिए उपयोगकर्ता समाचार फ़ीड में खुले समूहों से सामग्री दिखाने के लिए लॉग एकत्र किए गए थे। परीक्षण सेट ने पिछले सप्ताह और मार्च के आधे हिस्से को छिपा दिया है। प्रत्येक लॉग प्रविष्टि में इस बारे में जानकारी होती है कि उसे क्या और किसके साथ दिखाया गया है, साथ ही उपयोगकर्ता ने इस सामग्री पर क्या प्रतिक्रिया दी: "क्लास" को टिप्पणी से अनदेखा या अनदेखा किया।

कार्य का सार परीक्षण सेट के प्रत्येक उपयोगकर्ता के लिए उम्मीदवारों को रैंक करना है, जितना संभव हो उतना उन लोगों को उठाना जो "वर्ग" प्राप्त करेंगे।

आमतौर पर हमने एक टास्क दिया, लेकिन इस बार एक साथ तीन देने का फैसला किया। आपको उन सभी को हल करने की आवश्यकता नहीं है, बस एक पर्याप्त है। चूंकि उपयोगकर्ता फ़ीड विभिन्न प्रकार की सामग्री को जोड़ती है, जब इसे रैंक किया जाता है, विभिन्न क्षेत्रों से कौशल की आवश्यकता होती है - कंप्यूटर दृष्टि, ग्रंथों और सिफारिश प्रणालियों के साथ काम करना।

ऑनलाइन चरण के हिस्से के रूप में, हम डेटा के तीन सेट प्रदान करते हैं, जिनमें से प्रत्येक केवल एक प्रकार की जानकारी प्रस्तुत करता है: विभिन्न सहयोगी विशेषताओं पर छवि, पाठ या डेटा।

केवल दूसरे चरण में, जब विभिन्न क्षेत्रों के विशेषज्ञ एक साथ आते हैं, तो सामान्य डेटासेट प्रकट होंगे, जिससे आपको विभिन्न तरीकों के तालमेल के लिए अंक मिलेंगे।
प्लेटफॉर्म पर चैम्पियनशिप खुलने के बाद, आपको कार्यों का विवरण दिखाई देगा और सहभागिता के लिए आवश्यक डेटा डाउनलोड करने का अवसर मिलेगा।

डेटा विवरण

जानकारी अपाचे लकड़ी की छत प्रारूप में प्रस्तुत की गई है, जो स्पार्क ढांचे के लिए मुख्य है। पायथन से इस प्रारूप के साथ काम करने के लिए, हम अपाचे एरो लाइब्रेरी का उपयोग करने की सलाह देते हैं। समझने में आसानी के लिए, बेसलाइन को गिटहब रिपॉजिटरी पर पोस्ट किया गया है । इसका उपयोग करें!

प्रशिक्षण सेट में, डेटा दिन के द्वारा निर्धारित किया जाता है, और दिन के अंदर उपयोगकर्ता आईडी द्वारा 6 भागों में विभाजित किया जाता है (एक ही उपयोगकर्ता हमेशा एक ही भाग में आता है)। ऐसा लेआउट प्रतिभागियों को एक बार में सभी डेटा का विश्लेषण करने की अनुमति नहीं देता है, लेकिन उपयोगकर्ताओं के कुछ दिनों और / या उपसमूह तक खुद को सीमित करता है।

प्रशिक्षण सेट को तीन असमान समूहों में विभाजित किया गया है: ग्रंथों के साथ, चित्रों के साथ, और सहयोगी विशेषताओं के साथ। प्रत्येक समूह में, डेटा में निम्नलिखित फ़ील्ड शामिल हैं:

• instanceId_userId - उपयोगकर्ता पहचानकर्ता (अज्ञात);
• instanceId_objectType - ऑब्जेक्ट प्रकार;
• instanceId_objectId - ऑब्जेक्ट आइडेंटिफ़ायर (अज्ञात);
• feedback - उपयोगकर्ता प्रतिक्रियाओं के प्रकार के साथ एक सरणी (सरणी में एक लाइक टोकन की उपस्थिति इंगित करती है कि ऑब्जेक्ट को उपयोगकर्ता से "वर्ग" मिला);
• audit_clientType - उपयोगकर्ता ने जिस प्लेटफ़ॉर्म के प्रकार को लॉग इन किया है;
• audit_timestamp - उस समय जब टेप बनाया जा रहा था;
• metadata_ownerId - प्रदर्शित वस्तु के लेखक (अज्ञात);
• metadata_createdAt - प्रदर्शित ऑब्जेक्ट का निर्माण दिनांक।

Apache Parquet प्रारूप में संबंधित वस्तुएँ अतिरिक्त रूप से प्रशिक्षण पाठ सेट से वस्तुओं के लिए प्रदान की जाती हैं:

• ऑब्जेक्टआईड - ऑब्जेक्ट आइडेंटिफ़ायर;
• lang - पाठ भाषा (ओडनोक्लासनिक भाषा डिटेक्टर पर आधारित);
• text - वस्तु के साथ जुड़ा हुआ कच्चा पाठ;
• preprocessed - विराम चिह्न की एक सरणी जो विराम चिह्नों को फ़िल्टर करने और स्टेम करने के बाद प्राप्त की जाती है।

चित्रों द्वारा रैंकिंग के लिए डेटा में चित्र ऑब्जेक्ट्स के साथ MD5 हैश के साथ ImageId सरणी ImageId शामिल है। हैश के पहले अक्षर के आधार पर छवि निकायों को अलग-अलग टार फ़ाइलों में व्यवस्थित किया जाता है।

सहयोगी विशेषताओं वाले ब्लॉक में, विभिन्न प्रकार की अतिरिक्त जानकारी प्रस्तुत की जाती है:

• audit_* - टेप के निर्माण के संदर्भ में विस्तारित जानकारी;
• metadata_* - स्वयं वस्तु के बारे में विस्तारित जानकारी;
• userOwnerCounters_* - उपयोगकर्ता और सामग्री के लेखक के बीच पिछली बातचीत के बारे में जानकारी;
• ownerUserCounters_* - सामग्री के लेखक और उपयोगकर्ता के बीच पिछले इंटरैक्शन के बारे में जानकारी;
• membership_* - समूह में उपयोगकर्ता की सदस्यता के बारे में जानकारी जहां सामग्री प्रकाशित होती है;
• user_* - उपयोगकर्ता के बारे में विस्तृत जानकारी;
• auditweights_* - वर्तमान प्रणाली द्वारा बड़ी संख्या में रनटाइम विशेषताओं को पुनः प्राप्त किया गया।

परीक्षण सेट की संरचनाएं प्रशिक्षण सेट की संरचना के बराबर हैं, लेकिन दिन के आधार पर निर्धारित नहीं की जाती हैं और इसमें feedback फ़ील्ड शामिल नहीं हैं।

परिणाम का मूल्यांकन

चैम्पियनशिप प्रतिभागियों को टेप को क्रमबद्ध करना होगा ताकि "वर्ग" की उच्च संभावना वाली वस्तुएं शीर्ष पर हों। छंटनी प्रत्येक उपयोगकर्ता के लिए व्यक्तिगत रूप से की जाती है, जिसके बाद निम्नलिखित फॉर्म के सबमिट का पाठ बनता है (प्रारूप पंडों के डेटा फ्रेम से निर्यात से संबंधित है int और int[] कॉलम int[] ):

 User_id_1,"[object_id_1_1, object_id_1_2]" User_id_2,"[object_id_2_1, object_id_2_2, object_id_2_3]" 

सबमिशन में परीक्षण सूट के प्रत्येक उपयोगकर्ता के लिए एक पंक्ति होनी चाहिए, और पंक्तियों को आरोही आईडी द्वारा क्रमबद्ध किया गया है। प्रत्येक उपयोगकर्ता के लिए वस्तुओं को प्रासंगिकता के अवरोही क्रम में क्रमबद्ध किया जाना चाहिए।

प्रत्येक उपयोगकर्ता के लिए सबमिट का मूल्यांकन करते समय, उसके व्यक्तिगत आरओसी-एयूसी की गणना की जाएगी, जिसके बाद सभी उपयोगकर्ताओं के लिए औसत की गणना की जाएगी और 100 से गुणा किया जाएगा।

उपहार

दूसरा चरण एक टीम प्रारूप में आयोजित किया जाएगा, और विजेताओं को बहुमूल्य उपहार, स्टिकर पैक और अन्य पुरस्कार प्राप्त होंगे:

• प्रथम स्थान प्राप्त करने वाली टीम को 300,000 रूबल;
• दूसरी जगह टीम को 200 000 रूबल;
• तीसरे स्थान पर रहने वाली टीम को 100 000 रूबल;
• जूरी के अनुसार, ऑपरेशन में कार्यान्वयन के लिए सर्वोत्तम संभावनाओं के साथ समाधान का प्रस्ताव देने वाली टीम को 100,000 रूबल।

इसके अलावा, ऑनलाइन चरण (प्रत्येक कार्य के लिए शीर्ष 33 नेताओं) के विजेताओं को शांत टी-शर्ट प्राप्त होंगे।

बोनस! ऑनलाइन चरण में सर्वश्रेष्ठ और सबसे सक्रिय प्रतिभागी को चुनने के लिए PlayStation / XBox मिलेगी। मापदंड सरल हैं - चैट में मामले पर बहुत सारे चार्ट, दिलचस्प घोटाले ऊपर / नीचे, अच्छी तरह से, और कुछ और। विजेता को लोकप्रिय वोट द्वारा चुना जाएगा।

पंजीकरण और समुदाय

प्रतियोगिता में भाग लेने के लिए विशेष रूप से पंजीकरण करना आवश्यक नहीं है। यह एक बार मंच पर पंजीकृत होने के लिए पर्याप्त है और पिछली प्रतियोगिताओं की सभी प्रतियोगिताओं और सैंडबॉक्स आपको तुरंत उपलब्ध होंगे।

अपना समय बर्बाद मत करो। समुदाय नए नायकों की प्रतीक्षा कर रहा है। स्वागत है !