1 अप्रैल को, SNA हैकाथॉन 2019 का फाइनल समाप्त हो गया, जिसके प्रतिभागियों ने आधुनिक मशीन लर्निंग टेक्नोलॉजी, कंप्यूटर विज़न, टेस्ट प्रोसेसिंग और सिफारिश सिस्टम का उपयोग करके सोशल नेटवर्क फीड को छाँटने में प्रतिस्पर्धा की। मुश्किल ऑनलाइन चयन और 160 गीगाबाइट डेटा पर दो दिन की मेहनत व्यर्थ नहीं थी :)। हम इस बारे में बात करते हैं कि प्रतिभागियों को सफलता के लिए और अन्य दिलचस्प टिप्पणियों के बारे में क्या मदद मिली।

डेटा और कार्य के बारे में

प्रतियोगिता ने ओके सोशल नेटवर्क के उपयोगकर्ताओं के लिए फ़ीड तैयार करने के लिए तंत्र से डेटा प्रस्तुत किया, जिसमें तीन भाग होते हैं:

• उपयोगकर्ता, सामग्री, लेखक, और अन्य गुणों का वर्णन करने वाले बड़ी संख्या में विशेषताओं के साथ उपयोगकर्ता फ़ीड में सामग्री प्रदर्शन लॉग;
• प्रदर्शित सामग्री से संबंधित ग्रंथ;
• सामग्री में प्रयुक्त चित्रों के निकाय।

डेटा की कुल मात्रा 160 गीगाबाइट से अधिक है, जिनमें से लॉग के लिए 3 से अधिक खाते हैं, ग्रंथों के लिए 3 और चित्रों के लिए बाकी है। बड़ी मात्रा में डेटा ने प्रतिभागियों को नहीं डराया: एमएल बूटकैंप के आंकड़ों के अनुसार, प्रतियोगिता में लगभग 200 लोगों ने भाग लिया, जिन्होंने 3,000 से अधिक सबमिशन भेजे, और सबसे सक्रिय लोगों ने 100 भेजे गए समाधानों के बार को तोड़ने में कामयाब रहे। शायद वे 700,000 रूबल + 3 GTX 2080 तिवारी कार्ड के पुरस्कार पूल से प्रेरित थे।

टेप को छांटने की समस्या को हल करने के लिए आवश्यक प्रतियोगिता के प्रतिभागियों: प्रत्येक व्यक्तिगत उपयोगकर्ता के लिए, प्रदर्शित वस्तुओं को इस तरह से सॉर्ट करें कि जिन्हें "क्लास!" मार्क सूची के प्रमुख के करीब पहुंचे।

आरओसी-एयूसी का उपयोग गुणवत्ता मूल्यांकन मीट्रिक के रूप में किया गया था । उसी समय, मीट्रिक को संपूर्ण रूप से सभी डेटा के लिए नहीं माना गया था, लेकिन प्रत्येक उपयोगकर्ता के लिए अलग-अलग और फिर औसत था। यह गणना विकल्प उल्लेखनीय है कि जिन एल्गोरिदम ने उपयोगकर्ताओं को अलग-अलग वर्गों में रखना सीखा है, उन्हें लाभ नहीं मिलता है। दूसरी ओर, मानक पायथन पैकेजों में ऐसा कोई विकल्प नहीं है, जिसमें कुछ दिलचस्प बिंदुओं का पता चला, जिनकी चर्चा नीचे की गई है।

तकनीक के बारे में

परंपरागत रूप से, एसएनए हैकथॉन न केवल एल्गोरिदम है, बल्कि प्रौद्योगिकियां भी हैं - शिप किए गए डेटा की मात्रा 160 गीगाबाइट से अधिक है, जो प्रतिभागियों को दिलचस्प तकनीकी कार्यों के सामने रखती है।

लकड़ी की छत बनाम सीएसवी

शैक्षिक अनुसंधान में और कागले पर, प्रमुख डेटा प्रारूप CSV है , साथ ही अन्य सादे पाठ प्रारूप भी हैं। हालांकि, उद्योग में स्थिति कुछ अलग है - "द्विआधारी" भंडारण प्रारूपों का उपयोग करके काफी अधिक कॉम्पैक्ट और प्रसंस्करण गति प्राप्त की जा सकती है।

विशेष रूप से, अपाचे स्पार्क के आधार पर निर्मित पारिस्थितिकी तंत्र में, अपाचे लकड़ी की छत सबसे लोकप्रिय है - कई महत्वपूर्ण परिचालन सुविधाओं के लिए समर्थन के साथ एक स्तंभ डेटा भंडारण प्रारूप:

• विकास समर्थन के साथ एक स्पष्ट रूप से निर्दिष्ट सर्किट;
• डिस्क से केवल आवश्यक कॉलम पढ़ना;
• पढ़ते समय अनुक्रमित और फ़िल्टर के लिए मूल समर्थन;
• स्ट्रिंग संपीड़न।

लेकिन स्पष्ट लाभ के बावजूद, अपाचे लकड़ी की छत प्रारूप में प्रतियोगिता के लिए डेटा प्रस्तुत करना कुछ प्रतिभागियों से गंभीर आलोचना के साथ मिला। कुछ नया विकसित करने में समय बिताने के लिए रूढ़िवाद और अनिच्छा के अलावा, वास्तव में कई अप्रिय क्षण थे।

सबसे पहले, पायथन से पर्चेट के साथ काम करने के लिए मुख्य उपकरण अपाचे एरो लाइब्रेरी में प्रारूप के लिए समर्थन एकदम सही है। डेटा तैयार करते समय, सभी संरचनात्मक क्षेत्रों को फ्लैट तक विस्तारित किया जाना था, और फिर भी, जब पाठ पढ़ते हैं, तो कई प्रतिभागियों को बग का सामना करना पड़ा और उन्हें वर्तमान संस्करण 0.12 के बजाय पुराने संस्करण 0.11.1 पुस्तकालय को स्थापित करने के लिए मजबूर किया गया था। दूसरे, आप साधारण कंसोल उपयोगिताओं का उपयोग करते हुए Parquet फ़ाइल को नहीं देखेंगे: बिल्ली, कम, आदि। हालांकि, यह कमी पारकेट-टूल्स पैकेज का उपयोग करने के लिए क्षतिपूर्ति करने के लिए अपेक्षाकृत आसान है।

फिर भी, जिन्होंने शुरू में सभी डेटा को सीएसवी में बदलने की कोशिश की, फिर परिचित वातावरण में काम करने के लिए, आखिरकार इस विचार को छोड़ दिया - आखिरकार, Parquet काफी तेजी से काम करता है।

बूस्टिंग और जीपीयू

सेंट पीटर्सबर्ग में स्मार्टडाटा सम्मेलन में, "व्यापक रूप से संकीर्ण क्षेत्रों में जाना जाता है", एलेक्सी नेटकिन ने सीपीयू / जीपीयू पर काम करते समय कई लोकप्रिय बूस्टिंग टूल के प्रदर्शन की तुलना की और इस निष्कर्ष पर पहुंचे कि GPU एक मूर्त लाभ नहीं देता है। लेकिन फिर भी, इस निष्कर्ष ने सक्रिय रूप से पोलिमिक के लिए नेतृत्व किया, मुख्य रूप से घरेलू कैटबोस्ट टूल के डेवलपर्स के साथ।

पिछले दो वर्षों में, GPU के विकास में प्रगति और एल्गोरिदम के अनुकूलन बंद नहीं हुआ और SNA हैकथॉन फाइनल को कैटबोस्ट + GPU जोड़ी की जीत माना जा सकता है - सभी विजेताओं ने इसका इस्तेमाल किया और मुख्य रूप से प्रति यूनिट समय में अधिक पेड़ उगाने की क्षमता के कारण मीट्रिक को मुख्य रूप से खींच लिया।

माध्य लक्ष्य एन्कोडिंग के एकीकृत कार्यान्वयन ने कैटबॉस्ट पर आधारित समाधानों के उच्च परिणाम में भी योगदान दिया, लेकिन पेड़ों की संख्या और गहराई ने अधिक महत्वपूर्ण वृद्धि दी।

अन्य बूस्टिंग टूल एक समान दिशा में आगे बढ़ रहे हैं, GPU सपोर्ट को जोड़ते और सुधारते हैं। तो और पेड़ उगाओ!

स्पार्क बनाम PySpark

अपाचे स्पार्क उपकरण औद्योगिक डेटा विज्ञान का एक मजबूत नेता है, जो पायथन एपीआई के हिस्से में है। हालांकि, पायथन का उपयोग विभिन्न रनटाइम्स और दुभाषिया काम के बीच एकीकरण के लिए अतिरिक्त ओवरहेड के साथ आता है।

यह अपने आप में एक समस्या नहीं है यदि उपयोगकर्ता इस बात से अवगत है कि अतिरिक्त लागत की राशि किस हद तक एक विशेष कार्रवाई की ओर ले जाती है। हालांकि, यह पता चला कि इतने सारे लोगों को समस्या की भयावहता का एहसास नहीं है - इस तथ्य के बावजूद कि प्रतिभागियों ने अपाचे स्पार्क का उपयोग नहीं किया, पायथन बनाम चर्चा। स्काला नियमित रूप से हैकाथॉन चैट में दिखाई दिया, जिसके कारण संबंधित पार्स पोस्ट दिखाई दिया ।

संक्षेप में, स्केल / जावा के माध्यम से स्पार्क का उपयोग करने की तुलना में पायथन के माध्यम से स्पार्क का उपयोग करने से होने वाली मंदी को निम्न स्तरों में विभाजित किया जा सकता है:

• केवल स्पार्क एसक्यूएल एपीआई का उपयोग उपयोगकर्ता परिभाषित कार्यों (यूडीएफ) के बिना किया जाता है - इस मामले में व्यावहारिक रूप से कोई ओवरहेड नहीं है, क्योंकि संपूर्ण क्वेरी निष्पादन योजना की गणना जेवीएम के ढांचे के भीतर की जाती है;
• U ++ का उपयोग C ++ कोड वाले पैकेजों को कॉल किए बिना पायथन में किया जाता है - इस मामले में, उस चरण का प्रदर्शन जिस पर यूडीएफ की गणना की जाती है वह 7-10 बार गिरता है ;
• UDF का उपयोग Python में C ++ पैकेज (numpy, sklearn, आदि) तक पहुंच के साथ किया जाता है - इस मामले में, प्रदर्शन 10-50 बार गिरता है ।

आंशिक रूप से, नकारात्मक प्रभाव को PyPy (JIT for Python) और वेक्टरकृत UDFs का उपयोग करने के लिए मुआवजा दिया जा सकता है, हालांकि इन मामलों में प्रदर्शन में अंतर कई है, और कार्यान्वयन और तैनाती की जटिलता एक अतिरिक्त "बोनस" के साथ आती है।

एल्गोरिदम के बारे में

लेकिन डेटा साइंस हैकथॉन के बारे में सबसे दिलचस्प बात, निश्चित रूप से प्रौद्योगिकियां नहीं हैं, बल्कि नए फैशनेबल और पुराने सिद्ध एल्गोरिदम हैं। कैटबॉस्ट इस साल एसएनए हैकथॉन पर हावी था, लेकिन कई वैकल्पिक दृष्टिकोण थे। हम उनके बारे में बात करेंगे :)।

भिन्न-भिन्न रेखांकन

क्वालीफाइंग दौर के परिणामों के आधार पर निर्णयों के पहले प्रकाशनों में से एक पेड़ों के लिए समर्पित नहीं था, लेकिन अलग-अलग रेखांकन (कृत्रिम तंत्रिका नेटवर्क भी कहा जाता है)। लेखक ओके का कर्मचारी है, इसलिए वह पुरस्कारों का पीछा नहीं कर सकता, बल्कि एक ठोस गणितीय आधार के आधार पर एक आशाजनक समाधान का आनंद ले सकता है।

प्रस्तावित समाधान का मुख्य विचार एक एकल कम्प्यूटेशनल परिवर्तनीय ग्राफ का निर्माण करना था जो उपलब्ध सुविधाओं को एक पूर्वानुमान में अनुवाद करता है जो इनपुट डेटा के विभिन्न पहलुओं को ध्यान में रखता है:

• ऑब्जेक्ट और उपयोगकर्ता यूनियन आपको क्लासिक सहयोगी सिफारिशों के एक तत्व को जोड़ने की अनुमति देते हैं;
• एमएलपी के माध्यम से एकत्रीकरण से स्केलर से संक्रमण आपको मनमाने ढंग से विशेषताओं को जोड़ने की अनुमति देता है;
• क्वेरी-की-वैल्यू ध्यान ने मॉडल को गतिशील रूप से अपने हाल के इतिहास को देखने वाले पहले से अपरिचित उपयोगकर्ता के व्यवहार के अनुकूल होने की अनुमति दी।

पाठ सामग्री की सिफारिश करने की समस्या को हल करने में यह मॉडल ऑनलाइन चयन में बहुत अच्छा साबित हुआ, इसलिए कई टीमों ने इसे एक ही बार में फाइनल में खेलने की कोशिश की, हालांकि, वे सफल नहीं हुए। यह आंशिक रूप से इस तथ्य के कारण था कि इसके लिए समय और अनुभव की आवश्यकता होती है, और आंशिक रूप से इस तथ्य के कारण कि अंतिम में विशेषताओं की संख्या बहुत बड़ी थी और पेड़ों पर आधारित विधियों को उनके कारण एक महत्वपूर्ण लाभ प्राप्त हुआ।

सहयोगात्मक प्रभुत्व

बेशक, प्रतियोगिता का आयोजन करते समय, हम जानते थे कि लॉग में काफी मजबूत संकेत था, क्योंकि वहां एकत्र किए गए संकेत फ़ीड को रैंक करने के लिए ओके में किए गए काम का एक महत्वपूर्ण हिस्सा दर्शाते हैं। फिर भी, बहुत अंत तक उन्हें उम्मीद थी कि प्रतिभागी "तीसरे-चरित्र शाप" का सामना करने में सफल होंगे - ऐसी परिस्थितियाँ जहाँ विशाल मानव और मशीन संसाधनों ने सामग्री (पाठ और फ़ोटो) से विशेषताओं को निकालने के लिए एक मॉडल विकसित करने में निवेश किया, जिसके परिणामस्वरूप पहले से तुलना में गुणवत्ता में बेहद मामूली लाभ हुआ। तैयार, मुख्य रूप से सहयोगी, लक्षण।

इस समस्या के बारे में जानने के बाद, हमने शुरू में कार्य को क्वालिफाइंग दौर में तीन भागों में विभाजित किया और केवल फाइनल में एक संयुक्त डेटा सेट का गठन किया, लेकिन एक निश्चित मीट्रिक के साथ हैकाथॉन प्रारूप में, सामग्री मॉडल के विकास में निवेश करने वाली टीमों ने खुद को सहयोगी विकासशील टीमों की तुलना में जानबूझकर खोने की स्थिति में पाया। भाग।

इस अन्याय की भरपाई के लिए जूरी पुरस्कार ने मदद की ...

गहरा क्लस्टर

जिसे फेसबुक से डीप क्लस्टर एल्गोरिथ्म को पुन: प्रस्तुत करने और परीक्षण करने के काम के लिए सर्वसम्मति से सम्मानित किया गया था। समूहों और छवि एम्बेडिंग के लिए सरल मार्कअप और प्रारंभिक मार्कअप विधि की आवश्यकता नहीं है, जो नवीनता के विचारों और आशाजनक परिणामों से प्रभावित हैं।

विधि का सार अत्यंत सरल है:

1. किसी भी सार्थक तंत्रिका नेटवर्क के साथ छवियों के लिए एम्बेडिंग वैक्टर की गणना करें;
2. कश्मीर-साधनों के साथ परिणामी स्थान में वैक्टर को क्लस्टर करना;
3. चित्रों के एक क्लस्टर की भविष्यवाणी के लिए एक तंत्रिका नेटवर्क क्लासिफायर ट्रेन;
4. अभिसरण तक 2-3 चरणों को दोहराएं (यदि आपके पास 800 GPU है) या पर्याप्त समय है।

न्यूनतम प्रयासों के साथ, हम ओके इमेज की उच्च-गुणवत्ता वाली क्लस्टरिंग, अच्छी एम्बेडिंग और तीसरे अंक में एक मीट्रिक वृद्धि प्राप्त करने में कामयाब रहे।

भविष्य में देखो

किसी भी डेटा में आप पूर्वानुमान को बेहतर बनाने के लिए "कमियां" पा सकते हैं। यह अपने आप में इतना बुरा नहीं है, यह बहुत बुरा है अगर खामियों को खुद पाया जाए और लंबे समय तक केवल ऐतिहासिक डेटा और ए / बी परीक्षणों पर सत्यापन के परिणामों के बीच असंगत विसंगतियों के रूप में दिखाई दें।

इस तरह की सबसे व्यापक खामियों में से एक भविष्य से जानकारी का उपयोग है। इस तरह की जानकारी अक्सर एक बहुत मजबूत संकेत होती है और मशीन लर्निंग एल्गोरिदम, यदि सक्षम है, तो आत्मविश्वास के साथ इसका उपयोग करना शुरू कर देगा। जब आप अपने उत्पाद के लिए एक मॉडल बनाते हैं, तो आप भविष्य से सूचनाओं के रिसाव से बचने के लिए हर संभव कोशिश कर रहे हैं, लेकिन हैकाथॉन में यह मीट्रिक बढ़ाने का एक अच्छा मौका है, जिसका उपयोग प्रतिभागियों द्वारा किया जाता था।

सबसे स्पष्ट खामी शो के समय ऑब्जेक्ट में प्रतिक्रिया की गिनती के साथ इन क्षेत्रों में संख्या और संख्याओं की उपस्थिति थी। एक ही वस्तु से संबंधित समय में निकटतम दो घटनाओं की तुलना करके, उच्च सटीकता के साथ यह निर्धारित करना संभव था कि उनमें से पहली वस्तु में प्रतिक्रिया क्या थी। डेटा में कई समान काउंटर थे, और उनके उपयोग ने ध्यान देने योग्य लाभ दिया। स्वाभाविक रूप से, वास्तविक उपयोग में, ऐसी जानकारी उपलब्ध नहीं होगी।

जीवन में, इसी तरह की समस्या को महसूस किए बिना ठोकर खाई जा सकती है, आमतौर पर नकारात्मक परिणामों के साथ। उदाहरण के लिए, "कक्षा!" ऑब्जेक्ट के लिए सभी डेटा के अनुसार और इसे एक अलग विशेषता के रूप में लेना। या, जैसा कि उन्होंने भाग लेने वाली टीमों में से एक में किया था, एक वस्तु पहचानकर्ता को एक श्रेणीगत विशेषता के रूप में मॉडल में जोड़ दिया। प्रशिक्षण सेट पर, इस तरह की सुविधा वाला एक मॉडल अच्छी तरह से काम करता है, लेकिन एक परीक्षण सेट के लिए सामान्य नहीं कर सकता है।

एक निष्कर्ष के बजाय

प्रतियोगिता के सभी सामग्री, प्रतिभागियों के निर्णयों के डेटा और प्रस्तुतियों सहित Mail.ru Cloud में उपलब्ध हैं। डेटा प्रतिबंध के बिना अनुसंधान परियोजनाओं द्वारा उपयोग के लिए उपलब्ध है, लिंक की उपलब्धता को छोड़कर। कहानी के लिए, चलो अंतिम तालिका यहां अंतिम टीमों के मैट्रिक्स के साथ छोड़ते हैं:

1. क्रैकिंग स्काला, पायथन को छिपाते हुए - 0.7422, समाधान पार्सिंग यहां उपलब्ध है , और कोड यहां और यहां है ।
2. मैजिक सिटी - 0.7256
3. केफिर - 0.7226
4. टीम 6 - 0.7205
5. एक नाव में तीन - 0.7188
6. हॉल # 14 - 0.7167 और जूरी पुरस्कार
7. बेजस्ना - 0.7147
8. पोंगा - 0.7117
9. टीम 5 - 0.7112

सीएनए हैकाथॉन 2019, श्रृंखला की पिछली घटनाओं की तरह, हर मायने में एक सफलता थी। हम एक छत के नीचे अलग-अलग क्षेत्रों में शांत पेशेवरों को इकट्ठा करने में कामयाब रहे और उनके पास एक उपयोगी समय है, जिसके लिए प्रतिभागियों को खुद को और उन सभी को धन्यवाद जिन्होंने संगठन के साथ मदद की।

क्या कुछ और भी बेहतर किया जा सकता था? हाँ हाँ! आयोजित प्रत्येक प्रतियोगिता हमें नए अनुभव से समृद्ध करती है, जिसे हम अगली तैयारी के समय ध्यान में रखते हैं और वहाँ रुकने वाले नहीं हैं। तो, आप जल्द ही SNA हैकाथॉन में मिलते हैं!