NeurIPS- एक सम्मेलन जिसे वर्तमान में मशीन लर्निंग की दुनिया में सबसे शीर्ष घटना माना जाता है। आज मैं आपको NeurIPS प्रतियोगिताओं में भाग लेने के अपने अनुभव के बारे में बताऊंगा: दुनिया के सर्वश्रेष्ठ शिक्षाविदों के साथ प्रतिस्पर्धा कैसे करें, पुरस्कार लें और एक लेख प्रकाशित करें।

सम्मेलन का सार क्या है?

NeurIPS विभिन्न वैज्ञानिक विषयों में मशीन सीखने के तरीकों की शुरूआत का समर्थन करता है। अकादमिक दुनिया की दबाव संबंधी समस्याओं को हल करने के लिए सालाना लगभग 10 ट्रैक लॉन्च किए जाते हैं । प्रतियोगिता के परिणामों के अनुसार, विजेता सम्मेलन में रिपोर्ट, नए विकास और एल्गोरिदम के साथ बोलते हैं। मैं सबसे अधिक प्रबलित शिक्षा (सुदृढीकरण सीखना या आरएल) के बारे में भावुक हूं, इसीलिए मैं अब दूसरे वर्ष के लिए न्यूरल को समर्पित आरएल प्रतियोगिताओं में भाग ले रहा हूं।

क्यों NeurIPS

NeurIPS मुख्य रूप से विज्ञान पर केंद्रित है, न कि धन पर। प्रतियोगिताओं में भाग लेकर, आप वास्तव में महत्वपूर्ण कुछ कर रहे हैं, दबाने वाले मुद्दों से निपट रहे हैं।

दूसरे, यह सम्मेलन एक वैश्विक कार्यक्रम है, विभिन्न देशों के वैज्ञानिक एक जगह इकट्ठा होते हैं, जिनमें से प्रत्येक के साथ आप बात कर सकते हैं।

इसके अलावा, पूरा सम्मेलन नवीनतम वैज्ञानिक उपलब्धियों और अत्याधुनिक परिणामों से भरा है, यह डेटा विज्ञान के क्षेत्र के लोगों के लिए उन्हें जानना और उनकी निगरानी करना बेहद महत्वपूर्ण है।

कैसे शुरू करें?

ऐसी प्रतियोगिताओं में भाग लेना शुरू करना काफी सरल है। यदि आप DL को इतना समझते हैं कि आप ResNet को प्रशिक्षित कर सकते हैं — तो यह पर्याप्त है: साइन अप करें और जाएं। हमेशा एक सार्वजनिक लीडरबोर्ड होता है, जिस पर आप अन्य प्रतिभागियों की तुलना में अपने स्तर का आकलन कर सकते हैं। और अगर कुछ स्पष्ट नहीं है - सभी उभरते मुद्दों पर चर्चा करने के लिए सुस्त / कलह / कड़वाहट / आदि में हमेशा चैनल होते हैं। यदि विषय वास्तव में "आपका" है, तो आपको उन सभी प्रतियोगिताओं में पोषित परिणाम प्राप्त करने से कुछ भी नहीं रोका जाएगा, जिनमें मैंने भाग लिया था, प्रतियोगिता के दौरान सभी दृष्टिकोणों और समाधानों का सही तरीके से अध्ययन और कार्यान्वयन किया गया था।

NeurIPS केस स्टडी: लर्निंग टू रन

समस्याओं

एक व्यक्ति की चाल मांसपेशियों, हड्डियों, दृष्टि के अंगों और आंतरिक कान की बातचीत का परिणाम है। केंद्रीय तंत्रिका तंत्र के विघटन के मामले में, कुछ मोटर विकार हो सकते हैं, जिसमें गैट की गड़बड़ी भी शामिल है-एबिया।
न्यूरोमस्कुलर बायोमैकेनिक्स की स्टैनफोर्ड लेबोरेटरी के शोधकर्ताओं ने मशीन के अध्ययन को उपचार के मुद्दे से जोड़ने का फैसला किया ताकि कंकाल के आभासी मॉडल पर उनके सिद्धांतों का प्रयोग और परीक्षण किया जा सके, न कि जीवित लोगों पर।

समस्या का बयान

प्रतिभागियों को एक आभासी मानव कंकाल ( ओपनसिम सिम्युलेटर में) दिया गया था, जिनके पास एक पैर के स्थान पर एक कृत्रिम अंग था। कार्य कंकाल को एक निश्चित गति से एक निश्चित दिशा में स्थानांतरित करने के लिए सिखाना था। सिमुलेशन के दौरान, दिशा और गति दोनों बदल सकते हैं।

एक आभासी कंकाल नियंत्रण मॉडल प्राप्त करने के लिए, सुदृढीकरण सीखने का उपयोग करने का प्रस्ताव किया गया था। सिम्युलेटर ने हमें कंकाल एस की कुछ स्थिति (~ 400 नंबर की एक वेक्टर) दी। यह अनुमान लगाने के लिए आवश्यक था कि ए को क्या कार्रवाई करने की आवश्यकता है (पैर की मांसपेशियों की सक्रियता बल 19 संख्याओं का एक वेक्टर है)। अनुकरण के दौरान, कंकाल को एक आर पुरस्कार दिया गया था - एक निश्चित गति के रूप में एक निश्चित गति और दिशा से विचलन के लिए एक दंड।

सुदृढीकरण प्रशिक्षण के बारे में

सुदृढीकरण सीखना (आरएल) एक ऐसा क्षेत्र है जो निर्णय सिद्धांत और इष्टतम व्यवहार नीतियों की खोज से संबंधित है।

याद करते हैं कि वे कैसे सिखाते हैं ~~सील~~ कुत्ते की नई चाल। कुछ कार्रवाई दोहराएं, एक चाल प्रदर्शन के लिए एक स्वादिष्ट दें, और गैर-पूर्ति के लिए न दें। कुत्ते को यह सब समझना चाहिए और आरएल के संदर्भ में एक व्यवहारिक रणनीति ("नीति" या "नीति") ढूंढनी चाहिए, जो प्राप्त की गई मिठाइयों की संख्या को अधिकतम करती है।

औपचारिक रूप से, हमारे पास एक एजेंट (कुत्ता) है जो पर्यावरण (व्यक्ति) के साथ बातचीत के इतिहास पर प्रशिक्षित है। उसी समय, पर्यावरण, एजेंट के कार्यों का मूल्यांकन करता है, उसे एक इनाम (स्वादिष्ट) प्रदान करता है - जितना बेहतर होगा एजेंट का व्यवहार, उतना ही बड़ा इनाम। तदनुसार, एजेंट का कार्य एक ऐसी नीति खोजना है जो पर्यावरण के साथ बातचीत के पूरे समय के लिए अच्छी तरह से इनाम को अधिकतम करता है।

इस विषय को और विकसित करते हुए, नियम-आधारित समाधान - सॉफ्टवेयर 1.0, जब सभी नियम डेवलपर द्वारा निर्धारित किए गए थे, पर्यवेक्षित शिक्षण - बहुत सॉफ्टवेयर 2.0, जब सिस्टम उपलब्ध उदाहरणों का उपयोग करके खुद को सीखता है और डेटा निर्भरता पाता है, सुदृढीकरण सीखना एक कदम थोड़ा आगे है जब सिस्टम स्वयं। अपने निर्णयों में आवश्यक निर्भरता पर शोध, प्रयोग और खोज करना सीखता है। जितना हम आगे बढ़ते हैं, उतना ही हम दोहराने की कोशिश करते हैं कि कोई व्यक्ति कैसे सीखता है।

कार्य सुविधाएँ

असाइनमेंट निरंतर एक्शन स्पेस (निरंतर एक्शन स्पेस के लिए आरएल) के साथ कार्यों के लिए प्रबलित शिक्षण के एक विशिष्ट प्रतिनिधि की तरह दिखता है। यह सामान्य आरएल से अलग है जिसमें एक विशिष्ट कार्रवाई (जॉयस्टिक बटन दबाकर) चुनने के बजाय, यह कार्रवाई सटीक रूप से भविष्यवाणी करने के लिए आवश्यक है (और असीम रूप से कई संभावनाएं हैं)।

समाधान के लिए मूल दृष्टिकोण ( डीप डिसेंटिस्टिक पॉलिसी ग्रैडिएंट ) का आविष्कार 2015 में किया गया था, जो कि डीएल के मानकों से लंबे समय तक क्षेत्र में रोबोटिक्स और वास्तविक दुनिया आरएल अनुप्रयोगों के लिए सक्रिय रूप से विकसित होता रहा है। सुधार करने के लिए कुछ है: मजबूत दृष्टिकोण (ताकि एक वास्तविक रोबोट को तोड़ने के लिए नहीं), नमूना दक्षता (ताकि महीनों के लिए वास्तविक रोबोट से डेटा एकत्र न करें) और अन्य आरएल समस्याएं (अन्वेषण बनाम शोषण व्यापार-बंद, आदि)। इस प्रतियोगिता में, उन्होंने हमें एक वास्तविक रोबोट नहीं दिया - केवल एक सिमुलेशन, लेकिन ओपन सोर्स समकक्षों की तुलना में सिम्युलेटर खुद को 2,000 गुना धीमा था (जिस पर हर कोई अपने आरएल एल्गोरिदम की जांच करता है), और इसलिए नमूना दक्षता की समस्या को एक नए स्तर पर लाया।

प्रतियोगिता के मंचन

प्रतियोगिता स्वयं तीन चरणों में हुई, इस दौरान कार्य और परिस्थितियाँ कुछ बदल गईं।

चरण 1: कंकाल 3 मीटर प्रति सेकंड की गति से सीधे चलना सीखा। यदि एजेंट 300 चरणों से गुजरता है तो कार्य को पूरा माना जाता था।
स्टेज 2: एक नियमित आवृत्ति के साथ गति और दिशा बदल गई। दूरी की लंबाई बढ़कर 1000 कदम हो गई।
स्टेज 3: अंतिम समाधान को एक डॉकटर छवि में पैक किया गया और सत्यापन के लिए भेजा गया। कुल मिलाकर, 10 पार्सल बनाए जा सकते थे।

मुख्य गुणवत्ता मीट्रिक को सिमुलेशन के लिए कुल इनाम माना जाता था, जिसने दिखाया कि कंकाल कितनी अच्छी तरह से दूरी पर दिशा और गति का पालन करता है।

पहली और दूसरी स्टेज के दौरान लीडरबोर्ड पर प्रत्येक प्रतिभागी की प्रगति प्रदर्शित की गई थी। अंतिम समाधान को डॉकटर छवि के रूप में भेजने की आवश्यकता है। यह काम के घंटे और संसाधनों पर प्रतिबंध के लिए प्रदान करता है।

कूलस्टोरी: पब्लिक लीडरबोर्ड और आरएल

लीडरबोर्ड की उपलब्धता के कारण, अंतिम दौर और आश्चर्यजनक प्रतिद्वंद्वियों में "सामान्य से थोड़ा अधिक" देने के लिए कोई भी अपना सर्वश्रेष्ठ मॉडल नहीं दिखाता है।

डॉकटर चित्र इतने महत्वपूर्ण क्यों हैं

पिछले वर्ष, पहले ही दौर में निर्णयों का मूल्यांकन करते समय एक छोटी सी घटना घटी। उस समय, चेक प्लेटफॉर्म के साथ http-इंटरैक्शन के माध्यम से चला गया, और परीक्षण के लिए शर्तों का एक चेहरा मिला। कोई यह पता लगा सकता है कि किन विशेष स्थितियों में एजेंट का मूल्यांकन किया गया था और इन शर्तों के तहत ही इसे वापस लेना है। जो निश्चित रूप से, वास्तविक समस्या को हल नहीं करता था। यही कारण है कि उन्होंने डॉकटर-छवियों के लिए सबमिशन की प्रणाली को स्थानांतरित करने और इसे आयोजकों के दूरस्थ सर्वर पर लॉन्च करने का निर्णय लिया। Dbrain प्रतियोगिताओं के परिणाम की गणना के लिए समान प्रणाली का उपयोग करता है ठीक उसी कारणों से।

मुख्य बिंदु

टीम

पहली चीज जो पूरे उद्यम की सफलता के लिए महत्वपूर्ण है, वह है टीम। कोई फर्क नहीं पड़ता कि आप कितने अच्छे हैं (और आपके पंजे कितने शक्तिशाली हैं) - टीम में भागीदारी से सफलता की संभावना बहुत बढ़ जाती है। कारण सरल है - विभिन्न प्रकार की राय और दृष्टिकोण, परिकल्पना की पुनरावृत्ति, काम को समानांतर करने और अधिक प्रयोगों का संचालन करने की क्षमता। नई समस्याओं को हल करते समय यह सब बेहद महत्वपूर्ण है, जिसका आपको सामना करना है।

आदर्श रूप से, आपका ज्ञान और कौशल समान स्तर पर होना चाहिए और एक दूसरे के पूरक होना चाहिए। इसलिए, उदाहरण के लिए, इस साल मैंने PyTorch पर अपनी टीम को लगाया, और मुझे एक वितरित एजेंट प्रशिक्षण प्रणाली को लागू करने पर कुछ प्रारंभिक विचार मिले।

टीम कैसे खोजें? सबसे पहले, आप ओड्स के रैंक में शामिल हो सकते हैं और वहां समान विचारधारा वाले लोगों की तलाश कर सकते हैं। दूसरे, आरएल-फेलो के लिए एक टेलीग्राम - आरएल क्लब में एक अलग चैट रूम है। तीसरा, आप ShAD - प्रैक्टिकल आरएल से एक अद्भुत पाठ्यक्रम ले सकते हैं, जिसके बाद आपको निश्चित रूप से कुछ परिचित मिलेंगे।

हालांकि, यह "प्रस्तुत - या नहीं था" की नीति को याद रखने योग्य है। यदि आप एकजुट होना चाहते हैं, तो पहले अपना निर्णय लें, सबमिट करें, लीडरबोर्ड पर दिखाई दें और अपना स्तर दिखाएं। जैसा कि अभ्यास से पता चलता है, ऐसी टीमें बहुत अधिक संतुलित हैं।

प्रेरणा

जैसा कि मैंने पहले ही लिखा है, अगर विषय "आपका" है, तो कुछ भी आपको रोक नहीं पाएगा। इसका मतलब है कि यह क्षेत्र आपको पसंद नहीं करता है, बल्कि आपको प्रेरित करता है - आप इसे जलाते हैं, आप इसमें सर्वश्रेष्ठ बनना चाहते हैं।
मैं 4 साल पहले आरएल से मिला था - बर्कले 188x के पारित होने के दौरान - एअर इंडिया में परिचय - और फिर भी इस क्षेत्र में प्रगति पर आश्चर्य करना बंद नहीं कर सकता।

व्यवस्थित

तीसरा, लेकिन उतना ही महत्वपूर्ण - आपको वह करने में सक्षम होना चाहिए जो आपने वादा किया था, हर दिन प्रतियोगिता में निवेश करें और बस ... इसे हल करें। हर दिन। किसी भी जन्मजात प्रतिभा की तुलना कुछ करने की क्षमता से नहीं की जा सकती है, यहां तक कि थोड़ा सा भी, लेकिन हर दिन। यह इसके लिए है कि प्रेरणा की आवश्यकता होगी। सफल होने के लिए, मैं दीपवर्क्स और एएमए टर्नाउसे पढ़ने की सलाह देता हूं ।

समय प्रबंधन

एक और अत्यंत महत्वपूर्ण कौशल है किसी की ताकत को वितरित करने और खाली समय का सही उपयोग करने की क्षमता। पूर्णकालिक कार्य और प्रतियोगिताओं में भागीदारी एक गैर-तुच्छ कार्य है। इन स्थितियों में सबसे महत्वपूर्ण बात यह है कि पूरे लोड को जलाने और झेलने के लिए नहीं। ऐसा करने के लिए, आपको अपने समय को ठीक से प्रबंधित करने की आवश्यकता है, सोबरली अपनी ताकत का आकलन करें और समय पर आराम करना न भूलें।

अधिक काम

प्रतियोगिता के अंतिम चरण में, एक स्थिति आमतौर पर उठती है जहां एक सप्ताह में शाब्दिक रूप से आपको न केवल बहुत कुछ करने की आवश्यकता होती है, बल्कि बहुत ज्यादा। सर्वोत्तम परिणाम के लिए, आपको खुद को नीचे बैठने के लिए मजबूर करने और प्रतिष्ठित पुरस्कार के लिए अंतिम स्पर्ट करने में सक्षम होने की आवश्यकता है।

कूलस्टोरी: समय सीमा के बाद समय सीमा

किस वजह से, सामान्य तौर पर, आपको प्रतियोगिता के लाभ के लिए रीसायकल करने की आवश्यकता हो सकती है? जवाब काफी सरल है - समय सीमा स्थानांतरण। ऐसी प्रतियोगिताओं में, आयोजक अक्सर सब कुछ का अनुमान नहीं लगा सकते हैं, जिसके कारण प्रतिभागियों को अधिक समय देने का सबसे आसान तरीका है। इस वर्ष प्रतियोगिता को 3 बार बढ़ाया गया था: पहले एक महीने के लिए, फिर एक सप्ताह के लिए और अंतिम क्षण में (अंतिम समय से 24 घंटे पहले) - एक और 2 दिनों के लिए। और अगर पहले दो स्थानान्तरण के दौरान आपको बस अतिरिक्त समय को सही ढंग से व्यवस्थित करने की आवश्यकता थी, तो पिछले दो दिनों में आपको बस हल करना था।

सिद्धांत

अन्य बातों के अलावा, सिद्धांत के बारे में मत भूलना - क्षेत्र में क्या हो रहा है, इसके बारे में जागरूक होना और प्रासंगिक को नोट करने में सक्षम होना। इसलिए, उदाहरण के लिए, पिछले वर्ष को हल करने के लिए, हमारी टीम ने निम्नलिखित लेखों से विदा ली:

गहरी सुदृढीकरण सीखने के साथ निरंतर नियंत्रण निरंतर कार्रवाई स्थान के साथ कार्यों के लिए गहन सुदृढीकरण सीखने पर एक मूल लेख है।
अन्वेषण के लिए पैरामीटर स्पेस शोर - पर्यावरण के बेहतर अध्ययन के लिए एजेंट वेट में शोर जोड़ने पर एक अध्ययन। अनुभव से - आरएल में अन्वेषण के लिए सबसे अच्छी तकनीकों में से एक।

इस साल, एक जोड़े को उनके साथ जोड़ा गया:

सुदृढीकरण सीखने पर एक वितरण परिप्रेक्ष्य - संभावित इनाम की भविष्यवाणियों पर एक नया नज़र। केवल औसत की भविष्यवाणी करने के बजाय, भविष्य के पुरस्कारों के वितरण की गणना की जाती है।
मात्रात्मक प्रतिगमन के साथ वितरण सुदृढीकरण सीखना पिछले काम की निरंतरता है, लेकिन वितरण के "परिमाणीकरण" के साथ।
वितरित प्राथमिकता अनुभव रिप्ले - पैमाने पर गहन सुदृढीकरण सीखने की दिशा से काम करते हैं। उपलब्ध संसाधनों के उपयोग को अधिकतम करने और प्रशिक्षण एजेंटों की गति बढ़ाने के लिए प्रयोग की वास्तुकला को ठीक से व्यवस्थित करने के बारे में।
डिस्ट्रीब्यूटेड डिस्ट्रिब्यूटिव डिसेंटिस्टिक पॉलिसी ग्रेजुएट्स - क्रिया के निरंतर स्थान के साथ कार्यों के लिए तीन पिछले लेखों का एक संयोजन।
अभिनेता-आलोचना के तरीकों में समारोह स्वीकृति त्रुटि को संबोधित करना - आरएल एजेंटों की मजबूती बढ़ाने के लिए उत्कृष्ट कार्य। मैं इसे पढ़ने की सलाह देता हूं।
डाटा-इफिशिएंट हायरार्किकल रीइनफोर्समेंट लर्निंग , पदानुक्रमित सुदृढीकरण सीखने (एचआरएल) के क्षेत्र में पिछले लेख का विकास है।

अतिरिक्त पढ़ने

सॉफ्ट एक्टर-क्रिटिक: ऑफ-पॉलिसी अधिकतम एंट्रॉपी डीप रिनफोर्समेंट लर्निंग विद अ स्टोचस्टिक एक्टर - लेखकों ने ऑफ-पॉलिसी रीइन्फोर्समेंट लर्निंग के साथ स्टोचस्टिक नीतियों के प्रशिक्षण के लिए एक विधि का प्रस्ताव रखा। इस लेख के लिए धन्यवाद, निरंतर कार्रवाई के साथ कार्यों में भी गैर-निर्धारक राजनेताओं को प्रशिक्षित करना संभव हो गया।
पदानुक्रमित सुदृढीकरण सीखने के लिए अव्यक्त अंतरिक्ष नीतियां बहु-स्तरीय स्टोकेस्टिक नीतियों के साथ पिछले एचआरएल लेख की निरंतरता है।
विविधता की आपको आवश्यकता है: रिवॉर्ड फंक्शन के बिना लर्निंग स्किल्स - इस लेख में पर्यावरण से बिना किसी इनाम के कई यादृच्छिक निम्न-स्तरीय स्टोकेस्टिक नीतियों को सीखने का तरीका है। इसके बाद, जब हमने रिवार्ड फंक्शन निर्धारित किया है, तो अवार्ड के साथ सबसे अधिक सह-सम्बन्ध शीर्ष स्तर पर उच्च-स्तरीय राजनीति सिखाने के लिए किया जा सकता है।
संभावित प्रवर्तन के रूप में सुदृढीकरण सीखना और नियंत्रण: ट्यूटोरियल और समीक्षा - सर्गेई लेविन से अधिकतम एन्ट्रापी सुदृढीकरण सीखने के सभी तरीकों का अवलोकन।

मैं ओपनआई को सुदृढीकरण सीखने और मेंडेली के लिए इसके संस्करण पर लेखों के चयन की भी सलाह देता हूं । और यदि आप सुदृढीकरण प्रशिक्षण के विषय में रुचि रखते हैं, तो आरएल क्लब और आरएल पत्रों में शामिल हों ।

अभ्यास

अकेले सिद्धांत को जानना पर्याप्त नहीं है - इन सभी दृष्टिकोणों को व्यवहार में लाने और निर्णयों के मूल्यांकन के लिए सही सत्यापन प्रणाली स्थापित करने में सक्षम होना महत्वपूर्ण है। उदाहरण के लिए, इस साल हमने सीखा कि हमारे एजेंट प्रतियोगिता के अंत से केवल 2 दिन पहले कुछ क्षेत्रीय मामलों में खराब होते हैं। इस वजह से, हमारे पास अपने मॉडल को पूरी तरह से ठीक करने का समय नहीं था और यह वास्तव में प्रतिष्ठित दूसरे स्थान पर कुछ अंक पाने के लिए नहीं था। यदि हमें एक सप्ताह में भी यह मिला - तो परिणाम बेहतर हो सकता है।

कूलस्टोरी: एपिसोड III

समाधान के अंतिम मूल्यांकन के रूप में 10 परीक्षण एपिसोड के लिए औसत पुरस्कार।

ग्राफ हमारे एजेंट के परीक्षण के परिणामों को दिखाता है: 10 एपिसोड में से 9, हमारा कंकाल ठीक (औसत - 9955.66) गया था, लेकिन एक एपिसोड .... एपिसोड 3 उसे नहीं दिया गया था (इनाम 9870)। यह वह गलती थी जिसके कारण अंतिम गति 9947 (-8 अंक) तक गिर गई।

सौभाग्य है

और अंत में - केले के भाग्य के बारे में मत भूलना। ऐसा मत सोचो कि यह एक विवादास्पद बिंदु है। इसके विपरीत, थोड़ा भाग्य स्वयं पर लगातार काम करने में बहुत योगदान देता है: भले ही भाग्य की संभावना केवल 10% है, एक व्यक्ति जिसने 100 बार प्रतियोगिता में भाग लेने की कोशिश की, वह उस व्यक्ति की तुलना में बहुत अधिक सफल होगा जिसने केवल 1 बार प्रयास किया और विचार को छोड़ दिया।

गोल यात्रा: पिछले साल का निर्णय - तीसरा स्थान

पिछले साल, हमारी टीम - मिखाइल पावलोव और आई - ने पहली बार न्यूरिप्स प्रतियोगिताओं में भाग लिया और मुख्य प्रेरणा बस सुदृढीकरण सीखने में पहली न्यूरस प्रतियोगिता में भाग लेने की थी। तब मैंने एसएचएडी में प्रैक्टिकल आरएल कोर्स पूरा किया और अधिग्रहीत कौशल का परीक्षण करना चाहता था। नतीजतन, हमने एक सम्मानजनक तीसरा स्थान हासिल किया, केवल नैनीसीन (श्मिधुबेर) और चीन की विश्वविद्यालय टीम से हार गए। उस समय, हमारा समाधान "काफी सरल" था और पैरामीटर शोर ( प्रकाशन और प्रस्तुति पर एमएल । प्रशिक्षण ) के साथ वितरित डीडीपीजी पर आधारित था।

इस वर्ष का निर्णय तीसरे स्थान पर है

इस वर्ष कुछ बदलाव हुए हैं। सबसे पहले, इस प्रतियोगिता में सिर्फ भाग लेने की कोई इच्छा नहीं थी, मैं इसे जीतना चाहता था। दूसरे, टीम की रचना भी बदल गई है: एलेक्सी ग्रिनचुक, एंटोन पेचेन्को और मैं। लो और जीतो - काम नहीं किया, लेकिन हमने फिर से तीसरा स्थान लिया।
हमारे समाधान को आधिकारिक तौर पर NeurIPS में प्रस्तुत किया जाएगा, और अब हम अपने आप को विवरणों की एक छोटी संख्या तक सीमित कर लेंगे। पिछले वर्ष के निर्णय और इस वर्ष के ऑफ-पॉलिसी सुदृढीकरण सीखने की सफलता (ऊपर दिए गए लेख) के आधार पर, हमने अपने स्वयं के विकास की एक संख्या जोड़ी, जिसके बारे में हम NeurIPS पर बात करेंगे, और डिस्ट्रीब्यूटेड क्वांटाइल एनसेंबल क्रिटिक प्राप्त किया, जिसके साथ हमने तीसरा स्थान हासिल किया।

हमारे सभी सर्वोत्तम अभ्यास - एक वितरित शिक्षण प्रणाली, एल्गोरिदम, आदि प्रकाशित और NeurIPS के बाद Catalyst.RL में उपलब्ध होंगे।

कूलस्टोरी: बड़े लड़के - बड़ी बंदूकें

हमारी टीम पूरे आत्मविश्वास से प्रतियोगिता में प्रथम स्थान पर रही। हालांकि, बड़े लोगों के पास अन्य योजनाएं थीं - 2 बड़े खिलाड़ियों ने प्रतियोगिता के अंत से 2 सप्ताह पहले प्रतियोगिता में प्रवेश किया: फायरवर्क (Baidu) और नैनीसेन्स (श्मिटुबेर)। और अगर चीनी Google के साथ कुछ भी नहीं किया जा सकता है, तो काफी समय तक श्मिटुबेर टीम के साथ, हम ईमानदारी से दूसरे स्थान के लिए लड़ने में सक्षम थे, केवल न्यूनतम अंतर से हार गए। यह मुझे प्रेमियों के लिए बहुत अच्छा लगता है।

यह सब क्यों है?

संचार। शीर्ष शोधकर्ता सम्मेलन में आते हैं जिनके साथ आप लाइव चैट कर सकते हैं, जो कोई ईमेल पत्राचार नहीं देगा।
प्रकाशन। यदि समाधान पुरस्कार लेता है, तो टीम को अपना निर्णय प्रस्तुत करने और लेख प्रकाशित करने के लिए सम्मेलन (या शायद एक से अधिक) में आमंत्रित किया जाता है।
नौकरी की पेशकश और पीएचडी। इस तरह के सम्मेलन में प्रकाशन और एक पुरस्कार से OpenAI, DeepMind, Google, Facebook, Microsoft जैसी अग्रणी कंपनियों में स्थान पाने की संभावना बढ़ जाती है।
वास्तविक विश्व मूल्य। NeurIPS को अकादमिक और वास्तविक दुनिया की दबाव समस्याओं को हल करने के लिए किया जाता है। आप यह सुनिश्चित कर सकते हैं कि परिणाम तालिका में नहीं जाएंगे, लेकिन वास्तव में मांग में होंगे और दुनिया को बेहतर बनाने में मदद करेंगे।
ड्राइव। ऐसे कंटेस्टेंट्स को सॉल्व करना ... सिर्फ दिलचस्प। एक प्रतियोगिता में, आप बहुत सारे नए विचारों के साथ आ सकते हैं, विभिन्न तरीकों का परीक्षण कर सकते हैं - बस सबसे अच्छा होने के लिए। और चलो ईमानदार रहें, जब आप कंकाल ड्राइव कर सकते हैं, खेल खेल सकते हैं और यह सब एक गंभीर नज़र के साथ और विज्ञान के लिए?

कूलस्टोरी: वीजा और आरएल

मैं दृढ़ता से अमेरिकी को यह समझाने की कोशिश करने की अनुशंसा नहीं करता कि आप सम्मेलन में जा रहे हैं, जैसा कि आप आभासी कंकालों को सिमुलेशन में चलाने के लिए प्रशिक्षित करते हैं। बस एक वार्ता के साथ सम्मेलन में जाते हैं।

परिणाम

NeurIPS में भाग लेना एक ऐसा अनुभव है जो बहुत कठिन है। हाई-प्रोफाइल सुर्खियों से डरो मत - आपको बस एक साथ खुद को खींचने और निर्णय लेने की आवश्यकता है।

और Catalyst.RL पर जाएं , फिर क्या।

NeurIPS: सर्वश्रेष्ठ एमएल सम्मेलन कैसे जीतें