कैसे Cossacks रेट्रो प्रतियोगिता का फैसला किया

यह वसंत, एक महत्वपूर्ण OpenAI रेट्रो प्रतियोगिता आयोजित की गई थी, जो सुदृढीकरण सीखने, मेटा सीखने और निश्चित रूप से, सोनिक के लिए समर्पित थी। हमारी टीम ने 900+ टीमों में से 4 वां स्थान प्राप्त किया। सुदृढीकरण के साथ प्रशिक्षण का क्षेत्र मानक मशीन सीखने से थोड़ा अलग है, और यह प्रतियोगिता एक विशिष्ट आरएल प्रतियोगिता से अलग थी। मैं बिल्ली के नीचे विवरण मांगता हूं।

टीएल, डॉ

एक ठीक से तैयार आधारभूत अतिरिक्त चाल की जरूरत नहीं है ... व्यावहारिक रूप से।

सुदृढीकरण प्रशिक्षण में परिचय

प्रबलित शिक्षण एक ऐसा क्षेत्र है जो इष्टतम नियंत्रण, खेल सिद्धांत, मनोविज्ञान और न्यूरोबायोलॉजी के सिद्धांत को जोड़ता है। व्यवहार में, सुदृढीकरण सीखने का उपयोग निर्णय लेने की समस्याओं को हल करने और इष्टतम व्यवहार रणनीतियों, या नीतियों के लिए खोज करने के लिए किया जाता है जो "प्रत्यक्ष" प्रोग्रामिंग के लिए बहुत जटिल हैं। इस मामले में, एजेंट को पर्यावरण के साथ बातचीत के इतिहास पर प्रशिक्षित किया जाता है। बदले में, वातावरण, एजेंट के कार्यों का मूल्यांकन करता है, उसे इनाम (स्केलर) प्रदान करता है - जितना बेहतर एजेंट का व्यवहार, उतना बड़ा इनाम। नतीजतन, सबसे अच्छी नीति उस एजेंट से सीखी जाती है जिसने पर्यावरण के साथ बातचीत के पूरे समय के लिए कुल इनाम को अधिकतम करना सीख लिया है।

एक सरल उदाहरण के रूप में, आप ब्रेकआउट खेल सकते हैं। अटारी श्रृंखला के इस अच्छे पुराने खेल में, एक व्यक्ति / एजेंट को निचले क्षैतिज मंच को नियंत्रित करने, गेंद को हिट करने और धीरे-धीरे इसके साथ सभी ऊपरी ब्लॉकों को तोड़ने की आवश्यकता होती है। जितना अधिक खटखटाया गया - उतना बड़ा इनाम। तदनुसार, एक व्यक्ति / एजेंट जो देखता है वह एक स्क्रीन छवि है और यह निर्णय करना आवश्यक है कि निचले प्लेटफॉर्म को किस दिशा में ले जाना है।

यदि आप सुदृढीकरण प्रशिक्षण के विषय में रुचि रखते हैं, तो मैं आपको एचएसई से एक शांत परिचयात्मक पाठ्यक्रम पर सलाह देता हूं, साथ ही इसके अधिक विस्तृत ओपन सोर्स समकक्ष भी । यदि आप कुछ चाहते हैं जो आप पढ़ सकते हैं, लेकिन उदाहरणों के साथ - इन दो पाठ्यक्रमों से प्रेरित एक पुस्तक । मैंने इन सभी पाठ्यक्रमों को बनाने / पूरा करने में मदद की, और इसलिए मैंने अपने अनुभव से जाना कि वे एक उत्कृष्ट आधार प्रदान करते हैं।

कार्य के बारे में

इस प्रतियोगिता का मुख्य लक्ष्य एक एजेंट प्राप्त करना था जो खेल के सेगा श्रृंखला में अच्छी तरह से खेल सकता था - सोनिक द हेजहोग। OpenAI बस आरएलए एजेंटों के प्रशिक्षण के लिए अपने प्लेटफॉर्म में SEGA से गेम आयात करना शुरू कर रहा था, और इस तरह इस पल को थोड़ा बढ़ावा देने का फैसला किया। यहां तक ​​कि लेख को सब कुछ के उपकरण और बुनियादी तरीकों के विस्तृत विवरण के साथ जारी किया गया था।

सभी 3 सोनिक खेलों का समर्थन किया गया था, जिनमें से प्रत्येक 9 स्तरों के साथ था, जिस पर, एक फाड़ फाड़कर, आप अपने बचपन को याद करते हुए (पहले स्टीम पर उन्हें खरीदने के बाद) खेल सकते थे।

पर्यावरण की स्थिति (एजेंट ने क्या देखा) सिम्युलेटर से एक छवि थी - एक आरजीबी छवि, और एक क्रिया के रूप में एजेंट को चुनने के लिए कहा गया था कि वर्चुअल जॉयस्टिक पर कौन सा बटन दबाएं - कूदें / बाएं / दाएं और इसी तरह। एजेंट को रिवार्ड पॉइंट्स के साथ-साथ ओरिजिनल गेम भी मिले, यानी छल्ले को इकट्ठा करने के लिए, साथ ही साथ स्तर से गुजरने की गति के लिए। वास्तव में, हमारे सामने एक मूल ध्वनि थी, केवल हमारे एजेंट की मदद से इसके माध्यम से जाना आवश्यक था।

यह प्रतियोगिता 5 अप्रैल से 5 जून तक आयोजित की गई थी, अर्थात केवल 2 महीने, जो काफी छोटा लगता है। हमारी टीम मई में ही एक साथ प्रवेश करने और प्रतियोगिता में प्रवेश करने में सक्षम थी, जिससे हमें बहुत कुछ सीखने को मिला।

आधार रेखा

आधारभूत के रूप में, रेनबो प्रशिक्षण के लिए पूर्ण प्रशिक्षण मार्गदर्शिकाएँ (DQN दृष्टिकोण) और सोनिक में संभावित स्तरों में से एक पर PPO (पॉलिसी ग्रैडिएंट दृष्टिकोण) और परिणामी एजेंट की जमा राशि दी गई थी।

इंद्रधनुष संस्करण अल्प-ज्ञात किसी भी प्रोजेक्ट पर आधारित था, लेकिन पीपीओ ने ओपनएआई से अच्छी पुरानी आधारभूत रेखाओं का उपयोग किया और हमें बहुत अधिक पसंद किया।

प्रकाशित बेसलाइनें लेख में वर्णित दृष्टिकोणों से भिन्न होती हैं, जिससे सीखने में तेजी लाने के लिए "हैक्स" के छोटे सेट और छोटे सेट होते हैं। इस प्रकार, आयोजकों ने विचारों को फेंक दिया और दिशा निर्धारित की, लेकिन इन विचारों के उपयोग और कार्यान्वयन पर निर्णय प्रतियोगिता में भाग लेने वाले पर छोड़ दिया गया।

विचारों के बारे में, मैं खुलेपन के लिए ओपनएआई और व्यक्तिगत रूप से जॉन शुलमैन को सलाह, विचारों और सुझावों के लिए धन्यवाद देना चाहता हूं जो उन्होंने इस प्रतियोगिता की शुरुआत में आवाज दी थी। हम, कई प्रतिभागियों (और आरएल दुनिया के लिए और भी अधिक नए लोग) की तरह, इसने हमें प्रतियोगिता के मुख्य लक्ष्य - मेटा लर्निंग और एजेंट सामान्यीकरण में सुधार पर बेहतर ध्यान केंद्रित करने की अनुमति दी, जिसके बारे में हम अभी बात करेंगे।

निर्णय मूल्यांकन की विशेषताएं

एजेंटों के मूल्यांकन के समय सबसे दिलचस्प बात शुरू हुई। विशिष्ट आरएल प्रतियोगिताओं / बेंचमार्क में, एल्गोरिदम का परीक्षण उसी वातावरण में किया जाता है जहां उन्हें प्रशिक्षित किया गया था, जो एल्गोरिदम में योगदान देता है जो याद रखने में अच्छा होता है और जिसमें कई हाइपरपरमेटर्स होते हैं। इसी प्रतियोगिता में, OpenAI टीम द्वारा विशेष रूप से इस प्रतियोगिता के लिए विकसित किए गए नए सोनिक स्तरों पर एल्गोरिथ्म का परीक्षण किया गया था। केक पर चेरी तथ्य यह था कि परीक्षण प्रक्रिया में, एजेंट को स्तर के पारित होने के दौरान एक इनाम भी दिया गया था, जिससे परीक्षण प्रक्रिया में सीधे पुनर्प्रयास करना संभव हो गया था। हालांकि, इस मामले में यह याद रखने योग्य था कि परीक्षण दोनों समय में सीमित था - 24 घंटे और गेम टिक्स में - 1 मिलियन। उसी समय, OpenAI ने ऐसे एजेंटों के निर्माण का पुरजोर समर्थन किया जो नए स्तरों पर शीघ्रता से वापसी कर सकते थे। जैसा कि पहले ही उल्लेख किया गया है, इस तरह के समाधान प्राप्त करना और अध्ययन करना इस प्रतियोगिता के दौरान ओपनएआई का मुख्य लक्ष्य था।

शैक्षणिक माहौल में, नीतियों का अध्ययन करने की दिशा जो जल्दी से नई परिस्थितियों के अनुकूल हो सकती है, मेटा लर्निंग कहलाती है, और हाल के वर्षों में यह सक्रिय रूप से विकसित हुई है।

इसके अतिरिक्त, सामान्य कग्गल प्रतियोगिताओं के विपरीत, जहां पूरी प्रविष्टि आपकी उत्तर फ़ाइल को भेजने के लिए नीचे आती है, इस प्रतियोगिता में (और वास्तव में आरएल प्रतियोगिताओं में) टीम को दिए गए एपीआई के साथ डॉकटर कंटेनर में अपने समाधान को लपेटने के लिए आवश्यक था, इसे इकट्ठा करें और भेजें। डॉकटर छवि। इससे प्रतियोगिता में प्रवेश करने की सीमा बढ़ गई, लेकिन निर्णय प्रक्रिया को और अधिक ईमानदार बना दिया - डॉकटर छवि के लिए संसाधन और समय क्रमशः सीमित थे, बहुत भारी और / या धीमी एल्गोरिदम बस चयन में उत्तीर्ण नहीं हुए। यह मुझे लगता है कि मूल्यांकन करने के लिए यह दृष्टिकोण बहुत अधिक बेहतर है, क्योंकि यह "DGX और AWS के होम क्लस्टर" के बिना शोधकर्ताओं को कांच के 50000 मॉडल के प्रेमियों के साथ प्रतिस्पर्धा करने की अनुमति देता है। भविष्य में इस तरह की और प्रतियोगिता देखने की उम्मीद है।

टीम

कोलेनिकोव सर्गेई ( स्किटेटर )
आरएल उत्साही। प्रतियोगिता के समय, मास्को इंस्टीट्यूट ऑफ फिजिक्स एंड टेक्नोलॉजी, एमआईपीटी के एक छात्र ने पिछले साल के एनआईपीएस से एक डिप्लोमा लिखा और बचाव किया: लर्निंग टू रन प्रतियोगिता (एक लेख जिसके बारे में भी लिखा जाना चाहिए)।
वरिष्ठ डेटा वैज्ञानिक @ डब्रेन - हम वास्तविक दुनिया के लिए डॉकटर और सीमित संसाधनों के साथ उत्पादन-तैयार प्रतियोगिता लाते हैं।

पावलोव मिखाइल ( fgvbrt )
वरिष्ठ शोधकर्ता डिपफाकलैब । बार-बार भाग लिया और हैकथॉन और प्रबलित प्रशिक्षण प्रतियोगिताओं में पुरस्कार जीते।

सर्गेव इलिया ( सेर्गेवीआई123 )
आरएल उत्साही। मैंने दीपेक के आरएल हैकथॉन में से एक को मारा और यह सब शुरू हुआ। डेटा वैज्ञानिक @ Avito.ru - विभिन्न आंतरिक परियोजनाओं के लिए कंप्यूटर विज़न।

सोरोकिन इवान (1 लीटर )
भाषण पहचान में संलग्न भाषण pro.ru।

दृष्टिकोण और समाधान

प्रस्तावित आधार रेखाओं के त्वरित परीक्षण के बाद, हमारी पसंद OpenAI दृष्टिकोण पर गिर गई - पीपीओ, हमारे समाधान के विकास के लिए एक अधिक गठित और दिलचस्प विकल्प के रूप में। इसके अलावा, इस प्रतियोगिता के लिए उनके लेख को देखते हुए, पीपीओ एजेंट ने कार्य को थोड़ा बेहतर बनाया। एक ही लेख से, हमारे समाधान में पहले सुधार का जन्म हुआ था, लेकिन पहली चीजें पहले:

1. सभी उपलब्ध स्तरों पर सहयोगात्मक पीपीओ प्रशिक्षण

   
   
   
   
   

   निर्धारित आउट लाइन को उपलब्ध 27 सोनिक स्तरों में से केवल एक पर प्रशिक्षित किया गया था। हालांकि, छोटे संशोधनों की मदद से, प्रशिक्षण को एक बार में सभी 27 स्तरों पर समानांतर करना संभव था। प्रशिक्षण में अधिक विविधता के कारण, परिणामी एजेंट में बहुत अधिक सामान्यीकरण और सोनिक दुनिया के उपकरण की बेहतर समझ थी, और इसलिए परिमाण के एक आदेश को बेहतर तरीके से कॉपी किया।

   
   

2. परीक्षण के दौरान अतिरिक्त प्रशिक्षण
   प्रतियोगिता के मुख्य विचार पर लौटते हुए, मेटा लर्निंग, यह एक दृष्टिकोण खोजने के लिए आवश्यक था जो अधिकतम सामान्यीकरण होगा और आसानी से नए वातावरण के लिए अनुकूल हो सकता है। और अनुकूलन के लिए, परीक्षण वातावरण के लिए मौजूदा एजेंट को पीछे हटाना आवश्यक था, जो वास्तव में किया गया था (प्रत्येक परीक्षण स्तर पर, एजेंट ने 1 मिलियन कदम उठाए, जो एक विशिष्ट स्तर के लिए पर्याप्त था)। प्रत्येक परीक्षण गेम के अंत में, एजेंट ने प्राप्त पुरस्कार का मूल्यांकन किया और अपनी पॉलिसी को सिर्फ प्राप्त कहानी का उपयोग करके अनुकूलित किया। यहां यह ध्यान रखना महत्वपूर्ण है कि इस दृष्टिकोण के साथ यह महत्वपूर्ण है कि अपने सभी पिछले अनुभव को न भूलें और विशिष्ट परिस्थितियों में नीचा न करें, जो कि, संक्षेप में, मेटा लर्निंग का मुख्य हित है, क्योंकि ऐसा एजेंट तुरंत सामान्य करने के लिए अपनी सभी मौजूदा क्षमता खो देता है।

   
   

3. अन्वेषण बोनस
   एक स्तर के लिए पारिश्रमिक की स्थितियों में गहराई से जाने पर, एजेंट को एक्स-समन्वय के साथ आगे बढ़ने के लिए एक इनाम दिया गया था, क्रमशः, वह कुछ स्तरों पर अटक सकता है, जब आपको पहले आगे जाना था और फिर वापस। एजेंट के लिए इनाम के लिए एक अतिरिक्त बनाने का फैसला किया गया था, तथाकथित गणना आधारित अन्वेषण , जब एजेंट को एक छोटा इनाम दिया गया था यदि वह एक ऐसी स्थिति में था जो वह अभी तक नहीं था। दो प्रकार के अन्वेषण बोनस लागू किए गए थे: चित्र के आधार पर और एजेंट के एक्स-समन्वय पर आधारित। चित्र के आधार पर पुरस्कार की गणना निम्न प्रकार से की गई थी: चित्र में प्रत्येक पिक्सेल स्थान के लिए, यह गिना गया था कि किसी एपिसोड के लिए प्रत्येक मूल्य कितनी बार मिला है, यह पुरस्कार उत्पाद के व्युत्क्रमानुपाती रूप से सभी पिक्सेल स्थानों पर उत्पाद के आनुपातिक रूप से कितनी बार इन स्थानों में एक एपिसोड के लिए मिला था। एक्स-समन्वय पर आधारित इनाम को एक समान तरीके से माना जाता था: प्रत्येक एक्स-समन्वय के लिए (एक निश्चित सटीकता के साथ) यह गिना जाता था कि एपिसोड के लिए एजेंट इस समन्वय में कितनी बार था, इनाम वर्तमान एक्स-समन्वय के लिए इस राशि के विपरीत आनुपातिक है।

   
   

4. मिक्सअप प्रयोग
   "शिक्षक के साथ शिक्षण" में हाल ही में डेटा संवर्द्धन की एक सरल लेकिन प्रभावी विधि तथाकथित है mixup। यह विचार बहुत सरल है: दो मनमाना इनपुट छवियों के अलावा किया जाता है और संबंधित लेबल का एक भारित योग इस नई छवि (उदाहरण के लिए, 0.7 कुत्ते + 0.3 बिल्ली) को सौंपा गया है। छवि वर्गीकरण और भाषण पहचान जैसे कार्यों में, मिक्सअप अच्छे परिणाम दिखाता है। इसलिए, आरएल के लिए इस पद्धति का परीक्षण करना दिलचस्प था। हर बड़े बैच में कई एपिसोड्स में ऑग्मेंटेशन किया गया था। पिक्चर्स में इनपुट इमेजेज को मिलाया गया था, लेकिन टैग के साथ सब कुछ इतना सरल नहीं था। मान रिटर्न, वैल्यू और नेग्लोपैक को एक भारित राशि द्वारा मिलाया गया था, लेकिन कार्रवाई (क्रिया) को अधिकतम गुणांक के साथ उदाहरण से चुना गया था। इस तरह के एक समाधान में एक ठोस वृद्धि नहीं दिखाई दी (हालांकि, ऐसा प्रतीत होता है, सामान्यीकरण में वृद्धि होनी चाहिए थी), लेकिन इससे आधारभूत खराब नहीं हुआ। नीचे दिए गए ग्राफ़ PPO एल्गोरिदम की मिक्सअप (लाल) और बिना मिक्सअप (ब्लू) के साथ तुलना करते हैं: शीर्ष पर प्रशिक्षण के दौरान इनाम है, सबसे नीचे एपिसोड की लंबाई है।

   
   
   
   
   

5. सबसे अच्छी प्रारंभिक नीति का चयन
   यह सुधार अंतिम में से एक था और अंतिम परिणाम में बहुत महत्वपूर्ण योगदान दिया। प्रशिक्षण स्तर पर, विभिन्न हाइपरपैरमीटर के साथ कई अलग-अलग नीतियों को प्रशिक्षित किया गया था। परीक्षण स्तर पर, पहले कुछ एपिसोड के लिए, उनमें से प्रत्येक का परीक्षण किया गया था, और आगे के प्रशिक्षण के लिए, इस नीति ने अपने एपिसोड के लिए अधिकतम परीक्षण इनाम दिया था।

   
   

ग़लतियां

और अब इस सवाल पर कि क्या कोशिश की गई थी, लेकिन "उड़ नहीं गया।" आखिरकार, कुछ छिपाने के लिए यह कोई नया SOTA लेख नहीं है।

1. नेटवर्क वास्तुकला परिवर्तन: SELU सक्रियण , आत्म-ध्यान, एसई ब्लॉक
2. तंत्रिका विकास
3. अपना खुद का सोनिक स्तर बनाना - सब कुछ तैयार था, लेकिन पर्याप्त समय नहीं था
4. MAML और REPTILE के माध्यम से मेटा-ट्रेनिंग
5. महत्व के नमूने का उपयोग करके प्रत्येक मॉडल के परीक्षण के दौरान कई मॉडल और आगे के प्रशिक्षण का पहनावा

परिणाम

प्रतियोगिता के अंत से 3 सप्ताह बाद, OpenAI ने परिणाम पोस्ट किए । अतिरिक्त रूप से बनाए गए 11 स्तरों पर, हमारी टीम को एक सम्मानजनक 4 वां स्थान प्राप्त हुआ, जिसने एक सार्वजनिक परीक्षा में 8 वीं से छलांग लगाई, और ओपनएआई से अस्पष्ट आधारभूत चीजों को पछाड़ दिया।

मुख्य बिंदु जो पहले 3ki में "उड़ गया":

1. कार्यों की बेहतर प्रणाली (अपने स्वयं के बटन के साथ आया, अतिरिक्त लोगों को हटा दिया गया);
2. इनपुट छवि से हैश के माध्यम से राज्यों की जांच;
3. अधिक प्रशिक्षण स्तर;

इसके अलावा, मैं यह ध्यान रखना चाहता हूं कि इस प्रतियोगिता में, जीतने के अलावा, उनके निर्णयों का वर्णन, साथ ही साथ अन्य प्रतिभागियों को सक्रिय करने में मदद करने वाली सामग्रियों को भी प्रोत्साहित किया गया था - इसके लिए एक अलग नामांकन भी था। जिसने, दीप प्रतियोगिता को फिर से बढ़ा दिया।

अंतभाषण

व्यक्तिगत रूप से, मुझे वास्तव में यह प्रतियोगिता पसंद आई, साथ ही मेटा लर्निंग थीम भी। भागीदारी के दौरान, मैं लेखों की एक बड़ी सूची से परिचित हो गया (मैं उनमें से कुछ को भूल भी नहीं पाया) और भविष्य में आवेदन करने की उम्मीद करने वाले विभिन्न दृष्टिकोणों की एक बड़ी संख्या सीखी।

प्रतियोगिता में भाग लेने की सर्वश्रेष्ठ परंपरा में, सभी कोड गिथब पर उपलब्ध और पोस्ट किए गए हैं।