"मोंटेज़ुमा का बदला" खेल में प्रगति को कई लोगों ने अपरिचित वातावरण के अध्ययन में उपलब्धियों के पर्याय के रूप में माना था

हमने एक प्रीडिक्टिव-आधारित रैंडम नेटवर्क डिस्टिलेशन (RND) विधि विकसित की है, जो प्रबलित शिक्षण एजेंटों को उत्सुकता के माध्यम से पर्यावरण का पता लगाने के लिए प्रोत्साहित करती है। यह विधि पहली बार कंप्यूटर गेम "मोंटेज़ुमा का बदला" में औसत मानवीय परिणामों को पार कर गई (आईसीएलआर में अनाम एप्लिकेशन को छोड़कर, जहां परिणाम हमारी तुलना में खराब है)। आरएनडी अल्ट्रामॉडर्न दक्षता प्रदर्शित करता है, समय-समय पर सभी 24 कमरे पाता है और प्रारंभिक प्रदर्शन के बिना और खेल की मूल स्थिति तक पहुंच के बिना पहले स्तर से गुजरता है।

RND विधि राज्य डेटा पर एक यादृच्छिक यादृच्छिक तंत्रिका नेटवर्क के सुपरइम्पोज़िंग के परिणाम की भविष्यवाणी करने की जटिलता को मापकर अपरिचित राज्यों को एक एजेंट के संक्रमण को उत्तेजित करती है। यदि स्थिति अपरिचित है, तो अंतिम परिणाम की भविष्यवाणी करना मुश्किल है, जिसका अर्थ है कि इनाम उच्च है। विधि को किसी भी सुदृढीकरण सीखने के एल्गोरिथ्म पर लागू किया जा सकता है; इसे लागू करना सरल है और स्केलिंग के लिए प्रभावी है। नीचे RND के कार्यान्वयन की एक कड़ी है, जो हमारे लेख के परिणामों को पुन: प्रस्तुत करता है।

एक वैज्ञानिक लेख , कोड का पाठ

मोंटेज़ुमा के परिणाम में परिणाम

इच्छित लक्ष्य को प्राप्त करने के लिए, एजेंट को पहले अध्ययन करना चाहिए कि पर्यावरण में कौन से कार्य संभव हैं और लक्ष्य के प्रति प्रगति क्या है। खेलों में कई इनाम संकेत एक पाठ्यक्रम प्रदान करते हैं, इसलिए लक्ष्य को प्राप्त करने के लिए सरल शोध रणनीतियां भी पर्याप्त हैं। DQN प्रस्तुति के साथ प्रारंभिक कार्य में, मोंटेज़ुमा का बदला एकमात्र ऐसा खेल था, जहाँ DQN ने औसत मानव स्कोर का 0% (4700) परिणाम दिखाया । सरल बुद्धिमत्ता रणनीति किसी भी पुरस्कार को इकट्ठा करने और स्तर पर कुछ कमरों से अधिक नहीं मिलने की संभावना नहीं है। तब से, खेल "मोंटेज़ुमा का बदला" में प्रगति को कई अपरिचित वातावरणों के अध्ययन में प्रगति के पर्याय के रूप में देखा गया है।

2016 में काउंटर पर एक बोनस के साथ DQN के संयोजन से महत्वपूर्ण प्रगति हासिल की गई, जिसके परिणामस्वरूप एजेंट 15 कमरे खोजने में कामयाब रहा और लगभग 3700 के औसत के साथ 6600 का उच्चतम स्कोर प्राप्त किया। तब से, परिणाम में महत्वपूर्ण सुधार केवल विशेषज्ञ लोगों या प्रदर्शनों के माध्यम से प्राप्त किया गया है । एमुलेटर के आधार राज्यों तक पहुंच द्वारा।

हमने 1024 श्रमिकों के साथ बड़े पैमाने पर आरएनडी प्रयोग किया, जिसमें 9 से शुरू होने वाले 10,000 से अधिक का औसत परिणाम और 14,500 का सबसे अच्छा औसत परिणाम रहा । प्रत्येक मामले में, एजेंट को 20-22 कमरे मिले। इसके अलावा, एक छोटे, लेकिन लंबे समय तक लॉन्च (10 में से), अधिकतम परिणाम 17,500 है, जो पहले स्तर से गुजरने और सभी 24 कमरों को खोजने से मेल खाती है । नीचे दिया गया ग्राफ़ इन दो प्रयोगों की तुलना करता है, जो अद्यतन मापदंडों के आधार पर औसत मूल्य दिखाता है।



नीचे दिए गए दृश्य छोटे पैमाने पर प्रयोग की प्रगति को दर्शाते हैं। एजेंट, जिज्ञासा के प्रभाव में, नए कमरे खोलता है और अंक स्कोर करने के तरीके ढूंढता है। प्रशिक्षण के दौरान, यह बाहरी इनाम उसे बाद में इन कमरों में लौटने के लिए मजबूर करता है।


एजेंट द्वारा खोजे गए कमरे और प्रशिक्षण के दौरान औसत परिणाम। कमरे की पारदर्शिता की डिग्री उस एजेंट के 10 पास में से कितनी बार पता लगाया गया था। वीडियो

सीखने की जिज्ञासा-आधारित बड़े पैमाने पर अध्ययन

आरएनडी विकसित करने से पहले, हमने बर्कले में कैलिफोर्निया विश्वविद्यालय के कर्मचारियों के साथ मिलकर, बिना किसी पर्यावरणीय पुरस्कार के सीखने की खोज की। जिज्ञासा किसी भी कार्य के लिए विशेष रूप से डिज़ाइन किए गए इनाम फ़ंक्शन का उपयोग करने के बजाय, किसी भी वातावरण के साथ बातचीत करने के लिए एजेंटों को सिखाने का एक आसान तरीका प्रदान करती है, जो अभी तक एक तथ्य नहीं है जो समस्या के समाधान से मेल खाती है। ALE , Universe , Malmo , Gym , Gym Retro , Unity , DeepMind Lab , CommAI जैसी परियोजनाओं में , एक मानकीकृत इंटरफ़ेस के माध्यम से एजेंट के लिए बड़ी संख्या में नकली वातावरण खोले जाते हैं। सामान्यीकृत इनाम फ़ंक्शन का उपयोग करने वाला एक एजेंट जो किसी विशेष वातावरण के लिए विशिष्ट नहीं है, पर्यावरण की एक विस्तृत श्रृंखला में बुनियादी स्तर की योग्यता प्राप्त कर सकता है। यह उसे विस्तृत पुरस्कारों की अनुपस्थिति में भी उपयोगी व्यवहार निर्धारित करने की अनुमति देता है।

एक वैज्ञानिक लेख , कोड का पाठ

प्रत्येक असतत समय कदम पर सुदृढीकरण के साथ मानक प्रशिक्षण सेटिंग्स में, एजेंट पर्यावरण को कार्रवाई भेजता है, और यह प्रतिक्रिया देता है, एजेंट को एक नया अवलोकन, संक्रमण के लिए इनाम और एपिसोड के अंत का एक संकेतक देता है। हमारे पिछले लेख में, हमने केवल निम्नलिखित अवलोकन का उत्पादन करने के लिए पर्यावरण की स्थापना की। वहां, एजेंट अपने अनुभव के आधार पर अगले राज्य के भविष्यवक्ता मॉडल का अध्ययन करता है और आंतरिक त्रुटि के रूप में पूर्वानुमान त्रुटि का उपयोग करता है। नतीजतन, वह अप्रत्याशितता के लिए आकर्षित होता है। उदाहरण के लिए, एक गेम खाता परिवर्तन को केवल तभी पुरस्कृत किया जाता है जब खाता स्क्रीन पर प्रदर्शित होता है और परिवर्तन की भविष्यवाणी करना मुश्किल होता है। एक एजेंट, एक नियम के रूप में, नई वस्तुओं के साथ उपयोगी इंटरैक्शन पाता है, क्योंकि इस तरह के इंटरैक्शन के परिणाम आमतौर पर पर्यावरण के अन्य पहलुओं की तुलना में भविष्यवाणी करना अधिक कठिन होते हैं।

अन्य शोधकर्ताओं की तरह, हमने पर्यावरण के सभी पहलुओं की मॉडलिंग से बचने की कोशिश की, भले ही वे प्रासंगिक हों या नहीं, मॉडलिंग के लिए अवलोकन की सुविधाओं का चयन करें। हैरानी की बात है, हमने पाया कि यादृच्छिक कार्य भी अच्छी तरह से काम करते हैं।

जिज्ञासु एजेंट क्या करते हैं?

हमने 50 से अधिक विभिन्न वातावरणों में अपने एजेंट का परीक्षण किया और पर्यावरण के साथ सचेत संपर्क करने के लिए प्रतीत होता है यादृच्छिक क्रियाओं से कई क्षमताओं का अवलोकन किया। हमारे आश्चर्य के लिए, कुछ मामलों में, एजेंट गेम के माध्यम से प्राप्त करने में कामयाब रहे, हालांकि उन्हें बाहरी इनाम के माध्यम से लक्ष्य के बारे में सूचित नहीं किया गया था।

प्रशिक्षण की शुरुआत में आंतरिक पारिश्रमिक

स्तर के पहले पारित होने पर आंतरिक इनाम में कूद

ब्रेकआउट - आंतरिक इनाम में कूदता है जब एजेंट प्रशिक्षण के प्रारंभिक चरण में ब्लॉक का एक नया कॉन्फ़िगरेशन देखता है और जब कई घंटों के लिए प्रशिक्षण के बाद पहली बार स्तर गुजरता है।


पोंग - हमने एजेंट को एक साथ दोनों प्लेटफार्मों को नियंत्रित करने के लिए प्रशिक्षित किया, और उन्होंने गेंद को खेल में बनाए रखने के लिए सीखा, जिसके कारण झगड़े हुए। यहां तक ​​कि जब इन-गेम एआई के खिलाफ प्रशिक्षण दिया जाता है, तो एजेंट ने गेम को अधिकतम करने की कोशिश की, और जीत नहीं।

बॉलिंग - एजेंट ने अन्य एजेंटों की तुलना में गेम को बेहतर तरीके से खेलना सीखा जो बाहरी इनाम को अधिकतम करने के लिए सीधे प्रशिक्षित थे। हमें लगता है कि ऐसा इसलिए होता है क्योंकि एजेंट थ्रो के बाद स्कोरबोर्ड के शायद ही पूर्वानुमानित फ्लैशिंग से आकर्षित होता है।


मारियो - आंतरिक इनाम विशेष रूप से खेल के लक्ष्य के साथ गठबंधन किया गया है: स्तर की प्रगति। एजेंट को नए क्षेत्रों की खोज करने के लिए पुरस्कृत किया जाता है, क्योंकि नए पाए गए क्षेत्र के विवरण का अनुमान नहीं लगाया जा सकता है। नतीजतन, एजेंट ने 11 स्तरों की खोज की, गुप्त कमरे पाए और यहां तक ​​कि मालिकों को भी हराया।

शोर टीवी का मुद्दा

एक स्लॉट मशीन पर जुआरी के रूप में, यादृच्छिक परिणामों से आकर्षित, एजेंट कभी-कभी "शोर टीवी समस्या" के परिणामस्वरूप अपनी जिज्ञासा के जाल में गिर जाता है। एजेंट पर्यावरण में यादृच्छिकता का एक स्रोत पाता है और इसका निरीक्षण करना जारी रखता है, हमेशा इस तरह के संक्रमण के लिए एक उच्च आंतरिक इनाम का अनुभव करता है। ऐसे जाल का एक उदाहरण एक टीवी देख रहा है जो स्थिर शोर पैदा करता है। हम इसे शाब्दिक रूप से रैंडम चैनल चलाने वाले टीवी के साथ यूनिटी भूलभुलैया में एजेंट लगाकर प्रदर्शित करते हैं।

एक शोर टीवी के साथ एक भूलभुलैया में एजेंट

एक शोर टीवी के बिना एक भूलभुलैया में एजेंट

सैद्धांतिक रूप से, एक शोर टीवी की समस्या वास्तव में गंभीर है, लेकिन हमें अभी भी उम्मीद थी कि मोंटेज़ुमा के रिवेंज जैसे बहुत अधिक निर्धारक वातावरण में, जिज्ञासा एजेंट को कमरे खोजने और वस्तुओं के साथ बातचीत करने का कारण बनेगी। हमने जिज्ञासा के आधार पर अगले राज्य की भविष्यवाणी करने, खेल से एक खाते के साथ एक शोध बोनस के संयोजन के लिए कई विकल्पों की कोशिश की।






इन प्रयोगों में, एजेंट शोर नियंत्रक के माध्यम से पर्यावरण को नियंत्रित करता है, जो कुछ संभावना के साथ वर्तमान के बजाय अंतिम क्रिया को दोहराता है। दोहराए जाने वाले "चिपचिपे" कार्यों के साथ यह सेटिंग पूरी तरह से निर्धारक खेलों में प्रशिक्षण एजेंटों के लिए सर्वोत्तम अभ्यास के रूप में प्रस्तावित की गई है, जैसे कि अटारी, यादगार बनाने के लिए। "स्टिकी" क्रियाएं कमरे से कमरे में अप्रत्याशित रूप से संक्रमण करती हैं।

रैंडम नेटवर्क आसवन

चूंकि अगले राज्य की भविष्यवाणी एक शोर टीवी की समस्या के लिए स्वाभाविक रूप से अतिसंवेदनशील है, हमने पूर्ववर्ती त्रुटियों के निम्नलिखित प्रासंगिक स्रोतों की पहचान की है:

• कारक १ । यदि पूर्ववर्ती माने गए उदाहरणों से पूर्वानुमान लगाने में विफल रहता है तो पूर्वानुमान त्रुटि अधिक है। नया अनुभव एक उच्च भविष्यवाणी त्रुटि से मेल खाता है।
• कारक २ । स्टोकेस्टिक पूर्वानुमान लक्ष्य के कारण पूर्वानुमान त्रुटि अधिक है।
• कारक ३ । पूर्वानुमान के लिए आवश्यक जानकारी की कमी के कारण पूर्वानुमान त्रुटि अधिक है, या क्योंकि पूर्वानुमानकर्ता मॉडल का वर्ग उद्देश्य फ़ंक्शन की जटिलता को फिट करने के लिए बहुत सीमित है।

हमने निर्धारित किया कि कारक 1 त्रुटियों का एक उपयोगी स्रोत है क्योंकि यह अनुभव की नवीनता को निर्धारित करता है, जबकि कारक 2 और 3 एक शोर टीवी की समस्या को जन्म देते हैं। कारकों 2 और 3 से बचने के लिए, हमने आरएनडी विकसित किया - अगले राज्य में एक स्थिर और बेतरतीब ढंग से प्रारंभिक तंत्रिका नेटवर्क के जारी होने की भविष्यवाणी के आधार पर एक नया शोध बोनस , जो निम्न राज्य को ध्यान में रखता है ।



अंतर्ज्ञान से पता चलता है कि पूर्वानुमानित मॉडल में उन परिस्थितियों की भविष्यवाणी करने में कम त्रुटि है, जिसमें वह प्रशिक्षित थी। विशेष रूप से, एक यादृच्छिक रूप से आरंभिक तंत्रिका नेटवर्क जारी करने के बारे में एजेंट की भविष्यवाणियां उन राज्यों की तुलना में नए राज्यों में कम सटीक होंगी जो एजेंट अक्सर पहले मिलते थे। सिंथेटिक पूर्वानुमान समस्या का उपयोग करने का लाभ यह है कि यह नियतात्मक हो सकता है (कारक 2 को दरकिनार), और कार्यों की श्रेणी के भीतर, भविष्यवक्ता लक्ष्य संरचना के रूप में एक ही वास्तुकला के एक भविष्यवक्ता का चयन कर सकता है (कारक 3 को दरकिनार)। यह एक शोर टीवी की RND समस्या को समाप्त करता है।

हमने निकटतम नीति - प्रोक्सिमल पॉलिसी ऑप्टिमाइज़ेशन ( पीपीओ ) के अनुकूलन के माध्यम से बाहरी पुरस्कारों के साथ अनुसंधान बोनस को जोड़ा, जो दो इनाम प्रवाह के लिए दो मूल्य मूल्यों का उपयोग करता है । यह आपको अलग-अलग पुरस्कारों के लिए अलग-अलग छूटों का उपयोग करने और एपिसोडिक और गैर-एपिसोडिक पुरस्कारों को संयोजित करने की अनुमति देता है। इस तरह के अतिरिक्त लचीलेपन के कारण, हमारा सबसे अच्छा एजेंट अक्सर मोंटेज़ुमा के बदला में पहले स्तर पर 22 में से 24 कमरे पाता है, और कभी-कभी शेष दो कमरों को खोजने के बाद पहले स्तर से गुजरता है। वही विधि वेंचर और ग्रेविटेर गेम में रिकॉर्ड प्रदर्शन दिखाती है।


नीचे दिए गए दृश्य मोंटेज़ुमा के रिवेंज एपिसोड में आंतरिक इनाम का एक ग्राफ दिखाते हैं, जहां एजेंट पहले टॉर्च पाता है।

सक्षम कार्यान्वयन महत्वपूर्ण है

एक अच्छा एल्गोरिथ्म का चयन करने के लिए, सामान्य विचारों पर विचार करना महत्वपूर्ण है, जैसे शोर टीवी की समस्या के लिए संवेदनशीलता। हालांकि, हमने पाया कि हमारे सरल एल्गोरिथ्म में बहुत छोटे बदलाव इसकी प्रभावशीलता को बहुत प्रभावित करते हैं: एक एजेंट से जो पहले कमरे में एक एजेंट को नहीं छोड़ सकता है जो पहले स्तर से गुजरता है। प्रशिक्षण में स्थिरता जोड़ने के लिए, हमने लक्षणों की संतृप्ति से परहेज किया और एक अनुमानित सीमा तक आंतरिक पुरस्कार लाए। हमने हर बार RND की प्रभावशीलता में महत्वपूर्ण सुधार देखा और एक बग को ठीक किया (हमारे पसंदीदा में सरणी की यादृच्छिक शून्यकरण शामिल था, जिसके कारण बाहरी पुरस्कारों को गैर-एपिसोड के रूप में माना गया था; हमें बाहरी मूल्य फ़ंक्शन के बारे में सोचने के बाद ही यह एहसास हुआ; , जो संदिग्ध रूप से आवधिक दिखता था)। इन विवरणों को ठीक करना एल्गोरिदम का उपयोग करते समय पिछले काम के समान ही उच्च प्रदर्शन को प्राप्त करने का एक महत्वपूर्ण हिस्सा बन गया है। यह एक कारण है कि जब भी संभव हो, सरल एल्गोरिदम चुनना सबसे अच्छा है।

भविष्य का काम

हम आगे के अनुसंधान के लिए निम्नलिखित क्षेत्रों की पेशकश करते हैं:

• विभिन्न अनुसंधान विधियों के लाभों का विश्लेषण और उन्हें संयोजित करने के नए तरीकों की खोज।
• पुरस्कार के बिना कई अलग-अलग वातावरणों में एक जिज्ञासु एजेंट को प्रशिक्षित करना और पुरस्कार के साथ लक्ष्य वातावरण में स्थानांतरित करना सीखना।
• वैश्विक खुफिया, जिसमें लंबे समय तक क्षितिज पर समन्वित समाधान शामिल हैं।