फ़िल्टर के साथ मारियो कार्ट खेलने के लिए एक एजेंट को सिखाना

व्लादिमीर इवानोव vivanov879 , सीनियर NVIDIA के डीप लर्निंग इंजीनियर सुदृढीकरण सीखने के बारे में बात करना जारी रखता है। यह लेख quests को पूरा करने के लिए एजेंट को प्रशिक्षित करने पर ध्यान केंद्रित करेगा और कैसे तंत्रिका नेटवर्क छवियों को पहचानने के लिए फ़िल्टर का उपयोग करता है।

पिछले लेख में, साधारण निशानेबाजों के लिए एजेंट प्रशिक्षण पर चर्चा की गई थी।

व्लादिमीर 22 नवंबर को एआई सम्मेलन में अभ्यास में प्रबलित शिक्षण के आवेदन के बारे में बात करेगा।

पिछली बार हमने वीडियो गेम के उदाहरणों पर ध्यान दिया था, जहां सुदृढीकरण प्रशिक्षण समस्या को हल करने में मदद करता है। उत्सुकता से, तंत्रिका नेटवर्क के सफल खेल के लिए, केवल दृश्य जानकारी की आवश्यकता थी। हर चौथा फ्रेम न्यूरल नेटवर्क स्क्रीनशॉट का विश्लेषण करता है और निर्णय लेता है।


पहली नज़र में, यह जादू की तरह दिखता है। एक निश्चित जटिल संरचना, जो एक तंत्रिका नेटवर्क है, इनपुट पर एक चित्र प्राप्त करती है और सही समाधान जारी करती है। आइए जानें कि अंदर क्या होता है: पिक्सल का एक सेट क्या होता है?


यही है, हम चित्र को उसके विशिष्ट घटकों से सार के रूप में संपूर्ण रूप से देख सकते हैं। हमारे विपरीत, एक कंप्यूटर में शुरू में यह क्षमता नहीं होती है। हमारे पास जीवन का अनुभव है जो हमें बताता है कि कौन सी वस्तुएं महत्वपूर्ण हैं और उनके पास कौन से भौतिक गुण हैं। आइए इस बारे में सोचें कि उपकरण के साथ मशीन को कैसे बंद किया जाए ताकि वह चित्रों का अध्ययन कर सके।

फोन से कई खुश मालिकों को उच्च-गुणवत्ता वाले कैमरे के साथ फोन से एक तस्वीर पोस्ट करने से पहले सोशल नेटवर्क पर विभिन्न फिल्टर लगाते हैं। फ़िल्टर का उपयोग करके, आप फ़ोटो का मूड बदल सकते हैं। आप कुछ वस्तुओं को अधिक स्पष्ट रूप से उजागर कर सकते हैं।


इसके अलावा, फ़िल्टर तस्वीर में वस्तुओं के किनारों को उजागर कर सकता है।


चूंकि फ़िल्टर में एक छवि पर विभिन्न वस्तुओं को उजागर करने की क्षमता होती है, चलो कंप्यूटर को उन्हें लेने का अवसर दें। डिजिटल छवि क्या है? यह संख्याओं का एक वर्ग मैट्रिक्स है, जिसके प्रत्येक बिंदु पर तीन रंग चैनलों के लिए तीव्रता मान हैं: लाल, हरा और नीला। अब हम न्यूरल नेटवर्क देंगे, उदाहरण के लिए, 32 फ़िल्टर। बदले में प्रत्येक फ़िल्टर छवि पर लगाया गया है। फ़िल्टर कोर पड़ोसी पिक्सल पर लागू होता है।


प्रारंभ में, प्रत्येक फ़िल्टर के मूल मान यादृच्छिक होते हैं। लेकिन हम तंत्रिका नेटवर्क को कार्य के आधार पर उन्हें कॉन्फ़िगर करने की क्षमता देंगे। फ़िल्टर के साथ पहली परत के बाद, हम कुछ और डाल सकते हैं। चूंकि हमें बहुत सारे फिल्टर मिलते हैं, इसलिए हमें उन्हें सेट करने के लिए बहुत सारे डेटा की आवश्यकता होती है। इसके लिए, चिह्नित चित्रों के कुछ बड़े बैंक उपयुक्त हैं। उदाहरण के लिए, MSCoco डेटासेट।



तंत्रिका नेटवर्क इस समस्या को हल करने के लिए वजन को समायोजित करेगा। हमारे मामले में, छवि विभाजन के लिए, अर्थात्, प्रत्येक छवि पिक्सेल के वर्ग की परिभाषा। अब देखते हैं कि फिल्टर की प्रत्येक परत के बाद चित्र कैसे दिखेंगे।



यदि आप बारीकी से देखते हैं, तो आप देखेंगे कि फ़िल्टर एक डिग्री या किसी अन्य कार को छोड़ देते हैं, और आसपास के क्षेत्र को साफ करते हैं - सड़क, पेड़ और आकाश।

उस एजेंट पर वापस जाएं जो गेम खेलना सीखता है। उदाहरण के लिए, मारियो कार्ट रेसिंग गेम को लें।


हमने उसे एक शक्तिशाली छवि विश्लेषण उपकरण दिया - एक तंत्रिका नेटवर्क। आइए देखें कि वह किस फिल्टर को चुनना सीखता है कि कैसे सवारी करें। आइए शुरुआत के लिए एक खुला क्षेत्र लें।


आइए देखें कि पहले 24 फिल्मों के बाद छवि कैसी दिखती है। यहां वे 8x3 तालिका के रूप में स्थित हैं।


यह पूरी तरह से वैकल्पिक है कि 24 आउटपुट में से प्रत्येक का एक स्पष्ट अर्थ था, क्योंकि चित्र आगे के फिल्टर के साथ प्रवेश द्वार पर जाते हैं। निर्भरता पूरी तरह से अलग हो सकती है। हालांकि, इस मामले में, आप आउटपुट में कुछ तर्क पा सकते हैं। उदाहरण के लिए, पहली पंक्ति में दूसरा फिल्टर सड़क को काले रंग में हाइलाइट करता है। सातवीं पंक्ति का पहला फ़िल्टर इसके फ़ंक्शन को डुप्लिकेट करता है। और अधिकांश अन्य फिल्टर पर, हमारे द्वारा नियंत्रित किए जाने वाले कार्ड स्पष्ट रूप से दिखाई देते हैं।

इस खेल में, आसपास का क्षेत्र बदल जाता है और एक सुरंग मिलती है। रेसिंग न्यूरल नेटवर्क क्या ध्यान देता है जब यह एक सुरंग के प्रवेश द्वार का सामना करता है?


फिल्टर की पहली परत के आउटपुट:


छठी पंक्ति में, पहला फ़िल्टर सुरंग के प्रवेश द्वार पर प्रकाश डालता है। इस प्रकार, सवारी के दौरान, नेटवर्क ने उन्हें पहचानना सीख लिया।

और जब मशीन सुरंग में प्रवेश करती है तो क्या होता है?


पहले 24 फ़िल्टर का परिणाम:


इस तथ्य के बावजूद कि दृश्य की रोशनी बदल गई है, साथ ही साथ पर्यावरण, तंत्रिका नेटवर्क सबसे महत्वपूर्ण चीज को पकड़ता है - सड़क और नक्शे। फिर से, पहली पंक्ति में दूसरा फिल्टर, जो खुले में रास्ता खोजने के लिए जिम्मेदार था, सुरंग में अपने कार्यों को बरकरार रखता है। और इसी तरह, सातवीं पंक्ति का पहला फिल्टर, पहले की तरह, रास्ता खोजता है।

अब जब हमने यह पता लगा लिया है कि न्यूरल नेटवर्क क्या देखता है, तो अधिक जटिल समस्याओं को हल करने के लिए इसका उपयोग करने का प्रयास करें। इससे पहले, हमने उन कार्यों पर विचार किया है जहाँ आपको व्यावहारिक रूप से आगे सोचने की आवश्यकता नहीं है, लेकिन आपको उस समस्या को हल करने की आवश्यकता है जो अभी हमारे सामने है। शूटिंग के खेल और दौड़ में आपको "सजगता" से काम करने की ज़रूरत है, जल्दी से खेल में अचानक बदलाव का जवाब देना। खोज गेम को पूरा करने के बारे में क्या? उदाहरण के लिए, गेम मोंटेज़ुमा बदला, जिसमें आपको चाबी खोजने और पिरामिड से बाहर निकलने के लिए बंद दरवाजों को खोलने की जरूरत है।



पिछली बार हमने चर्चा की थी कि एजेंट नई कुंजियों और दरवाजों की तलाश करना नहीं सीखेंगे, क्योंकि इन क्रियाओं में बहुत अधिक समय लगता है, और इसलिए प्राप्त अंकों के रूप में संकेत बहुत दुर्लभ होगा। यदि आप एजेंट को इनाम के रूप में पीटा दुश्मनों के लिए अंक का उपयोग करते हैं, तो वह लगातार रोलिंग खोपड़ी खटखटाएगा और नई चाल की तलाश नहीं करेगा।

चलो नए कमरे के लिए एजेंट को पुरस्कृत करते हैं। हम एक प्राथमिकता ज्ञात तथ्य का उपयोग करेंगे कि यह एक खोज है, और इसमें सभी कमरे अलग हैं।



इसलिए, अगर स्क्रीन पर चित्र मौलिक रूप से अलग है जो हमने पहले देखा था, तो एजेंट को इनाम मिलता है।

इससे पहले, हमने गेम एजेंटों पर विचार किया जो प्रशिक्षण के दौरान केवल दृश्य डेटा पर भरोसा करते हैं। लेकिन अगर हमारे पास गेम के अन्य डेटा तक पहुंच है, तो हम उनका भी उपयोग करेंगे। उदाहरण के लिए, डॉट का खेल। यहां, नेटवर्क को प्रवेश द्वार पर बीस हजार नंबर मिलते हैं, जो पूरी तरह से खेल की स्थिति का वर्णन करते हैं। उदाहरण के लिए, सहयोगियों की स्थिति, टावरों का स्वास्थ्य।



खिलाड़ियों को दो टीमों में विभाजित किया गया है, प्रत्येक में पांच लोग। एक गेम औसतन 40 मिनट तक चलता है। प्रत्येक खिलाड़ी अद्वितीय क्षमताओं के साथ एक नायक का चयन करता है। और प्रत्येक खिलाड़ी उन वस्तुओं को खरीद सकता है जो नुकसान, गति और देखने के क्षेत्र के मापदंडों को बदलते हैं।

इस तथ्य के बावजूद कि पहली नज़र में खेल डूम से काफी अलग है, सीखने की प्रक्रिया समान है। कुछ बिंदुओं को छोड़कर। चूंकि इस खेल में नियोजन क्षितिज डूम की तुलना में अधिक है, इसलिए हम निर्णय लेने के लिए अंतिम 16 फ्रेम की प्रक्रिया करेंगे। और एजेंट को मिलने वाले पुरस्कारों का संकेत थोड़ा और अधिक जटिल होगा। इसमें पराजित दुश्मनों की संख्या, क्षति पहुंचाई गई, साथ ही खेल में अर्जित धन भी शामिल है। तंत्रिका नेटवर्क को एक साथ खेलने के लिए, हम एक इनाम के रूप में एजेंट टीम के सदस्यों के कल्याण को शामिल करेंगे।

नतीजतन, बॉट की टीम लोगों की काफी मजबूत टीमों को हरा देती है, लेकिन चैंपियन से हार जाती है। हार का कारण यह है कि बॉट ने शायद ही एक घंटे लंबे मैच खेले हों। और असली लोगों के साथ खेल उन लोगों की तुलना में लंबे समय तक चले जो सिमुलेटर पर खेले गए थे। यही है, अगर एक एजेंट खुद को ऐसी स्थिति में पाता है जिसमें उसने प्रशिक्षित नहीं किया है, तो उसमें कठिनाइयां पैदा होती हैं।