उबेर एआई मोंटेज़ुमा का बदला मानव की तुलना में बेहतर है

हैबे पर मोंटेज़ुमा के बदला खेल के बारे में इतना नहीं लिखा गया था। यह एक जटिल क्लासिक खेल है जो पहले बहुत लोकप्रिय था, लेकिन अब इसे या तो उन लोगों द्वारा खेला जाता है जिनके साथ यह उदासीन भावनाओं को उकसाता है, या एआई को विकसित करने वाले शोधकर्ताओं द्वारा।

इस गर्मी में, यह बताया गया था कि दीपमिन्द अपने एआई को यह सिखाने में सक्षम था कि मोंटेज़ुमा के बदला सहित अटारी के लिए कैसे गेम खेलें। उसी खेल के उदाहरण का उपयोग करते हुए, OpenAI के रचनाकारों ने भी अपने विकास को सिखाया । अब उबर ने भी इसी तरह का प्रोजेक्ट लिया है।

डेवलपर्स ने अपने तंत्रिका नेटवर्क द्वारा खेल के पारित होने की घोषणा की, जिसमें अधिकतम 2 मिलियन अंक थे। सच है, औसतन, सिस्टम ने प्रत्येक प्रयास के लिए 400,000 से अधिक नहीं कमाए। पारित होने के लिए, कंप्यूटर 159 के स्तर पर पहुंच गया।

इसके अलावा, गो-एक्सप्लोर ने सीखा कि कैसे पिटफ़ॉल के माध्यम से जाना, एक उत्कृष्ट परिणाम के साथ जो औसत गेमर से बेहतर है, अन्य एआई एजेंटों का उल्लेख नहीं करना। इस गेम में गो-एक्सप्लोर द्वारा बनाए गए अंकों की संख्या 21,000 है।

गो-एक्सप्लोर और इसके "सहयोगियों" के बीच का अंतर यह है कि तंत्रिका नेटवर्क को प्रशिक्षण के लिए विभिन्न स्तरों को प्रदर्शित करने की आवश्यकता नहीं है। प्रणाली खेल के दौरान खुद को सब कुछ सीखती है, जो तंत्रिका नेटवर्क द्वारा दिखाए गए परिणामों की तुलना में बहुत अधिक है, जो दृश्य प्रशिक्षण की आवश्यकता होती है। गो-एक्सप्लोर के डेवलपर्स के अनुसार, प्रौद्योगिकी अन्य सभी से काफी अलग है, और इसकी क्षमताएं रोबोटिक्स सहित कई क्षेत्रों में तंत्रिका नेटवर्क के उपयोग की अनुमति देती हैं।



अधिकांश एल्गोरिदम को मोंटेज़ुमा के बदला से निपटना मुश्किल लगता है क्योंकि खेल में बहुत स्पष्ट प्रतिक्रिया नहीं है। उदाहरण के लिए, एक तंत्रिका नेटवर्क जो एक स्तर को पारित करने की प्रक्रिया में पुरस्कार प्राप्त करने के लिए "तेज" होता है, बल्कि दुश्मन को एक सीढ़ी पर कूदने की तुलना में लड़ता है जो निकास की ओर जाता है और आपको तेजी से आगे बढ़ने की अनुमति देता है। अन्य AI सिस्टम यहाँ और अभी के लिए एक इनाम प्राप्त करना पसंद करते हैं, और अधिक के लिए "आशा" में आगे नहीं बढ़ते हैं।

उबेर इंजीनियरों का एक निर्णय खेल की दुनिया की खोज के लिए बोनस को जोड़ना है, इसे एआई की आंतरिक प्रेरणा कहा जा सकता है। लेकिन अतिरिक्त आंतरिक प्रेरणा वाले एआई तत्व मोंटेज़ुमा के रिवेंज और पिटफॉल के साथ भी अच्छा नहीं करते हैं। समस्या यह है कि एआई उन्हें पारित करने के बाद आशाजनक स्थानों के बारे में "भूल जाता है"। नतीजतन, एआई एजेंट एक स्तर पर फंस जाता है, जहां सब कुछ जांच में लगता है।

एक उदाहरण एआई एजेंट है, जिसे दो लेबिरिंथ - पूर्वी और पश्चिमी का अध्ययन करने की आवश्यकता है। वह उनमें से एक के माध्यम से जाना शुरू करता है, लेकिन फिर अचानक फैसला करता है कि दूसरे के माध्यम से जाना संभव होगा। पहला अध्ययन 50% पर रहता है, दूसरा 100% पर। और एजेंट पहले भूलभुलैया में नहीं लौटता है - सिर्फ इसलिए कि वह "भूल गया" कि वह अंत तक पूरा नहीं हुआ है। और चूंकि पूर्वी और पश्चिमी भूलभुलैया के बीच का मार्ग पहले से ही अध्ययन किया गया है, एआई के पास लौटने के लिए कोई प्रेरणा नहीं है।



उबेर के डेवलपर्स के अनुसार, इस समस्या का समाधान दो चरणों में शामिल है: अनुसंधान और प्रवर्धन। पहले भाग के रूप में, यहाँ एआई विभिन्न खेल राज्यों - कोशिकाओं (कोशिकाओं) - और विभिन्न प्रक्षेपवक्रों का एक संग्रह बनाता है जो उनके लिए नेतृत्व करते हैं। इष्टतम प्रक्षेपवक्र का पता लगाने पर एआई अधिकतम अंक प्राप्त करने का अवसर चुनता है।

कोशिकाओं को खेल के फ्रेम को सरल बनाया जाता है - 8 पिक्सेल तीव्रता के साथ ग्रे के रंगों में 11 चित्र 8 फ्रेम के साथ, जो पर्याप्त रूप से भिन्न होते हैं - ताकि खेल के आगे के मार्ग को बाधित न करें।



नतीजतन, AI खेल की दुनिया के अन्य हिस्सों की जांच करने के बाद आशाजनक स्थानों को याद करता है और उनके पास लौटता है। खेल की दुनिया का पता लगाने और गो-एक्सप्लोर के होनहार स्थानों का पता लगाने की "इच्छा" यहां और अब पुरस्कार प्राप्त करने की इच्छा से अधिक मजबूत है। गो-एक्सप्लोर उन कोशिकाओं के बारे में भी जानकारी का उपयोग करता है जिनमें एआई एजेंट प्रशिक्षित है। मोंटेज़ुमा के बदला के लिए, यह उनके एक्स और वाई निर्देशांक, वर्तमान कमरे, और पाई जाने वाली कुंजियों की तरह पिक्सेल डेटा है।


प्रवर्धन चरण "शोर" के खिलाफ सुरक्षा के रूप में काम करता है। यदि एआई समाधान "शोर" के लिए अस्थिर हैं, तो एआई मानव मस्तिष्क न्यूरॉन्स के उदाहरण पर काम कर रहे एक बहु-स्तरीय तंत्रिका नेटवर्क की मदद से उन्हें मजबूत करता है।



परीक्षणों में, गो-एक्सप्लोर बहुत अच्छा प्रदर्शन करता है - औसतन, एआई 37 कमरों का अध्ययन करता है और प्रथम-स्तरीय पहेली का 65% हल करता है। यह गेम को जीतने के पिछले प्रयासों की तुलना में बहुत बेहतर है - तब एआई ने पहले स्तर के 22 कमरों का औसत अध्ययन किया।



मौजूदा एल्गोरिथ्म में लाभ जोड़ते समय, एआई ने 469.209 के औसत स्कोर के साथ औसत 29 स्तरों (कमरे नहीं) को सफलतापूर्वक पूरा करना शुरू कर दिया।



उबेर एआई के अंतिम अवतार ने खेल को अन्य एआई एजेंटों की तुलना में बहुत बेहतर और मनुष्यों की तुलना में बेहतर तरीके से चलाना शुरू किया। अब डेवलपर्स अपने सिस्टम में सुधार कर रहे हैं ताकि यह और भी शानदार परिणाम दिखाए।