दीपमाइंड ने AI को YouTube वीडियो गेम खेलना सिखाया

मोंटेज़ुमा का बदला अटारी गेम स्तर

दीपमिन्द ने अटारी पर खेल पास करने के लिए AI (इसका कमजोर रूप) सीखने की प्रक्रिया का प्रदर्शन किया । प्रशिक्षण YouTube से वीडियो गेम पासिंग सिस्टम का प्रदर्शन करके किया गया था। इस पद्धति का उपयोग कई मानव खिलाड़ियों द्वारा किया जाता है, जो एक कारण या किसी अन्य के लिए, किसी प्रकार के खेल के माध्यम से नहीं मिल सकता है।

आमतौर पर, इस समस्या को हल करने के लिए, तथाकथित सुदृढीकरण सीखने की विधि का उपयोग करना आवश्यक है। यह तकनीक काफी लोकप्रिय है, क्योंकि यह आपको विभिन्न विशिष्ट कार्यों को करने के लिए बॉट्स को प्रशिक्षित करने की अनुमति देती है। जैसे ही सिस्टम कोई परिणाम प्राप्त करता है, उसे एक छोटा इनाम मिलता है।

डेवलपर्स एल्गोरिदम और मॉडल बनाते हैं जो गेमिंग पर्यावरण का मूल्यांकन करने में सक्षम हैं, जिसमें पूरा करने के लिए संभावित पुरस्कार (अंक, बोनस, आदि) शामिल हैं। इस तरह के सिस्टम गेम स्टेप बाय स्टेप सीखते हैं, धीरे-धीरे फाइनल में जाते हैं।

डीपमाइंड में विकसित नई विधि अन्य सभी से अलग है। कंपनी के विशेषज्ञ एंथ्री के तहत गेम खेलने के लिए एआई को प्रशिक्षित करने में सक्षम थे जैसे कि मोंटेज़ुमा का बदला, पिटफॉल और प्राइवेट आई। इसी समय, अंकों और पुरस्कारों पर जोर नहीं दिया गया था - प्रशिक्षण YouTube से ट्यूटोरियल पर चला गया। और इसने हमें एआई के लिए असामान्य परिणाम प्राप्त करने की अनुमति दी।

तथ्य यह है कि एक ही मोंटेज़ुमा के रिवेंज जैसे गेम मशीनों के लिए "समझना" मुश्किल हैं। कोई स्पष्ट कार्य नहीं है, यह स्पष्ट नहीं है कि कहां जाना है, भविष्य में क्या आइटम एकत्र करना है और उनके साथ क्या करना है। मशीन बस खो जाती है, क्योंकि पदोन्नति की प्रक्रिया में इसे पुरस्कार नहीं मिलता है और यहां सुदृढीकरण के साथ प्रशिक्षण बेकार या लगभग बेकार हो जाता है।

प्रश्न में खेल में, आपको पनामा जो नाम के एक चरित्र को नियंत्रित करने की आवश्यकता है। अंत में, उसे पुराने मंदिर के खजाने में जाना चाहिए। पौराणिक कथा के अनुसार, ये खजाने मोंटेज़ुमा से संबंधित हैं। सबसे पहले आपको खेल को पारित करने के लिए पहला महत्वपूर्ण आइटम ढूंढना होगा - सुनहरा कुंजी। इसका पता लगाने के लिए, आपको लगभग 100 चरणों से गुजरना होगा। लेकिन यह है अगर आप जानते हैं कि क्या करना है। यदि नहीं, तो ¹⁸ प्रारंभिक क्रियाओं में से 100 में भारी संख्या में संभावनाएं हैं। यह मनुष्य द्वारा निर्मित किसी भी AI के लिए बहुत अधिक है। ठीक है, आपको यहाँ पुरस्कार नहीं मिला है, सब कुछ बहुत विशिष्ट है।

कंप्यूटर को यह बताने का एक तरीका है कि मार्ग के परिदृश्यों को प्रदर्शित करने के लिए क्या करना है। वास्तव में, न केवल कारें, बल्कि लोग उदाहरणों द्वारा विभिन्न कार्यों को करना सीखते हैं। नृत्य, कलाकार के कार्य, सोल्डरिंग - यह सब 1 बार देखा जाता है, और यह करने के लिए कि यह कैसे सुनना है, 100 बार नहीं।

डीपमाइंड इस निष्कर्ष पर पहुंचा कि कंप्यूटर को यह दिखाने का सबसे अच्छा तरीका है कि किसी कार्य को एक निहित परिणाम के साथ कैसे पूरा किया जाए। विशेषज्ञों द्वारा बनाई गई तकनीक ने वास्तव में मदद की। उदाहरण सिखाने के लिए दो विधियों का उपयोग किया गया: TDC (टेम्पोरल डिस्टेंस क्लासिफिकेशन) और CDC (क्रॉस-मोडल टेम्पोरल डिस्टेंस क्लासिफिकेशन)।

पहले मामले में, दो अलग-अलग फ्रेम के बीच अंतर को नोटिस करने के लिए, एआई को खेल के वातावरण में दूरी निर्धारित करने के लिए प्रशिक्षित किया जाता है। एअर इंडिया भी समझता है कि एक जगह से दूसरी जगह जाने के लिए क्या करना होगा। YouTube पर प्रशिक्षण के लिए, वीडियो को यादृच्छिक क्रम में फ़्रेम के जोड़े आवंटित किए जाते हैं।

दूसरे मामले में, ध्वनि संगतता की "समझ" को भी जोड़ा जाता है। लगभग सभी खेलों में ध्वनियाँ कुछ क्रियाओं के प्रदर्शन के अनुरूप होती हैं। उदाहरण के लिए, कूदना, आइटम प्राप्त करना, आदि। इस प्रकार, कंप्यूटर को महत्वपूर्ण खेल तत्वों के रूप में ध्वनियों को समझने के लिए प्रशिक्षित किया जाता है। वीडियो + ध्वनि कंप्यूटर को गेम पास करने की प्रक्रिया में बहुत अच्छा करने की अनुमति देता है।

यहां मोंटेज़ुमा के बदला में प्रशिक्षित एआई की क्रियाएं हैं। बहुत शुरुआत में उल्लेखित अन्य दो खेलों का मार्ग यहाँ है ।


सच है, पुरस्कार की भूमिका को पूरी तरह से छोड़ना संभव नहीं था - अब तक, एआई एक ही बिंदु पर निर्भर करता है। लेकिन सिस्टम को सिखाने की सामान्य विधि, जिसे पहले इस्तेमाल किया गया था, ने कम से कम स्वर्ण कुंजी को प्राप्त करने की अनुमति नहीं दी, जिसके लिए पहले सौ अंक दिए गए हैं। तो एआई, एक अंधे बिल्ली के बच्चे की तरह, सभी दिशाओं में पके हुए, समझ में नहीं आता कि क्या करना है। सच है, "सुदृढीकरण" प्रणाली को भी संशोधित किया गया है।

एआई गेम पासिंग रिकॉर्ड के हर 16 वें वीडियो फ्रेम को पारित करने की प्रक्रिया में, यह वीडियो गेम पास करने वाले लोगों के फ्रेम के साथ तुलना की जाती है। यदि तुलना उच्च स्तर की समानता दिखाती है, तो एआई एक इनाम प्राप्त करता है। समय के साथ, एआई एक समान फ्रेम प्राप्त करने के लिए, एक व्यक्ति के रूप में उसी तरह के कार्यों का प्रदर्शन करना शुरू कर देता है।

इसके अलावा, AI कई मामलों में, रेनबो, एपेक्स और DQfD सहित मानव खिलाड़ियों या अन्य पासिंग एल्गोरिदम की तुलना में बेहतर परिणाम दिखाता है।



सिद्धांत रूप में, यह सब प्रभावशाली है, लेकिन अभी तक दीपमिन्द की उपलब्धियों के व्यावहारिक लाभ स्पष्ट नहीं हैं। क्या पुराने खेलों को पारित करने के अलावा कंपनी द्वारा प्रस्तावित एआई को पढ़ाने की विधि का उपयोग करना संभव है? लेकिन एआई के क्षेत्र में दीपमिन्द की उपलब्धियों को जानते हुए, इसमें कोई संदेह नहीं है कि एक या किसी अन्य तरीके से इसका उपयोग व्यावहारिक उद्देश्यों के लिए किया जा सकता है - यह संभावना नहीं है कि विशेषज्ञ "मौज-मस्ती" के लिए इस मुद्दे पर काम करना शुरू करेंगे।