अल्फास्टार - दीपमाइंड (पूर्ण अनुवाद) से स्टारक्राफ्ट II के लिए एक नई कृत्रिम खुफिया प्रणाली

कृत्रिम बुद्धिमत्ता प्रणालियों की सफलता का परीक्षण और मूल्यांकन करने के मुख्य तरीकों में से एक के रूप में दशकों से खेलों का उपयोग किया जाता रहा है। जैसे-जैसे अवसर बढ़े, शोधकर्ताओं ने बढ़ती-बढ़ती जटिलता वाले खेलों की खोज की, जो वास्तविक दुनिया की वैज्ञानिक या व्यावहारिक समस्याओं को हल करने के लिए आवश्यक सोच के विभिन्न तत्वों को दर्शाते हैं। हाल के वर्षों में, StarCraft को सबसे बहुमुखी और जटिल वास्तविक समय की रणनीतियों में से एक माना जाता है और इतिहास में ई-स्पोर्ट्स दृश्य पर सबसे लोकप्रिय में से एक है, और अब StarCraft भी AI अनुसंधान के लिए मुख्य चुनौती बन गया है।

अल्फास्टार पहली कृत्रिम बुद्धिमत्ता प्रणाली है जो सर्वश्रेष्ठ पेशेवर खिलाड़ियों को हराने में सक्षम है। 19 दिसंबर को हुई मैचों की श्रृंखला में, अल्फास्टार ने टीम लिक्विड से ग्रेज़गोरज कोमिन्क्स ( MaNa ) पर शानदार जीत हासिल की, जो दुनिया के सबसे मजबूत खिलाड़ियों में से एक है , जिसका स्कोर 5: 0 है। इससे पहले, उनके टीम के साथी डारियो वुन्श ( टीएलओ ) के खिलाफ एक सफल प्रदर्शन मैच भी खेला गया था। एक विशेष टूर्नामेंट कार्ड पर और बिना किसी प्रतिबंध के सभी पेशेवर नियमों के अनुसार मैच आयोजित किए गए।

अटारी , मारियो , क्वेक III एरिना और डोटा 2 जैसे खेलों में महत्वपूर्ण सफलता के बावजूद, एआई तकनीशियनों ने स्टारक्राफ्ट की जटिलता का असफल मुकाबला किया। सबसे अच्छे परिणाम मैन्युअल रूप से सिस्टम के मूल तत्वों के निर्माण के द्वारा प्राप्त किए गए थे , खेल के नियमों पर विभिन्न प्रतिबंध लगाकर, सिस्टम को अलौकिक क्षमताओं के साथ प्रदान करके, या सरलीकृत मानचित्रों पर खेलकर। लेकिन यहां तक ​​कि इन बारीकियों ने पेशेवर खिलाड़ियों के स्तर के करीब जाना असंभव बना दिया। इसके विपरीत, अल्फास्टार गहरे तंत्रिका नेटवर्क का उपयोग करके एक पूर्ण गेम खेलता है, जो कि कच्चे गेम डेटा के आधार पर प्रशिक्षित होते हैं, शिक्षक के साथ पढ़ाने के तरीकों का उपयोग करते हैं और सुदृढीकरण के साथ सीखते हैं ।

मुख्य चुनौती

StarCraft II समृद्ध, बहु-स्तरीय गेमप्ले के साथ काल्पनिक काल्पनिक ब्रह्मांड है। मूल संस्करण के साथ, यह अब तक का सबसे बड़ा और सबसे सफल खेल है, जो 20 वर्षों से अधिक समय से टूर्नामेंट में जूझ रहा है।



खेलने के कई तरीके हैं, लेकिन ई-स्पोर्ट्स में सबसे आम एक-एक टूर्नामेंट है जिसमें 5 मैच शामिल हैं। शुरू करने के लिए, खिलाड़ी को तीन दौड़ में से एक का चयन करना होगा - ज़र्गे, प्रोटॉस या टेरेंस, जिनमें से प्रत्येक की अपनी विशेषताओं और क्षमताएं हैं। इसलिए, पेशेवर खिलाड़ी सबसे अधिक बार एक दौड़ में विशेषज्ञ होते हैं। प्रत्येक खिलाड़ी कई कामकाजी इकाइयों से शुरू होता है जो इमारतों, अन्य इकाइयों या विकासशील प्रौद्योगिकी के निर्माण के लिए संसाधनों को निकालते हैं। इससे खिलाड़ी अन्य संसाधनों को जब्त कर सकता है, अधिक परिष्कृत ठिकानों का निर्माण कर सकता है और प्रतिद्वंद्वी को पछाड़ने के लिए नई क्षमताओं का विकास कर सकता है। जीतने के लिए, खिलाड़ी को "मैक्रो" नामक समग्र अर्थव्यवस्था की तस्वीर को बहुत सूक्ष्मता से संतुलित करना चाहिए, और व्यक्तिगत इकाइयों के निम्न-स्तरीय नियंत्रण को "माइक्रो" कहा जाता है।

अल्पकालिक और दीर्घकालिक लक्ष्यों को संतुलित करने और अप्रत्याशित परिस्थितियों के अनुकूल होने की आवश्यकता उन प्रणालियों के लिए एक बड़ी चुनौती है जो वास्तव में अक्सर पूरी तरह से अनम्य हो जाते हैं। इस समस्या का समाधान करने के लिए AI के कई क्षेत्रों में सफलता की आवश्यकता है:

गेम थ्योरी : स्टारक्राफ्ट एक ऐसा खेल है, जहां "स्टोन, कैंची, पेपर" की तरह, एक भी जीतने की रणनीति नहीं है। इसलिए, सीखने की प्रक्रिया में, एआई को अपने रणनीतिक ज्ञान के क्षितिज का लगातार पता लगाना और विस्तार करना चाहिए।

अपूर्ण जानकारी : शतरंज या जाने के विपरीत, जहां खिलाड़ी वह सब कुछ देखते हैं जो होता है, StarCraft में महत्वपूर्ण जानकारी अक्सर छिपी होती है और इसे खुफिया रूप से सक्रिय रूप से निकाला जाना चाहिए।

दीर्घकालिक योजना : वास्तविक-विश्व के कार्यों में, कारण-प्रभाव संबंध तात्कालिक नहीं हो सकते हैं। एक खेल एक घंटे या उससे अधिक भी चल सकता है, इसलिए खेल की शुरुआत में किए गए कार्यों का लंबे समय में कोई महत्व नहीं हो सकता है।

रियल टाइम : पारंपरिक बोर्ड गेम्स के विपरीत, जहां प्रतिभागी बारी-बारी से स्टारक्राफ्ट में जाते हैं, खिलाड़ी समय बीतने के साथ-साथ लगातार एक्शन करते हैं।

विशाल एक्शन स्पेस : वास्तविक समय में सैकड़ों अलग-अलग इकाइयों और इमारतों की एक साथ निगरानी की जानी चाहिए, जो अवसरों का एक बहुत बड़ा संयोजन स्थान प्रदान करता है। इसके अलावा, कई क्रियाएं पदानुक्रमित हैं और रास्ते में बदल सकती हैं और पूरक कर सकती हैं। खेल का हमारा मानदंड प्रति यूनिट औसतन लगभग 10 से 26 क्रियाएं करता है।

इन चुनौतियों के मद्देनजर, StarCraft AI शोधकर्ताओं के लिए एक बड़ी चुनौती बन गया है। 2009 में चल रहे StarCraft और StarCraft II प्रतियोगिताओं की जड़ें 2009 में BroodWar API के लॉन्च के समय हैं। इनमें AIIDE StarCraft AI कॉम्पीटिशन , CIG StarCraft कॉम्पीटिशन , स्टूडेंट StarCraft AI टूर्नामेंट और Starcraft II AI सीढ़ी शामिल हैं ।

नोट : 2017 में, PatientZero ने Habré पर " Starcraft में एआई प्रतियोगिताओं का इतिहास " का एक उत्कृष्ट अनुवाद प्रकाशित किया।

समुदाय को इन मुद्दों का और अधिक पता लगाने में मदद करने के लिए, हमने 2016 और 2017 में बर्फ़ीला तूफ़ान के साथ काम करते हुए , PySC2 टूलकिट प्रकाशित किया, जिसमें अब तक प्रकाशित अनपेक्षित रिप्ले का सबसे बड़ा सरणी शामिल है। इस काम के आधार पर, हमने अल्फास्टार बनाने के लिए अपनी इंजीनियरिंग और एल्गोरिथम की उपलब्धियों को संयोजित किया।



MaNa के खिलाफ लड़ाई के दौरान अल्फास्टार का विज़ुअलाइज़ेशन, एजेंट की ओर से खेल को प्रदर्शित करता है - प्रारंभिक अवलोकन किए गए डेटा, तंत्रिका नेटवर्क की गतिविधि, कुछ प्रस्तावित क्रियाएं और आवश्यक निर्देशांक, साथ ही साथ मैच के अनुमानित परिणाम। MaNa खिलाड़ी का दृश्य भी दिखाया गया है, लेकिन यह एजेंट के लिए सुलभ नहीं है।

कैसी है ट्रेनिंग?

अल्फास्टार व्यवहार एक गहन सीखने वाले तंत्रिका नेटवर्क द्वारा उत्पन्न होता है , जो इंटरफ़ेस (इकाइयों और उनकी संपत्तियों की एक सूची) के माध्यम से कच्चे डेटा प्राप्त करता है और निर्देशों का एक क्रम देता है जो खेल में कार्रवाई करते हैं। अधिक विशेष रूप से, तंत्रिका नेटवर्क की वास्तुकला " ट्रांसफॉर्मर धड़ को इकाइयों के दृष्टिकोण का उपयोग करती है, एक गहरी एलएसटीएम कोर के साथ संयुक्त, एक पॉइंटर नेटवर्क के साथ एक ऑटो- रिग्रेसिव पॉलिसी हेड और एक केंद्रीकृत मूल्य बेसलाइन " (अनुवाद के बिना छोड़ी गई शर्तों की सटीकता के लिए) । हमारा मानना ​​है कि ये मॉडल अन्य महत्वपूर्ण मशीन लर्निंग कार्यों का सामना करने में मदद करेंगे, जिसमें दीर्घकालिक अनुक्रम मॉडलिंग और अनुवाद, भाषा मॉडलिंग और दृश्य प्रतिनिधित्व जैसे बड़े आउटपुट स्थान शामिल हैं।

अल्फास्टार नए मल्टी-एजेंट लर्निंग एल्गोरिदम का भी उपयोग करता है। यह तंत्रिका नेटवर्क मूल रूप से एक शिक्षक-आधारित शिक्षण पद्धति का उपयोग करके प्रशिक्षित किया गया था, जो गुमनाम रिप्ले पर आधारित था जो कि बर्फ़ीला तूफ़ान के माध्यम से उपलब्ध है । इसने अल्फास्टार को टूर्नामेंट में खिलाड़ियों द्वारा उपयोग की जाने वाली बुनियादी सूक्ष्म और मैक्रो-रणनीतियों का अध्ययन करने और अनुकरण करने की अनुमति दी। इस एजेंट ने अंतर्निहित एआई स्तर "एलीट" को हराया, जो कि 95% टेस्ट गेम्स में गोल्ड लीग में एक खिलाड़ी के स्तर के बराबर है।



लीग अल्फास्टार। एजेंटों को शुरू में मानव मैचों के रिप्ले के आधार पर प्रशिक्षित किया गया था, और फिर आपस में प्रतिस्पर्धी मैचों के आधार पर। प्रत्येक पुनरावृत्ति पर, नए प्रतिद्वंद्वी बाहर शाखा और मूल फ्रीज। अन्य विरोधियों और हाइपरपरमेटर्स के मिलने की संभावना प्रत्येक एजेंट के लिए सीखने के उद्देश्यों को निर्धारित करती है, जिससे जटिलता बढ़ जाती है, जो विविधता को बरकरार रखती है। एजेंटों के मापदंडों को विरोधियों के खिलाफ खेल के परिणाम के आधार पर सुदृढीकरण प्रशिक्षण के साथ अद्यतन किया जाता है। नैश वितरण के आधार पर अंतिम एजेंट का चयन (प्रतिस्थापन के बिना) किया जाता है।

इन परिणामों का उपयोग बहु-एजेंट सुदृढीकरण सीखने की प्रक्रिया शुरू करने के लिए किया जाता है। इसके लिए, एक लीग बनाया गया था, जहां प्रतिद्वंद्वी एजेंट एक दूसरे के खिलाफ खेलते हैं, जैसे लोग टूर्नामेंट खेलकर अनुभव प्राप्त करते हैं। नए प्रतिद्वंद्वियों को लीग के माध्यम से वर्तमान एजेंटों के दोहराव से जोड़ा गया था। सीखने का यह नया रूप, आनुवंशिक -आधारित ( जनसंख्या-आधारित ) एल्गोरिदम के तत्वों के साथ सुदृढीकरण सीखने की विधि से कुछ विचारों को उधार लेना, आपको स्टारक्राफ्ट के गेमप्ले के विशाल रणनीतिक स्थान की खोज की एक सतत प्रक्रिया बनाने की अनुमति देता है, और यह सुनिश्चित करने के लिए कि एजेंट सबसे शक्तिशाली रणनीतियों का सामना करने में सक्षम हैं, नहीं पुराने को भूल जाना।



स्कोर एमएमआर (मैच मेकिंग रेटिंग) - खिलाड़ी के कौशल का एक अनुमानित संकेतक। बर्फ़ीला तूफ़ान की ऑनलाइन लीग की तुलना में प्रशिक्षण के दौरान अल्फास्टार लीग में प्रतिद्वंद्वियों के लिए।

जैसे-जैसे लीग विकसित हुई और नए एजेंट बनाए गए, काउंटर-स्ट्रेटजी दिखाई दी जो पिछले वाले को हराने में सक्षम थे। जबकि कुछ एजेंटों ने केवल उन रणनीतियों में सुधार किया जो वे पहले सामना कर चुके थे, अन्य एजेंटों ने पूरी तरह से नए बनाए, जिनमें नए असामान्य बिल्ड ऑर्डर, यूनिट रचना और मैक्रो प्रबंधन शामिल थे। उदाहरण के लिए, जल्दी से, "चीज" फूल गया - फोटॉन तोपों की बंदूकें या डार्क टमप्लर की मदद से तेजी से भीड़। लेकिन जैसे-जैसे सीखने की प्रक्रिया आगे बढ़ी, इन जोखिम भरी रणनीतियों को त्याग दिया गया, जिससे दूसरों को रास्ता मिल सके। उदाहरण के लिए, संसाधनों की एक अतिरिक्त आमद प्राप्त करने या दुश्मन के श्रमिकों पर हमला करने और उनकी अर्थव्यवस्था को कमजोर करने के लिए दो Oracles का दान प्राप्त करने के लिए अधिक संख्या में श्रमिकों का उत्पादन। यह प्रक्रिया इसी तरह की है कि कैसे नियमित खिलाड़ियों ने नई रणनीतियों की खोज की और स्टारक्राफ्ट की रिहाई के बाद से कई वर्षों के दौरान पुराने लोकप्रिय दृष्टिकोणों को हराया।



जैसे-जैसे प्रशिक्षण आगे बढ़ा, यह ध्यान देने योग्य था कि एजेंटों द्वारा उपयोग की जाने वाली इकाइयों की संरचना कैसे बदल रही है।

विविधता सुनिश्चित करने के लिए, प्रत्येक एजेंट अपने स्वयं के सीखने के उद्देश्य से संपन्न था। उदाहरण के लिए, विरोधियों को इस एजेंट की हार, या किसी अन्य आंतरिक प्रेरणा जो एजेंट के खेल को निर्धारित करती है। एक निश्चित एजेंट के पास एक विशिष्ट प्रतिद्वंद्वी को हराने का लक्ष्य हो सकता है, और दूसरे में विरोधियों का एक पूरा चयन, लेकिन केवल विशिष्ट इकाइयाँ। सीखने की पूरी प्रक्रिया में ये लक्ष्य बदल गए हैं।



इंटरएक्टिव विज़ुअलाइज़ेशन (इंटरैक्टिव लेख मूल लेख में उपलब्ध हैं), जो अल्फास्टार लीग के साथ प्रतिद्वंद्वियों को दर्शाता है। TLO और MaNa के विरुद्ध खेलने वाले एजेंट को अलग-अलग चिह्नित किया जाता है।

प्रत्येक एजेंट के तंत्रिका नेटवर्क के गुणांक (वजन) को उनके विशिष्ट सीखने के लक्ष्यों का अनुकूलन करने के लिए विरोधियों के साथ खेल के आधार पर सुदृढीकरण प्रशिक्षण का उपयोग करके अद्यतन किया गया था। वजन को अद्यतन करने के लिए नियम एक नया प्रभावी शिक्षण एल्गोरिथ्म है " ऑफ-पॉलिसी अभिनेता-आलोचक सुदृढीकरण सीखने का एल्गोरिथ्म अनुभव रिप्ले के साथ, आत्म-अनुकरण सीखने और नीति आसवन " (अनुवाद के बिना छोड़ी गई शर्तों की सटीकता के लिए) ।



छवि दिखाती है कि कैसे एक एजेंट (ब्लैक डॉट), जिसे माएना के खिलाफ खेल के परिणामस्वरूप चुना गया था, ने प्रशिक्षण प्रक्रिया में विरोधियों (रंगीन डॉट्स) की तुलना में अपनी रणनीति विकसित की। प्रत्येक बिंदु लीग में एक प्रतिद्वंद्वी का प्रतिनिधित्व करता है। बिंदु की स्थिति रणनीति, और आकार को दिखाती है - आवृत्ति जिसके साथ इसे सीखने की प्रक्रिया में MaNa एजेंट के लिए एक प्रतिद्वंद्वी के रूप में चुना जाता है।

अल्फास्टार को प्रशिक्षित करने के लिए, हमने Google TPU 3 पर आधारित एक स्केलेबल डिस्ट्रीब्यूटेड सिस्टम बनाया, जो StarCraft II की हजारों चलने वाली प्रतियों के साथ एजेंटों की एक पूरी आबादी के समानांतर प्रशिक्षण की प्रक्रिया प्रदान करता है। अल्फास्टार लीग प्रत्येक एजेंट के लिए 16 टीपीयू का उपयोग करते हुए 14 दिनों तक चली। प्रशिक्षण के दौरान, प्रत्येक एजेंट को वास्तविक समय में StarCraft खेलने का 200 वर्षों का अनुभव प्राप्त हुआ। अल्फास्टार एजेंट के अंतिम संस्करण में ऑल-लीग नैश वितरण घटक शामिल हैं। दूसरे शब्दों में, खेलों के दौरान खोजी गई रणनीतियों का सबसे प्रभावी मिश्रण। और यह कॉन्फ़िगरेशन एक मानक डेस्कटॉप जीपीयू पर चलाया जा सकता है। एक सहकर्मी की समीक्षा की वैज्ञानिक पत्रिका में प्रकाशन के लिए एक पूर्ण तकनीकी विवरण तैयार किया जा रहा है।



लीग के विकास और नए विरोधियों के निर्माण के दौरान प्रतिद्वंद्वियों के बीच नैश वितरण। नैश वितरण, जो पूरक प्रतियोगियों का सबसे कम शोषणकारी सेट है, नए खिलाड़ियों की सराहना करता है, इस प्रकार सभी पिछले प्रतियोगियों पर निरंतर प्रगति का प्रदर्शन करता है।

अल्फास्टार कैसे कार्य करता है और खेल को देखता है

TLO या MaNa जैसे पेशेवर खिलाड़ी प्रति मिनट ( APM ) सैकड़ों क्रियाएं कर सकते हैं। लेकिन यह सबसे मौजूदा बॉट्स की तुलना में बहुत कम है जो स्वतंत्र रूप से प्रत्येक इकाई को नियंत्रित करते हैं और हजारों उत्पन्न करते हैं, यदि हजारों क्रियाएं नहीं हैं।

TLO और MaNa के खिलाफ हमारे खेलों में, अल्फास्टार ने एपीएम को 280 के औसत पर रखा, जो कि पेशेवर खिलाड़ियों की तुलना में बहुत कम है, हालांकि इसके कार्य अधिक सटीक हो सकते हैं। ऐसा कम एपीएम विशेष रूप से इस तथ्य के कारण है कि अल्फास्टार ने सामान्य खिलाड़ियों के रिप्ले के आधार पर अध्ययन करना शुरू किया और मानव खेलने के तरीके की नकल करने की कोशिश की। इसके अलावा, अल्फास्टार औसतन लगभग 350 एमएस के अवलोकन और कार्रवाई के बीच देरी के साथ प्रतिक्रिया करता है।



एपीएम अल्फास्टार का माएना और टीएलओ के खिलाफ मैचों में वितरण और अवलोकन और कार्रवाई के बीच समग्र विलंब।

TLO और MaNa के खिलाफ मैचों के दौरान, अल्फास्टार ने StarCraft गेम इंजन के साथ कच्चे इंटरफ़ेस के माध्यम से बातचीत की, अर्थात्, वह कैमरे को स्थानांतरित करने के बिना, सीधे नक्शे पर अपनी और दृश्यमान दुश्मन इकाइयों की विशेषताओं को देख सकता था - पूरे क्षेत्र के कम दृश्य के साथ प्रभावी ढंग से खेल सकता है। । इसके विपरीत, जीवित लोगों को स्पष्ट रूप से "ध्यान अर्थव्यवस्था" का प्रबंधन करना चाहिए ताकि कैमरे को लगातार फोकस किया जा सके। हालांकि, अल्फास्टार गेम के विश्लेषण से पता चलता है कि यह स्पष्ट रूप से फोकस को नियंत्रित करता है। औसतन, एक एजेंट अपना ध्यान संदर्भ प्रति मिनट 30 बार स्विच करता है, जैसे कि MaNa और TLO।

इसके अलावा, हमने अल्फास्टार के दूसरे संस्करण को विकसित किया। मानव खिलाड़ियों के रूप में, अल्फास्टार का यह संस्करण स्पष्ट रूप से चुनता है कि कैमरे को कब और कहां स्थानांतरित किया जाए। इस अवतार में, इसकी धारणा स्क्रीन पर जानकारी तक ही सीमित है, और केवल स्क्रीन के दृश्य क्षेत्र पर भी कार्रवाई की अनुमति है।



आधार इंटरफ़ेस और कैमरा इंटरफ़ेस का उपयोग करते समय अल्फास्टार प्रदर्शन। ग्राफ दिखाता है कि कैमरे के साथ काम करने वाला नया एजेंट तेजी से बेस इंटरफेस का उपयोग कर एजेंट के लिए तुलनीय प्रदर्शन प्राप्त कर रहा है।

हमने दो नए एजेंटों को प्रशिक्षित किया, जिनमें से एक ने आधार इंटरफेस का उपयोग किया और एक वह था जो यह सीखना चाहता था कि अल्फ़ास्टार लीग के खिलाफ खेलते हुए कैमरे को कैसे नियंत्रित किया जाए। शुरुआत में प्रत्येक एजेंट को मानव मैचों पर आधारित शिक्षक के साथ प्रशिक्षित किया गया था, इसके बाद ऊपर वर्णित सुदृढीकरण के साथ प्रशिक्षण दिया गया था। अल्फास्टार संस्करण, जो कैमरा इंटरफेस का उपयोग करता है, आधार इंटरफेस के साथ संस्करण के लगभग समान परिणाम प्राप्त किए, जो हमारे आंतरिक लीडरबोर्ड पर 7000 एमएमआर चिह्न से अधिक है। एक प्रदर्शन मैच में, MaNa ने एक कैमरे का उपयोग करके अल्फास्टार प्रोटोटाइप को हराया। हमने इस संस्करण को केवल 7 दिनों में प्रशिक्षित किया। हमें उम्मीद है कि हम निकट भविष्य में कैमरे के साथ पूरी तरह से प्रशिक्षित संस्करण का मूल्यांकन करने में सक्षम होंगे।

इन परिणामों से पता चलता है कि Maaa और TLO के खिलाफ मैचों में अल्फास्टार की सफलता मुख्य रूप से अच्छे मैक्रो और माइक्रो प्रबंधन का परिणाम है, न कि केवल एक बड़ी क्लिक दर, त्वरित प्रतिक्रिया या बुनियादी इंटरफ़ेस की जानकारी तक पहुंच।

अल्फास्टार बनाम पेशेवर खिलाड़ियों के खेल का परिणाम है

StarCraft खिलाड़ियों को तीन रेसों में से एक को चुनने की अनुमति देता है - टेरेंस, ज़र्ग या प्रोटॉस। हमने तय किया कि अल्फास्टार वर्तमान में हमारे घरेलू लीग के परिणामों का मूल्यांकन करने के लिए प्रशिक्षण समय और विविधताओं को कम करने के लिए एक विशेष दौड़, प्रोटॉस में विशेषज्ञ होगा। लेकिन यह ध्यान दिया जाना चाहिए कि एक समान सीखने की प्रक्रिया किसी भी दौड़ के लिए लागू की जा सकती है। हमारे एजेंटों को कैटालिस्ट मानचित्र पर प्रोटॉस बनाम प्रोटॉस मोड में StarCraft II संस्करण 4.6.2 खेलने के लिए प्रशिक्षित किया गया था। अल्फास्टार के प्रदर्शन का मूल्यांकन करने के लिए, हमने शुरू में टीएलओ के खिलाफ मैचों में अपने एजेंटों का परीक्षण किया - जोर्ज के लिए एक पेशेवर खिलाड़ी और प्रोटॉस स्तर "ग्रैंडमास्टर" के लिए एक खिलाड़ी। अल्फास्टार ने 5: 0 के स्कोर के साथ मैच जीते, जिसमें कई तरह की इकाइयां थीं और ऑर्डर बनाए। "मैं हैरान था कि एजेंट कितना मजबूत था," उन्होंने कहा। “अल्फास्टार जानी-मानी रणनीतियाँ लेता है और उन्हें उल्टा कर देता है। एजेंट ने ऐसी रणनीतियाँ दिखाईं जिनके बारे में मैंने कभी सोचा भी नहीं था। और इससे पता चलता है कि अभी भी खेलने के तरीके हो सकते हैं जो अभी भी पूरी तरह से समझ में नहीं आए हैं। ”


प्रशिक्षण के एक अतिरिक्त सप्ताह के बाद, हमने MaNa के खिलाफ खेला, जो दुनिया के सबसे शक्तिशाली StarCraft II खिलाड़ियों में से एक है, और शीर्ष 10 प्रदर्शन खिलाड़ियों में से एक है। अल्फास्टार ने इस बार मजबूत सूक्ष्म प्रबंधन और मैक्रो-रणनीति कौशल का प्रदर्शन करते हुए 5-0 से जीत हासिल की। "मैं अल्फास्टार को प्रत्येक खेल में सबसे उन्नत दृष्टिकोण और विभिन्न रणनीतियों का उपयोग करते हुए देखकर चकित था, खेलने की एक बहुत ही मानवीय शैली दिखाती है जिसे मैंने कभी देखने की उम्मीद नहीं की थी," उन्होंने कहा। “मुझे एहसास हुआ कि मेरी खेलने की शैली मानवीय प्रतिक्रियाओं के आधार पर त्रुटियों के उपयोग पर निर्भर करती है। और इस खेल को एक नए स्तर पर रखता है। हम सभी उत्साह से देखते हैं कि आगे क्या होता है। ”

अल्फास्टार और अन्य कठिन समस्याएं

इस तथ्य के बावजूद कि स्टारक्राफ्ट सिर्फ एक खेल है, भले ही यह बहुत मुश्किल हो, हम सोचते हैं कि अल्फास्टार अंतर्निहित तकनीक अन्य समस्याओं को हल करने में उपयोगी हो सकती है। उदाहरण के लिए, इस प्रकार की तंत्रिका नेटवर्क वास्तुकला संभावित क्रियाओं के बहुत लंबे अनुक्रमों का अनुकरण करने में सक्षम है, खेल में अक्सर एक घंटे तक चलती है और अधूरी जानकारी के आधार पर दसियों हजारों क्रियाएं होती हैं। StarCraft में प्रत्येक फ़्रेम का उपयोग एक इनपुट चरण के रूप में किया जाता है। इस मामले में, तंत्रिका नेटवर्क प्रत्येक ऐसे कदम को पूरे शेष खेल के लिए कार्यों के अपेक्षित अनुक्रम की भविष्यवाणी करता है। बहुत लंबे डेटा अनुक्रमों के लिए जटिल पूर्वानुमान बनाने का मौलिक कार्य कई वास्तविक दुनिया की समस्याओं में पाया जाता है, जैसे कि मौसम का पूर्वानुमान, जलवायु मॉडलिंग, भाषा को समझना, आदि। हम इन क्षेत्रों में लागू होने वाली विशाल क्षमता को पहचानने के लिए बहुत प्रसन्न हैं, जो हमने अनुभव प्राप्त किया है। अल्फास्टार परियोजना में।

हम यह भी सोचते हैं कि हमारे शिक्षण के कुछ तरीके एआई की सुरक्षा और विश्वसनीयता का अध्ययन करने में उपयोगी हो सकते हैं। एआई के क्षेत्र में सबसे कठिन समस्याओं में से एक विकल्प की संख्या है जिसमें सिस्टम गलत हो सकता है।और अतीत में पेशेवर खिलाड़ियों ने मूल तरीकों से अपनी गलतियों का उपयोग करते हुए, जल्दी से एआई को बायपास करने के तरीके ढूंढ लिए। अभिनव अल्फास्टार दृष्टिकोण, लीग में प्रशिक्षण के आधार पर, इस तरह के दृष्टिकोण को खोजता है और इस तरह की त्रुटियों से समग्र प्रक्रिया को अधिक विश्वसनीय और संरक्षित बनाता है। हमें खुशी है कि इस दृष्टिकोण की क्षमता सामान्य रूप से एआई सिस्टम की सुरक्षा और विश्वसनीयता में सुधार करने में मदद कर सकती है। विशेष रूप से ऊर्जा जैसे महत्वपूर्ण क्षेत्रों में, जहां कठिन परिस्थितियों में सही ढंग से प्रतिक्रिया करना बेहद महत्वपूर्ण है।

StarCraft में इस तरह के उच्च स्तर के खेल को प्राप्त करना अब तक के सबसे चुनौतीपूर्ण वीडियो गेम में से एक में बड़ी सफलता का प्रतिनिधित्व करता है। हम मानते हैं कि अन्य परियोजनाओं में सफलताओं के साथ ये उपलब्धियाँ, अल्फ़ाज़ेरो या अल्फ़ाफ़ॉल्ड हैं बुद्धिमान प्रणाली बनाने के लिए हमारे मिशन के कार्यान्वयन में एक कदम आगे का प्रतिनिधित्व करते हैं जो एक दिन हमें सबसे जटिल और मौलिक वैज्ञानिक मुद्दों के समाधान खोजने में मदद करेगा।

---

सभी मैचों के 11 रिप्ले, MaNa के खिलाफ पूरे दूसरे मैच के अल्फास्टार के दृश्य के साथ MaNa वीडियो के खिलाफ
प्रदर्शन मैच का
वीडियो