5x5 प्रारूप में OpenAI और लोगों के बीच Dota 2 मैच का विस्तृत विश्लेषण। लोग हार गए

कल, 5 अगस्त, सैन फ्रांसिस्को में, Dota 2 अनुशासन में लोगों और OpenAI बॉट्स के बीच एक शो मैच हुआ। 2017 में, द इंटरनेशनल 2017 शो मैचों के हिस्से के रूप में, लोगों ने OpenAI को "1x1 दर्पण मध्य" प्रारूप में और पूरी रेंज के साथ लड़ा। बॉट्स के पक्ष में प्रतिबंध (कई वस्तुओं और एक मैकेनिक के उपयोग पर प्रतिबंध), जो पेशेवर मध्य-खिलाड़ियों की हार में समाप्त हो गया।

चूंकि Dota 2 एक अत्यंत बहुमुखी और कठिन अनुशासन अनुशासन है, इसलिए लोगों और AI के बीच की बैठक फिर से कई सीमाओं के साथ आयोजित की गई, जो कि, हालांकि, गेमप्ले को भी मौलिक रूप से प्रभावित नहीं करती है:

• रैंडम ड्राफ्ट मोड (ऐक्स, क्रिस्टल मेडेन, डेथ पैगंबर, अर्थशास्त्री, गाइकॉप्टर, लिच, लायन, नेक्रोफॉस, दर्द की रानी, ​​रेजर, रिक्की, शैडो फिंड, स्लार्क, स्निपर, स्निपर, स्वेद, वाइपर या चुड़ैल) में 18 नायकों का पूल डॉक्टर);
• दिव्य रैपियर के बिना, बोतल;
• नियंत्रित प्राणियों और भ्रम के बिना;
• पांच कोरियर के साथ मैच (वे स्काउट और टैंक नहीं किए जा सकते);
• स्कैन का उपयोग किए बिना।

सबसे गंभीर सीमा: दोनों पक्षों के लिए नायकों का एक बहुत छोटा पूल। अब डोटा 2 में 115 पात्र हैं, जिनके आवेदन की विभिन्न क्षमताएं और मैकेनिक्स हैं। OpenAI अब तक उनमें से केवल 18 को ही नियंत्रित कर सकता है। यह बैठक "वास्तविक" स्थितियों के जितना करीब संभव था और 5x5 प्रारूप में आयोजित की गई थी। साधारण लोग एआई के खिलाफ खेलते थे, अतीत में, एक बार ई-स्पोर्ट्स में शामिल थे, लेकिन अब वे ई-स्पोर्ट्समैन नहीं हैं। लोगों के लिए एकमात्र रियायत यह थी कि बटनों की प्रतिक्रिया 200 एमएस तक सीमित थी ताकि बटन के तत्काल "निचोड़ने" वाली स्थितियों से बचा जा सके। निचला रेखा: एआई टीम ने कार्ड पर 2-0 के स्कोर के साथ लोगों को हराया । ओपनएआई के अनुमान के अनुसार, दर्शकों द्वारा एआई (स्लार्क, स्वेन, एक्स, रेकी और क्वीन ऑफ पेन) के लिए दर्शकों के चुने जाने के बाद ही ओपनएआई के खिलाफ जीत संभव थी। इस तरह के मसौदे के साथ जीतने की संभावना केवल 2.9% थी। इसके अलावा, मुख्य मैच की शुरुआत से पहले, घटना के सामान्य मेहमान बॉट्स के साथ खेल सकते थे, और इन बैठकों में एआई का प्रभुत्व और भी अधिक स्पष्ट था, जो प्रभावशाली है।

यह इतना महत्वपूर्ण क्यों है

OpenAI एक गैर-लाभकारी परियोजना है, जो, हालांकि, प्रसिद्ध और प्रभावशाली लोग हैं। इस परियोजना की स्थापना 2015 में इलोन मस्क, सैम अल्टमैन द्वारा की गई थी, और प्रायोजक पीटर थिएल और जेसिका लिविंगस्टन थे । Dota 2 OpenAI प्रोजेक्ट टीम की एकमात्र गतिविधि नहीं है। यदि आप परियोजना की आधिकारिक वेबसाइट पर "अनुसंधान" खंड को देखते हैं, तो आप देख सकते हैं कि OpenAI सक्रिय रूप से AI के निर्माण की दिशा में काम कर रहा है, उदाहरण के लिए, रोबोटिक्स।

लेकिन अगर परियोजना के संस्थापक ऐसे प्रभावशाली लोग हैं, तो आपने कंप्यूटर गेम क्यों चुना? एआई को गतिशील रूप से बदलती परिस्थितियों में काम करना सीखना एक गैर-तुच्छ कार्य है। एआई और ऑटोपिलॉट के मौजूदा मॉडल विशेष रूप से कड़ाई से परिभाषित स्थितियों में संचालित होते हैं, और उनके प्रशिक्षण में न केवल पूर्वनिर्धारित पैटर्न के अनुसार कार्य करने के लिए बॉट के लिए कई घटनाओं और कारकों के संयोजन की आवश्यकता होती है, बल्कि जो हो रहा है उसका विश्लेषण करने और स्थिति के संदर्भ के आधार पर निर्णय लेने के लिए शुरू करना है। Dota 2 को AI सीखने के लिए एक मंच के रूप में चुनना और इस अनुशासन के लिए बॉट बनाना कई दृष्टिकोणों से उपयोगी साबित हुआ है:

• eSports अत्यधिक मीडिया के अनुकूल है;
• यह एआई प्रशिक्षण विधियों का अभ्यास करने के लिए एक सुरक्षित मंच है;
• डोटा 2 के खेल यांत्रिकी की विशाल परिवर्तनशीलता प्रशिक्षण के लिए लगभग असीमित परिदृश्य प्रदान करती है;
• लाइव गेम रिकॉर्डिंग के लिए खुली पहुंच विश्लेषण के लिए डेटा की अंतहीन आपूर्ति प्रदान करती है।

इस अस्थायी सूची पर अंतिम आइटम शायद सबसे महत्वपूर्ण है। सभी एआई प्रशिक्षण प्रणालियों की समस्याओं में से एक एक प्रासंगिक नमूना का निर्माण है जिस पर सिस्टम को प्रशिक्षित किया जा सकता है। लाइव खिलाड़ी हर दिन लाखों फ्री-टू-प्ले गेम रिकॉर्ड बनाते हैं जो बिल्कुल मुफ्त है, और शोधकर्ता केवल पात्रों के प्रासंगिक सेट के साथ मैच चुन सकते हैं। और परिणाम प्रभावशाली है।

5 अगस्त को क्या हुआ था

सबसे अधिक बार, कंप्यूटर गेम में बॉट्स सुस्त, स्क्रिप्टेड स्तन या अमानवीय प्रतिक्रिया के साथ अजेय राक्षस होते हैं। एक उदाहरण के रूप में - सीएस 1.6 के लिए "पागल" -bots, जो यू-टर्न जंप में 50+ मीटर की दूरी पर एक बन्दूक के साथ सिर में मारे गए थे। यथार्थवादी हासिल करने के लिए, लेकिन एक ही समय में गेमिंग एआई से प्रभावी व्यवहार, डेवलपर्स दशकों से नहीं कर पाए हैं, जो विशेष रूप से खुली दुनिया के खेलों में स्पष्ट है। दरअसल, यह ऑनलाइन विषयों की लोकप्रियता का कारण बन गया है।

"1x1 मिरर" प्रारूप में 2017 के शो के मैच के बाद, ओपेनएआई टीम ने कहा कि अगला लक्ष्य 5x5 खेलों से भरा हुआ है। और वे लगभग अपने लक्ष्य को प्राप्त करने में कामयाब रहे: बॉट से यह उम्मीद करना कि कैप्टन मोड में सभी 115 पात्रों के तालमेल का प्रबंधन और विश्लेषण करने की क्षमता बेवकूफ होगी, लेकिन पहले से ही 18 नायक - यह बहुत कुछ है। यहां 18 नायकों के लिए चोटी 5x5 (10 वर्ण) के विकल्पों की गणना है:

$$

और यहाँ 115 वर्णों के लिए विकल्प मिलते हैं:

$$

हाँ, 74.5 ट्रिलियन संयोजन! जाहिर है, इस तरह की विविधता का सामना करने और OpenAI पूल में सभी 115 पात्रों को शामिल करने के लिए, एक पूर्ण स्व-सीखने वाली AI की आवश्यकता होती है, जो हमारे पास अभी तक नहीं है। इसके अलावा, गणना वर्णों की क्षमताओं को ध्यान में नहीं रखती है (4 से 6 "बटन" प्रति वर्ण, इनकोकर को छोड़कर), क्षमताओं के प्रकार (सक्रिय, निष्क्रिय, दिशात्मक, गैर-दिशात्मक, AoE एक बिंदु पर निर्देशित), दर्जनों वस्तुएं, वस्तुओं के सक्रिय प्रभाव, संशोधक और इतने पर और आगे।

लेकिन यहां तक ​​कि हमारे 18 पात्रों के मिनी-पूल के लिए, एक जबरदस्त काम किया गया था।

नीचे आप मूल्यांकन कर सकते हैं कि OpenAI बॉट लोगों के खिलाफ खेल में कैसे व्यवहार करता है:

कैसे बॉट्स अलग थे और लोगों से अलग नहीं थे

जो लोग चिकोटी के साथ 5+ घंटे की रिकॉर्डिंग देखने के लिए बहुत आलसी हैं, हम संक्षेप में बताएंगे कि ओपनएआई फाइव बॉट टीम का व्यवहार आम लोगों की तुलना में कैसे ध्यान देने योग्य था।

यह कहने लायक है कि एआई ने चरित्र के मसौदे के चरण में सोचा था, अर्थात, इसने अपूर्ण डेटा के आधार पर वर्णों के एक विशेष संयोजन को जीतने की संभावना की गणना की। उसी समय, OpenAI ने मसौदे के आधार पर अपनी जीत के अनुमानित प्रतिशत की सूचना दी। कभी-कभी एआई के अनुसार, यह 95% तक पहुंच गया।

पूरे OpenAI पाँच गेम को समुदाय के बीच इस तरह के एक लोकप्रिय शब्द के साथ "गला घोंटने" के रूप में वर्णित किया जा सकता है। हां, संवेदनाओं के अनुसार, बॉट्स ने वास्तव में कुछ लाइनों का "गला घोंट दिया" और बिना किसी पश्चाताप या भय के उन्होंने मैच के पहले मिनटों में टावरों में प्रवेश किया, ताकि एक मानव खिलाड़ी को फाउंटेन के नीचे आराम करने के लिए भेजा जा सके। नीचे कट में कुछ बिंदु देखे जा सकते हैं (वीडियो का नाम वास्तविकता के अनुरूप नहीं है):


निर्भीकता (दिलेरी पर सीमाबद्ध) और खेल के शुरुआती चरण में संगठित काम के अलावा, बॉट ने भी डोटा 2 के यांत्रिकी की अपनी समझ का उल्लेख किया। खेल का लक्ष्य: दुश्मन की मुख्य संरचना को तोड़ने के लिए, जिस पर बॉट ने ध्यान केंद्रित किया। इसलिए, 3-4 एआई पात्रों ने अपने स्वयं के ढोंगी को बचाने के लिए और जल्दी से संरचना को नष्ट करने के लिए, टॉवर को "टैंकिग" करने के लिए मानव विरोधियों के टावरों को लगातार तोड़ दिया। इसके अलावा, बॉट्स को इस तथ्य के लिए नोट किया गया था कि वे गैर-मानक रूप से इस्तेमाल किए गए वार्ड थे, जो उनके लिए टावरों को भी देते थे। परिणामस्वरूप, मेहमानों के साथ खेल में से एक में, बॉट दुश्मन के आधार पर पहले से ही 9 मिनट में प्रवेश करता है (15-18 मिनट पर भी दुश्मन के आधार तक पहुंचना बेहद शुरुआती समय माना जाता है)।

इसके अलावा, बॉट्स ने प्रभावी रूप से आपस में अनुभव का पुनर्वितरण किया, 4-5 पदों के पात्रों के ड्रॉडाउन से बचते हुए, क्षति की गणना में खुद को प्रतिष्ठित किया (जब आखिरी झटका दिया, तो बॉट ने लक्ष्य को पकड़ना जारी नहीं रखा, स्पष्ट रूप से यह समझना कि मारने के लिए पर्याप्त क्षति थी) और सक्रिय रूप से कुछ वस्तुओं का उपयोग किया।

एक चौकस दर्शक वीडियो पर और अधूरे डेटा के आधार पर निर्णय लेने ("युद्ध के कोहरे में एओई कौशल का उपयोग") को गैर-मानक निर्णय (दो के लिए भागने की कोशिश करने के बजाय सफलतापूर्वक टेलीपोर्ट स्क्रॉल का उपयोग करके), जंगल में दुश्मन को रोकने के साथ पीछे से प्रवेश करेगा और समन्वित करेगा। सबसे खतरनाक मानव विरोधियों का ध्यान केंद्रित।

मानवता को सही ठहराने के लिए, यह कहा जा सकता है कि मानव खिलाड़ियों ने खेल का बहुत उच्च स्तर नहीं दिखाया, चरित्र चयन के मामले में सीमित थे और कई गलतियाँ कीं, लेकिन विकास के सिर्फ 1 साल में ऐसी AI प्रगति प्रभावित करने में विफल नहीं हो सकती।

यह संभावना है कि हम एक और शो मैच देखेंगे, इस बार द इंटरनेशनल 2018 में (20-25 अगस्त को होगा) उन पेशेवरों के खिलाफ है जो एआई की तुलना में स्पष्ट रूप से मजबूत हैं। हालांकि, यह संभव है OpenAI Five हमें कुछ के साथ आश्चर्यचकित करेगा।