आज OpenAI और Dota 2 पेशेवरों (लोगों ने जीता) के बीच पहला मैच होगा। हम समझते हैं कि बॉट कैसे काम करता है

[UPD 2] पेन गेमिंग टीम ने ओपनएआई फाइव को हराया। यह मैच 53 मिनट तक चला और बॉट्स के पक्ष में 45-41 के स्कोर के साथ समाप्त हुआ। खेल की रिकॉर्डिंग यहाँ चिकोटी पर देखी जा सकती है । 7:38:00 पर शुरू करें

आज रात, 22 अगस्त, द इंटरनेशनल प्लेऑफ़ के अगले दिन की शुरुआत से पहले, पेशेवर खिलाड़ियों और ओपनएआई फाइव बॉट के बीच पहला प्रदर्शन मैच शो गतिविधियों के हिस्से के रूप में आयोजित किया जाएगा। मैचों की जानकारी Dota 2 की आधिकारिक वेबसाइट पर द इंटरनेशनल के प्लेऑफ़ के लिए खेलों की अनुसूची के साथ दिखाई दी। कुल मिलाकर, ओपनएआई तीन दिनों में तीन मैच प्रो खिलाड़ियों के साथ खेलेगा।

यह घटना इस मायने में महत्वपूर्ण है कि एक साल पहले 1x1 सोलो मिडल मिरर SF के साथ टकराव में बॉट ने "डेनियल इशुतिन को क्रैक किया", और कुछ हफ्ते पहले उन्होंने कमेंटेटरों और पूर्व समर्थक खिलाड़ियों के "हॉजपॉज" को हराया ।

इस बार, एलोन मस्क और आईटी क्षेत्र के अन्य प्रमुख व्यवसायियों द्वारा प्रायोजित एक कंपनी के विकास को एक और अधिक गंभीर प्रतिद्वंद्वी का सामना करना पड़ेगा: अंतर्राष्ट्रीय सालाना दुनिया की सर्वश्रेष्ठ टीमों को इकट्ठा करता है, इसलिए यह बॉट के लिए आसान नहीं होगा। अब तक, विकास टीम ने यह नहीं बताया है कि क्या महीने की शुरुआत में लोगों के खिलाफ खेल में प्रासंगिक चोटियों और यांत्रिकी पर सभी पुराने प्रतिबंध लागू होंगे, लेकिन यह याद रखने योग्य है।


इस विषय पर हमारे पिछले प्रकाशन पर टिप्पणियों में, तंत्रिका नेटवर्क के प्रशिक्षण के तरीकों के बारे में बहुत विवाद हुआ। इस बार हम कुछ दृश्य लेकर आए कि OpenAI बॉट कैसे काम करता है और यह लोगों के दृष्टिकोण से कैसा दिखता है।

डेवलपर्स ने कहा कि गंभीर कंप्यूटिंग शक्ति, कई रिकॉर्ड और कई धाराओं में प्रशिक्षण चलाने की क्षमता के कारण, OpenAI दैनिक 180 साल तक लगातार Dota 2 खेलों की नकल करता है। जाहिर है, इस AI की सीखने की क्षमता बहुत-से-स्मार्ट भी नहीं की तुलना में कम परिमाण के कई आदेश हैं। "जानवर, कुत्तों या प्राइमेट्स का उल्लेख नहीं करते हैं, जिनसे आदमी संबंधित है।

OpenAI को प्रशिक्षित करने के लिए, टीम ने अपने स्वयं के विकास का उपयोग किया जिसे जिम ( जीथब रिपॉजिटरी , आधिकारिक दस्तावेज ) कहा जाता है। यह "रॉकिंग चेयर" किसी भी सार्वजनिक पुस्तकालय के साथ संगत है, जैसे कि टेंसोरफ्लो या थीनो। जिम के ढांचे के भीतर तंत्रिका नेटवर्क के प्रशिक्षण में, क्लासिक एजेंट-पर्यावरण लूप का उपयोग किया जाता है:



डेवलपर्स का दावा है कि अटारी 2600 के लिए क्लासिक टाइटल खेलने के लिए कोई भी जिम का उपयोग कर सकता है या परियोजनाओं को समझने के लिए अन्य अपेक्षाकृत आसान हो सकता है। जाहिर है, इसमें शामिल संसाधनों की मात्रा पर सीधे प्रशिक्षण की गति निर्भर करती है। एक उदाहरण के रूप में, OpenAI डेवलपर्स ने मोंटेज़ुमा का बदला खेलने के लिए तंत्रिका नेटवर्क को सिखाया ।

लेकिन दूसरे और चौथे चरण - परिणाम की कार्रवाई और विश्लेषण (कार्रवाई के लिए पुरस्कार) हमारे लिए सबसे बड़ी रुचि है। और Dota 2 के संदर्भ में, परिवर्तनशीलता का स्तर सिर्फ लुढ़कता है, और बॉट द्वारा शुरू में मूल्यांकन किए गए कार्यों को "अधिकार" के रूप में लंबी दूरी पर नुकसान हो सकता है।

कैसे OpenAI की टीम ने AI को उपकरण के संदर्भ में Dota 2 खेलना सिखाया

विकास टीम ने Dota 2 में OpenAI सीखने के सवाल को गंभीरता से लिया। आप यहां परियोजना के ब्लॉग पर पूरी आधिकारिक रिपोर्ट पढ़ सकते हैं , लेकिन हम बिना मार्केटिंग और अन्य कर्टसीमेंट के तकनीकी भाग और कार्यान्वयन पर मुख्य अंश देंगे।

पिछले प्रकाशन के टिप्पणीकार प्रशिक्षण के लिए OpenAI तंत्रिका नेटवर्क द्वारा उपभोग की जाने वाली शक्ति में सबसे अधिक रुचि रखते थे। जाहिर है, रायज़ेन की एक जोड़ी ऐसा नहीं कर सकती थी, खासकर एक वास्तविक दिन में खेलने के 180 वर्षों की नकल करने के संदर्भ में। इसी समय, कोटा 2 के लिए बॉट क्वेक स्तर के शूटर के लिए बॉट नहीं है, जो उपयोगकर्ता को संदेह में से एक के जवाब में बहुत स्पष्ट रूप से देखा गया है:

मुझे यह प्रतीत होता है कि आप केवल DotA में सामरिक स्थान के आकार की कल्पना करते हैं, क्योंकि आप खेल से परिचित नहीं हैं। तंत्रिका नेटवर्क को शामिल किए बिना बॉट बनाने का कोई मौका नहीं है, खुद को कम से कम कुछ सेंस कंप्यूटिंग संसाधनों तक सीमित करना। गंभीरता से। यह क्वेक नहीं है, जहां आप रणनीति के मामले में एक पूर्ण ओक का पेड़ हो सकते हैं, इसके लिए पटरियों से शलजम में अमानवीय तेजी से शॉट्स के लिए क्षतिपूर्ति करते हैं। प्रतिक्रिया और यांत्रिक कौशल के संदर्भ में आदर्श, बॉट्स जो यह नहीं जानते कि उनमें से पांच कैसे खेलें और "कार्ड महसूस न करें" किसी भी कुशल मांस खिलाड़ियों के खिलाफ बर्बाद होते हैं।

इसके अलावा, DotA एक गेम है जिसमें अधूरी जानकारी होती है, और यह नाटकीय रूप से कार्य को जटिल बनाता है। कार्य "क्या करना है जब मैं दुश्मन को देखता हूं" कार्य की तुलना में बहुत सरल है "क्या करना है जब दुश्मन दिखाई नहीं देते हैं" - न केवल कारों के लिए, बल्कि लोगों के लिए भी।

OpenAI डेवलपर्स ने इसे स्पष्ट रूप से समझा, इसलिए बॉट्स को प्रशिक्षित करने के लिए हजारों आभासी मशीनों का एक साथ उपयोग किया गया। विशेष रूप से, ये आंकड़े 1x1 सोलो मिड बॉट के प्रशिक्षण के लिए परियोजना के आधिकारिक ब्लॉग द्वारा दिए गए हैं, कुछ प्रतिबंधों के साथ डैनियल इशुतिन को हराने में सक्षम है, और 5x5 गेम के लिए एक पूर्ण टीम को प्रशिक्षित करने के लिए:


यह एक दशमलव बिंदु नहीं है। ओपनएआई को 5x5 मोड में प्रशिक्षण के लिए, Google क्लाउड के 128 हजार प्रोसेसर कोर लगातार उपयोग किए जाते हैं। लेकिन यह सब लुगदी नहीं है। चूंकि मशीन दृष्टि का उपयोग ओपनएआई बॉट (जो हम थोड़ी देर बाद के बारे में बात करेंगे) को पढ़ाने में करते हैं, इस राक्षसी कॉन्फ़िगरेशन में एक और 256 पीआईडी ​​एनवीआईडीआईए जीपीयू ( टेस्ला त्वरक ) हैं।

आधिकारिक NVIDIA के विवरणिका के अनुसार, P100 में निम्नलिखित विशेषताएं हैं:



एक P100 टेस्ला 12 जीबी पीसीआई-ई की आधिकारिक लागत लगभग $ 5800 है, टेस्ला पी 100 एसएक्सएम 2 16 जीबी $ 9400 से शुरू होती है। OpenAI सिर्फ पुराने SXM2 मॉडल का उपयोग करता है। वर्चुअल मशीन पर "ग्राफिक्स" रेंडर करने के लिए नहीं, बल्कि लगातार चलने वाले सभी बैचों से आने वाले डेटा की प्रोसेसिंग और कंप्यूटिंग के लिए वीडियो कार्ड की जरूरत होती है। इस धारा को संसाधित करने के लिए, टीम को नोड्स की एक पूरी प्रणाली को तैनात करना था, जिसके भीतर P100 टेस्ला काम करता है। वीडियो कार्ड प्राप्त डेटा की प्रक्रिया करते हैं और गणना करते हैं, फिर सभी बैचों पर औसतन परिणाम का उत्पादन करते हैं और पिछले OpenAI संकेतकों के साथ इसकी तुलना करते हैं।

इस तरह की क्षमताएं प्रति मिनट लगभग 60 पार्टियों के तंत्रिका नेटवर्क का अनुकरण करना संभव बनाती हैं, जिनमें से प्रत्येक के लिए तंत्रिका नेटवर्क 1.04 मिलियन एजेंट-मध्यम चक्रों का विश्लेषण करता है, जैसा कि पहले उल्लेख किया गया है।

कैसे OpenAI खेल को देखता है

पैसा धूल है, अगर आपके पास यह है। यहां तक ​​कि OpenAI प्रशिक्षण के एक दिन की लागत के सबसे अनुमानित अनुमानों को थोड़ा झटका लगा, और Google क्लाउड सर्वर पर उत्पन्न गर्मी एक छोटे से शहर को गर्म करने के लिए पर्याप्त है। लेकिन अधिक दिलचस्प यह है कि OpenAI खेल को कैसे देखता है।

यह स्पष्ट है कि बॉट को ग्राफिक रेंडरिंग की आवश्यकता नहीं है, लेकिन ऐसी शक्तियों का उपयोग एक कारण के लिए किया जाता है। बॉट अपने कार्यों में बॉट्स के लिए मानक वाल्व एपीआई पर निर्भर करता है, जिसके माध्यम से तंत्रिका नेटवर्क आसपास के स्थान के बारे में डेटा की एक धारा प्राप्त करता है। 1024 ब्लॉक के सिंगल-लेयर LSTM नेटवर्क के माध्यम से डेटा को चलाने के लिए एपीआई की आवश्यकता होती है और इसके परिणामस्वरूप, अल्पकालिक समाधान प्राप्त होते हैं जो तंत्रिका नेटवर्क के लिए उपलब्ध दीर्घकालिक रणनीतियों के अनुरूप होते हैं।

LSTM नेटवर्क बॉट के लिए कार्यों की प्राथमिकता "यहां और अब" निर्धारित करते हैं, और तंत्रिका नेटवर्क के व्यवहार के दीर्घकालिक मॉडल के अनुसार, सबसे लाभप्रद कार्रवाई का चयन किया जाता है। उदाहरण के लिए, बॉट्स सोने और अनुभव अर्जित करने के लिए आसानी से अंतिम हिट ढोंगी पर ध्यान केंद्रित करते हैं, जो वस्तुओं के रूप में दीर्घकालिक लाभ प्राप्त करने और खेल में बाद के लाभ के मॉडल के अनुरूप है।

डेवलपर्स से मिली जानकारी के अनुसार, सभी पक्ष 30 एफपीएस की आवृत्ति के साथ मानचित्र पर घटनाओं के ड्राइंग के साथ होते हैं। तंत्रिका नेटवर्क OpenAI लगातार LSTM के माध्यम से प्रत्येक फ्रेम का विश्लेषण करता है, जिसके परिणाम के आधार पर वह आगे निर्णय लेता है। इसी समय, बॉट की अपनी प्राथमिकताएं हैं: पर्यावरण के साथ सभी संभावित इंटरैक्शन बॉट की "दृष्टि" के विशेष रूप से चयनित क्षेत्रों के माध्यम से सबसे गहन विश्लेषण के अधीन हैं - ये 800x800 वर्ग हैं जिन्हें 64 100x100 कोशिकाओं में विभाजित किया गया है (इन-गेम रेंज ऑफ एक्शन और मूवमेंट का आकार लिया गया है, और वर्ग का आकार 8x8 है। )। यह कैसे एक आंशिक फ्रेम पर बॉट आंशिक रूप से "गेम" देखता है:


कार्यों को स्विच करने की क्षमता के साथ एक पूर्ण निर्माणकर्ता, " संरचना को मोड़ने" के लिए वर्गों और अन्य संभावनाओं के आकार का अनुमान लगाता है, जो मॉडल संरचना अनुभाग में डेवलपर्स के आधिकारिक ब्लॉग में उपलब्ध है।

और यहाँ खेल की घटनाओं के वास्तविक समय की भविष्यवाणी के संदर्भ में LSTM नेटवर्क का दृश्य है:


LSTM के अलावा और यहां और अब की स्थिति का आकलन करने के लिए, OpenAI बॉट लगातार "पूर्वानुमान" और अपनी स्वयं की प्राथमिकताओं को सेट करने के ग्रिड का उपयोग करता है। यह लोगों के लिए कैसा दिखता है:



हरा वर्ग सर्वोच्च प्राथमिकता और बॉट की वर्तमान कार्रवाई (हमला, चाल, और इसी तरह) का क्षेत्र है। हल्के हरे रंग के वर्ग में प्राथमिकता कम होती है, लेकिन किसी भी समय बॉट इस क्षेत्र में बदल सकता है। दो और ग्रे वर्ग - संभावित गतिविधि के क्षेत्र, अगर कुछ भी नहीं बदलता है।

देखें कि कैसे बॉट खेल को "देखता है" और इन चार क्षेत्रों के आधार पर निर्णय लेता है, नीचे दिए गए वीडियो में देखा जा सकता है:


यह ध्यान दिया जाना चाहिए कि बॉट के प्राथमिकता वाले क्षेत्र हमेशा चरित्र मॉडल के बगल में स्थित नहीं होते हैं। नक्शे को खींचते समय, सभी चार वर्गों को बॉट की वर्तमान स्थिति से कई स्क्रीन के लिए आसानी से स्थानांतरित किया जाता है, अर्थात, OpenAI एक साथ किसी भी कार्रवाई की उपलब्धता और शीघ्रता के लिए पूरे खेल स्थान का विश्लेषण करता है, और केवल एक स्क्रीन नहीं।

OpenAI लगातार खुद के साथ खेलता है। इसी समय, 80% बॉट प्रशिक्षित हैं, और 20% पहले से ही विकसित रणनीति और रणनीतियों का उपयोग करते हैं। यह दृष्टिकोण तंत्रिका नेटवर्क को अपनी गलतियों से सीखने की अनुमति देता है, वास्तविक व्यवहार में कमजोर पैटर्न ढूंढता है और साथ ही व्यवहार के सफल पैटर्न को मजबूत करता है।

कल पहले से ही। पेशेवर लोग बनाम मशीन

परिणाम के बजाय, यह पेशेवर खिलाड़ियों और OpenAI के बीच कल के टकराव के विषय पर लौटने के लायक है।

विवरण अभी तक ज्ञात नहीं हैं, लेकिन विश्वास के साथ हम कह सकते हैं कि तंत्रिका नेटवर्क में एक कठिन समय होगा। अपने पिछले विरोधियों के विपरीत, ओपनएआई सबसे अच्छा सामना करेगा, और एक शो मैच की रूपरेखा में पैंतरेबाज़ी और टीमवर्क की संभावना लोगों को अपनी पूरी क्षमता तक पहुंचने की अनुमति देगा। सोलो मिड 1x1 प्रारूप, निश्चित रूप से बेहद शानदार है, लेकिन यह खेल के पूरे सार को प्रकट नहीं करता है और सूक्ष्म त्रुटियों के प्रति बहुत असहिष्णु है जो लोग अक्सर बनाते हैं।

पूरा सवाल है कि पेशेवर इस टकराव को कितनी गंभीरता से लेंगे। यदि कोई अतिरिक्त जानकारी दिखाई देती है, तो प्रकाशन अपडेट किया जाएगा।