डॉटा 2 में विशेषज्ञों से मशीन सीखने के साथ कैसे सीखें

सेंट पीटर्सबर्ग एचएसई के एक पिछले लेख में, हमने दिखाया कि प्रोग्राम कोड में मशीन लर्निंग कैसे बग की तलाश कर सकता है। इस पोस्ट में, हम बात करेंगे कि कैसे हम, JetBrains रिसर्च के साथ मिलकर मशीन सीखने के सबसे दिलचस्प, आधुनिक और तेजी से बढ़ते वर्गों में से एक का उपयोग करने की कोशिश कर रहे हैं - सुदृढीकरण सीखने - वास्तविक व्यावहारिक समस्याओं और मॉडल उदाहरणों में।

अपने बारे में

मेरा नाम निकिता सजनोविच है। जून 2018 तक, मैंने तीन साल के लिए SPbAU में अध्ययन किया, और फिर, अपने अन्य सहपाठियों के साथ, एचएसई सेंट पीटर्सबर्ग में स्थानांतरित कर दिया, जहां मैं अब अपनी स्नातक की पढ़ाई पूरी कर रहा हूं। हाल ही में, मैं JetBrains रिसर्च में एक शोधकर्ता के रूप में भी काम करता हूं। विश्वविद्यालय में प्रवेश करने से पहले, मैं खेल प्रोग्रामिंग का शौकीन था और बेलारूस की राष्ट्रीय टीम के लिए खेला था।

सुदृढीकरण प्रशिक्षण

सुदृढीकरण सीखने की मशीन सीखने की एक शाखा है जिसमें एजेंट, पर्यावरण के साथ बातचीत करके, एक सकारात्मक या नकारात्मक इनाम के रूप में सुदृढीकरण (इसलिए नाम) प्राप्त करता है। इन संकेतों के आधार पर, एजेंट अपना व्यवहार बदलता है। इस प्रक्रिया का अंतिम लक्ष्य सबसे बड़ा संभव इनाम प्राप्त करना है, या, एजेंट द्वारा निर्धारित कार्यों को प्राप्त करने के लिए किसी अन्य तरीके से।

एजेंट शर्तों पर काम करते हैं और कार्रवाई का चयन करते हैं। उदाहरण के लिए, भूलभुलैया से बाहर निकलने की समस्या में, हमारे राज्य x और y निर्देशांक होंगे, और क्रियाएं ऊपर / नीचे / बाएं / दाएं होंगी। सामान्य योजना इस प्रकार है:

काल्पनिक / सरल कार्यों (जैसे एक ही भूलभुलैया) से वास्तविक / व्यावहारिक कार्यों तक के संक्रमण में मुख्य समस्या यह है: ऐसे कार्यों में पुरस्कार आमतौर पर बहुत दुर्लभ होते हैं। यदि हम एक एजेंट चाहते हैं, उदाहरण के लिए, शहर के नक्शे पर पिज्जा वितरित करने के लिए, तो वह समझ जाएगा कि उसने कुछ अच्छा किया है, केवल आदेश को दरवाजे पर पहुंचाकर, और यह केवल तभी होगा जब आप कार्यों का लंबा और सही क्रम करेंगे।

एजेंट को "खेलने" के लिए शुरुआती उदाहरणों में इस समस्या को हल किया जा सकता है - तथाकथित विशेषज्ञ प्रदर्शन।

सीखने के लिए कार्य

मॉडल समस्या जिस पर लेख में चर्चा की जाएगी वह है Dota 2।

Dota 2 एक लोकप्रिय MOBA गेम है जिसमें पांच नायकों की टीम को अपने "किले" को नष्ट करके एक विरोधी टीम को हराना होगा। Dota 2 को एक जटिल खेल माना जाता है, यह 25000000 डॉलर के मुख्य टूर्नामेंट में पुरस्कारों के साथ है।

आप दत्ता 2 में ओपनएआई की हालिया सफलताओं के बारे में सुन सकते हैं। पहले उन्होंने एक-एक बॉट बनाया और पेशेवर खिलाड़ियों को हराया , फिर उन्होंने 5x5 गेम में स्विच किया और इस गर्मी में प्रभावशाली परिणाम दिखाए, हालांकि वे पेशेवर टीमों से हार गए।

एकमात्र समस्या यह है कि उन्होंने एजेंट को एक-पर-एक गेम के लिए प्रशिक्षित किया, उनके अनुसार , 60,000 सीपीयू और 256 के 8080 जीपीयू एज़्योर क्लाउड पर। बेशक, उनके पास इतनी शक्ति का आदेश देने का अवसर है। लेकिन अगर आपके पास कम शक्ति है, तो आपको ट्रिक्स का उपयोग करना होगा। ऐसी चालों में से एक है लोगों द्वारा पहले से खेले जाने वाले खेलों का उपयोग।

खेल में प्रदर्शन

ज्यादातर मामलों में, प्रदर्शनों को कृत्रिम रूप से दर्ज किया जाता है: आप बस एक कार्य पूरा करते हैं / एक खेल खेलते हैं और किसी भी तरह आपके द्वारा किए गए कार्यों को इकट्ठा करते हैं। तो आप कुछ डेटा एकत्र करते हैं जिन्हें विभिन्न तरीकों से प्रशिक्षण में एम्बेड किया जा सकता है। अब तक मैंने ऐसा किया है, लेकिन वास्तव में कैसे - यह गेम क्लाइंट के साथ बातचीत की योजना के बारे में स्पष्ट हो जाएगा।

एक बड़ा और अधिक साहसिक लक्ष्य ओपन एक्सेस से अधिक डेटा प्राप्त करना है। सीखने को गति देने के लिए Dota 2 को चुनने के कारणों में से एक एक संसाधन था जैसे कि dotabuff । खेल पर अलग-अलग आंकड़े एकत्र किए जाते हैं, लेकिन इससे भी महत्वपूर्ण बात यह है कि इसमें गेम के पूरे रिप्ले हैं। और उन्हें रेटिंग द्वारा क्रमबद्ध किया जा सकता है।

अब तक मैंने कोशिश नहीं की है कि इस तरह के डेटा के गीगाबाइट कई एपिसोड की तुलना में बहुत मदद करेंगे। डेटा संग्रह को लागू करना काफी सरल था: आपको गेमबफ पर गेम के लिंक मिलते हैं, गेम डाउनलोड करते हैं और Dota 2 गेम पार्सर का उपयोग करते हैं ।

प्रशिक्षण के लिए खेल के ग्राहक के साथ बंडल करें

हमारे पास एक डोटा 2 गेम है जिसका क्लाइंट विंडोज, लिनक्स और मैकओएस प्लेटफॉर्म के तहत मौजूद है। लेकिन फिर भी, आमतौर पर प्रशिक्षण किसी प्रकार की अजगर लिपि में होता है, और इसमें आप एक वातावरण बनाते हैं, चाहे वह भूलभुलैया हो, मशीन पहाड़ी पर चढ़ती हो या ऐसा ही कुछ। लेकिन Dota 2 के लिए कोई वातावरण नहीं है। इसलिए, मुझे खुद इस रैपर को बनाना पड़ा, जो तकनीकी रूप से काफी दिलचस्प था। यह ऐसा करने के लिए निकला:

पहला भाग गेम क्लाइंट के साथ संवाद करने के लिए एक स्क्रिप्ट है। सौभाग्य से, डोटा 2 के लिए बॉट बनाने के लिए एक आधिकारिक एपीआई है: डोटा बॉट स्क्रिप्टिंग । इसे लुआ भाषा में आवेषण के रूप में कार्यान्वित किया जाता है, जो, जैसा कि यह निकला, खेल के विकास में लोकप्रिय है। बॉट स्क्रिप्ट, गेम क्लाइंट के साथ बातचीत करते हुए, सही समय की जानकारी को बाहर खींचती है, जिसमें हम रुचि रखते हैं (उदाहरण के लिए, मानचित्र पर निर्देशांक, विरोधियों की स्थिति) और सर्वर के साथ इसे भेजता है।

दूसरा भाग रैपर ही है। यह एक सर्वर के रूप में डिज़ाइन किया गया है जो स्टीम, डोटा लॉन्च करने और गेम के अंदर एक स्क्रिप्ट से जसन प्राप्त करने के सभी तर्क को संसाधित करता है। लॉन्चिंग गेम और क्लाइंट्स का प्रबंधन pyutogui के माध्यम से किया जाता है , और गेम में लुआ-इंसर्ट के साथ संचार फ़्लॉस सर्वर के माध्यम से होता है।

तीसरे भाग में लर्निंग अल्गोरिथम होता है। यह एल्गोरिथ्म क्रियाओं का चयन करता है, सर्वर से निम्नलिखित राज्य और पुरस्कार प्राप्त करता है, जिसके पीछे खेल के साथ सभी संचार छिपा हुआ है, और इसके व्यवहार में सुधार करता है।

विशेषज्ञों से सीखना

इस आलेख में एल्गोरिथम स्वयं विशेष रूप से महत्वपूर्ण नहीं है, क्योंकि इन तकनीकों का उपयोग किसी भी एल्गोरिथ्म के साथ किया जा सकता है। हमने DQN का उपयोग किया (जो आप हब के बारे में पढ़ सकते हैं )। संक्षेप में, यह एक गहन तंत्रिका नेटवर्क + क्यू-लर्निंग एल्गोरिदम है। हां, यह बिल्कुल DQN है जिसे दीपइंड ने अटारी गेम खेलने के लिए बनाया था।

पिछले खेलों का उपयोग कैसे करें, इसके बारे में बात करना और भी दिलचस्प है। मैंने दो तरीकों की कोशिश की: संभावित-आधारित इनाम को आकार देने और कार्रवाई की सलाह।

दृष्टिकोणों का सामान्य विचार यह है कि एजेंट को न केवल कार्य के लक्ष्यों (उदाहरण के लिए, भूलभुलैया के अंत में या पहाड़ पर चढ़ने के लिए) के लिए एक इनाम मिलेगा, बल्कि हर कदम पर प्रशिक्षण के दौरान भी। यह अतिरिक्त इनाम दिखाएगा कि अंतिम लक्ष्य को प्राप्त करने के लिए एजेंट कितना अच्छा काम करता है। बेशक, मैं उससे स्वतः पूछना चाहता हूं, और नियमों / शर्तों का चयन नहीं करना चाहिए। निम्नलिखित दृष्टिकोण इसे प्राप्त करने में मदद करते हैं।

संभावित-आधारित इनाम को आकार देने का सार यह है कि कुछ राज्य शुरू में हमें दूसरों की तुलना में अधिक आशाजनक लगते हैं, और इसके आधार पर हम एल्गोरिदम को मिलने वाले वास्तविक पुरस्कारों को संशोधित करते हैं। हम इसे इस तरह करते हैं: $$$r '\ leftarrow r + \ Gamma \ Phi (s_ {t + 1}) - \ Phi (s_a)$जहाँ $$$r '$- संशोधित पुरस्कार, $$$आर$- इनाम असली है, $$$गामा$- सीखने के एल्गोरिथ्म से छूट कारक (हमारे लिए बहुत महत्वपूर्ण नहीं), लेकिन $$$\ Phi (s_t)$और जिस स्थिति में हम गए थे, उसके लिए हमारी क्षमता है $$$टी$। एक सरल उदाहरण एक भूलभुलैया पर काबू पा रहा है।

मान लीजिए कि एक भूलभुलैया है जिसमें हम सेल (0,0) से सेल (5,5) में आना चाहते हैं। फिर, राज्य (x, y) के लिए हमारी क्षमता हमारे लक्ष्य (5.5) से (यू, y) से यूक्लिडियन दूरी माइनस हो सकती है: $$$\ Phi ((x, y)) = - \ sqrt {(x-5) ^ 2 + (y-5) ^ 2}$। यही है, हम फिनिश लाइन के करीब पहुंचते हैं, राज्य की क्षमता अधिक होती है (उदाहरण के लिए, $$$\ Phi ((5,5)) = 0$। $$$\ Phi ((2,3)) ~ = -3.61$। $$$\ Phi ((1,5)) = - 4$)। इसलिए हम एजेंट को लक्ष्य तक पहुंचने के लिए किसी भी तरह से प्रेरित करते हैं।

Dota 2 के लिए, विचार समान है, लेकिन क्षमता थोड़ी अधिक जटिल हैं:

कल्पना करें कि हम प्रदर्शनकारी के रूप में उन्हीं राज्यों से गुजरना चाहते हैं। फिर हम जितने अधिक राज्यों से गुजरते हैं, उतनी ही अधिक क्षमता होती है। हम राज्य की क्षमता को पुनरावृत्ति के पूरा होने के प्रतिशत तक डालते हैं, अगर हमारी कोई शर्त है। विभिन्न कार्यों में इसके अलग-अलग अर्थ हैं। लेकिन यह डोटा 2 में है कि इसका मतलब है कि पहले हम बॉट को केंद्र तक पहुंचाना चाहते हैं (आखिरकार, प्रदर्शनों की शुरुआत में केंद्र के लिए केवल कदम होते हैं), और फिर मानव खिलाड़ी की स्थिति को रखा जाता है (महान स्वास्थ्य, विरोधियों के लिए सुरक्षित दूरी, आदि)। )।

दूसरी विधि, कार्रवाई-सलाह, इस लेख से ली गई थी। इसका सार यह है कि अब हम एजेंट को राज्यों की उपयोगिता नहीं, बल्कि कार्यों की उपयोगिता की सलाह देते हैं। उदाहरण के लिए, हमारे डोटा 2 गेम में इस तरह की सलाह हो सकती है: अगर आपके आस-पास कोई दुश्मन मिनियन है, तो उस पर हमला करें; यदि आप केंद्र तक नहीं पहुंचे हैं, तो इसकी दिशा में जाएं; यदि आप स्वास्थ्य खो देते हैं, तो अपने टॉवर पर वापस जाएं। और यह लेख प्रोग्रामर द्वारा बिना किसी विचार के ऐसे सुझावों को निर्दिष्ट करने के लिए एक विधि का वर्णन करता है - स्वचालित रूप से।

इस सिद्धांत के अनुसार क्षमताएँ उत्पन्न होती हैं: क्रिया क्षमता $$$एक$करने में सक्षम
$$$एस$संबंधित स्थितियों की उपस्थिति में वृद्धि $$$s_d$उसी के साथ
कार्य $$$एक$प्रदर्शनों में। इसके बाद के संस्करण आरेख में कार्रवाई के लिए इनाम
के रूप में बदलता रहता है $$$r '\ leftarrow r + \ Gamma \ Phi (s_ {t + 1}, एक' _ {t + 1}) - \ Phi (s_t, a_t)$।
यहां यह ध्यान देने योग्य है कि हम राज्यों में पहले से ही कार्रवाई के लिए क्षमता निर्धारित करते हैं।

परिणाम

शुरुआत करने के लिए, मैं ध्यान देता हूं कि खेल का लक्ष्य थोड़ा सरल था, क्योंकि मैंने यह सब अपने लैपटॉप पर सिखाया था। एजेंट का लक्ष्य जितना संभव हो उतने हमले करना था, जो कुछ सन्निकटन में एक वास्तविक लक्ष्य की तरह प्रतीत होता है। ऐसा करने के लिए, आपको पहले नक्शे के केंद्र में पहुंचने की जरूरत है और फिर विरोधियों पर हमला करना चाहिए, मरने की कोशिश नहीं करनी चाहिए। सीखने में तेजी लाने के लिए, मेरे द्वारा केवल कुछ (1 से 3) दो-मिनट का प्रदर्शन दर्ज किया गया था।

किसी भी दृष्टिकोण का उपयोग करने वाले एजेंट को व्यक्तिगत कंप्यूटर पर केवल 20 घंटे लगते हैं (ज्यादातर समय एक डोटा 2 गेम को रेंडर करने में लगता है), और ओपनएआई ग्राफ़ द्वारा देखते हुए, उनके सर्वर पर प्रशिक्षण में कई सप्ताह लगते हैं।

संभावित-आधारित इनाम को आकार देने वाले दृष्टिकोण का उपयोग करते समय खेल का लघु प्रदर्शन:

और कार्रवाई सलाह दृष्टिकोण के लिए:

ये नोट x10 की प्रशिक्षण गति से बनाए गए थे। केंद्र में जाने पर एजेंट के व्यवहार में गलतियाँ अभी भी दिखाई देती हैं, लेकिन फिर भी केंद्र में संघर्ष सीखा हुआ युद्धाभ्यास दिखाता है। उदाहरण के लिए, कम स्वास्थ्य में पीछे हटना।

आप दृष्टिकोण में अंतर भी देख सकते हैं: संभावित-आधारित इनाम को आकार देने के साथ, एजेंट आसानी से चलता है, क्योंकि "क्षमता से जाता है"; कार्रवाई सलाह के साथ, बॉट केंद्र में अधिक आक्रामक रूप से खेलता है, क्योंकि यह हमले के बारे में संकेत प्राप्त करता है।

परिणाम

मैं तुरंत ध्यान देता हूं कि कुछ बिंदुओं को जानबूझकर छोड़ा गया था: क्या एल्गोरिथ्म वास्तव में था, राज्य का प्रतिनिधित्व कैसे किया गया था, और क्या वास्तविक खिलाड़ियों के साथ खेलने के लिए एक एजेंट को प्रशिक्षित करना संभव है, आदि।

सबसे पहले, इस लेख में मैं यह दिखाना चाहता था कि प्रबलित प्रशिक्षण के मामले में, आपको हमेशा एक बहुत ही सरल वातावरण (भूलभुलैया से बच) या बहुत उच्च प्रशिक्षण लागत (मेरी सरसरी गणना के अनुसार, OpenAI) उन सर्वरों के बीच चयन करने की आवश्यकता नहीं है, जो Azure $ 4715 पर प्रशिक्षण के लिए उपलब्ध हैं। प्रति घंटे)। ऐसी तकनीकें हैं जो सीखने में तेजी ला सकती हैं, और मैंने उनमें से केवल एक के बारे में बात की - प्रदर्शनों का उपयोग। यह ध्यान रखना महत्वपूर्ण है कि इस तरह से आप प्रदर्शनकारी को न केवल दोहराते हैं, बल्कि उससे केवल "धक्का" देते हैं। यह महत्वपूर्ण है कि आगे के प्रशिक्षण के साथ एजेंट के पास विशेषज्ञों को पार करने का अवसर हो।

यदि आप विवरणों में रुचि रखते हैं, तो प्रशिक्षण प्रक्रिया कोड GitHub पर पाया जा सकता है ।