एक आवर्ती तंत्रिका नेटवर्क के आधार पर AI मिनी कप 2018 में भाग लेने के लिए एक बॉट बनाना

शुरू में, मेरे पास एक लेख के लिए कोई योजना नहीं थी, खासकर एक सम्मेलन में बोलने के बारे में। लेकिन एक सम्मेलन था। और इस पर बोलने के बाद, कुछ तकनीकी मुद्दों के कार्यान्वयन के बारे में दर्शकों के पास मेरे लिए प्रश्न थे। और इसलिए यह शब्द के लिए शब्द निकला - एक लेख।

लिंक के नीचे लाइव रिकॉर्डिंग।

डिस्क्लेमर: यह लेख इन कुछ सवालों के जवाब देने का एक प्रयास है। मुझे खुशी होगी अगर नए सवाल उठते हैं, जिसका जवाब देने से खुद को कुछ नया सीखने का मौका मिलेगा। और हां, यह लेख किसी भी तरह से तांबे के पाइप के झुरमुट को महसूस करने का प्रयास नहीं है।

और इसलिए चलिए इस कहानी की शुरुआत करते हैं। स्प्रिंग 2018, mail.ru ने अगैरो गेम पर आधारित एक प्रोग्रामिंग प्रतियोगिता की घोषणा की। प्रतियोगिता का सार गेम बॉट का निर्माण है।

इस लिंक पर प्रतियोगिता नियम। लेकिन संक्षिप्त और नियमों को अपने शब्दों में रेखांकित करने के लिए, आपको आगारो में खेलने के लिए एक बॉट बनाने की आवश्यकता है। एक समय में, एक लोकप्रिय इंटरनेट गेम (इस अर्थ में कि इसे ब्राउज़र से लॉन्च किया गया है), जिसका सार आपके छोटे भाइयों को खा रहा है और बड़े लोगों से दूर भाग रहा है। आप सीमित दो-आयामी स्थान में एक रंग पहिया को नियंत्रित करते हैं। इस स्थान में गेमप्ले बनाने के लिए, आपके सर्कल के अलावा, अन्य खिलाड़ियों के अनुसार अन्य सर्कल नियंत्रित होते हैं। विकास के लिए भोजन (रंगीन डॉट्स) है, अतिरिक्त बाधाओं को "वायरस" के रूप में पेश किया जाता है, जिसके साथ टकराव आपके सर्कल का एक विभाजन छोटे लोगों में बनाता है, जो आंशिक रूप से खेल प्रक्रिया को जटिल करता है, क्योंकि छोटे लोग बड़े खाते हैं और बड़े लोग सुरक्षित होते हैं।

मैं प्रतियोगिताओं के लिए खेल के एक संस्करण से एक तस्वीर दूंगा

इसके अलावा, खिलाड़ी से हमारा मतलब बॉट डेवलपर से नहीं, बल्कि बॉट से है।

एक पूरे के रूप में प्रतियोगिता के आयोजकों ने खेल की मूल अवधारणा को बनाए रखा, लेकिन कई नवाचारों को जोड़ा। जिनमें से मुख्य बॉट की समीक्षा का प्रतिबंध है और जड़ता नामक एक सरल शारीरिक कानून की शुरूआत है। भौतिकी लंबे समय से भौतिकी से गुजर रही है, इसलिए जड़ता न केवल हमारे साथ जुड़ी हुई है, बल्कि द्रव्यमान, वेग और त्वरण जैसी मात्राओं के साथ भी जुड़ी हुई है। हमें भौतिकी की दुनिया से कुछ और की आवश्यकता नहीं है।

मुझे आशा है कि साहित्यिक भाग ने पर्याप्त ध्यान दिया है और यह प्रतियोगिता के तकनीकी घटक पर आगे बढ़ने और इसमें भाग लेने का समय है।

डिस्क्लेमर 2: मुझे पूरा यकीन है कि जो नीचे वर्णित किया गया था, उसे अधिक पतला, अधिक सुरुचिपूर्ण और स्मार्ट बनाया जा सकता है, लेकिन ऐसा कैसे हुआ।

तो नुस्खा और मुख्य सामग्री को लिख लें, वे सभी नए नहीं हैं, लेकिन आप अपने स्वाद के लिए खुद को जोड़ सकते हैं।

कार्य: एक बॉट का निर्माण करें जो अपने आप में आगैरो खेल सकता है।
मुख्य विचार: बॉट के एक नियंत्रण तत्व के रूप में (बाद में तंत्रिका नेटवर्क, तंत्रिका नेटवर्क (एनएन)) के रूप में संदर्भित तंत्रिका नेटवर्क का उपयोग करें।
मुख्य उत्पादन उपकरण: माइक्रोसॉफ्ट विजुअल स्टूडियो और सी # सी ++ के लिए एक चिकनी संक्रमण के साथ।

फिर लेखक के लिए सबसे महत्वपूर्ण बात अपने पाठक को चुनना या समझना है, जिसके लिए मैं लिख रहा हूं, क्या वह जानता है कि तंत्रिका नेटवर्क, आनुवांशिक एल्गोरिदम क्या हैं और इन सभी का विस्तार से वर्णन कैसे करें।

यह सब, मैंने अपने पाठक को चुना, मेरा पाठक यह सब जानता है, लेकिन व्यवहार में इसका उपयोग करने के लिए इतना अच्छा नहीं है।

इसलिए, जैसा कि मैंने इस लेख को लिखा है, मैं एक न्यूरॉन और एक सक्रियण फ़ंक्शन जैसे सरल रूपों को याद करूंगा।

विज़ुअलाइज़ेशन के लिए मैं हाथ से तैयार की गई तस्वीरों का उपयोग करूँगा, जिन्हें इस प्रकार पढ़ा जाना चाहिए: यदि आपको वहाँ कोई त्रुटि दिखाई देती है, तो सही लोगों को लिखें, लिखें।

तो, सब कुछ बॉट के सॉफ्टवेयर निर्माण के पथ पर भेजने के लिए तैयार है। चलिए शुरू करते हैं:

हम चक्र लेते हैं, या यों कहें कि प्रतियोगिता के आयोजकों ने इसे एक साधारण बॉट के उदाहरण के रूप में तैयार किया। आइए गहराई से जाएं, इस लिंक का उपयोग करके रिपॉजिटरी से प्रतियोगिता के प्रतिभागी के लिए संग्रह डाउनलोड करें । आयोजकों ने वादा किया कि प्रतियोगिता सर्वर लाइव होगा, और इसके पूरा होने के बाद, हम इन शब्दों को सत्यापित करने में सक्षम होंगे। हम संग्रह खोलते हैं और एक प्रोग्रामिंग भाषा चुनते हैं जो हमारे लिए समझ में आता है।

प्रतियोगिता का दस्तावेज़ीकरण क्लाइंट की संचार तकनीक (हमारे बॉट को पढ़ें) और गहराई में कहीं रहने वाले डेटा सेंटर के सर्वर का वर्णन करता है। संक्षेप में, संचार कंसोल लाइन के माध्यम से जाता है, इससे कमांड लिखकर और पढ़कर।

जादुई शब्द Serialization का उल्लेख यहां किया जाना चाहिए: यह आपके डेटा को एक ऐसे प्रारूप में पैक कर रहा है, जो कि serializer समझता है और इस डेटा को वापस serializer का उपयोग करके प्रोग्राम में पढ़ने की क्षमता है। कई धारावाहिक हैं, txt फ़ाइल में लिखने के लिए सबसे सरल अनुक्रमिक प्रारूप भी एक धारावाहिक है, लेकिन सरल है। धारावाहिकों के बारे में हमें जो जानने की आवश्यकता है वह यह है कि वे मौजूद हैं और एपीआई के संदर्भ में लगभग पारदर्शी हैं। आयोजकों ने सबसे अधिक संभावना को समझा और इसलिए उनके बॉट के उदाहरण में धारावाहिक के साथ काम करने के लिए सभी आवश्यक निर्देश हैं। हमारे मामले में, यह JSON था।

धारावाहिक के बाद बॉट के लिए, खेल की दुनिया उल्लिखित चक्र की शुरुआत में प्राप्त आंकड़ों की एक सरणी की तरह दिखती है। गेम की दुनिया के बारे में डेटा बॉट के 4 त्रिज्या के बराबर दृश्य के त्रिज्या के अनुसार सर्वर द्वारा सीमित है, याद रखें कि बॉट एक सर्कल है। और वृत्त के चारों ओर का घेरा यह समीक्षा की बाहरी सीमा है, हालांकि बाहरी चक्र वॉट के केंद्र के सापेक्ष बॉट की गति के प्रति थोड़ा पक्षपाती है, लेकिन यह हमारे मामले में उपेक्षित हो सकता है।

और इसलिए हमारे पास एक चक्र है, चक्र का माप टिक है, कितने चक्र बीत चुके हैं, कई टिक चले हैं। सबसे अधिक संभावना है, हम अब इस टिक को याद नहीं करेंगे, लेकिन यह कई महत्वपूर्ण सीमाओं और सरलीकरणों को पेश करेगा: गणना का समय न केवल एक टिक, चक्र के एक पुनरावृत्ति के समय तक सीमित है, बल्कि कुल गणना के समय से भी अधिक है, जिस पर गेम सर्वर आपके बॉट को प्रबंधन से डिस्कनेक्ट कर देगा। बॉट को कमांड देने के लिए इसे और समय पर टिक करें। हम इसे खेल समय की मात्रा पर विचार करेंगे, टिक खेल की दुनिया में समय की एक अविभाज्य राशि है। प्लस इस से पालन करते हैं। चूंकि टिक डिफ़ॉल्ट रूप से 1 के बराबर है, इसलिए गति, त्वरण और अन्य मूल्यों की गणना करना आसान है। सभी फॉर्मूलों में हम 1 से गुणा करते हैं, इसके बजाय उनमें कुछ प्रकार के वक्र समय t = 0.0015 सेकंड का उपयोग करते हैं। इन ऑपरेशनों में त्रुटियां भी न्यूनतम हैं।

उपरोक्त सभी कुछ एक फिल्म के समान है, ऐसा लगता है कि स्क्रीन पर तस्वीर जीवंत और चलती है, लेकिन वास्तव में हमें प्रति सेकंड 25 अलग-अलग फ्रेम दिखाए जाते हैं, और हमारा मस्तिष्क वीडियो की गतिशीलता की पूर्ण धारणा के लिए इसे पर्याप्त आवृत्ति मानता है। इसलिए बॉट समय अंतराल पर दुनिया को देखता है। टिक खेल की दुनिया का एक फ्रेम है।

तंत्रिका नेटवर्क भी टिक्स के अनुसार काम करेगा।

बॉट की तरफ से तस्वीर साफ होने लगती है:

सर्वर दुनिया के बारे में संसाधित डेटा को बॉट को भेजता है-> टिक स्टार्ट-> बॉट डेटा प्राप्त करता है -> इसे प्रोसेस करता है-> बॉट प्रबंधन कमांड को सर्वर को भेजता है-> सर्वर डेटा को पढ़ता है-> टिक का अंत और फिर लगभग अनंत सर्कल या लूप में, अंतिम में 45000 टिक होता है। खेल काफी महत्वपूर्ण आंकड़ा है।

महत्वपूर्ण नोट: आप टिक को छोड़ सकते हैं और आपको इसके लिए कुछ भी नहीं मिलेगा। सर्वर के मामले हैं जहां प्रत्येक टिक को सर्वर को कुछ बताने की आवश्यकता होती है, ताकि सर्वर को नियंत्रण कार्यक्रम के हैंग में बॉट पर संदेह न हो।

लेखक ने सर्वर को ज्यादा नहीं छूने का फैसला किया, लेकिन मुझे इसके बारे में कुछ शब्द कहने की जरूरत है। सर्वर पर गेम की दुनिया का एक मॉडल है, और इसके अनुसार, यह गणना और क्रियाएं करता है। सर्वर प्रोग्राम में निम्नलिखित ब्लॉक शामिल हैं:

• बॉट टकराव की गणना (खेल की दुनिया की सीमाओं के साथ प्रसंस्करण टकराव, किसने खाया, बॉट बॉट या बॉट भोजन, या वायरस के साथ टकराव, आदि)
• बॉट भौतिकी की गणना (बॉट मूवमेंट, बॉट कमांड या टकराव के अनुसार बॉट की गति में परिवर्तन)
• खेल की दुनिया को बनाए रखने के लिए भोजन और अन्य कार्यों को जोड़ने के लिए, बॉट को विभाजित करने या उन्हें संयोजित करने से संबंधित गणना।
• और निश्चित रूप से गेमिंग टिक पर बॉट को डेटा भेजना और प्राप्त करना।

ऐसे सर्वर को "कमांड" कहा जाता है। यही है, सर्वर साइड पर सभी क्रियाएं होती हैं, जो डेटा सिंक्रनाइज़ेशन के साथ समस्याओं को दूर करती हैं। ग्राहक (बॉट को पढ़ें) केवल अपने अन्य प्रतिद्वंद्वियों की तरह दुनिया के लिए तैयार चित्र प्राप्त करता है, यहां बॉट के पदों की समानता हासिल की जाती है, कोई प्राथमिकताएं और कतारें नहीं हैं। फिर से, बॉट के निर्देशांक में परिवर्तन सर्वर पर होता है, उदाहरण के लिए, बॉट शिफ्ट करने के लिए एक कमांड देता है और केवल अगले टिक पर अपने नए निर्देशांक को पहचानता है, जो हमेशा टीम के साथ मेल नहीं खाता है, एक विकल्प के रूप में खेल की दुनिया की दीवार के रूप में एक बाधा है।

आयोजकों की साइट से तस्वीर

हमने बॉट और प्रबंधन सर्वर के साथ डेटा को पढ़ने का अनुमान लगाया है, अब आइए बॉट डिवाइस की गहराई पर एक नज़र डालें।

जैसा कि पाठक शायद पहले से ही समझ रहे हैं कि कुछ शब्द और बहुत सारे काम होंगे, या इसके विपरीत।
बॉट एक तंत्रिका नेटवर्क द्वारा नियंत्रित किया जाता है। लघु और क्षमता, लेकिन पूरी तरह से स्पष्ट नहीं है कि कैसे।

एक तंत्रिका नेटवर्क की पसंद और इसके कार्यान्वयन के लिए तकनीक।

फिलहाल, हम तय करते हैं कि हमारे लिए तंत्रिका नेटवर्क एक ब्लैक बॉक्स है जिसमें एक इनपुट और एक आउटपुट है।

हमारे लिए इनपुट और आउटपुट इनपुट के लिए N = 16 के आयाम और आउटपुट के लिए M = 4 के आयाम के साथ एक-आयामी सरणियाँ होगी।

चूंकि कृत्रिम तंत्रिका नेटवर्क की प्रकृति को प्राकृतिक तंत्रिका नेटवर्क से लगभग कॉपी किया जाता है, इसलिए हमारे लिए अच्छा होगा कि हम इनपुट डेटा की संरचना को प्राकृतिक लोगों के करीब लाएं। प्रकृति में, विभिन्न सेंसर इसके लिए जिम्मेदार हैं। इसलिए बॉट सेंसर से चिपके रहें।

निम्नलिखित विकल्प को प्रयोगात्मक रूप से चुना गया था (चित्र को 8 सेंसर, और एक 4x3 तंत्रिका नेटवर्क के लिए सरलीकृत किया गया है, लेकिन यह केवल मेरे पाठक को भ्रमित करने के लिए है):

बॉट का देखने का क्षेत्र समान (संभवतः असमान) क्षेत्रों में विभाजित है। प्रत्येक क्षेत्र तंत्रिका नेटवर्क के इनपुट में से एक को संकेत प्रदान करता है। तदनुसार, यदि हमने बॉट के आसपास के क्षेत्र को 16 क्षेत्रों (360/12 = 22.5 डिग्री सेक्टर अवलोकन) में विभाजित किया है, तो हमें तंत्रिका नेटवर्क के 16 इनपुट मिलते हैं। आमतौर पर, तंत्रिका नेटवर्क के इनपुट के लिए -1 से 1 तक का सिग्नल लगाया जाता है। इसलिए, इनपुट सिग्नल को सामान्य करने के लिए यह आवश्यक होगा।

राशनिंग, सरलीकृत है, कुल संकेत को इसके अधिकतम संभव मूल्य से विभाजित करना। डायनामिक नॉर्मलाइज़ेशन बनाना, यानी अधिकतम समय की खोज करना और सिग्नल वैल्यू को उसके मानदंड तक लाना निश्चित रूप से संभव है, लेकिन हम एक सेक्टर में अधिकतम वस्तुओं की अधिकतम संख्या के बराबर स्थिरांक के रूप में अधिकतम मान सेट करेंगे और इसे बॉट पर काम करने की प्रक्रिया में नहीं बदलेंगे।

संकेत या तो सकारात्मक या नकारात्मक हो सकते हैं, हम इस बात से सहमत हैं कि 0 से 1 तक का संकेत मान हमारे बॉट (एक छोटे बॉट के रूप में भोजन, भोजन) के लिए एक सकारात्मक मकसद है, -1 से 0 तक का नकारात्मक संकेत मान बॉट (दीवार) के लिए एक नकारात्मक उद्देश्य है। खेल की दुनिया, एक और बड़ा बॉट)।

चित्र

एक क्षेत्र से एक संकेत एक सामान्यीकृत मात्रा है जिसमें व्यक्तिगत संकेतों का योग होता है। प्रत्येक व्यक्तिगत संकेत, जैसा कि कहा गया है, एक संकेत और परिमाण है। संकेत की परिमाण को दूरी के आनुपातिक कार्य के रूप में परिभाषित किया गया है। न्यूनतम दूरी परिभाषित बॉट की सर्कल सीमा है, अधिकतम दूरी बॉट की दृश्यता की सीमा है। तदनुसार, यदि हम से एक सकारात्मक संकेत प्राप्त करते हैं, उदाहरण के लिए, भोजन केवल अधिकतम दूरी पर क्षेत्र में प्रवेश कर रहा है, तो संकेत कमजोर होगा और बढ़ेगा अगर बॉट भोजन तक पहुंचता है।

क्षेत्रों के रूप में सेंसर इस मामले के लिए सबसे उपयुक्त थे, लेकिन बस जांच-एंटीना हो सकता है, यहां कल्पना आपकी तरफ है। बेशक, लेखक ने 4 क्षेत्रों से 72 तक के क्षेत्रों में विभाजित करने के लिए विभिन्न विकल्पों की कोशिश की, लेकिन अभ्यास से पता चला है कि तंत्रिका नेटवर्क 16 क्षेत्रों में काफी सफलतापूर्वक प्रशिक्षित है और चार क्षेत्रों के साथ भी बॉट को नियंत्रित करने के लिए तैयार है। यहाँ तंत्रिका नेटवर्क की प्रकृति की लचीलापन प्रकट होती है।

अंत में, न्यूरल नेटवर्क प्रशिक्षण शब्द बोला गया । लेकिन अभी के लिए, हमने तय किया कि तंत्रिका नेटवर्क इनपुट और आउटपुट के साथ एक ब्लैक बॉक्स है, और चूंकि हमने इनपुट डेटा को सॉर्ट किया है, इसलिए इस बॉक्स से आउटपुट डेटा या सिग्नल के बारे में कुछ शब्द कहना बाकी है, इसके साथ क्या करना है और इसे कैसे प्रोसेस करना है।

हम आउटपुट सिग्नल के आयाम को 4 पर सेट करते हैं। यह संख्या कार्टेशियन निर्देशांक और ध्रुवीय के द्वैतवाद की अभिव्यक्ति है। लेखक अपने पाठक के ज्ञान की प्रकृति के बारे में नहीं भूलता था और इसलिए उसे एक बार प्राप्त ज्ञान के अपने ड्राइंग के साथ याद दिलाता है।

इसलिए, सर्वर डेवलपर्स ने खेल की दुनिया को अनुकरण करने के लिए तार्किक रूप से ध्रुवीय निर्देशांक का उपयोग किया, और बॉट और उनके डेवलपर्स ने विनम्रता से कार्टेशियन निर्देशांक प्रदान किए। इसलिए, लेखक को इस समन्वय प्रणाली में एक पक्ष चुनना था। एक तंत्रिका नेटवर्क के लिए, एक ध्रुवीय समन्वय प्रणाली जिसमें वेक्टर की केवल परिमाण (पढ़ें लंबाई) होती है और इसके विचलन का कोण अधिक समझ में आता है। सब के बाद, आप यह भी समझते हैं कि शब्द "दाहिने मुड़ें" बजाय समन्वय के दो कदम और फरसा के साथ तीन चरणों को स्थानांतरित करें।

इसलिए, 4 आउटपुट सिग्नल, ये बॉट के वेग वेक्टर के कोण को बढ़ाने या कम करने के बारे में 2 संकेत हैं, और 2 अधिक वेग वेक्टर के परिमाण को बढ़ा या घटा रहे हैं।
लेकिन चूंकि गेम सर्वर ने कार्टेशियन निर्देशांक में बॉट को नियंत्रित करने के लिए कमांड देने के लिए कहा, तो ध्रुवीय निर्देशांक से कार्टेशियन निर्देशांक में अनुवाद करने के लिए कुछ सूत्र और यह सब अपमान अपने स्थानों में उठ गया (यह सी # के समान एक छद्म कोड है)।

float rotate1 = outputs[0]; float rotate2 = outputs[1]; float speed1 = outputs[2]; float speed2 = outputs[3]; if (rotate1 > 0.65 && rotate2 < 0.65) angle = angle + 35 * PI / 180; if (rotate1 < 0.65f && rotate2 > 0.65) angle = angle - 35 * PI / 180; if (speed1 > 0.65 && speed2 < 0.65) speed = speed + 2; if (speed1 < 0.65 && speed2 > 0.65) speed = speed - 2; dx = speed * Cos(angle); dy = speed * Sin(angle); 

संकेत एक बॉट की तरह ही हैं। ऐसा लगता है कि उन्होंने उसे इनपुट सिग्नल दिए, लेकिन आउटपुट में, कुछ भी सार्थक नहीं है: यह या तो खड़ा है या यादृच्छिक रूप से चलता है।

तो यह ब्लैक बॉक्स खोलने और अंदर देखने के लिए आया था।

जारी रखा जाए।

लेकिन नई टीज़र सीरीज़ से पहले:

तंत्रिका नेटवर्क पर बैंगनी बॉट मानक बॉट के खिलाफ स्थानीय धावक में खेलता है जो आयोजकों ने डिफ़ॉल्ट रूप से इसमें सिलाई की थी।