👨‍👧‍👧 🚺 👌🏾 गेम्स में बाधाओं से बचने के लिए मल्टी-लेयर न्यूरल नेटवर्क का उपयोग करना 👍🏻 👨🏿‍🤝‍👨🏽 👼🏼

खेलों में बाधाओं से बचने के तरीके खोजना एक क्लासिक कार्य है जिसे सभी गेम डेवलपर्स को निपटना होगा। दक्षता की बदलती डिग्री के कई प्रसिद्ध एल्गोरिदम हैं। उन सभी को, एक डिग्री या दूसरे तक, बाधा और खिलाड़ी की सापेक्ष स्थिति का विश्लेषण करते हैं, और परिणामों के आधार पर, स्थानांतरित करने के लिए एक या एक और निर्णय लिया जाता है। मैंने बाधा से बचने की समस्या को हल करने के लिए एक प्रशिक्षित तंत्रिका नेटवर्क का उपयोग करने की कोशिश की। मैं इस छोटे से लेख में यूनिटी 3 डी में इस दृष्टिकोण को लागू करने में अपने अनुभव को साझा करना चाहता हूं।

संकल्पना

मानक इलाके के आधार पर इलाके को गेमिंग स्पेस के रूप में उपयोग किया जाता है। सतह के साथ टकराव को इस लेख में नहीं माना गया है। प्रत्येक मॉडल कोलाइडर के एक सेट से सुसज्जित है, बाधाओं की ज्यामिति का सटीक वर्णन करते हुए संभव है। मॉडल, जिसे बाधाओं को बायपास करना चाहिए, चार हैं

टक्कर सेंसर (स्क्रीनशॉट में, सेंसर के स्थान और दूरी को फ़िरोज़ा लाइनों द्वारा दर्शाया गया है)। संक्षेप में, सेंसर रेकॉस्ट हैं, जिनमें से प्रत्येक विश्लेषण एल्गोरिथ्म में टकराव वस्तु से दूरी को पार करता है। दूरी 0 से भिन्न होती है (ऑब्जेक्ट संभव के रूप में करीब स्थित है) से 1 (कोई टकराव नहीं, यह दिशा बाधाओं से मुक्त है)।
सामान्य तौर पर, बाधा परिहार एल्गोरिथ्म का कार्य निम्नानुसार है:

टक्कर सेंसर से चार मान एक प्रशिक्षित तंत्रिका नेटवर्क के चार आदानों को खिलाया जाता है
तंत्रिका नेटवर्क की स्थिति की गणना की जाती है। आउटपुट पर, हमें तीन मान मिलते हैं:
एक। मॉडल की रोटेशन शक्ति वामावर्त (0 से 1 के लिए मान लेता है)
ख। मॉडल की रोटेशन पावर क्लॉकवाइज (0 से 1 तक मान लेती है)
सी। ब्रेकिंग त्वरण (0 से 1 तक मान लेता है)
उपयुक्त गुणांक वाले मॉडल पर प्रयास लागू होते हैं।

कार्यान्वयन

ईमानदारी से कहूं तो मुझे इस बात का अंदाजा नहीं था कि इस उपक्रम में कुछ आएगा। सबसे पहले, मैंने एकता में न्यूरोनेट वर्ग को लागू किया। मैं क्लास कोड पर नहीं रहूंगा, क्योंकि यह एक क्लासिक मल्टीलेयर पर्सेप्ट्रॉन है। इस प्रक्रिया में, नेटवर्क परतों की संख्या पर तुरंत सवाल उठने लगा। एक तरफ आवश्यक क्षमता प्रदान करने के लिए उनमें से कितने आवश्यक हैं, और दूसरी तरफ एक स्वीकार्य गणना गति है? प्रयोगों की एक श्रृंखला के बाद, मैं बारह परतों (चार इनपुट के लिए तीन बुनियादी स्थितियों) पर बस गया।

अगला, एक तंत्रिका नेटवर्क के प्रशिक्षण की प्रक्रिया को लागू करना आवश्यक था। ऐसा करने के लिए, मुझे एक अलग एप्लिकेशन बनाना होगा जो समान न्यूरनेट क्लास का उपयोग करता है। और अब प्रशिक्षण के लिए डेटा की समस्या अपनी पूरी ऊंचाई तक बढ़ गई है। प्रारंभ में, मैं गेम एप्लिकेशन से सीधे प्राप्त मूल्यों का उपयोग करना चाहता था। ऐसा करने के लिए, मैंने सेंसर से डेटा लॉगिंग का आयोजन किया, ताकि भविष्य में प्रशिक्षण कार्यक्रम को इंगित करने के लिए चार सेंसर के मूल्यों के प्रत्येक सेट के लिए सही आउटपुट मान हो। लेकिन, परिणाम को देखते हुए, मैं हतोत्साहित हो गया। तथ्य यह है कि यह चार सेंसर मूल्यों के प्रत्येक सेट के लिए पर्याप्त मूल्य इंगित करने के लिए पर्याप्त नहीं है; इन मूल्यों के अनुरूप होने की आवश्यकता है। तंत्रिका नेटवर्क के सफल प्रशिक्षण के लिए यह बहुत महत्वपूर्ण है। इसके अलावा, इसमें कोई गारंटी नहीं थी कि परिणामस्वरूप नमूना सभी संभावित स्थितियों का प्रतिनिधित्व करता था।

एक वैकल्पिक समाधान सेंसर और आउटपुट के मूल्यों के लिए बुनियादी विकल्पों की मैन्युअल रूप से संकलित तालिका थी। मूल विकल्प मान लिए गए थे: 0.01 - बाधा करीब है, 0.5 - बाधा आधी है, 1 - दिशा मुफ्त है। इससे प्रशिक्षण नमूने का आकार कम हो गया है।

संवेदक १	संवेदक २	संवेदक ३	संवेदक ४	दक्षिणावर्त घूमना	एंटी-क्लॉकवाइज रोटेशन	ब्रेक लगाना
0.01	0.01	0.01	0.01	0.01	0.01	0.01
0.01	0.01	0.01	0.5	0.01	0.01	0.01
0.01	0.01	0.01	0999	0.01	0.01	0.01
0.01	0.01	0.5	0.01	0999	0.01	0.01
0.01	0.01	0.5	0.5	0999	0.01	0.01
0.01	0.01	0.5	0999	0999	0.01	0.5
0.01	0.01	0999	0.01	0999	0.01	0.5
0.01	0.01	0999	0.5	0999	0.01	0999
0.01	0.01	0999	0999	0999	0.01	0999

तालिका प्रशिक्षण नमूने का एक छोटा टुकड़ा दिखाती है (तालिका 81-एक पंक्ति में कुल)। प्रशिक्षण कार्यक्रम का अंतिम परिणाम एक भार तालिका थी, जिसे एक अलग फ़ाइल में सहेजा गया था।

परिणाम

अपने हाथों को रगड़ने की प्रत्याशा में, मैंने ऑड्स के लोडिंग को एक डेमो गेम में व्यवस्थित किया और प्रक्रिया शुरू की। लेकिन, जैसा कि यह निकला, मैं स्पष्ट रूप से मामले के लिए पर्याप्त नहीं था। शुरू से, परीक्षण किया गया मॉडल काता, एक अंधा बिल्ली का बच्चा की तरह, सभी बाधाओं में भाग गया। सामान्य तौर पर, परिणाम बहुत ऐसा था। मुझे समस्या के अध्ययन में तल्लीन होना पड़ा। असहाय व्यवहार का एक स्रोत काफी तेज़ी से खोजा गया था। सेंसर रीडिंग के लिए तंत्रिका नेटवर्क की आम तौर पर सही प्रतिक्रियाओं के साथ, संचरित नियंत्रण क्रियाएं बहुत मजबूत निकलीं।

इस समस्या को हल करने के बाद, मुझे एक नई मुश्किल का सामना करना पड़ा - सेंसर रेकस्ट दूरी। हस्तक्षेप का पता लगाने की लंबी दूरी के साथ, मॉडल ने समय से पहले युद्धाभ्यास किया, जिसके परिणामस्वरूप मार्ग का महत्वपूर्ण विरूपण हुआ (और यहां तक कि पहले से ही पारित बाधाओं में अप्रत्याशित टक्करों में भी)। एक छोटी सी दूरी ने एक चीज का नेतृत्व किया - प्रतिक्रिया के लिए समय की स्पष्ट कमी के साथ सभी बाधाओं में मॉडल की एक असहाय "चिपकी हुई"।

जितना अधिक मैंने डेमो गेम मॉडल के साथ संघर्ष किया, बाधाओं से बचने के लिए इसे सिखाने की कोशिश की, उतना ही मुझे यह प्रतीत हुआ कि मैं प्रोग्रामिंग नहीं कर रहा था, लेकिन अपने बच्चे को चलने के लिए सिखाने की कोशिश कर रहा था। और यह एक असामान्य सनसनी थी! यह देखकर और अधिक खुशी हुई कि मेरे प्रयासों से मूर्त परिणाम आए। अंत में, सतह के ऊपर मंडराने वाली दुर्भाग्यपूर्ण होवर बोट विश्वासपूर्वक मार्ग पर उत्पन्न होने वाली संरचनाओं के चारों ओर जाने लगी। एल्गोरिथ्म के लिए वास्तविक परीक्षण तब शुरू हुआ जब मैंने जानबूझकर मॉडल को एक मृत अंत में धकेलने की कोशिश की। यहां प्रशिक्षण के नमूने में कुछ सुधार करने के लिए, ब्रेकिंग त्वरण के साथ काम के तर्क को बदलना आवश्यक था। आइए परिणाम के रूप में क्या हुआ, इसके व्यावहारिक उदाहरण देखें।

1. एक बाधा का सरल बायपास

जैसा कि आप देख सकते हैं, बाईपास किसी भी कठिनाइयों का कारण नहीं बना।

2. दो बाधाएं (विकल्प 1)

मॉडल को आसानी से दो इमारतों के बीच एक मार्ग मिला। आसान काम।

3. दो बाधाएं (विकल्प 2)

इमारतें करीब हैं, लेकिन मॉडल एक मार्ग पाता है।

4. दो बाधाएं (विकल्प 3)

विकल्प अधिक जटिल है, लेकिन फिर भी हल किया गया है।

5. तीन बाधाएँ

समस्या काफी जल्दी हल हो गई थी।

6. डेड एंड

यहां मॉडल की समस्याएं थीं। वीडियो के पहले 30 सेकंड से पता चलता है कि मॉडल एक साधारण भवन विन्यास में असहाय रूप से फहराता है। यहाँ समस्या यह है कि सबसे अधिक संभावना तंत्रिका नेटवर्क मॉडल में नहीं है क्योंकि मुख्य एल्गोरिथ्म में मार्ग के साथ आगे बढ़ने के लिए - वह लगातार एक टकराव से बचने के लिए हताश प्रयासों के बावजूद जहाज को वापस लाने की कोशिश कर रहा है।

विभिन्न मापदंडों के साथ इस स्थिति के कई असफल रन के बाद, मैं एक सकारात्मक परिणाम प्राप्त करने में कामयाब रहा। वीडियो के तीसवें भाग से, आप देख सकते हैं कि सेंसर की बढ़ी हुई दूरी और अधिक शक्तिशाली ब्रेकिंग बल के साथ एक मॉडल कैसे मृत छोर से चुना गया है। इसके लिए उसे लगभग पांच मिनट का समय चाहिए था (मैंने पीड़ा को काट दिया और वीडियो के केवल अंतिम 30 सेकंड छोड़ दिए)। यह संभावना नहीं है कि एक वास्तविक गेम में यह एक अच्छा परिणाम माना जाएगा, इसलिए स्पष्ट रूप से एल्गोरिथ्म में सुधार के लिए जगह है।

निष्कर्ष

सामान्य तौर पर, समस्या हल हो गई थी। यह समाधान कितना प्रभावी है यह एक खुला प्रश्न है, और अधिक शोध की आवश्यकता है। उदाहरण के लिए, यह ज्ञात नहीं है कि गतिशील बाधाएं (अन्य चलती वस्तुएं) दिखाई देने पर मॉडल कैसे व्यवहार करेगा। एक अन्य समस्या टकराव सेंसर की कमी है जो पिछड़े को इंगित करता है, जो जटिल बाधाओं से बचने में कठिनाइयों की ओर जाता है।

एक तंत्रिका नेटवर्क बाधा परिहार एल्गोरिथ्म के विचार के स्पष्ट आगे के विकास को प्रशिक्षण की शुरूआत में देखा जाता है। ऐसा करने के लिए, किए गए निर्णय के परिणाम का एक मूल्यांकन पेश किया जाना चाहिए, और वस्तु की स्थिति में महत्वपूर्ण बदलाव के बिना बाद में सुधार के साथ, मूल्यांकन बिगड़ना चाहिए। एक निश्चित मूल्य तक पहुंचने पर, मॉडल को प्रशिक्षण मोड में जाना चाहिए और, यह कहना चाहिए कि रास्ता निकालने के लिए किए गए निर्णयों को बेतरतीब ढंग से बदल दें।

मॉडल की एक और विशेषता मुझे प्रारंभिक प्रशिक्षण की परिवर्तनशीलता लगती है। यह संभव बनाता है, उदाहरण के लिए, प्रत्येक के लिए अलग-अलग प्रोग्रामिंग की आवश्यकता के बिना विभिन्न मॉडलों के लिए कई व्यवहार करना। दूसरे शब्दों में, अगर हमारे पास, एक भारी टैंक और एक हल्की टोही है, तो बाधाओं से बचने का उनका तरीका काफी भिन्न हो सकता है। इस प्रभाव को प्राप्त करने के लिए, हम एक ही अवधारणात्मक का उपयोग करते हैं, लेकिन विभिन्न नमूनों पर प्रशिक्षित होते हैं।

गेम्स में बाधाओं से बचने के लिए मल्टी-लेयर न्यूरल नेटवर्क का उपयोग करना