परिचय

यह लेख आपको गेम ("गेमिंग एआई") में कृत्रिम बुद्धिमत्ता की अवधारणाओं की एक विस्तृत श्रृंखला से परिचित कराएगा, ताकि आप समझ सकें कि एआई समस्याओं को हल करने के लिए कौन से टूल का उपयोग किया जा सकता है, वे एक साथ कैसे काम करते हैं और उन्हें चयनित इंजन में कैसे लागू करना शुरू करें।

मैं मानूंगा कि आप वीडियो गेम से परिचित हैं, ज्यामिति, त्रिकोणमिति, आदि जैसे गणितीय अवधारणाओं में थोड़ा सा पारंगत। अधिकांश कोड उदाहरण छद्म कोड में लिखे जाएंगे, इसलिए आपको एक विशिष्ट भाषा जानने की आवश्यकता नहीं है।

"गेमिंग AI" क्या है?

गेम एआई मुख्य रूप से वर्तमान परिस्थितियों के आधार पर एक इकाई के कार्यों के चयन से संबंधित है। पारंपरिक एआई साहित्य में, इसे " बुद्धिमान एजेंटों " का प्रबंधन कहा जाता है। एजेंट आमतौर पर खेल में एक चरित्र होता है, लेकिन यह एक मशीन, एक रोबोट या इससे भी अधिक सार हो सकता है - संस्थाओं का एक पूरा समूह, एक देश या एक सभ्यता। किसी भी मामले में, यह एक ऐसी वस्तु है जो अपने परिवेश की निगरानी करती है, उसके आधार पर निर्णय लेती है, और इन निर्णयों के अनुसार कार्य करती है। इसे कभी-कभी धारणा-सोच-क्रिया चक्र (Sense / Think / Act) कहा जाता है:

• धारणा: एजेंट पहचानता है - या इसके बारे में सूचित किया जाता है - पर्यावरण के बारे में जानकारी जो उसके व्यवहार को प्रभावित कर सकती है (उदाहरण के लिए, आस-पास के खतरे, एकत्रित आइटम, महत्वपूर्ण बिंदु, और इसी तरह)
• सोच: एजेंट तय करता है कि कैसे जवाब दिया जाए (उदाहरण के लिए, यह तय करना कि क्या वस्तुओं को इकट्ठा करना सुरक्षित है, क्या उसे लड़ना चाहिए, या पहले छिपाने के लिए बेहतर है)
• क्रिया: एजेंट अपने निर्णयों को लागू करने के लिए क्रियाएं करता है (उदाहरण के लिए, दुश्मन या विषय के लिए मार्ग के साथ चलना शुरू करता है, और इसी तरह)
• ... फिर, पात्रों के कार्यों के कारण, स्थिति बदल जाती है, इसलिए नए डेटा के साथ चक्र को दोहराया जाना चाहिए।

वास्तविक दुनिया एआई कार्य, विशेष रूप से जो आज प्रासंगिक हैं, आमतौर पर "धारणा" पर ध्यान केंद्रित करते हैं। उदाहरण के लिए, मानव रहित वाहनों को उनके सामने सड़क की छवियां प्राप्त करनी चाहिए, उन्हें अन्य डेटा (रडार और लिडार) के साथ जोड़कर और जो वे देखते हैं उसकी व्याख्या करने की कोशिश करनी चाहिए। आमतौर पर इस कार्य को मशीन लर्निंग द्वारा हल किया जाता है, जो विशेष रूप से वास्तविक दुनिया के शोर डेटा के बड़े सरणियों के साथ काम करता है (उदाहरण के लिए, कार के सामने सड़क की तस्वीरें या वीडियो के कुछ फ्रेम) और उन्हें कुछ अर्थ देता है, अर्थ संबंधी जानकारी निकालने, उदाहरण के लिए, "मेरे सामने 20 गज हैं एक और कार। ” ऐसे कार्यों को वर्गीकरण समस्याएं कहा जाता है ।

खेल असामान्य हैं कि उन्हें इस जानकारी को निकालने के लिए एक जटिल प्रणाली की आवश्यकता नहीं है, क्योंकि यह सिमुलेशन का एक अभिन्न अंग है। आपके सामने दुश्मन का पता लगाने के लिए छवि मान्यता एल्गोरिदम प्रदर्शन करने की कोई आवश्यकता नहीं है; खेल जानता है कि कोई दुश्मन है और इस जानकारी को सीधे निर्णय लेने की प्रक्रिया में पहुंचा सकता है। इसलिए, इस चक्र में "धारणा" आमतौर पर बहुत सरल है, और सभी जटिलता "सोच" और "कार्रवाई" के कार्यान्वयन में उत्पन्न होती है।

खेल ऐ विकास की सीमाएँ

गेमिंग AI आमतौर पर निम्नलिखित प्रतिबंधों को ध्यान में रखता है:

• मशीन लर्निंग एल्गोरिदम के विपरीत, यह आमतौर पर पहले से प्रशिक्षित नहीं करता है; एक गेम विकसित करते समय, उनके खिलाफ खेलने का सबसे अच्छा तरीका खोजने के लिए हजारों खिलाड़ियों की निगरानी के लिए एक तंत्रिका नेटवर्क लिखना अव्यावहारिक है, क्योंकि गेम अभी तक जारी नहीं हुआ है और इसमें कोई खिलाड़ी नहीं हैं!
• यह आमतौर पर माना जाता है कि खेल को मनोरंजन करना चाहिए और खिलाड़ी को चुनौती देना चाहिए, न कि "इष्टतम" - इसलिए, भले ही आप एजेंटों को सर्वश्रेष्ठ तरीके से खिलाड़ियों का विरोध करने के लिए प्रशिक्षित कर सकते हैं, फिर भी अक्सर डिजाइनरों को उनसे कुछ अलग करने की आवश्यकता होती है।
• अक्सर खिलाड़ियों को "यथार्थवादी" व्यवहार करने की आवश्यकता होती है ताकि खिलाड़ियों को यह महसूस हो सके कि वे मानव-विरोधी विरोधियों के साथ प्रतिस्पर्धा कर रहे हैं। अल्फ़ागो कार्यक्रम लोगों की तुलना में बहुत बेहतर निकला, लेकिन यह जो चालें चुनता है वह खेल की पारंपरिक समझ से इतनी दूर हैं कि अनुभवी विरोधियों ने इसे एक विदेशी के खिलाफ खेल के रूप में बात की। यदि खेल एक मानव प्रतिद्वंद्वी होने का दिखावा करता है, तो यह आमतौर पर अवांछनीय है, इसलिए एल्गोरिथ्म को स्थापित करने की आवश्यकता है ताकि यह आदर्श निर्णय ले सके, न कि आदर्श ।
• एआई को वास्तविक समय में चलाया जाना चाहिए। इस संदर्भ में, इसका मतलब है कि एल्गोरिथ्म एक निर्णय के लिए, प्रोसेसर संसाधनों को लंबे समय तक एकाधिकार नहीं कर सकता है। यहां तक ​​कि एक निर्णय लेने के लिए 10 मिलीसेकंड बहुत अधिक है, क्योंकि अधिकांश खेलों में ग्राफिक के अगले फ्रेम के लिए सभी ऑपरेशनों को पूरा करने के लिए केवल 16-33 मिलीसेकंड हैं।
• आदर्श रूप में, सिस्टम का कम से कम हिस्सा डेटा पर निर्भर होना चाहिए, और हार्ड-कोडेड नहीं होना चाहिए ताकि गैर-प्रोग्रामर तेजी से बदलाव कर सकें।

यह सब सीखने के बाद, हम एआई के निर्माण के लिए बेहद सरल दृष्टिकोणों पर विचार करना शुरू कर सकते हैं, जो "धारणा-सोच-विचार-क्रिया" के पूरे चक्र को उन तरीकों से लागू करते हैं जो दक्षता सुनिश्चित करते हैं और खेल डिजाइनरों को मानव कार्यों के समान जटिल व्यवहार चुनने की अनुमति देते हैं।

आसान निर्णय लेना

चलिए एक बहुत ही सरल खेल से शुरू करते हैं, जैसे कि पोंग। खिलाड़ी का कार्य "रैकेट" को स्थानांतरित करना है ताकि गेंद अतीत से उड़ने के बजाय उससे उछल जाए। नियम टेनिस के समान हैं - यदि आप गेंद को याद करते हैं तो आप हार जाते हैं। एआई के पास रैकेट के आंदोलन की दिशा चुनने के बारे में निर्णय लेने का अपेक्षाकृत सरल कार्य है।

हार्ड-कोडेड सशर्त निर्माण

यदि हम रैकेट को नियंत्रित करने के लिए एआई लिखना चाहते थे, तो एक सहज और सरल समाधान है - बस रैकेट को लगातार हिलाएं ताकि यह गेंद के नीचे हो। जब गेंद रैकेट तक पहुंचती है, तो यह पहले से ही सही स्थिति में है और इसे हिट कर सकती है।

इसके लिए एक सरल एल्गोरिथ्म, जिसे छद्म कोड में व्यक्त किया गया है, हो सकता है:

  खेल चलने के दौरान प्रत्येक फ्रेम / अपडेट में:

 यदि गेंद रैकेट के बाईं ओर है:

	 रैकेट को बाईं ओर ले जाएं

 अन्यथा अगर गेंद रैकेट के दाईं ओर है:

	 रैकेट को दाईं ओर ले जाएं 

यदि हम मानते हैं कि रैकेट गेंद की तुलना में कम गति से आगे बढ़ सकता है, तो यह पोंग में एआई खिलाड़ी के लिए एकदम सही एल्गोरिदम होगा। ऐसे मामलों में जहां प्रसंस्करण और कुछ कार्यों के लिए इतना "धारणा" डेटा नहीं है कि एजेंट प्रदर्शन कर सकता है, हमें कुछ अधिक जटिल की आवश्यकता नहीं है।

यह दृष्टिकोण इतना सरल है कि यह "धारणा-सोच-विचार-क्रिया" के पूरे चक्र को मुश्किल से दिखाता है। लेकिन वह है ।

• कथन दो हैं यदि कथन। खेल जानता है कि गेंद और रैकेट कहां हैं। इसलिए, एआई खेल को उनकी स्थिति के लिए पूछता है, इस प्रकार "भावना" कि क्या गेंद बाईं या दाईं ओर है।
• यदि कथन दो हैं तो सोच भी बनती है। उनके पास दो समाधान हैं, जो इस मामले में पारस्परिक रूप से अनन्य हैं, जिससे तीन कार्यों में से एक का चुनाव होता है - रैकेट को बाईं ओर ले जाएं, इसे दाईं ओर ले जाएं या यदि रैकेट पहले से ही सही ढंग से स्थित है, तो कुछ भी न करें।
• "एक्शन" को "रैकेट को बाईं ओर ले जाना है" या "रैकेट को दाईं ओर ले जाना" है। गेम को कैसे लागू किया जाता है, इसके आधार पर, यह रैकेट की स्थिति को तुरंत आगे बढ़ाता है या रैकेट की गति और दिशा निर्धारित करता है ताकि इसे दूसरे गेम कोड में ठीक से शिफ्ट किया जा सके।

इस तरह के दृष्टिकोण को अक्सर "प्रतिक्रियाशील" कहा जाता है क्योंकि नियमों का एक सरल सेट है (हमारे मामले में, ये "यदि" कोड में बयान हैं) जो दुनिया की स्थिति पर प्रतिक्रिया करते हैं और तुरंत तय करते हैं कि कैसे आगे बढ़ना है।

पेड़ों का फैसला

यह पोंग उदाहरण वास्तव में औपचारिक एआई अवधारणा के समान है जिसे निर्णय वृक्ष कहा जाता है। यह एक प्रणाली है जिसमें निर्णयों को एक पेड़ के रूप में व्यवस्थित किया जाता है और चुने हुए कार्रवाई पर अंतिम निर्णय से युक्त "शीट" तक पहुंचने के लिए एल्गोरिथ्म को इसके चारों ओर जाना चाहिए। चलो एक फ्लोचार्ट का उपयोग करके पोंग रैकेट एल्गोरिथ्म के लिए निर्णय ट्री का चित्रमय प्रतिनिधित्व करते हैं:


यह देखा जा सकता है कि यह एक पेड़ जैसा दिखता है, केवल उल्टा हो गया है!

निर्णय वृक्ष के प्रत्येक भाग को आमतौर पर "नोड" कहा जाता है क्योंकि एआई में, ग्राफ संरचना का उपयोग ऐसी संरचनाओं का वर्णन करने के लिए किया जाता है। प्रत्येक नोड दो प्रकारों में से एक हो सकता है:

1. समाधान के नोड्स: एक शर्त के सत्यापन के आधार पर दो विकल्पों का विकल्प। प्रत्येक विकल्प को अपने स्वयं के नोड के रूप में प्रस्तुत किया जाता है;
2. अंत नोड्स: एक क्रिया जो पेड़ द्वारा किए गए अंतिम निर्णय का प्रतिनिधित्व करती है।

एल्गोरिथ्म पेड़ के "रूट" द्वारा निर्दिष्ट पहले नोड से शुरू होता है, जिसके बाद यह या तो यह तय करता है कि किस स्थिति के आधार पर बच्चे के नोड को जाना है, या नोड में संग्रहीत कार्रवाई करता है, और फिर काम करना बंद कर देता है।

पहली नज़र में, निर्णय पेड़ का लाभ स्पष्ट नहीं है, क्योंकि यह ठीक उसी तरह काम करता है जैसे कि पिछले अनुभाग से कथन। लेकिन एक बहुत ही सामान्य प्रणाली है जिसमें प्रत्येक समाधान में ठीक 1 स्थिति और 2 संभावित परिणाम हैं, जो डेवलपर को पेड़ में समाधान का प्रतिनिधित्व करने वाले डेटा से एआई बनाने की अनुमति देता है, और कोड में इसे लिखने से परहेज करता है। ऐसे पेड़ का वर्णन करने के लिए एक सरल डेटा प्रारूप की कल्पना करना आसान है:

नोड नंबर	निर्णय (या "अंत")	प्रभाव	प्रभाव
1	रैकेट के बाईं ओर गेंद?	हाँ? नोड 2 की जाँच करें	नहीं? नोड 3 की जाँच करें
2	अंत	हटो रैकेट
3	रैकेट के दाईं ओर गेंद?	हाँ? नोड 4 पर जाएं	नहीं? नोड 5 पर जाएं
4	अंत	रैकेट को दाईं ओर ले जाएं
5	अंत	कुछ मत करो

कोड के दृष्टिकोण से, हमें सिस्टम को इन पंक्तियों में से प्रत्येक को पढ़ने, प्रत्येक नोड के लिए बनाने, दूसरे स्तंभ के आधार पर निर्णय तर्क को संलग्न करने और तीसरे और चौथे कॉलम के आधार पर बाल नोड्स संलग्न करने की आवश्यकता है। हमें अभी भी मैन्युअल रूप से स्थितियों और कार्यों को मैन्युअल रूप से परिभाषित करने की आवश्यकता है, लेकिन अब हम एक अधिक जटिल गेम की कल्पना कर सकते हैं जिसमें आप नए समाधान और क्रियाएं जोड़ सकते हैं, साथ ही पूरे एआई को केवल पाठ फ़ाइल को बदलकर कॉन्फ़िगर कर सकते हैं जिसमें पेड़ की परिभाषा शामिल है। हम फ़ाइल को गेम डिज़ाइनर को हस्तांतरित कर सकते हैं, जो गेम को फिर से शुरू करने और कोड को बदलने की आवश्यकता के बिना व्यवहार को अनुकूलित करने में सक्षम होगा - बशर्ते कि कोड में पहले से ही उपयोगी स्थितियां और क्रियाएं हों।

निर्णय वृक्ष बहुत शक्तिशाली हो सकते हैं जब वे बड़ी संख्या में उदाहरणों के आधार पर स्वचालित रूप से निर्मित होते हैं (उदाहरण के लिए, आईडी 3 एल्गोरिथ्म का उपयोग करके)। यह उन्हें आने वाले डेटा के आधार पर स्थिति को वर्गीकृत करने के लिए एक प्रभावी और उच्च-प्रदर्शन उपकरण बनाता है, लेकिन यह विषय डिजाइनरों के लिए गुंजाइश से परे है कि वे एजेंटों के लिए कार्रवाई का चयन करने के लिए सरल सिस्टम बनाएं।

पटकथा

ऊपर, हमने एक निर्णय ट्री सिस्टम की जांच की जो पूर्व-निर्मित स्थितियों और कार्यों का उपयोग करता है। एआई डेवलपर किसी भी तरह से अपनी जरूरत के अनुसार पेड़ का पुनर्निर्माण कर सकता है, लेकिन उसे इस बात पर भरोसा करना चाहिए कि प्रोग्रामर ने उसके लिए पहले से ही सभी आवश्यक शर्तों और कार्यों का निर्माण किया है। लेकिन क्या होगा अगर हम डिजाइनर को अधिक शक्तिशाली उपकरण देते हैं जो उसे अपनी शर्तों, और शायद उसके कार्यों को बनाने की अनुमति देता है?

उदाहरण के लिए, एनकोडर को "रैकेट के बाईं ओर गेंद" की स्थिति लिखने के लिए मजबूर करने के बजाय? और "रैकेट के दाईं ओर गेंद?", वह बस एक प्रणाली बना सकता है जिसमें डिजाइनर स्वतंत्र रूप से इन मूल्यों की जांच के लिए शर्तें लिखता है। परिणामस्वरूप, निर्णय ट्री डेटा इस तरह दिख सकता है:

नोड नंबर	निर्णय (या "अंत")	निर्णय	प्रभाव
1	ball.position.x <paddle.position.x	हाँ? नोड 2 की जाँच करें	नहीं? नोड 3 की जाँच करें
2	अंत	हटो रैकेट
3	ball.position.x> paddle.position.x	हाँ? नोड 4 की जाँच करें	नहीं? नोड 5 की जाँच करें
4	अंत	रैकेट को दाईं ओर ले जाएं
5	अंत	कुछ मत करो

पहले जैसा ही, लेकिन अब समाधानों का अपना कोड होता है, अगर स्टेटमेंट के सशर्त भाग के समान। कोड दूसरे कॉलम से निर्णय नोड्स को पढ़ेगा और इसके बजाय एक विशिष्ट स्थिति की खोज करेगा (उदाहरण के लिए, "रैकेट के बाईं ओर गेंद?"), सशर्त अभिव्यक्ति की गणना करें और सही या गलत लौटें। यह एक स्क्रिप्टिंग भाषा , जैसे लुआ या एंजेलस्क्रिप्ट, को एम्बेड करके कार्यान्वित किया जा सकता है, जो डेवलपर को खेल से ऑब्जेक्ट्स लेने की अनुमति देता है (उदाहरण के लिए, एक गेंद और एक रैकेट) और स्क्रिप्ट से सुलभ चर (उदाहरण के लिए ball.position) बनाएं। आमतौर पर C ++ की तुलना में स्क्रिप्टिंग भाषा में लिखना आसान होता है, और इसके लिए पूर्ण संकलन चरण की आवश्यकता नहीं होती है, इसलिए यह गेम लॉजिक में त्वरित बदलाव करने के लिए अच्छी तरह से अनुकूल है और कम तकनीकी रूप से समझ रखने वाले टीम के सदस्यों को एक एनकोडर के हस्तक्षेप के बिना गेम फ़ंक्शन बनाने की अनुमति देता है।

उपरोक्त उदाहरण में, स्क्रिप्टिंग भाषा का उपयोग केवल सशर्त अभिव्यक्ति का मूल्यांकन करने के लिए किया जाता है, लेकिन अंतिम क्रियाओं को स्क्रिप्ट में भी वर्णित किया जा सकता है। उदाहरण के लिए, टाइप करें "रैकेट को दाईं ओर ले जाएं" टाइप की ये क्रियाएं ball.position.x += 10 जैसी स्क्रिप्ट का निर्माण बन सकती हैं, यानी एक्शन को भी स्क्रिप्टपैड के फ़ंक्शन कोड को लिखे बिना स्क्रिप्ट में सेट किया जाता है।

यदि आप एक और कदम आगे बढ़ाते हैं, तो आप (और यह अक्सर किया जाता है) इसके तार्किक निष्कर्ष पर जा सकते हैं और पूरे निर्णय पेड़ को स्क्रिप्टिंग भाषा में लिख सकते हैं, और डेटा लाइनों की सूची के रूप में नहीं। यह एक कोड होगा जो ऊपर दिखाए गए सशर्त निर्माणों के समान है, केवल वे "हार्ड-कोडेड" नहीं हैं - वे बाहरी स्क्रिप्ट फ़ाइलों में हैं, अर्थात, उन्हें पूरे कार्यक्रम को फिर से देखे बिना बदला जा सकता है। खेल निष्पादन के दौरान स्क्रिप्ट फ़ाइल को संशोधित करना अक्सर संभव होता है, जो डेवलपर्स को एआई के कार्यान्वयन के लिए विभिन्न तरीकों का त्वरित परीक्षण करने की अनुमति देता है।

घटनाओं की प्रतिक्रिया

ऊपर दिखाए गए उदाहरण पोंग जैसे सरल खेलों में एकल-फ्रेम निष्पादन के लिए अभिप्रेत हैं। विचार यह है कि वे "धारणा-सोच-क्रिया" का एक चक्र लगातार करते हैं और दुनिया के अंतिम राज्य के आधार पर कार्य करना जारी रखते हैं। लेकिन अधिक जटिल खेलों में, कंप्यूटिंग के बजाय, "घटनाओं" पर प्रतिक्रिया करने के लिए अक्सर अधिक उचित होता है, अर्थात, खेल के वातावरण में महत्वपूर्ण बदलाव।

यह विशेष रूप से पोंग पर लागू नहीं होता है, इसलिए आइए एक और उदाहरण चुनें। एक शूटर गेम की कल्पना करें जिसमें दुश्मन तब तक निश्चिंत हैं जब तक उन्हें खिलाड़ी नहीं मिल जाता है, जिसके बाद वे अपने वर्ग के आधार पर कार्रवाई करना शुरू करते हैं - हाथापाई करने वाले खिलाड़ी खिलाड़ी की ओर भाग सकते हैं, और स्नाइपर दूरी पर रहते हैं और निशाना लगाने की कोशिश करते हैं। संक्षेप में, यह एक सरल प्रतिक्रियाशील प्रणाली है - "अगर हम एक खिलाड़ी को देखते हैं, तो हम कुछ करते हैं" - लेकिन इसे तार्किक रूप से एक घटना ("एक खिलाड़ी देखें") और प्रतिक्रिया में विभाजित किया जा सकता है (एक प्रतिक्रिया का चयन करें और इसे निष्पादित करें)।

यह हमें धारणा-सोच-विचार-क्रिया चक्र में वापस लाता है। हमारे पास एक कोड टुकड़ा हो सकता है, जो एक "धारणा" कोड है, जो प्रत्येक फ्रेम में जांचता है कि क्या दुश्मन खिलाड़ी को देखता है। यदि नहीं, तो कुछ भी नहीं होता है। लेकिन अगर वह देखता है, तो यह एक घटना "खिलाड़ी को देखता है" बनाता है। कोड में एक अलग हिस्सा होगा, जो कहता है: "जब घटना" खिलाड़ी को देखता है "तब होता है, तो हम" xyz "करते हैं, और" xyz "कोई प्रतिक्रिया है जिसे हम सोच और कार्रवाई को संसाधित करना चाहते हैं। एक चरित्र-सेनानी के लिए, आप "खिलाड़ी देखें" घटना के लिए रन और अटैक प्रतिक्रिया को कनेक्ट कर सकते हैं। स्नाइपर के लिए, हम इस समारोह में "छिपाने और उद्देश्य" प्रतिक्रिया समारोह को कनेक्ट करेंगे। पिछले उदाहरणों की तरह, हम डेटा फ़ाइल में ऐसे संघ बना सकते हैं ताकि इंजन के पुनर्निर्माण के बिना उन्हें जल्दी से बदला जा सके। इसके अलावा, यह संभव है (और यह अक्सर उपयोग किया जाता है) स्क्रिप्टिंग भाषा में इस तरह के प्रतिक्रिया कार्यों को लिखने के लिए ताकि वे इन घटनाओं के होने पर जटिल समाधान बना सकें।

बेहतर निर्णय लेना

हालाँकि सरल प्रतिक्रियाशील प्रणालियाँ बहुत शक्तिशाली हैं, फिर भी कई स्थितियाँ ऐसी हैं जहाँ वे पर्याप्त नहीं हैं। कभी-कभी हमें अलग-अलग निर्णय लेने की आवश्यकता होती है, जो इस बात पर आधारित होता है कि एजेंट इस समय क्या कर रहा है, और इसे एक स्थिति के रूप में प्रस्तुत करना असुविधाजनक है। कभी-कभी उन्हें निर्णय वृक्ष या स्क्रिप्ट के रूप में प्रभावी रूप से प्रस्तुत करने के लिए बस कई शर्तें होती हैं। कभी-कभी हमें पहले से सोचने और मूल्यांकन करने की आवश्यकता होती है कि अगले कदम पर निर्णय लेने से पहले स्थिति कैसे बदल जाएगी। ऐसे कार्यों के लिए अधिक जटिल समाधानों की आवश्यकता होती है।

राज्य की मशीनें

एक परिमित राज्य मशीन (FSM) दूसरे शब्दों में कहने का एक तरीका है कि कुछ वस्तु - कहो, हमारे AI एजेंटों में से एक - वर्तमान में कई संभावित राज्यों में से एक है, और यह कि इससे जा सकती है एक राज्य से दूसरे राज्य। ऐसे राज्यों की एक सीमित संख्या है, इसलिए नाम। वास्तविक दुनिया का एक उदाहरण ट्रैफिक लाइट का सेट है, जो लाल से पीले रंग में बदल रहा है, फिर हरे रंग में, और फिर वापस। अलग-अलग स्थानों में रोशनी के अलग-अलग क्रम होते हैं, लेकिन सिद्धांत समान है - प्रत्येक राज्य का मतलब कुछ है ("स्टैंड," "खाएं", "स्टैंड, यदि संभव हो," आदि), किसी भी समय केवल एक ही राज्य है, और उनके बीच संक्रमण सरल नियमों पर आधारित हैं।

यह खेल में एनपीसी के लिए अच्छी तरह से लागू होता है। गार्ड में निम्नलिखित स्पष्ट रूप से अलग राज्य हो सकते हैं:

• पहरा
• आक्रमण
• उड़ान

और हम राज्यों के बीच संक्रमण के लिए निम्नलिखित नियमों के साथ आ सकते हैं:

• अगर गार्ड दुश्मन को देखता है, तो वह हमला करता है
• यदि गार्ड हमला करता है, लेकिन अब दुश्मन को नहीं देखता है, तो वह गश्त पर लौटता है
• अगर कोई गार्ड हमला करता है लेकिन गंभीर रूप से घायल हो जाता है, तो वह बच जाता है

यह योजना काफी सरल है और हम इसे "अगर" ऑपरेटरों और एक चर जिसमें सुरक्षा गार्ड की स्थिति और विभिन्न चेक संग्रहीत किए जाएंगे, के साथ लिख सकते हैं - पास के दुश्मनों की उपस्थिति, सुरक्षा गार्ड का स्वास्थ्य स्तर आदि। लेकिन कल्पना कीजिए कि हमें कुछ और राज्यों को जोड़ने की जरूरत है:

• प्रतीक्षा (गश्ती के बीच)
• खोज (जब पहले देखा दुश्मन छिपा)
• मदद के लिए बच (जब दुश्मन को देखा जाता है, लेकिन वह अकेले उसके साथ लड़ने के लिए बहुत मजबूत है)

और प्रत्येक राज्य में उपलब्ध विकल्प आम तौर पर सीमित होते हैं - उदाहरण के लिए, एक गार्ड शायद एक दुश्मन की तलाश नहीं करना चाहेगा, जो दृष्टि खो गया है यदि उसका स्वास्थ्य बहुत कम है।

जल्दी या बाद में, "अगर <x और y लेकिन z> नहीं तो <p>" की लंबी सूची बहुत अजीब हो जाती है, और राज्यों के कार्यान्वयन और उनके बीच संक्रमण के लिए एक औपचारिक दृष्टिकोण यहां मदद कर सकता है। ऐसा करने के लिए, हम सभी राज्यों पर विचार करते हैं और प्रत्येक राज्य के तहत हम सभी राज्यों को उनके लिए आवश्यक शर्तों के साथ सभी संक्रमणों को एक साथ सूचीबद्ध करते हैं। हमें प्रारंभिक स्थिति को भी इंगित करने की आवश्यकता है ताकि हम जान सकें कि अन्य शर्तों को लागू करने से पहले कहां से शुरू करें।

राज्य	संक्रमण की स्थिति	नई शर्त
उम्मीद	10 सेकंड के लिए अपेक्षित	पहरा
	दुश्मन दिखाई देता है और दुश्मन बहुत मजबूत है	खोज में मदद करें
	दुश्मन दिखाई देता है और स्वास्थ्य का एक बहुत कुछ है	आक्रमण
	दुश्मन दिखाई देता है और थोड़ा स्वास्थ्य होता है	उड़ान
पहरा	गश्त का रास्ता पूरा	उम्मीद
	दुश्मन दिखाई देता है और दुश्मन बहुत मजबूत है	खोज में मदद करें
	दुश्मन दिखाई देता है और स्वास्थ्य का एक बहुत कुछ है	आक्रमण
	दुश्मन दिखाई देता है और थोड़ा स्वास्थ्य होता है	उड़ान
आक्रमण	दुश्मन दिखाई नहीं देता	उम्मीद
	थोड़ा स्वास्थ्य	उड़ान
उड़ान	दुश्मन दिखाई नहीं देता	उम्मीद
खोज	10 सेकंड के लिए खोजा	उम्मीद
	दुश्मन दिखाई देता है और दुश्मन बहुत मजबूत है	खोज में मदद करें
	दुश्मन दिखाई देता है और स्वास्थ्य का एक बहुत कुछ है	आक्रमण
	दुश्मन दिखाई देता है और थोड़ा स्वास्थ्य होता है	उड़ान
खोज में मदद करें	मित्र देखें	आक्रमण
प्रारंभिक अवस्था: प्रतीक्षा

ऐसी योजना को राज्य परिवर्तन तालिका कहा जाता है। यह एक अंतरिक्ष यान का प्रतिनिधित्व करने का एक जटिल (और अनाकर्षक) तरीका है। इस डेटा से, आप एक आरेख भी बना सकते हैं और एक जटिल चित्रमय प्रतिनिधित्व प्राप्त कर सकते हैं कि एनपीसी का व्यवहार कैसा दिख सकता है।


यह उस स्थिति के आधार पर एजेंट के लिए निर्णय लेने के बहुत सार को कैप्चर करता है जिसमें वह है। प्रत्येक तीर राज्यों के बीच एक संक्रमण को इंगित करता है यदि तीर के बगल में स्थिती सत्य है।

प्रत्येक अद्यतन (या "चक्र") के साथ, हम एजेंट की वर्तमान स्थिति की जांच करते हैं, संक्रमण की सूची को देखते हैं, और यदि संक्रमण की स्थिति पूरी होती है, तो एक नई स्थिति पर जाएं। पेंडिंग स्थिति प्रत्येक फ्रेम या चक्र में जांचती है कि क्या 10-सेकंड का समय समाप्त हो गया है। यदि समय सीमा समाप्त हो जाती है, तो यह "पैट्रोल" स्थिति में संक्रमण शुरू कर देता है। इसी तरह, "हमला" राज्य यह जांचता है कि क्या एजेंट के पास बहुत अधिक स्वास्थ्य है, और यदि ऐसा है, तो यह "उड़ान" स्थिति में परिवर्तन करता है।

इस तरह से राज्य के परिवर्तन को नियंत्रित किया जाता है - लेकिन खुद राज्यों के साथ जुड़े व्यवहारों के बारे में क्या? किसी राज्य के लिए स्वयं क्रिया करने के दृष्टिकोण से, एक अंतरिक्ष यान में आमतौर पर दो तरह की क्रियाएं होती हैं:

1. वर्तमान स्थिति के लिए कार्य समय-समय पर किए जाते हैं, उदाहरण के लिए, प्रत्येक फ्रेम या "चक्र" में।
2. संक्रमण एक राज्य से दूसरे राज्य में संक्रमण के दौरान किया जाता है।

पहले प्रकार का एक उदाहरण: प्रत्येक फ्रेम या चक्र में "गश्ती" स्थिति एजेंट को गश्ती मार्ग के साथ स्थानांतरित करना जारी रखती है। प्रत्येक फ्रेम या चक्र में "हमला" स्थिति एक हमले को लॉन्च करने या इसे उस स्थिति में स्थानांतरित करने की कोशिश करती है जहां से यह संभव है। और इसी तरह।

दूसरे प्रकार का एक उदाहरण: संक्रमण पर विचार करें "यदि दुश्मन दिखाई देता है और दुश्मन बहुत मजबूत है → मदद के लिए खोजें।" एजेंट को यह चुनना चाहिए कि मदद लेने के लिए कहां जाना है, और इस जानकारी को संग्रहीत करें ताकि "सहायता खोज" स्थिति को पता हो कि कहां जाना है। इसी तरह, "हेल्प सर्च" स्थिति में, जब मदद मिल जाती है, तो एजेंट "अटैक" स्थिति में फिर से लौट आता है, लेकिन इस समय वह दोस्ताना चरित्र को खतरे के बारे में सूचित करना चाहता है, इसलिए इस संक्रमण के दौरान किए गए "खतरे के बारे में एक मित्र को बताएं" एक कार्रवाई हो सकती है।

और यहाँ हम फिर से "धारणा-सोच-विचार-क्रिया" के दृष्टिकोण से इस प्रणाली पर विचार कर सकते हैं। धारणा संक्रमण तर्क द्वारा उपयोग किए गए डेटा में अंतर्निहित है। सोच प्रत्येक राज्य के लिए उपलब्ध संक्रमणों में निर्मित होती है। और कार्रवाई एक राज्य में या राज्यों के बीच संक्रमण के दौरान समय-समय पर की गई कार्रवाइयों द्वारा की जाती है।

यह सरल प्रणाली अच्छी तरह से काम करती है, हालांकि कभी-कभी लगातार मतदान संक्रमण की स्थिति एक महंगी प्रक्रिया हो सकती है। उदाहरण के लिए, यदि प्रत्येक एजेंट को दुश्मनों की दृश्यता निर्धारित करने और गश्त करने से लेकर हमला करने तक के संक्रमण पर निर्णय लेने के लिए प्रत्येक फ्रेम में जटिल गणना करने की आवश्यकता होती है, तो इसमें बहुत अधिक प्रोसेसर समय लग सकता है। जैसा कि हमने पहले देखा, दुनिया की स्थिति में महत्वपूर्ण बदलावों को "घटनाओं" के रूप में महसूस करना संभव है, जो होने के बाद संसाधित होते हैं। इसलिए, संक्रमण की स्थिति को स्पष्ट रूप से जांचने के बजाय "क्या मेरा एजेंट खिलाड़ी को देख सकता है?" प्रत्येक फ्रेम में, हम एक अलग दृश्यता प्रणाली बना सकते हैं जो इन चेकों को थोड़ी कम अक्सर (उदाहरण के लिए, प्रति सेकंड 5 बार) करता है और "खिलाड़ी" बनाता है देखें ”जब परीक्षण शुरू हो रहा है। यह राज्य मशीन को प्रेषित किया जाता है, जो अब संक्रमण "प्राप्त घटना" खिलाड़ी को देखें "के लिए शर्त है, और जो इसके अनुसार प्रतिक्रिया करता है। परिणामी व्यवहार समान होगा, बमुश्किल ध्यान देने योग्य (और यहां तक ​​कि बढ़ती यथार्थवाद) प्रतिक्रिया देरी के अपवाद के साथ, लेकिन कार्यक्रम के एक अलग हिस्से में "धारणा" के हस्तांतरण के कारण उत्पादकता बढ़ जाएगी।

पदानुक्रमित राज्य मशीनें

यह सब अच्छा है, लेकिन बड़ी राज्य मशीनों के साथ यह काम करने के लिए बहुत असुविधाजनक हो जाता है। यदि हम "हमला" राज्य को अलग-अलग "मेले हमले" और "हमले से दूर" राज्यों के साथ विस्तारित करना चाहते हैं, तो हमें प्रत्येक राज्य, वर्तमान और भविष्य से आने वाले बदलावों को बदलना होगा, जिसे "हमला" राज्य में बदलने की क्षमता की आवश्यकता है।

आपने शायद यह भी देखा कि हमारे उदाहरण में कई डुप्लिकेट संक्रमण हैं। "लंबित" स्थिति में अधिकांश संक्रमण "गश्ती" स्थिति में संक्रमण के समान हैं, और इस काम के दोहराव से बचने के लिए अच्छा होगा, खासकर अगर हम और भी समान राज्यों को जोड़ना चाहते हैं। "वेटिंग" और "पैट्रोलिंग" को कुछ समूह "नॉन-कॉम्बैट स्टेट्स" में बदलना तर्कसंगत होगा, जिसमें राज्यों का मुकाबला करने के लिए संक्रमण का केवल एक सामान्य सेट है। यदि हम इस समूह को एक राज्य के रूप में प्रस्तुत करते हैं, तो हम "प्रतीक्षा" और "पैट्रोलिंग" को इस राज्य का "विकल्प" मान सकते हैं, जो हमें पूरी प्रणाली का अधिक प्रभावी ढंग से वर्णन करने की अनुमति देगा। नए गैर-लड़ाकू विकल्प के लिए एक अलग रूपांतरण तालिका का उपयोग करने का एक उदाहरण:

मुख्य शर्तें:

राज्य	संक्रमण की स्थिति	नई शर्त
गैर मुकाबला	दुश्मन दिखाई देता है और दुश्मन बहुत मजबूत है	खोज में मदद करें
	दुश्मन दिखाई देता है और स्वास्थ्य का एक बहुत कुछ है	आक्रमण
	दुश्मन दिखाई देता है और थोड़ा स्वास्थ्य होता है	उड़ान
आक्रमण	दुश्मन दिखाई नहीं देता	गैर मुकाबला
	थोड़ा स्वास्थ्य	उड़ान
उड़ान	दुश्मन दिखाई नहीं देता	गैर मुकाबला
खोज	10 सेकंड के लिए खोजा	गैर मुकाबला
	दुश्मन दिखाई देता है और दुश्मन बहुत मजबूत है	खोज में मदद करें
	दुश्मन दिखाई देता है और स्वास्थ्य का एक बहुत कुछ है	आक्रमण
	दुश्मन दिखाई देता है और थोड़ा स्वास्थ्य होता है	उड़ान
खोज में मदद करें	मित्र देखें	आक्रमण
प्रारंभिक स्थिति: गैर-मुकाबला

गैर-लड़ाकू स्थिति:

राज्य	संक्रमण की स्थिति	नई शर्त
उम्मीद	10 सेकंड के लिए अपेक्षित	पहरा
पहरा	गश्त का रास्ता पूरा किया	उम्मीद
प्रारंभिक अवस्था: प्रतीक्षा

और चार्ट के रूप में:


वास्तव में, यह एक ही प्रणाली है, केवल अब एक गैर-लड़ाकू राज्य है जो "पैट्रोल" और "वेटिंग" की जगह लेता है, जो अपने आप में एक राज्य मशीन है जिसमें गश्त और प्रतीक्षा के दो विकल्प हैं। यदि प्रत्येक राज्य में संभावित रूप से सबस्टेशनों की एक स्टेट मशीन हो सकती है (और इन सबस्टेट्स में अपनी स्वयं की राज्य मशीन भी हो सकती है, और इसी तरह), तो हमारे पास एक पदानुक्रमित राज्य मशीन (HFSM) है। गैर-लड़ाकू व्यवहारों को समूहीकृत करके, हम अनावश्यक बदलावों का एक समूह काट देते हैं, और हम किसी भी नए राज्यों के लिए भी ऐसा कर सकते हैं, जिनमें आम बदलाव हो सकते हैं। उदाहरण के लिए, यदि भविष्य में हम "मेले हमले" और "प्रोजेक्टाइल अटैक" राज्यों में "हमला" राज्य का विस्तार करते हैं, तो वे प्रतिस्थापित कर सकते हैं, जिसके बीच संक्रमण दुश्मन की दूरी और गोला-बारूद की उपस्थिति पर आधारित है, जो स्वास्थ्य स्तरों के आधार पर आम निकास संक्रमण हैं और अन्य चीजें। इस प्रकार, कम से कम डुप्लिकेट किए गए संक्रमण के साथ, जटिल व्यवहार और उप-व्यवहार का प्रतिनिधित्व किया जा सकता है।

व्यवहार के पेड़

एचएफएसएम के साथ, हमें एक सहज तरीके से व्यवहार के काफी जटिल सेट बनाने की क्षमता मिली। हालांकि, यह तुरंत ध्यान देने योग्य है कि संक्रमण नियमों के रूप में निर्णय लेने का वर्तमान राज्य के साथ निकटता से संबंध है। कई खेलों के लिए बस इतना ही चाहिए। और राज्य पदानुक्रम का सावधानीपूर्वक उपयोग डुप्लिकेट संक्रमण की संख्या को कम करता है। लेकिन कभी-कभी हमें ऐसे नियमों की आवश्यकता होती है जो वर्तमान स्थिति की परवाह किए बिना लागू होते हैं, या लगभग सभी राज्यों में लागू होते हैं। उदाहरण के लिए, यदि एजेंट का स्वास्थ्य 25% तक गिर गया है, तो वह भागना चाहेगा, चाहे वह लड़ाई में हो, या प्रतीक्षा कर रहा हो, या बात कर रहा हो, या किसी अन्य अवस्था में हो। हम यह याद नहीं रखना चाहते हैं कि हमें इस स्थिति को प्रत्येक स्थिति में जोड़ना होगा जो हम भविष्य में चरित्र में जोड़ सकते हैं। इसलिए जब डिज़ाइनर बाद में कहता है कि वह थ्रेशोल्ड वैल्यू को 25% से 10% तक बदलना चाहता है, तो हमें इसके अनुरूप बदलाव नहीं करना होगा।

ऐसी स्थिति में आदर्श एक ऐसी प्रणाली थी जिसमें निर्णय लिया जाता है कि किस राज्य में स्वयं राज्यों से अलग-अलग अस्तित्व में है, ताकि हम केवल एक तत्व को बदल सकें, और संक्रमण अभी भी सही तरीके से संसाधित किए गए हैं। यह वह जगह है जहाँ व्यवहार पेड़ काम में आते हैं।

व्यवहार के पेड़ों को लागू करने के कई तरीके हैं, लेकिन सार ऊपर उल्लिखित निर्णय पेड़ के समान और बहुत समान है: एल्गोरिथ्म "रूट नोड" से काम करना शुरू कर देता है, और पेड़ में नोड्स होते हैं जो निर्णय या कार्यों को इंगित करते हैं। हालांकि, महत्वपूर्ण अंतर हैं:

• नोड्स अब तीन में से एक मान लौटाते हैं: "सफल" (यदि नौकरी पूरी हो गई है), "असफल" (यदि नौकरी पूरी नहीं हुई थी), या "प्रदर्शन" (यदि नौकरी अभी भी पूरी हो रही है और पूरी तरह से सफल या असफल नहीं हुई है)।
• अब हमारे पास निर्णय नोड्स नहीं हैं जिसमें हम दो विकल्पों में से चुनते हैं, लेकिन एकल बच्चे के नोड के साथ डेकोरेटर नोड्स हैं। यदि वे "सफल" हैं, तो वे अपने एकमात्र बाल नोड को निष्पादित करते हैं। डेकोरेटर नोड्स में अक्सर ऐसी स्थितियां होती हैं जो यह निर्धारित करती हैं कि निष्पादन सफलता के साथ समाप्त हुआ (जिसका अर्थ है कि आपको उनके सबट्री को निष्पादित करने की आवश्यकता है) या विफलता (फिर कुछ भी करने की आवश्यकता नहीं है)। वे "प्रगति पर" भी लौट सकते हैं।
• क्रिया प्रदर्शन नोड्स "रनिंग" का एक मान लौटाते हैं जो यह दर्शाता है कि क्या हो रहा है।

नोड्स के एक छोटे से सेट को जोड़ा जा सकता है, जिससे बड़ी संख्या में जटिल व्यवहार हो सकते हैं और अक्सर यह योजना बहुत संक्षिप्त होती है। उदाहरण के लिए, हम व्यवहार के पेड़ के रूप में पिछले उदाहरण से गार्ड के पदानुक्रमित सीए को फिर से लिख सकते हैं:


इस संरचना का उपयोग करते समय, "प्रतीक्षा" या "पैट्रोल" राज्यों से "संक्रमण" राज्यों या किसी अन्य के लिए एक स्पष्ट संक्रमण की आवश्यकता नहीं होती है - यदि पेड़ ऊपर से नीचे तक और बाएं से दाएं तक ट्रेस किया जाता है, तो सही निर्णय वर्तमान स्थिति के आधार पर किया जाता है। यदि दुश्मन दिखाई देता है और चरित्र में थोड़ा स्वास्थ्य है, तो पेड़ पिछले उड़ान नोड ("गश्ती", "प्रतीक्षा", "हमला", आदि की परवाह किए बिना "फ्लाइट" नोड पर रन पूरा करेगा)।

आप देख सकते हैं कि हमारे पास "पैट्रोल" से "प्रतीक्षा" की स्थिति में लौटने के लिए एक संक्रमण नहीं है - और यहां बिना शर्त डेकोरेटर काम में आएंगे। मानक डेकोरेटर नोड "पुनरावृत्ति" है - इसकी कोई स्थिति नहीं है, यह सिर्फ उस बच्चे नोड को स्वीकार करता है जो "सफलतापूर्वक" लौटता है और "निष्पादित" होकर वापस बच्चे का नोड चलाता है। नया पेड़ इस तरह दिखता है:


व्यवहारिक पेड़ काफी जटिल हैं क्योंकि पेड़ बनाने के लिए अक्सर कई अलग-अलग तरीके होते हैं, और डेकोरेटर और घटक नोड्स का सही संयोजन ढूंढना एक कठिन काम हो सकता है। इस बात की भी समस्याएँ हैं कि हमें कितनी बार पेड़ की जाँच करने की आवश्यकता है (क्या हम इसे हर फ्रेम में बदलना चाहते हैं या जब कुछ ऐसा होता है जो स्थितियों को प्रभावित कर सकता है?) और नोड्स के सापेक्ष राज्य को कैसे संग्रहीत किया जाए (हम कैसे जानते हैं कि हमने 10 सेकंड इंतजार किया है?) क्या हमें पता चलेगा कि अनुक्रम को सही ढंग से पूरा करने के लिए कितने नोड्स को अंतिम रूप से निष्पादित किया गया था?) इसलिए, कई अलग-अलग कार्यान्वयन हैं। उदाहरण के लिए, कुछ प्रणालियों पर, अवास्तविक इंजन 4 व्यवहार वृक्ष प्रणाली की तरह, डेकोरेटर नोड्स को स्ट्रिंग डेकोरेटर के साथ बदल दिया जाता है जो केवल पेड़ की जांच करते हैं जब डेकोरेटर की स्थिति बदलती है और "सेवाएं" प्रदान करती हैं,जिसे नोड्स से जोड़ा जा सकता है और पेड़ के दोबारा जाँच न होने पर भी समय-समय पर अपडेट प्रदान किया जा सकता है। व्यवहारिक पेड़ शक्तिशाली उपकरण हैं, लेकिन उन्हें सही तरीके से उपयोग करना सीखना, विशेष रूप से इतने सारे अलग-अलग कार्यान्वयनों के साथ, यह एक कठिन काम हो सकता है।

उपयोगिता आधारित प्रणाली

कुछ खेलों में कई अलग-अलग कार्यों के अस्तित्व की आवश्यकता होती है, इसलिए उन्हें सरल, केंद्रीकृत संक्रमण नियमों की आवश्यकता होती है, लेकिन व्यवहार पेड़ को पूरी तरह से लागू करने के लिए उन्हें शक्ति की आवश्यकता नहीं होती है। पेड़ की संरचना द्वारा परिभाषित गर्भ गिर पदों के साथ विकल्पों का एक स्पष्ट सेट या संभावित कार्यों के एक पेड़ बनाने के बजाय, शायद यह बेहतर है कि सभी कार्यों की जांच करें और अभी जो सबसे अधिक लागू है उसे चुनें?

यह उपयोगिता-आधारित प्रणालियाँ हैं - ये ऐसी प्रणालियाँ हैं जिनमें एजेंट के पास अपने निपटान में कई कार्य होते हैं, और वह सापेक्ष उपयोगिता के आधार पर किसी एक का चयन करता हैहर क्रिया। इस क्रिया को करने के लिए एक एजेंट के लिए महत्व या वांछनीयता का उपयोग मनमाने ढंग से किया जाता है। एजेंट की वर्तमान स्थिति और उसके वातावरण के आधार पर एक क्रिया की उपयोगिता की गणना करने के लिए उपयोगिता फ़ंक्शन लिखकर, एजेंट उपयोगिता मानों की जांच कर सकता है और फिलहाल सबसे उपयुक्त स्थिति का चयन कर सकता है।

यह भी एक परिमित राज्य मशीन की तरह बहुत अधिक है, सिवाय इसके कि संक्रमण प्रत्येक संभावित राज्य के आकलन से निर्धारित होता है, जिसमें वर्तमान एक भी शामिल है। यह ध्यान देने योग्य है कि सामान्य मामले में, हम सबसे मूल्यवान कार्रवाई के लिए संक्रमण का चयन करते हैं (या अगर हम पहले से ही इस क्रिया को कर रहे हैं) में हो रहे हैं, लेकिन अधिक परिवर्तनशीलता के लिए यह एक भारित यादृच्छिक विकल्प हो सकता है (सबसे मूल्यवान कार्रवाई को प्राथमिकता देते हुए, लेकिन दूसरों की पसंद की अनुमति देता है) , शीर्ष पांच (या किसी अन्य मात्रा) से यादृच्छिक कार्रवाई का एक विकल्प, आदि।

मानक उपयोगिता-आधारित प्रणाली उपयोगिता मानों की एक निश्चित मनमानी श्रेणी प्रदान करती है - मान लें कि 0 (पूरी तरह से अवांछनीय) से 100 (बिल्कुल वांछनीय), और प्रत्येक क्रिया में कारकों का एक सेट हो सकता है जो मूल्य की गणना करने के तरीके को प्रभावित करते हैं। गार्ड के साथ हमारे उदाहरण पर लौटते हुए, कोई इस तरह की कल्पना कर सकता है:

प्रभाव	उपयोगिता की गणना
खोज में मदद करें	यदि दुश्मन दिखाई देता है और दुश्मन मजबूत है, और स्वास्थ्य कम है, तो 100 वापस करें, अन्यथा 0 वापस करें
उड़ान	यदि दुश्मन दिखाई देता है और थोड़ा स्वास्थ्य है, तो 90 लौटें, अन्यथा 0 वापस करें
आक्रमण	यदि दुश्मन दिखाई देता है, तो 80 वापस करें
उम्मीद	यदि हम एक प्रतीक्षा की स्थिति में हैं और पहले से ही 10 सेकंड प्रतीक्षा करते हैं, तो 0 वापस करें, अन्यथा 50
पहरा	यदि हम गश्ती मार्ग के अंत में हैं, तो 0, अन्यथा 50 पर लौटें

इस योजना का एक सबसे महत्वपूर्ण पहलू यह है कि कार्यों के बीच संक्रमण स्पष्ट रूप से व्यक्त किया जाता है - किसी भी राज्य से आप पूरी तरह से वैध रूप से किसी अन्य पर जा सकते हैं। इसके अलावा, कार्रवाई प्राथमिकताओं को लौटी उपयोगिता मूल्यों में निहित किया गया है। यदि दुश्मन दिखाई देता है, और यदि वह मजबूत है, और चरित्र में थोड़ा स्वास्थ्य है, तो गैर-शून्य मान फ्लाइट और हेल्प सर्च को वापस करते हैं , लेकिन हेल्प सर्च की रेटिंग हमेशा उच्चतर होती है। इसी तरह, गैर-लड़ाकू क्रियाएं कभी भी 50 से अधिक नहीं लौटती हैं, इसलिए वे हमेशा लड़ाई से हार जाते हैं। इसे ध्यान में रखते हुए, क्रियाएं और उनकी उपयोगिता गणना बनाई जाती है।

हमारे उदाहरण में, क्रियाएं या तो एक निरंतर उपयोगिता मान या दो स्थिर उपयोगिता मानों में से एक में लौटती हैं। एक अधिक यथार्थवादी प्रणाली मूल्यों की निरंतर सीमा से वापसी मूल्य का उपयोग करती है । उदाहरण के लिए, गेटवे कार्रवाई उच्च उपयोगिता मान लौटा सकती है यदि एजेंट का स्वास्थ्य कम है, और हमला कार्रवाई कम उपयोगिता मान लौटा सकती है यदि दुश्मन बहुत मजबूत है। यह गेटअवे को आक्रमण पर पूर्वता लेने की अनुमति देगा ।किसी भी स्थिति में जहां एजेंट को लगता है कि वह दुश्मन से लड़ने के लिए पर्याप्त स्वस्थ नहीं है। यह आपको किसी भी मापदंड के आधार पर कार्यों की सापेक्ष प्राथमिकताओं को बदलने की अनुमति देता है, जो व्यवहार या अंतरिक्ष यान के पेड़ की तुलना में इस दृष्टिकोण को अधिक लचीला बना सकता है।

प्रत्येक क्रिया में आमतौर पर कई स्थितियां होती हैं जो उपयोगिता की गणना को प्रभावित करती हैं। कोड में सब कुछ निर्धारित नहीं करने के लिए, आप उन्हें स्क्रिप्टिंग भाषा में या गणितीय सूत्रों की एक श्रृंखला के रूप में लिख सकते हैं, एक साथ समझने योग्य तरीके से एक साथ रख सकते हैं। इसके बारे में बहुत अधिक जानकारी डेव मार्क ( @IADaveMark ) द्वारा व्याख्यान और प्रस्तुतियों में है ।

कुछ खेलों में, जो चरित्र के दैनिक जीवन को अनुकरण करने का प्रयास करते हैं, उदाहरण के लिए, द सिम्स में, गणना की एक और परत जोड़ी जाती है जिसमें एजेंट की "आकांक्षाएं" या "प्रेरणाएं" होती हैं जो उपयोगिता मूल्यों को प्रभावित करती हैं। उदाहरण के लिए, यदि किसी पात्र में हंगर मोटिवेशन है, तो यह समय के साथ बढ़ सकता है, और ईट एक्शन के लिए उपयोगिता की गणना उच्च और उच्च मानों तक लौटेगी जब तक कि चरित्र इस क्रिया को कर सकता है, भूख को कम करता है, और कार्रवाई " खाओ ”शून्य या निकट-शून्य उपयोगिता मूल्य के लिए कम हो गया है।

पॉइंट सिस्टम पर आधारित कार्यों को चुनने का विचार काफी सीधा है, इसलिए यह स्पष्ट है कि आप एआई के निर्णय लेने की प्रक्रियाओं में उपयोगिता के आधार पर निर्णय लेने का उपयोग कर सकते हैं, बजाय उन्हें पूरी तरह से बदलने के। निर्णय पेड़ अपने दो बच्चे नोड्स के उपयोगिता मूल्य को क्वेरी कर सकता है और उच्चतम मूल्य के साथ नोड का चयन कर सकता है। इसी तरह, एक व्यवहार ट्री में एक समग्र उपयोगिता नोड हो सकता है जो कि चलाने के लिए बच्चे के नोड का चयन करने के लिए उपयोगिता की गणना करता है।

आंदोलन और नेविगेशन

हमारे पिछले उदाहरणों में, या तो एक साधारण रैकेट था, जिसे हमने बाएं-दाएं स्थानांतरित करने का आदेश दिया था, या एक गार्ड चरित्र, जिसे हमेशा गश्त या हमला करने का आदेश दिया गया था। लेकिन हम समय की अवधि में एक एजेंट के आंदोलन को वास्तव में कैसे नियंत्रित करते हैं? हम गति कैसे निर्धारित कर सकते हैं, बाधाओं से बच सकते हैं, एक मार्ग की योजना बना सकते हैं जब सीधे अंतिम बिंदु तक पहुंचना असंभव है? अब हम इस कार्य पर विचार करेंगे।

स्टीयरिंग

सबसे सरल स्तर पर, अक्सर प्रत्येक एजेंट के साथ काम करने में समझदारी होती है जैसे कि उसके पास एक गति मूल्य है जो उसके आंदोलन की गति और दिशा निर्धारित करता है। इस गति को मीटर प्रति सेकंड, मील प्रति घंटे में, पिक्सल प्रति सेकंड और इसी तरह से मापा जा सकता है। यदि हम अपने चक्र को "धारणा-सोच-विचार-क्रिया" के रूप में याद करते हैं, तो हम कल्पना कर सकते हैं कि "सोच" गति चुन सकता है, जिसके बाद "कार्रवाई" इस गति को एजेंट पर लागू करती है, इसे दुनिया भर में चलती है। आमतौर पर खेलों में भौतिकी की एक प्रणाली होती है जो इस कार्य को स्वतंत्र रूप से करती है, प्रत्येक इकाई की गति के मूल्य का अध्ययन करती है और तदनुसार अपनी स्थिति बदलती है। इसलिए, इस प्रणाली को इस तरह के काम को सौंपना अक्सर संभव होता है, एआई केवल एजेंट की गति को चुनने का कार्य करता है।

यदि हम जानते हैं कि एजेंट कहाँ होना चाहता है, तो हमें इस दिशा में एजेंट को स्थानांतरित करने के लिए अपनी गति का उपयोग करने की आवश्यकता है। तुच्छ रूप में, हमें निम्नलिखित समीकरण मिलते हैं:

 वांछित_ट्रेल = गंतव्य_पोजिशन - एजेंट_पोजिशन 

एक 2 डी दुनिया की कल्पना करें, जिसमें एजेंट निर्देशांक (-2, -2) पर स्थित है, और लक्ष्य बिंदु उत्तर पूर्व में लगभग निर्देशांक (30, 20) पर है, अर्थात, वहां पहुंचने के लिए आपको (32, 22) स्थानांतरित करने की आवश्यकता है। मान लेते हैं कि इन पदों को मीटर में इंगित किया गया है। यदि हम तय करते हैं कि एजेंट 5 मीटर / सेकंड की गति से आगे बढ़ सकता है, तो विस्थापन वेक्टर के पैमाने को इस मान से कम करें और देखें कि हमें गति को लगभग सेट करने की आवश्यकता है (4.12, 2.83)। इस मूल्य के आधार पर, एजेंट उम्मीद के मुताबिक, केवल 8 सेकंड में अंतिम बिंदु पर पहुंच जाएगा।

गणना किसी भी समय फिर से की जा सकती है। उदाहरण के लिए, यदि एजेंट लक्ष्य के लिए आधा है, तो वांछित आंदोलन आधा हो जाएगा, लेकिन अधिकतम एजेंट की गति 5 मीटर / सेकंड होने के बाद, गति समान रहती है। यह चलती लक्ष्य (कारण के भीतर) के लिए भी काम करता है, जो एजेंट को रास्ते में छोटे समायोजन करने की अनुमति देता है।

हालांकि, अक्सर हमें अधिक नियंत्रण की आवश्यकता होती है। उदाहरण के लिए, हमें धीरे-धीरे गति बढ़ाने की आवश्यकता हो सकती है, जैसे कि चरित्र पहले स्थिर था, फिर एक कदम आगे बढ़ा, और बाद में भाग गया। दूसरी ओर, हमें इसे धीमा करना पड़ सकता है क्योंकि यह लक्ष्य के करीब पहुंचता है। अक्सर, ऐसे कार्यों को तथाकथित " स्टीयरिंग व्यवहार" का उपयोग करके हल किया जाता है"सीक, फ्ले, अराइवल, इत्यादि जैसे उनके अपने नाम हैं। (हैबे पर उनके बारे में लेखों की एक श्रृंखला है: https://habr.com/post/358366/ ।) उनका विचार है कि आप एजेंट गति को लागू कर सकते हैं। त्वरण बल एजेंट की स्थिति और लक्ष्य की ओर गति की वर्तमान गति की तुलना के आधार पर, लक्ष्य की ओर बढ़ने के विभिन्न तरीकों का निर्माण करते हैं।

प्रत्येक व्यवहार का अपना अलग उद्देश्य होता है। एजेंट को उसके गंतव्य तक ले जाने के लिए सीक और अराइव का उपयोग किया जाता है। बाधा से बचाव और पृथक्करण एजेंट को एजेंट और उसके गंतव्य के बीच की छोटी बाधाओं को दरकिनार करने के लिए छोटे सुधारात्मक आंदोलनों को बनाने में मदद करते हैं। संरेखण और सामंजस्य बल एजेंटों को एक साथ ले जाने के लिए, झुंड जानवरों की नकल। विभिन्न स्टीयरिंग व्यवहारों के किसी भी रूप को एक साथ जोड़ा जा सकता है, अक्सर एक भारित राशि के रूप में, कुल मूल्य बनाने के लिए जो इन सभी विभिन्न कारकों को ध्यान में रखता है और एक परिणामी वेक्टर बनाता है। उदाहरण के लिए, एक एजेंट दीवारों और अन्य एजेंटों से दूर रहने के लिए पृथक्करण और बाधा निवारण व्यवहार के साथ आगमन व्यवहार का उपयोग कर सकता है। यह दृष्टिकोण खुले वातावरण में अच्छी तरह से काम करता है जो बहुत जटिल और भीड़-भाड़ वाले नहीं हैं।

हालांकि, अधिक जटिल वातावरण में, व्यवहार के आउटपुट मूल्यों को जोड़ने से बहुत अच्छा काम नहीं होता है - कभी-कभी ऑब्जेक्ट के पास की गति बहुत धीमी होती है, या एजेंट तब अटक जाता है जब आगमन व्यवहार एक बाधा से गुजरना चाहता है, और बाधा से बचने का व्यवहार एजेंट को उस तरफ ले जाता है जहां से आया था। । इसलिए, कभी-कभी यह स्टीयरिंग व्यवहार भिन्नताओं पर विचार करने के लिए समझ में आता है जो केवल सभी मूल्यों को जोड़ने की तुलना में अधिक जटिल हैं। इस तरह के दृष्टिकोणों में से एक परिवार में एक अलग कार्यान्वयन होता है - हम प्रत्येक व्यवहार पर विचार नहीं करते हैं जो हमें दिशा देते हैं, इसके बाद आम सहमति प्राप्त करने के लिए उनका संयोजन (जो स्वयं में अपर्याप्त हो सकता है)। इसके बजाय, हम कई अलग-अलग दिशाओं में आंदोलन पर विचार करते हैं - उदाहरण के लिए, कम्पास की आठ दिशाओं में या एजेंट के सामने 5-6 बिंदुओं पर,जिसके बाद हम सर्वश्रेष्ठ चुनते हैं।

हालांकि, मृत सिरों और कॉर्नरिंग विकल्पों के साथ जटिल वातावरण में, हमें कुछ और उन्नत की आवश्यकता होगी, और हम जल्द ही इस पर आगे बढ़ेंगे।

पथ खोज

स्टीयरिंग व्यवहार एक खुले क्षेत्र में साधारण आंदोलन के लिए बहुत अच्छा है, जैसे कि फुटबॉल मैदान या मैदान, जहां आप बाधाओं से बचने के लिए मामूली समायोजन के साथ एक सीधी रेखा में ए से बी तक पहुंच सकते हैं। लेकिन क्या होगा अगर अंतिम बिंदु का मार्ग अधिक जटिल है? फिर हमें एक "पाथफाइंडिंग" की आवश्यकता है - दुनिया की खोज करना और उसके साथ एक पथ की साजिश करना ताकि एजेंट समापन बिंदु तक पहुंच जाए।

सबसे सरल तरीका दुनिया पर एक ग्रिड रखना है, और एजेंट के बगल में प्रत्येक सेल के लिए, पड़ोसी कोशिकाओं को देखें जिसमें हम स्थानांतरित कर सकते हैं। यदि उनमें से एक हमारा अंतिम बिंदु है, तो मार्ग वापस जाएं, प्रत्येक सेल से पिछले एक तक, जब तक हम शुरुआत तक नहीं पहुंचते हैं, इस प्रकार एक मार्ग प्राप्त होता है। अन्यथा, पिछले पड़ोसियों के पहुंच योग्य पड़ोसियों के साथ प्रक्रिया को दोहराएं जब तक कि हम अंत बिंदु नहीं पाते हैं या हम कोशिकाओं से बाहर निकलते हैं (इसका मतलब यह होगा कि कोई मार्ग नहीं है)। औपचारिक रूप से, इस दृष्टिकोण को चौड़ाई-प्रथम खोज (BFS) एल्गोरिथ्म कहा जाता है , क्योंकि प्रत्येक चरण में यह खोज को आगे बढ़ाने से पहले सभी दिशाओं (यानी, "व्यापक") में दिखता है। खोज स्थान एक तरंग की तरह है जो तब तक चलता रहता है जब तक कि हम उस जगह पर ठोकर नहीं खाते, जिसकी हम तलाश कर रहे थे।

यह कार्रवाई में खोज का एक सरल उदाहरण है। खोज क्षेत्र प्रत्येक चरण में फैलता है जब तक कि एक समापन बिंदु इसमें शामिल नहीं होता है, जिसके बाद आप शुरुआत के लिए पथ को ट्रैक कर सकते हैं।


नतीजतन, हमें ग्रिड कोशिकाओं की एक सूची मिलती है, जो उस मार्ग का निर्माण करती है जिसे आपको जाना चाहिए। आमतौर पर इसे एक "पथ", पथ (इसलिए "पथ की खोज", पाथफाइंडिंग) कहा जाता है, लेकिन आप इसे एक योजना के रूप में भी कल्पना कर सकते हैं, क्योंकि यह उन स्थानों की एक सूची है जिन्हें आपको अपने लक्ष्य को प्राप्त करने के लिए यात्रा करने की आवश्यकता है, अर्थात अंतिम बिंदु।

अब जब हम दुनिया में प्रत्येक कोशिका की स्थिति जानते हैं, तो आप मार्ग के साथ चलने के लिए ऊपर वर्णित स्टीयरिंग व्यवहार का उपयोग कर सकते हैं - पहले शुरुआती नोड से नोड 2 तक, फिर नोड 2 से नोड 3 तक, और इसी तरह। सबसे सरल दृष्टिकोण अगले सेल के केंद्र की ओर बढ़ना है, लेकिन एक लोकप्रिय विकल्प भी है - वर्तमान सेल और अगले के बीच रिब के बीच की ओर बढ़ रहा है। यह एजेंट को अधिक यथार्थवादी आंदोलन बनाने के लिए तेज घुमाव के कोनों को काटने की अनुमति देता है।

जैसा कि आप देख सकते हैं, यह एल्गोरिथ्म संसाधनों को बर्बाद कर सकता है क्योंकि यह "गलत" दिशा में कई कोशिकाओं की जांच करता है क्योंकि यह "सही" एक में करता है। इसके अलावा, यह आंदोलन की लागत को ध्यान में नहीं रखने देता है, जिस पर कुछ कोशिकाएं दूसरों की तुलना में "अधिक महंगी" हो सकती हैं। यहाँ हम A * नामक एक अधिक जटिल एल्गोरिथ्म की सहायता के लिए आते हैं। यह बहुत हद तक उसी तरह काम करता है जैसे पहले-पहले खोज, लेकिन इसके बाद पड़ोसियों की आंखें मूंदकर, फिर पड़ोसियों के पड़ोसियों, फिर पड़ोसियों के पड़ोसियों, और इसी तरह से, यह इन सभी नोड्स को एक सूची में रखता है और उन्हें क्रमबद्ध करता है ताकि जांच के तहत अगला नोड हमेशा एक हो सबसे अधिक संभावना सबसे छोटा मार्ग है। नोड्स को छांटे के आधार पर क्रमबद्ध किया जाता है (जो वास्तव में, एक उचित धारणा है),जो दो पहलुओं को ध्यान में रखता है - सेल के लिए एक काल्पनिक मार्ग की लागत (इस प्रकार चलती की सभी आवश्यक लागतों को ध्यान में रखते हुए) और यह आकलन कि यह सेल अंत बिंदु से कितनी दूर है (इस प्रकार सही दिशा में खोज को स्थानांतरित कर रहा है)।


इस उदाहरण में, हमने दिखाया कि वह एक समय में एक सेल की जांच करता है, हर बार एक पड़ोसी सेल का चयन करता है जिसमें सबसे अच्छी (या सर्वश्रेष्ठ में से एक) संभावनाएं होती हैं। परिणामस्वरूप पथ चौड़ाई-प्रथम खोज पथ के समान है, लेकिन प्रक्रिया में कम कोशिकाओं की जांच की जाती है, और यह जटिल स्तरों पर खेल के प्रदर्शन के लिए बहुत महत्वपूर्ण है।

जाल के बिना आंदोलन

पिछले उदाहरणों में, दुनिया पर एक ग्रिड का उपयोग किया गया था, और हमने इस ग्रिड की कोशिकाओं के माध्यम से दुनिया भर में एक मार्ग तैयार किया। लेकिन अधिकांश गेम ग्रिड को ओवरलैप नहीं करते हैं, और इसलिए ग्रिड को ओवरले करने से आंदोलन के अवास्तविक पैटर्न हो सकते हैं। इसके अलावा, इस दृष्टिकोण को प्रत्येक कोशिका के आकार के संबंध में समझौता करने की आवश्यकता हो सकती है - यदि यह बहुत बड़ा है, तो यह छोटे गलियारों और घुमावों का पर्याप्त रूप से वर्णन करने में सक्षम नहीं होगा, यदि यह बहुत छोटा है, तो हजारों कोशिकाओं के माध्यम से खोज करना बहुत लंबा हो सकता है। विकल्प क्या हैं?

पहली चीज़ जो हमें समझने की ज़रूरत है, वह यह है कि गणितीय दृष्टिकोण से, ग्रिड हमें एक " ग्राफ " देता है"कनेक्टेड नोड्स में। ए * (और बीएफएस) एल्गोरिदम ग्राफ़ के साथ काम करते हैं, और वे ग्रिड के बारे में परवाह नहीं करते हैं। इसलिए, हम नोड्स को दुनिया के मनमाने पदों पर रख सकते हैं, और यदि किसी भी दो नोड्स के बीच एक सीधी रेखा है, लेकिन शुरुआत और अंत के बीच एक रेखा है। यदि केवल एक नोड है, तो हमारा एल्गोरिथ्म पहले की तरह काम करेगा, और वास्तव में यह और भी बेहतर है, क्योंकि कम नोड होंगे। इसे अक्सर वेपॉइंट सिस्टम कहा जाता है, क्योंकि प्रत्येक नोड दुनिया में एक महत्वपूर्ण स्थिति को इंगित करता है जो बना सकता है। काल्पनिक पु की किसी भी संख्या का हिस्सा रों।


उदाहरण 1: ग्रिड के प्रत्येक सेल में एक नोड। खोज उस नोड से शुरू होती है जिसमें एजेंट स्थित है, और अंतिम सेल के साथ समाप्त होता है।


उदाहरण 2: बहुत कम संख्या में नोड्स, या वेपॉइंट्स । एजेंट के साथ खोज शुरू होती है, आवश्यक संख्याओं के माध्यम से गुजरती है और समापन बिंदु तक जाती है। ध्यान दें कि खिलाड़ी के दक्षिण-पश्चिम पथ के पहले बिंदु पर जाना एक अक्षम मार्ग है, इसलिए उत्पन्न पथ के कुछ पोस्ट-प्रोसेसिंग आमतौर पर आवश्यक होते हैं (उदाहरण के लिए, ध्यान दें कि पथ सीधे उत्तर-पूर्व में वेपॉइंट तक जा सकता है)।

यह एक काफी लचीला और शक्तिशाली प्रणाली है, लेकिन इसके लिए वेपॉइंट्स की सावधानीपूर्वक स्थिति की आवश्यकता होती है, अन्यथा एजेंट रूट शुरू करने के लिए निकटतम वेपॉइंट नहीं देख सकते हैं। यह बहुत अच्छा होगा अगर हम किसी तरह दुनिया की ज्यामिति के आधार पर स्वचालित रूप से वेपाइंट उत्पन्न कर सकें।

और फिर नवमेश बचाव के लिए आता है। यह नैविगेशन मेश के लिए छोटा है। संक्षेप में, यह (आमतौर पर) त्रिभुजों का एक दो-आयामी जाल है, लगभग उन जगहों पर दुनिया की ज्यामिति के साथ अतिव्यापी होता है जहां खेल एजेंट को स्थानांतरित करने की अनुमति देता है। मेष में प्रत्येक त्रिकोण ग्राफ का एक नोड बन जाता है और इसमें तीन समीपवर्ती त्रिकोण होते हैं जो ग्राफ़ के आसन्न नोड बन जाते हैं।

नीचे एकता इंजन से एक उदाहरण है। इंजन ने दुनिया की ज्यामिति का विश्लेषण किया और नवमेश (नीला) बनाया, जो ज्यामिति का एक अनुमान है। प्रत्येक निमेश बहुभुज एक ऐसा क्षेत्र है जिसमें एक एजेंट खड़ा हो सकता है, और एक एजेंट एक बहुभुज से किसी भी बगल में जा सकता है। (इस उदाहरण में, बहुभुज फर्श की तुलना में संकरे होते हैं, जिस पर वे एजेंट की त्रिज्या को ध्यान में रखते हैं, जो एजेंट की नाममात्र स्थिति से परे फैली होती है।)



हम फिर से ए * का उपयोग करके एक जाल के माध्यम से मार्ग की खोज कर सकते हैं, और यह हमें दुनिया भर में एक आदर्श मार्ग देगा जो सभी ज्यामिति को ध्यान में रखता है और अतिरिक्त नोड्स की अत्यधिक संख्या की आवश्यकता नहीं है (जैसा कि यह ग्रिड के साथ होगा) और उत्पादन अंक में मानव की भागीदारी रास्ता।

रास्तों को खोजना एक व्यापक विषय है, जिसमें कई दृष्टिकोण हैं, खासकर यदि आपको निम्न-स्तरीय विवरणों को स्वयं प्रोग्राम करने की आवश्यकता है। अतिरिक्त जानकारी के सबसे अच्छे स्रोतों में से एक अमित पटेल की साइट है (होबे पर लेख का अनुवाद: https://habr.com/post/331192/ )।

आयोजन

एक उदाहरण के रूप में रास्तों की खोज का उपयोग करते हुए, हमने देखा कि कभी-कभी यह केवल एक दिशा चुनने और उसमें आगे बढ़ने के लिए पर्याप्त नहीं है - हमें वांछित समापन बिंदु तक पहुंचने से पहले एक मार्ग चुनने और कई चालें बनाने की आवश्यकता है। हम इस विचार को एक विस्तृत श्रृंखला की अवधारणा के लिए सामान्य कर सकते हैं जिसमें लक्ष्य केवल अगला चरण नहीं है। इसे प्राप्त करने के लिए, आपको चरणों की एक श्रृंखला लेने की आवश्यकता है, और यह जानने के लिए कि पहला कदम क्या होना चाहिए, आपको कुछ कदम आगे देखने की आवश्यकता हो सकती है। इस दृष्टिकोण को नियोजन कहा जाता है । रास्तों को ढूँढना योजना के विशिष्ट अनुप्रयोगों में से एक माना जा सकता है, लेकिन इस अवधारणा के कई और अनुप्रयोग हैं। "धारणा-सोच-विचार-क्रिया" के चक्र पर लौटते हुए, यह योजना सोच का एक चरण है जो भविष्य के लिए कई चरणों की योजना बनाने की कोशिश करता है।

आइए खेल को देखें: जादू। आपके पास अपनी पहली चाल है, आपके हाथों में कई कार्ड हैं, जिनमें से "स्वैम्प" हैं, जो 1 पॉइंट ऑफ़ ब्लैक मैना देता है, और "फॉरेस्ट", जो 1 पॉइंट ऑफ़ ग्रीन मैना देता है, "ओझा", जिसे कॉल करने के लिए ब्लू मैना के 1 पॉइंट की आवश्यकता होती है, और " एलेवन मिस्टिक ”, जिसे कॉल करने के लिए आपको हरे रंग की 1 प्वाइंट की जरूरत है। (सादगी के लिए, हम शेष तीन कार्डों को छोड़ देते हैं।) नियम कहते हैं कि एक खिलाड़ी प्रति बारी एक लैंड कार्ड खेल सकता है, उनसे भूमि प्राप्त करने के लिए अपने भूमि कार्ड को "स्पर्श" कर सकता है, और कई मंत्रों को शामिल कर सकता है (समन प्राणियों सहित) उसके पास कितना मैना है। इस स्थिति में, खिलाड़ी को "फ़ॉरेस्ट" खेलने की संभावना है, इसे 1 ग्रीन मैना पॉइंट प्राप्त करने के लिए स्पर्श करें, और फिर "एलेवन मिस्ट्री" को कॉल करें। लेकिन एक गेमिंग एआई को कैसे पता चलता है कि इस तरह के निर्णय की आवश्यकता है?

सरल "अनुसूचक"

एक भोली दृष्टिकोण केवल क्रम में प्रत्येक कार्रवाई पर पुनरावृति करने के लिए हो सकता है, जब तक कि उपयुक्त व्यक्ति न हों। हाथ को देखते हुए, एआई देखता है कि यह "दलदल" खेल सकता है, और इसलिए ऐसा करता है। क्या इस मोड़ के बाद कोई और कार्रवाई बाकी है? वह या तो एलेवन मिस्टिक या निर्वासित जादूगर को नहीं बुला सकता है, क्योंकि इसके लिए हरे या नीले रंग के मन की आवश्यकता होती है, और खेला जाने वाला दलदल काला तिल देता है। और हम "वन" नहीं खेल सकते क्योंकि हम पहले ही "दलदल" खेल चुके हैं। यही है, एआई खिलाड़ी नियमों के अनुसार चाल करेगा, लेकिन यह बहुत इष्टतम नहीं होगा। सौभाग्य से, एक बेहतर उपाय है।

लगभग उसी तरह जिस तरह से रास्तों की खोज सही बिंदु पर पहुंचने के लिए दुनिया भर में घूमने के लिए पदों की एक सूची पाती है, हमारे योजनाकार उन कार्यों की एक सूची पा सकते हैं जो खेल को सही स्थिति में रखते हैं। जैसे पथ पर प्रत्येक स्थिति में पड़ोसियों का एक समूह होता है, जो पथ के साथ अगला कदम चुनने के लिए संभावित विकल्प होते हैं, योजना में प्रत्येक क्रिया में पड़ोसी, या "उत्तराधिकारी" होते हैं, जो योजना के अगले चरण के लिए उम्मीदवार होते हैं। हम इन क्रियाओं और निम्नलिखित क्रियाओं को तब तक खोज सकते हैं जब तक हम वांछित स्थिति तक नहीं पहुँच जाते।

मान लीजिए, हमारे उदाहरण के लिए, वांछित परिणाम "एक प्राणी को बुलाना होगा, यदि संभव हो तो।" इस कदम की शुरुआत में, हमारे पास खेल के नियमों द्वारा अनुमत केवल दो संभावित क्रियाएं हैं:

 1. "दलदल" खेलें (परिणाम: "दलदल" हाथ छोड़ता है और खेल में प्रवेश करता है)
2. "वन" खेलें (परिणाम: "वन" हाथ छोड़ता है और खेल में प्रवेश करता है) 

प्रत्येक कार्रवाई को आगे के कार्यों को खोल सकते हैं या उन्हें बंद कर सकते हैं, खेल के नियमों के अनुसार भी। कल्पना कीजिए कि हमने "दलदल" खेलने का विकल्प चुना है - यह इस कार्ड को संभावित विरासत कार्रवाई के रूप में खेलने का अवसर बंद कर देता है (क्योंकि "दलदल" पहले ही खेला जा चुका है), "वन" खेलने के अवसर को बंद कर देता है (क्योंकि खेल के नियम आपको प्रति बार केवल एक लैंड कार्ड खेलने की अनुमति देते हैं) और काले मान के 1 अंक प्राप्त करने के लिए "दलदल" को छूने की क्षमता जोड़ता है - और यह, वास्तव में, केवल विरासत में मिली कार्रवाई है। यदि हम एक और कदम उठाते हैं और "दलदल" को स्पर्श करते हैं, तो हमें काले मान का 1 अंक मिलेगा, जिसके साथ हम कुछ भी नहीं कर सकते हैं, इसलिए यह व्यर्थ है।

 1. "दलदल" खेलें (परिणाम: "दलदल" हाथ छोड़ता है और खेल में प्रवेश करता है)
            1.1 "दलदल" स्पर्श करें (परिणाम: हमने "दलदल" को छुआ, +1 काला मन उपलब्ध है)
                        कोई क्रिया शेष नहीं है - अंत
2. "वन" खेलें (परिणाम: "वन" हाथ छोड़ता है और खेल में प्रवेश करता है) 

कार्यों की इस छोटी सूची ने हमें बहुत कुछ नहीं दिया और "मृत अंत" का नेतृत्व किया, अगर हम रास्तों की खोज के साथ सादृश्य का उपयोग करते हैं। इसलिए, हम अगले चरण के लिए प्रक्रिया को दोहराते हैं। हम वन खेलने के लिए चुनते हैं। यह "फ़ॉरेस्ट प्ले" और "स्वैम्प प्ले" करने की क्षमता को भी हटाता है, और अगले चरण "फ़ॉरेस्ट को स्पर्श करें" (और केवल) संभावित के रूप में खुलता है। यह हमें हरे रंग की मान्या का 1 अंक देता है, जो बदले में तीसरा चरण खोलता है - "कॉल" एलेन मिस्टिक "।"

 1. "दलदल" खेलें (परिणाम: "दलदल" हाथ छोड़ता है और खेल में प्रवेश करता है)
            1.1 "दलदल" स्पर्श करें (परिणाम: हमने "दलदल" को छुआ, +1 काला मन उपलब्ध है)
                        कोई क्रिया शेष नहीं है - अंत
2. "वन" खेलें (परिणाम: "वन" हाथ छोड़ता है और खेल में प्रवेश करता है)
            2.1 टच "वन" (परिणाम: हमने "दलदल" को छू लिया, +1 हरा मन उपलब्ध है)
                        2.1.1 कॉल "एलेवन मिस्टिक" (परिणाम: खेल में "एलेन मिस्टिक", -1 ग्रीन मैना उपलब्ध है)
                                    कोई क्रिया शेष नहीं है - अंत 

अब हमने इन कार्यों से उत्पन्न सभी संभावित क्रियाओं और कार्यों की जांच की है, एक ऐसी योजना की खोज की है जो हमें प्राणी को सम्मन करने की अनुमति देती है: "वन खेलें", "वन को स्पर्श करें", "एलेन मिस्टिक" को कॉल करें।

जाहिर है, यह एक बहुत ही सरल उदाहरण है, और आमतौर पर आपको सर्वश्रेष्ठ चुनने की आवश्यकता होती हैएक योजना, और न केवल एक योजना जो कुछ मानदंडों को संतुष्ट करती है (उदाहरण के लिए, "एक प्राणी को बुलाना")। आप आमतौर पर अंतिम परिणाम या योजना के उपयोग के संचयी लाभों के आधार पर संभावित योजनाओं का मूल्यांकन कर सकते हैं। उदाहरण के लिए, आप खुद को एक निर्धारित भूमि के नक्शे के लिए 1 अंक और एक प्राणी को कॉल करने के लिए 3 अंक दे सकते हैं। "प्ले" दलदल "1 पॉइंट देने वाली एक छोटी योजना होगी, और" फ़ॉरेस्ट "प्ले करने की योजना →" फ़ॉरेस्ट "→ टच" एलवेन मिस्टिक "" 4 अंक देता है, 1 ज़मीन के लिए और 3 प्राणी के लिए। यह सबसे अधिक लाभदायक योजना उपलब्ध होगी, इसलिए यदि आप ऐसे बिंदुओं पर नियुक्त करते हैं, तो आपको इसे चुनना चाहिए।

ऊपर, हमने दिखाया कि कैसे योजना एक जादू के भीतर काम करती है: सभा चलती है, लेकिन यह कदमों की एक श्रृंखला में कार्रवाई के लिए भी लागू किया जा सकता है (उदाहरण के लिए, "बिशप के विकास के लिए कमरे देने के लिए एक मोहरा" शतरंज में या एक इकाई के लिए कवर में चलाएं) वह अगले मोड़ को शूट कर सकता है, "XCOM में सुरक्षित" होने के नाते या पूरे खेल की सामान्य रणनीति के लिए (उदाहरण के लिए, स्टारक्राफ्ट में "अन्य सभी प्रोटॉज़ इमारतों में तोरण बनाएँ", या "स्किरीम में दुश्मन पर हमला करने से पहले एक फोर्टिफ़ाइड हेल्थ पोशन पीते हैं")।

बेहतर योजना बनाई

कभी-कभी हर कदम पर बहुत अधिक संभावित क्रियाएं होती हैं, और प्रत्येक विकल्प का मूल्यांकन करना अनुचित है। आइए जादू के उदाहरण पर वापस जाएं: द गैदरिंग - कल्पना करें कि हमारे पास कई जीव हैं, कई जमीनें पहले ही खेली जा चुकी हैं, इसलिए हम किसी भी प्राणी, कई जीवों को उनकी क्षमताओं के साथ खेल सकते हैं, और हाथ पर कुछ और भूमि कार्ड हैं - क्रमपरिवर्तन की संख्या भूमि, भूमि का उपयोग, प्राणियों को बुलाना और प्राणियों की क्षमताओं का उपयोग करना हजारों या हजारों के बराबर हो सकता है। सौभाग्य से, इस समस्या को हल करने के कुछ तरीके हैं।

पहले को बैकवर्ड चेनिंग कहा जाता है"(" राउंड ट्रिप ")। सभी क्रियाओं और उनके परिणामों की जाँच करने के बजाय, हम प्रत्येक वांछित अंतिम परिणाम के साथ शुरू कर सकते हैं और यह देख सकते हैं कि क्या हम उनके लिए एक सीधा रास्ता खोज सकते हैं। आप इसकी तुलना किसी पेड़ में एक विशिष्ट पत्ती तक पहुँचने की कोशिश करके कर सकते हैं - यह बहुत अधिक तार्किक है। इस पत्ते से शुरू करें और ट्रंक के साथ एक मार्ग बिछाते हुए वापस जाएं (और इस मार्ग को हम फिर विपरीत क्रम में जा सकते हैं), ट्रंक से शुरू करने और यह अनुमान लगाने की कोशिश कर रहा है कि प्रत्येक चरण में किस शाखा को चुनना है। यदि आप अंत से शुरू करते हैं और विपरीत दिशा में जाते हैं। फिर बनाया गया ई योजना बहुत तेजी से और आसान हो जाएगा।

उदाहरण के लिए, यदि दुश्मन के पास 1 स्वास्थ्य बिंदु बचा है, तो यह "दुश्मन को प्रत्यक्ष नुकसान के 1 या अधिक बिंदुओं" को खोजने के लिए एक योजना खोजने की कोशिश करना उपयोगी हो सकता है। हमारी प्रणाली जानती है कि इस लक्ष्य को प्राप्त करने के लिए उसे एक प्रत्यक्ष क्षति वर्तनी की आवश्यकता होती है, जिसका अर्थ है कि यह हमारे हाथों में होना चाहिए और हमें इसे उच्चारण करने के लिए पर्याप्त मन की आवश्यकता है। यह, बदले में, इसका मतलब है कि हमें इस मान को प्राप्त करने के लिए पर्याप्त भूमि को छूने की आवश्यकता है, जिससे आपको अतिरिक्त भूमि का नक्शा खेलने की आवश्यकता हो सकती है।

दूसरा तरीका यह है कि आप पहले सर्वश्रेष्ठ मैच को खोजें। लंबे समय तक सभी क्रमपरिवर्तन के आसपास जाने के बजाय, हम मापते हैं कि प्रत्येक आंशिक योजना कितनी अच्छी है (इसी तरह कि हमने ऊपर दिए गए योजना विकल्पों में से कैसे चुना) और हर बार सबसे अच्छी दिखने वाली गणना करें। अक्सर यह आपको योजनाओं के प्रत्येक संभावित पुनर्व्यवस्था पर विचार करने की आवश्यकता के बिना एक इष्टतम, या कम से कम काफी अच्छी योजना बनाने की अनुमति देता है। A * पहले सर्वश्रेष्ठ मैच की खोज का एक रूप है - यह पहले सबसे होनहार मार्गों की पड़ताल करता है, इसलिए यह आम तौर पर अन्य दिशाओं में बहुत दूर तक चढ़ने के बिना लक्ष्य का रास्ता खोज सकता है।

पहले सबसे अच्छे मैच के लिए एक दिलचस्प और तेजी से लोकप्रिय खोज विकल्प मोंटे कार्लो ट्री खोज है।। यह अनुमान लगाने के बजाय कि प्रत्येक बाद की कार्रवाई चुनते समय कौन सी योजनाएं दूसरों की तुलना में बेहतर हैं, यह विधि प्रत्येक चरण में यादृच्छिक बाद वाली कार्रवाइयों को चुनती है जब तक कि यह अंत तक नहीं पहुंचती है जहां अब कोई कार्रवाई संभव नहीं है - शायद इसलिए कि काल्पनिक योजना जीत या नुकसान की स्थिति का कारण बनी। - और पिछले चयनित विकल्पों में अधिक या कम वजन देने के लिए इस परिणाम का उपयोग करता है। यदि प्रक्रिया कई बार दोहराई जाती है, तो विधि सबसे अच्छे अगले चरण का एक अच्छा मूल्यांकन बना सकती है, भले ही स्थिति बदल जाए (उदाहरण के लिए, अगर दुश्मन हमारी योजनाओं को विफल करने की कोशिश करता है)।

अंत में, खेलों में योजना बनाने की कोई चर्चा लक्ष्य-आधारित कार्य योजना का उल्लेख किए बिना पूरी नहीं होगी(लक्ष्य-उन्मुख कार्रवाई योजना, GOAP)। यह एक व्यापक रूप से उपयोग की जाने वाली और व्यापक रूप से चर्चा की जाने वाली तकनीक है, लेकिन यदि आप कुछ विशिष्ट कार्यान्वयन विवरणों को अनदेखा करते हैं, तो यह अनिवार्य रूप से एक गोल ट्रिप प्लानर है, जो एक लक्ष्य के साथ शुरू होता है और उस लक्ष्य के लिए अग्रणी कार्रवाई करने की कोशिश करता है, या, अधिक संभावना है, कार्यों की एक सूची जो आगे बढ़ती है। लक्ष्य के लिए। उदाहरण के लिए, यदि लक्ष्य "खिलाड़ी को मारना" था और खिलाड़ी कवर में था, तो यह योजना हो सकती है: "एक ग्रेनेड के साथ खिलाड़ी को धूम्रपान करें" → "एक हथियार बाहर खींचो" → "हमला"।

आमतौर पर कई लक्ष्य होते हैं, और प्रत्येक की अपनी प्राथमिकता होती है। यदि सर्वोच्च प्राथमिकता वाले लक्ष्यों को प्राप्त नहीं किया जा सकता है, उदाहरण के लिए, कोई भी कार्य योजना "खिलाड़ी को मार डालो" नहीं बना सकती है क्योंकि खिलाड़ी दिखाई नहीं देता है, तो सिस्टम निम्न प्राथमिकताओं के साथ लक्ष्यों पर लौटता है, उदाहरण के लिए, "गश्ती" या "मौके पर गार्ड"।

प्रशिक्षण और अनुकूलन

लेख की शुरुआत में, हमने उल्लेख किया कि गेमिंग AI आमतौर पर "मशीन लर्निंग" का उपयोग नहीं करता है क्योंकि यह आमतौर पर गेमिंग दुनिया में बुद्धिमान एजेंटों के वास्तविक समय के नियंत्रण के लिए उपयुक्त नहीं है। हालांकि, इसका मतलब यह नहीं है कि हम इस क्षेत्र से कुछ उधार नहीं ले सकते हैं जहां यह समझ में आता है। हमें सबसे अधिक हत्या करने के लिए स्थानांतरित करने के लिए सर्वोत्तम स्थानों का पता लगाने के लिए शूटर में एक कंप्यूटर प्रतिद्वंद्वी की आवश्यकता हो सकती है। या हम एक लड़ खेल में प्रतिद्वंद्वी चाहते हो सकता है। उदाहरण के लिए, टेककेन या स्ट्रीट फाइटर में, उन्होंने एक खिलाड़ी को पहचानने के लिए एक ही कॉम्बो का उपयोग करके उन्हें अवरुद्ध करना शुरू कर दिया, जिससे खिलाड़ी को अलग रणनीति का उपयोग करने के लिए मजबूर होना पड़ा। यही है, ऐसे समय होते हैं जब मशीन सीखने का एक निश्चित प्रतिशत उपयोगी होता है।

सांख्यिकी और संभावनाएं

इससे पहले कि हम और अधिक जटिल उदाहरणों पर आगे बढ़ते हैं, यह पता लगाने के लायक है कि हम केवल माप लेने और निर्णय लेने के लिए इस डेटा का उपयोग करके कितनी दूर जा सकते हैं। उदाहरण के लिए, मान लें कि हमारे पास वास्तविक समय की रणनीति की शैली में एक खेल है, और हमें यह समझने की आवश्यकता है कि क्या खिलाड़ी पहले मिनटों में यह तय करना शुरू कर देगा कि क्या अधिक रक्षा का निर्माण करना है। हम खिलाड़ी के पिछले व्यवहार को समझने के लिए अतिरिक्त व्यवहार कर सकते हैं कि भविष्य का व्यवहार क्या हो सकता है। सबसे पहले, हमारे पास ऐसा डेटा नहीं है जिसे अतिरिक्त रूप से रखा जा सकता है, लेकिन हर बार AI लाइव दुश्मन के खिलाफ खेलता है, यह पहले हमले के समय को रिकॉर्ड कर सकता है। कुछ मैचों के बाद, इस समय को औसत किया जा सकता है, और हमें भविष्य में खिलाड़ी के आक्रमण के समय का पर्याप्त अनुमान होगा।

साधारण औसत के साथ समस्या यह है कि यह आमतौर पर केंद्र में समय के साथ परिवर्तित होता है। इसलिए, यदि कोई खिलाड़ी पहले 20 बार भीड़ रणनीति का उपयोग करता है, और अगले 20 बार बहुत धीमी रणनीति में बदल जाता है, तो औसत मूल्य कहीं बीच में होगा, जो हमें कोई उपयोगी जानकारी नहीं देगा। डेटा को बेहतर बनाने का एक तरीका एक साधारण औसत विंडो का उपयोग करना है जो केवल पिछले 20 डेटा बिंदुओं को ध्यान में रखता है।

एक समान दृष्टिकोण का उपयोग कुछ कार्यों की संभावना का आकलन करने के लिए किया जा सकता है, यह मानते हुए कि भविष्य में खिलाड़ी की पिछली प्राथमिकताएं जारी रहेंगी। उदाहरण के लिए, यदि किसी खिलाड़ी ने आग के गोले से पांच बार हमला किया है, तो दो बार बिजली से और केवल एक बार हाथ से हाथ होने पर, तो सबसे अधिक संभावना है कि वह 8 में से 5 बार आग का गोला पसंद करेगा। इन आंकड़ों से विस्तार करते हुए, हम देख सकते हैं कि एक हथियार का उपयोग करने की संभावना है: फायरबॉल = 62.5%, बिजली = 25% हाथापाई = 12.5%। हमारे एआई पात्रों को एहसास होगा कि वे अग्निरोधक कवच खोजने से बेहतर हैं!

एक और दिलचस्प तरीका यह है कि वर्तमान स्थिति को वर्गीकृत करने के लिए इनपुट डेटा के बड़े संस्करणों का अध्ययन करने के लिए Naive Bayes Classifier का उपयोग किया जाए ताकि AI एजेंट तदनुसार प्रतिक्रिया दे सके। बायेसियन क्लासिफायर शायद स्पैम ईमेल फिल्टर में उनके उपयोग के लिए जाने जाते हैं, जहां वे ईमेल में शब्दों का मूल्यांकन करते हैं, उनकी तुलना उन शब्दों से करते हैं जो अतीत में अक्सर स्पैम और सामान्य संदेशों में पाए जाते थे। इन गणनाओं के आधार पर, वे इस संभावना पर निर्णय लेते हैं कि प्राप्त अंतिम संदेश स्पैम है। हम कम इनपुट के साथ भी कुछ ऐसा ही कर सकते हैं। सभी उपयोगी उपयोगी जानकारी (उदाहरण के लिए, शत्रु इकाइयों को बनाया गया) को रिकॉर्ड करके,प्रयुक्त मंत्र या अनुसंधान प्रौद्योगिकियां) और परिणामी स्थिति (युद्ध / शांति, भीड़ रणनीति / रक्षा रणनीति, आदि) पर नज़र रखना, हम इसके आधार पर उपयुक्त व्यवहार का चयन कर सकते हैं।

इन सभी शिक्षण तकनीकों का उपयोग करना पर्याप्त हो सकता है, और अक्सर और अधिमानतः गेम की रिलीज से पहले playtesting के दौरान एकत्र किए गए डेटा पर लागू होता है। यह एआई को प्ले टेस्टर द्वारा उपयोग की जाने वाली विभिन्न रणनीतियों के अनुकूल होने की अनुमति देता है और खेल के रिलीज होने के बाद नहीं बदलता है। एक एआई जो किसी गेम के रिलीज़ होने के बाद किसी खिलाड़ी को एडाप्ट करता है, हार के लिए बहुत अधिक पूर्वानुमान या बहुत जटिल हो सकता है।

आसान वजन-आधारित अनुकूलन

चलिए इसे एक कदम आगे बढ़ाते हैं। असतत पूर्वनिर्धारित रणनीतियों के बीच चयन करने के लिए इनपुट डेटा का उपयोग करने के बजाय, आप उन मानों के सेट को बदल सकते हैं जो निर्णय लेने को प्रभावित करते हैं। यदि हम खेल की दुनिया और खेल के नियमों को अच्छी तरह से समझते हैं, तो हम निम्नलिखित कार्य कर सकते हैं:

• ( );
• «» ;
• .

एक कंप्यूटर एजेंट की कल्पना करें, जो पहले व्यक्ति के शूटर में नक्शे पर कमरों का चयन कर सकता है। प्रत्येक कमरे में एक वजन होता है जो इस कमरे में जाने की वांछनीयता को निर्धारित करता है। प्रारंभ में, सभी कमरों का एक ही अर्थ है। जब एक कमरा चुनते हैं, तो AI इसे बेतरतीब ढंग से चुनता है, लेकिन इन भार के प्रभाव के साथ। अब कल्पना करें कि जब कंप्यूटर एजेंट मारा जाता है, तो यह याद आता है कि यह किस कमरे में हो रहा है और इसका वजन कम करता है ताकि भविष्य में इसके वापस आने की संभावना कम हो। इसी तरह, कल्पना कीजिए कि एक कंप्यूटर एजेंट ने हत्या की है। फिर वह उस कमरे का वजन बढ़ा सकता है जिसमें वह वरीयताओं की सूची में इसे उठाने के लिए है। इसलिए यदि एआई खिलाड़ी के लिए एक कमरा विशेष रूप से खतरनाक हो जाता है, तो वह भविष्य में इससे बचने के लिए शुरू होता है, और यदि कोई अन्य कमरा एआई को बहुत अधिक हत्याएं करने की अनुमति देता है,फिर वह वहाँ लौट आएगा।

मार्कोव मॉडल

क्या होगा यदि हम पूर्वानुमान लगाने के लिए एकत्र किए गए डेटा का उपयोग करना चाहते हैं? उदाहरण के लिए, यदि हम प्रत्येक कमरे को रिकॉर्ड करते हैं, जिसमें हम एक खिलाड़ी को एक निश्चित अवधि के लिए देखते हैं, तो हम यथोचित भविष्यवाणी कर सकते हैं कि वह किस कमरे में जा सकता है। वर्तमान कमरे में जिसमें खिलाड़ी है और पिछले एक, और मूल्यों के इन जोड़े को रिकॉर्ड करके, दोनों को ट्रैक करके, हम गणना कर सकते हैं कि पिछली स्थितियों में से प्रत्येक कितनी बार अगली स्थिति की ओर जाता है, और पूर्वानुमान के लिए इस ज्ञान का उपयोग करें।

कल्पना कीजिए कि तीन कमरे हैं - लाल, हरा और नीला, और खेल सत्र के दौरान हमें ऐसे अवलोकन प्राप्त हुए:

पहला कमरा जिसमें खिलाड़ी देखा जाता है	कुल अवलोकन	अगला कमरा	कितनी बार देखा	का प्रतिशत
लाल	10	लाल	2	20%
		ग्रीन	7	70%
		नीला	1	10%
ग्रीन	10	लाल	3	30%
		ग्रीन	5	50%
		नीला	2	20%
नीला	8	लाल	6	75%
		ग्रीन	2	25%
		नीला	0	0%

प्रत्येक कमरे में बंदियों की संख्या काफी कम है, इसलिए यह हमें इस बात की समझ नहीं देता है कि कौन से कमरे में एक घात के लिए एक अच्छी जगह हो सकती है। डेटा इस तथ्य से विकृत हो सकता है कि खिलाड़ी समान रूप से मानचित्र पर स्पॉन करते हैं, इन तीन कमरों में से किसी में भी दिखाई देने की समान संभावना के साथ। लेकिन अगले कमरे में जाने का डेटा उपयोगी हो सकता है और हमें नक्शे पर खिलाड़ी की गति का अनुमान लगाने में मदद कर सकता है।

हम तुरंत देख सकते हैं कि ग्रीन रूम खिलाड़ियों के लिए बहुत आकर्षक है - लाल कमरे से अधिकांश खिलाड़ी हरे रंग में चले गए, और ग्रीन रूम में देखे गए खिलाड़ियों में से 50% अगले चेक के दौरान वहीं रहते हैं। हम यह भी नोटिस कर सकते हैं कि नीला कमरा एक जगह नहीं है। लोग शायद ही कभी लाल या हरे कमरे से नीले रंग में जाते हैं और ऐसा लगता है कि कोई भी लंबे समय तक इसमें रहना पसंद नहीं करता है।

लेकिन डेटा हमें कुछ और विशिष्ट बताते हैं - वे कहते हैं कि जब कोई खिलाड़ी नीले कमरे में होता है, तो उसके बाद वह हरे रंग के बजाय, लाल चुनने की सबसे अधिक संभावना है। इस तथ्य के बावजूद कि ग्रीन रूम लाल की तुलना में अधिक लोकप्रिय स्थान है, अगर खिलाड़ी नीले कमरे में है, तो प्रवृत्ति थोड़ा विपरीत है। ऐसा लगता है कि अगला राज्य (यानी वह कमरा जिसमें वह आगे बढ़ने का फैसला करता है) पिछली स्थिति पर निर्भर करता है (यानी, जिस कमरे में वह अब है), इसलिए यह डेटा हमें खिलाड़ियों के व्यवहार के बारे में बेहतर पूर्वानुमान बनाने की अनुमति देता है स्वतंत्र अवलोकन गिनती के साथ की तुलना में।

यह विचार कि हम भविष्य की स्थिति का अनुमान लगाने के लिए पिछली अवस्था के ज्ञान का उपयोग कर सकते हैं, मार्कोव मॉडल कहलाता है, और इसी तरह के उदाहरणों में हमने सही घटनाओं को मापा है (उदाहरण के लिए, "खिलाड़ी किस कमरे में है") को मार्कोव श्रृंखला कहा जाता है। चूँकि वे क्रमिक अवस्थाओं के बीच संक्रमण की संभावना का प्रतिनिधित्व करते हैं, उन्हें अक्सर एक परिमित राज्य मशीन के रूप में रेखांकन के रूप में प्रस्तुत किया जाता है, जिसके प्रत्येक संक्रमण के निकट इसकी संभाव्यता का संकेत दिया जाता है। पहले, हमने व्यवहार की स्थिति का प्रतिनिधित्व करने के लिए एक राज्य मशीन का उपयोग किया था जिसमें एजेंट स्थित है, लेकिन इस अवधारणा को सभी प्रकार के राज्यों तक बढ़ाया जा सकता है, चाहे वे एजेंट से जुड़े हों या नहीं। हमारे मामले में, राज्य एजेंट के कब्जे वाले कमरों को इंगित करते हैं। यह इस तरह दिखेगा:


यह विभिन्न राज्यों में संक्रमण की सापेक्ष संभावना को इंगित करने के लिए एक सरल दृष्टिकोण है, जो एआई को अगले राज्य की भविष्यवाणी करने की क्षमता देता है। लेकिन हम एक ऐसी प्रणाली बनाकर आगे बढ़ सकते हैं जो भविष्य में दो या अधिक चरणों में दिखती है।

यदि किसी खिलाड़ी को ग्रीन रूम में स्पॉट किया गया है, तो हम डेटा का उपयोग करेंगे जो हमें बताता है कि 50 प्रतिशत संभावना है कि वह अभी भी अगले अवलोकन में ग्रीन रूम में रहेगा। लेकिन क्या संभावना है कि वह तीसरी बार इसमें रहेंगे? यह न केवल संभावना है कि वह दो टिप्पणियों (50% * 50% = 25%) के लिए ग्रीन रूम में रहेगा, लेकिन यह भी संभावना है कि वह इसे छोड़ देगा और वापस आ जाएगा। यहां तीन अवलोकनों पर लागू पिछले मानों के साथ एक नई तालिका है: एक वर्तमान और भविष्य में दो काल्पनिक।

अवलोकन १	हाइपोथेटिकल अवलोकन 2		3
		30%		20%	6%
				70%	21%
				10%	3%
		50%		30%	15%
				50%	25%
				20%	10%
		20%		75%	15%
				25%	5%
				0%	0%
				:	100%

यहाँ हम देखते हैं कि 2 टिप्पणियों के बाद ग्रीन रूम में एक खिलाड़ी को देखने की संभावना 51% है - 21% वह लाल कमरे से क्या आएगा, 5% जो हम खिलाड़ी को नीले कमरे का दौरा करते हुए देखते हैं, और 25% वह जो हर समय है। ग्रीन रूम में रहेंगे।

एक तालिका सिर्फ एक दृश्य संकेत है, एक प्रक्रिया के लिए केवल प्रत्येक चरण में संभावनाओं का गुणन आवश्यक है। इसका मतलब है कि हम भविष्य में दूर तक देख सकते हैं, लेकिन एक महत्वपूर्ण चेतावनी के साथ: हम यह धारणा बनाते हैं कि कमरे में प्रवेश करने की संभावना पूरी तरह से इस बात पर निर्भर करती है कि हम इस समय किस कमरे में हैं। यह विचार है कि भविष्य की स्थिति केवल वर्तमान पर निर्भर करती है जिसे मार्कोव संपत्ति कहा जाता है। यद्यपि यह हमें मार्कोव श्रृंखला जैसे शक्तिशाली उपकरणों का उपयोग करने की अनुमति देता है, यह आमतौर पर केवल एक सन्निकटन है। खिलाड़ी अन्य कारकों के आधार पर कमरे का दौरा करने का निर्णय ले सकते हैं, जैसे कि उनका स्वास्थ्य स्तर और गोला-बारूद की मात्रा, और चूंकि हम इस जानकारी को स्थिति के हिस्से के रूप में दर्ज नहीं करते हैं, इसलिए हमारी भविष्यवाणी कम सटीक होगी।

एन ग्राम

चलो एक लड़ाई के खेल में कॉम्बो मान्यता के साथ हमारे उदाहरण पर वापस जाते हैं। यह एक ऐसी ही स्थिति है जिसमें हम अतीत पर आधारित भविष्य की स्थिति की भविष्यवाणी करना चाहते हैं (किसी हमले को कैसे रोकें या चकमा दें यह तय करने के लिए), लेकिन एक राज्य या घटना का अध्ययन करने के बजाय, हम उन घटनाओं के अनुक्रमों पर विचार करेंगे जो कॉम्बो आंदोलन बनाते हैं।

ऐसा करने का एक तरीका बफर के प्रत्येक खिलाड़ी इनपुट (उदाहरण के लिए, किक , हाथ या ब्लॉक ) को सहेजना है और पूरे बफर को एक घटना के रूप में लिखना है। कल्पना कीजिए कि एक खिलाड़ी लगातार " डेथ कैंसर " हमले का उपयोग करने के लिए एक किक , एक किक , एक किक दबाता है ", और AI सिस्टम बफर के सभी खिलाड़ी के इनपुट को बचाता है और प्रत्येक चरण में उपयोग की गई अंतिम 3 प्रविष्टियों को याद रखता है।

प्रविष्टि	एक मौजूदा इनपुट अनुक्रम	नई इनपुट मेमोरी
किकिंग	किकिंग	नहीं
हाथ की हड़ताल	लात, लात	नहीं
किकिंग	किक, किक, किक	किक, किक, किक
किकिंग	किक, किक, किक, किक	किक, किक, किक
हाथ की हड़ताल	किक, किक, किक, किक, किक	किक, किक, किक
खंड	किक, किक, किक, किक, किक, ब्लॉक	किक, किक, ब्लॉक
किकिंग	किक, किक, किक, किक, किक, ब्लॉक, किक	किक, ब्लॉक, किक
किकिंग	किक, किक, किक, किक, किक, ब्लॉक, किक, किक	ब्लॉक, किक, किक
हाथ की हड़ताल	, , , , , , , ,	, ,

(बोल्ड लाइनों में, खिलाड़ी "सुपरबाइट ऑफ़ डेथ" हमले करता है।)

आप उन सभी समयों को देख सकते हैं जब खिलाड़ी ने अतीत में एक किक चुनी थी , उसके बाद एक और किक की , और ध्यान दें कि अगला इनपुट हमेशा एक किक है । यह एआई एजेंट को एक भविष्यवाणी करने की अनुमति देता है कि यदि किसी खिलाड़ी ने सिर्फ एक किक को चुना है, तो एक किक के बाद, वह संभवतः एक किक का चयन करेगा , इस प्रकार डेथ सुपरकुलक लॉन्च करेगा । यह एआई को एक ऐसी कार्रवाई का चयन करने का निर्णय लेने की अनुमति देता है जो इस आघात का मुकाबला करती है, जैसे कि ब्लॉक या चोरी।

घटनाओं के ऐसे अनुक्रमों को एन-ग्राम कहा जाता है ।जहाँ N संग्रहित वस्तुओं की संख्या है। पिछले उदाहरण में, यह 3 ग्राम था, जिसे ट्रिग्राम भी कहा जाता है, अर्थात, तीसरे का अनुमान लगाने के लिए पहले 2 तत्वों का उपयोग किया जाता है। 5-ग्राम में, पहले 4 तत्वों के लिए पांचवें की भविष्यवाणी की जाती है, और इसी तरह।

डेवलपर्स को ध्यान से एन-ग्राम (कभी-कभी ऑर्डर कहा जाता है) का आकार चुनना चाहिए। संख्या जितनी कम हो, उतनी कम मेमोरी की आवश्यकता होती है, क्योंकि छोटे संख्या में अनुमेय क्रमांक होते हैं, लेकिन कम इतिहास सहेजा जाता है, जिसका अर्थ है कि संदर्भ खो गया है। उदाहरण के लिए, एक 2-ग्राम (जिसे "बिग्राम" भी कहा जाता है) में किकिंग , किकिंग और रिकॉर्डिंग के लिए रिकॉर्ड होगा जिसमें किकिंग , किकिंग , लेकिन किक नहीं बचा सकता है ।किक , हैंड किक , इसलिए, इस कॉम्बो को ट्रैक नहीं कर सकता है।

दूसरी ओर, ऑर्डर जितना बड़ा होता है, उतनी ही अधिक मेमोरी की आवश्यकता होती है, और सिस्टम को प्रशिक्षित करने के लिए सबसे अधिक संभावना होगी, क्योंकि हमारे पास अधिक संभावित क्रमपरिवर्तन होंगे, जिसका अर्थ है कि हम कभी भी एक ही दो बार नहीं मिल सकते हैं। उदाहरण के लिए, यदि तीन संभावित इनपुट ( किक , हैंड और ब्लॉक ) हैं और हम 10-ग्राम का उपयोग करते हैं, तो लगभग 60 हजार अलग-अलग क्रमपरिवर्तन होंगे।

बिग्राम मॉडल अनिवार्य रूप से एक मार्कोव तुच्छ श्रृंखला है - प्रत्येक जोड़ी "भविष्य की स्थिति / वर्तमान स्थिति" एक विक्रम है और हम पहले के आधार पर दूसरे राज्य की भविष्यवाणी कर सकते हैं। ट्रिग्राम और बड़े एन-ग्राम को मार्कोव श्रृंखला के रूप में भी माना जा सकता है, जहां एन-ग्राम के सभी तत्व, अंतिम को छोड़कर, पहला राज्य बनाते हैं, और अंतिम तत्व दूसरा राज्य है। हमारे लड़ाई के खेल के उदाहरण में, किक करने की स्थिति से किक करने और लात मारने की स्थिति से संक्रमण की संभावना , फिर किकिंग प्रस्तुत की जाती है।। इनपुट इतिहास के कई तत्वों को एक तत्व के रूप में स्वीकार करते हुए, हम अनिवार्य रूप से इनपुट अनुक्रम को राज्य के एक टुकड़े में बदल देते हैं, जो हमें एक मार्कोव संपत्ति देता है, जिससे हमें अगले इनपुट की भविष्यवाणी करने के लिए मार्कोव श्रृंखला का उपयोग करने की अनुमति मिलती है, जो अनुमान लगाता है कि कौन सा हास्य आंदोलन का पालन करेगा।

ज्ञान का प्रतिनिधित्व

हमने निर्णय लेने, योजना बनाने और पूर्वानुमान लगाने के कई तरीकों पर चर्चा की, और ये सभी दुनिया की स्थिति के एजेंट की टिप्पणियों पर आधारित हैं। लेकिन हम पूरे खेल की दुनिया को प्रभावी ढंग से कैसे देख सकते हैं? ऊपर, हमने देखा कि दुनिया की ज्यामिति का प्रतिनिधित्व करने का तरीका इसके साथ आंदोलन को बहुत प्रभावित करता है, इसलिए यह कल्पना करना आसान है कि यह खेल एआई के अन्य पहलुओं के लिए सच है। हम सभी आवश्यक जानकारी को एक इष्टतम तरीके से कैसे इकट्ठा और व्यवस्थित कर सकते हैं (ताकि यह अक्सर अद्यतन और कई एजेंटों के लिए सुलभ हो) और व्यावहारिक (ताकि जानकारी निर्णय प्रक्रिया में आसानी से उपयोग की जा सके)? सूचना या ज्ञान में सरल डेटा को कैसे चालू करें ? विभिन्न खेलों के लिए, समाधान अलग हो सकते हैं, लेकिन कई सबसे लोकप्रिय दृष्टिकोण हैं।

टैग / टैग

कभी-कभी हमारे पास पहले से ही उपयोगी डेटा की एक बड़ी मात्रा होती है, और हमें केवल एक चीज की आवश्यकता होती है जो इसे वर्गीकृत करने और इसे खोजने का एक अच्छा तरीका है। उदाहरण के लिए, खेल की दुनिया में कई ऑब्जेक्ट हो सकते हैं, और उनमें से कुछ दुश्मन की गोलियों से अच्छे आश्रय हैं। या, उदाहरण के लिए, हमारे पास रिकॉर्ड किए गए ऑडियो संवादों का एक गुच्छा है जो विशिष्ट स्थितियों में लागू होते हैं, और हमें उन्हें जल्दी से पता लगाने का एक तरीका चाहिए। स्पष्ट कदम अतिरिक्त जानकारी का एक छोटा सा टुकड़ा जोड़ना है जिसे आप खोज करने के लिए उपयोग कर सकते हैं। ऐसे अंशों को टैग या टैग कहा जाता है ।

आइए आश्रय उदाहरण पर वापस जाएं; खेल की दुनिया में वस्तुओं का एक गुच्छा हो सकता है - बक्से, बैरल, घास का गुच्छा, तार की बाड़। उनमें से कुछ आश्रय के लिए उपयुक्त हैं, उदाहरण के लिए, बक्से और बैरल, अन्य नहीं। इसलिए, जब हमारा एजेंट "मूव टू शेल्टर" क्रिया करता है, तो उसे आस-पास की वस्तुओं की खोज करनी चाहिए और उपयुक्त उम्मीदवारों की पहचान करनी चाहिए। वह केवल नाम से नहीं खोज सकता है - शायद खेल में Crate_01, Crate_02, Crate_27 तक है, और हम कोड में इन सभी नामों की तलाश नहीं करना चाहते हैं। जब भी कलाकार बॉक्स या बैरल का नया बदलाव करता है, हम कोड में एक और नाम जोड़ना नहीं चाहते हैं। इसके बजाय, आप किसी भी नाम की खोज कर सकते हैं जिसमें "क्रेट" शब्द शामिल है, लेकिन एक दिन एक कलाकार एक विशाल छेद के साथ "ब्रोकन_क्रीट" जोड़ सकता है, आश्रय के रूप में अनुपयुक्त।

इसलिए, इसके बजाय, हम एक "कवर" टैग बनाएंगे और कलाकारों और डिजाइनरों से इस टैग को उन सभी वस्तुओं के साथ संलग्न करने के लिए कहेंगे जिनका उपयोग आश्रय के लिए किया जा सकता है। यदि वे सभी बैरल और (पूरे) बक्से में एक टैग जोड़ते हैं, तो एआई प्रक्रिया को केवल इस टैग के साथ ऑब्जेक्ट खोजने की आवश्यकता होगी, और यह पता चलेगा कि ऑब्जेक्ट इस उद्देश्य के लिए उपयुक्त हैं। टैग तब भी काम करेगा जब वस्तुओं का बाद में नाम बदल दिया जाए, और कोड में अनावश्यक बदलाव किए बिना इसे भविष्य में वस्तुओं में जोड़ा जा सकता है।

कोड में, टैग को आमतौर पर स्ट्रिंग्स के रूप में दर्शाया जाता है, लेकिन यदि उपयोग किए गए सभी टैग ज्ञात हैं, तो आप अंतरिक्ष को बचाने और खोज को गति देने के लिए स्ट्रिंग्स को अद्वितीय संख्या में परिवर्तित कर सकते हैं। कुछ इंजनों में, टैग अंतर्निहित कार्यक्षमता के लिए होते हैं, उदाहरण के लिए, एकता में और अवास्तविक इंजन 4 में , इसलिए, उनमें टैग का विकल्प निर्धारित करना और उन्हें अपने इच्छित उद्देश्य के लिए उपयोग करना पर्याप्त है।

स्मार्ट ऑब्जेक्ट्स

टैग एजेंट के वातावरण में अतिरिक्त जानकारी जोड़ने का एक तरीका है, जो उसे उपलब्ध विकल्पों का पता लगाने में मदद करता है, ताकि "मेरे पीछे छुपाने के लिए सभी निकटतम स्थानों का पता लगाएं" या "मुझे आसपास के सभी दुश्मनों को ढूंढें जो मंत्र डाल सकते हैं" कुशलता से किए जाते हैं। न्यूनतम प्रयास के साथ नए खेल संसाधनों के लिए काम किया। लेकिन कभी-कभी टैग में उनके पूर्ण उपयोग के लिए पर्याप्त जानकारी नहीं होती है।

एक मध्ययुगीन शहर के एक सिम्युलेटर की कल्पना करें जिसमें साहसी लोग घूमते हैं, जहां वे चाहते हैं, यदि आवश्यक हो, ट्रेन, लड़ाई और आराम करें। हम शहर के विभिन्न हिस्सों में प्रशिक्षण स्थलों की व्यवस्था कर सकते हैं और उन्हें "प्रशिक्षण" टैग दे सकते हैं ताकि पात्रों को प्रशिक्षण के लिए आसानी से जगह मिल सके। लेकिन आइए कल्पना करें कि उनमें से एक तीरंदाजों के लिए एक शूटिंग रेंज है, और दूसरा जादूगरों का एक स्कूल है। इन मामलों में से प्रत्येक में, हमें अपने एनीमेशन को दिखाने की आवश्यकता है, क्योंकि "प्रशिक्षण" के सामान्य नाम के तहत वे विभिन्न कार्यों का प्रतिनिधित्व करते हैं, और प्रत्येक साहसी दोनों प्रकार के प्रशिक्षण में रुचि नहीं है। आप और भी अधिक गहराई तक जा सकते हैं और ARCHERY-TRAINING और MAGIC-TRAINING टैग बना सकते हैं, एक-दूसरे से अलग-अलग प्रशिक्षण प्रक्रियाएं कर सकते हैं और उन्हें प्रत्येक अलग एनीमेशन में एम्बेड कर सकते हैं। यह समस्या को हल करने में मदद करेगा। लेकिन कल्पना कीजिएकि डिजाइनर बाद में घोषणा करेंगे "चलो एक रॉबिन हूड स्कूल है जहाँ आप तीरंदाजी और तलवार की लड़ाई सीख सकते हैं"! और फिर, जब हम तलवार की लड़ाई को जोड़ते हैं, तो वे मंत्र और तलवार की लड़ाई के गंडालफ अकादमी के निर्माण के लिए पूछते हैं। नतीजतन, हमें प्रत्येक स्थान के लिए कई टैग संग्रहीत करने होंगे और चरित्र की आवश्यकता आदि के प्रशिक्षण के किस पहलू के आधार पर विभिन्न एनिमेशन देखने होंगे।

एक और तरीका यह है कि खिलाड़ी पर सीधे प्रभाव के साथ वस्तु में जानकारी संग्रहीत की जाए, ताकि एआई अभिनेता केवल संभावित विकल्पों को सूचीबद्ध कर सके और एजेंट की जरूरतों के अनुसार उनका चयन कर सके। उसके बाद, वह उपयुक्त स्थान पर जा सकता है, उचित एनिमेशन (या किसी अन्य अनिवार्य क्रियाएं) कर सकता है, जैसा कि ऑब्जेक्ट में इंगित किया गया है, और उचित इनाम प्राप्त करता है।

	चल रहा एनीमेशन	उपयोगकर्ता परिणाम
शूटिंग रेंज	शूट-तीर	+10 तीरंदाजी कौशल
जादू का स्कूल	तलवार-द्वंद्वयुद्ध	+10 तलवार का कौशल
रॉबिन हुड स्कूल	शूट-तीर	+15 तीरंदाजी कौशल
	तलवार-द्वंद्वयुद्ध	+8 तलवार का कौशल
गंडालफ अकादमी	तलवार-द्वंद्वयुद्ध	+5 तलवार का कौशल
	कास्ट मंत्र	+10 मैजिक स्किल

इन 4 स्थानों के बगल वाले आर्चर वर्ण में 6 विकल्प होंगे, जिनमें से 4 उस पर लागू नहीं होते हैं यदि वह तलवार या जादू का उपयोग नहीं करता है। एक नाम या टैग के बजाय कौशल में सुधार के साथ इस मामले में परिणाम की तुलना करते हुए, हम आसानी से नए व्यवहार के साथ दुनिया की संभावनाओं का विस्तार कर सकते हैं। आप अपनी भूख को आराम करने और संतुष्ट करने के लिए होटल जोड़ सकते हैं। आप पात्रों को पुस्तकालय में जाने और मंत्र और उन्नत तीरंदाजी तकनीकों के बारे में पढ़ने दे सकते हैं।

वस्तु का नाम	चल रहा एनीमेशन	अंतिम परिणाम
होटल	खरीदें	-10 भूख से
होटल	नींद	-50 को थकान
पुस्तकालय	पुस्तक पढ़ें	+10 स्पेलकास्टिंग स्किल
पुस्तकालय	पुस्तक पढ़ें	+5 तीरंदाजी कौशल

यदि हमारे पास पहले से ही "अभ्यास तीरंदाजी" व्यवहार है, तो यहां तक ​​कि अगर हम पुस्तकालय को ARCHERY-TRAINING के लिए एक स्थान के रूप में चिह्नित करते हैं, तो हमें सामान्य तलवार-लड़ाई एनीमेशन के बजाय पठन-पुस्तक एनीमेशन के प्रसंस्करण के लिए एक विशेष मामले की आवश्यकता है। यह प्रणाली इन संघों को डेटा में स्थानांतरित करके और डेटा को दुनिया में संग्रहीत करके हमें अधिक लचीलापन प्रदान करती है।

वस्तुओं या स्थानों का अस्तित्व - पुस्तकालय, होटल या स्कूल - हमें उन सेवाओं के बारे में बताते हैं जो वे प्रदान करते हैं, चरित्र के बारे में जो उन्हें मिल सकती है, आपको कम संख्या में एनिमेशन का उपयोग करने की अनुमति देता है। परिणामों के बारे में सरल निर्णय लेने की क्षमता आपको विभिन्न प्रकार के दिलचस्प व्यवहार बनाने की अनुमति देती है। निष्क्रिय रूप से अनुरोध की प्रतीक्षा करने के बजाय, ये वस्तुएं इनका उपयोग कैसे और क्यों करें, इसके बारे में जानकारी प्रदान कर सकती हैं।

रिएक्शन घटता है

अक्सर ऐसी स्थिति होती है जहां दुनिया के राज्य के हिस्से को निरंतर मूल्य के रूप में मापा जा सकता है। उदाहरण:

• "स्वास्थ्य का प्रतिशत" आमतौर पर 0 (मृत) से लेकर 100 (बिल्कुल स्वस्थ) तक होता है
• "निकटतम दुश्मन की दूरी" 0 से कुछ मनमाना सकारात्मक मूल्य में भिन्न होता है

इसके अलावा, गेम में AI सिस्टम का कुछ पहलू हो सकता है, जिसमें कुछ अन्य अंतराल में निरंतर मूल्यों के इनपुट की आवश्यकता होती है। उदाहरण के लिए, भागने का निर्णय लेने के लिए, एक उपयोगिता रेटिंग प्रणाली को निकटतम दुश्मन और चरित्र के वर्तमान स्वास्थ्य दोनों से दूरी की आवश्यकता हो सकती है।

हालाँकि, सिस्टम केवल "सुरक्षा" का एक निश्चित स्तर प्राप्त करने के लिए दुनिया के राज्य के दो मूल्यों को जोड़ नहीं सकता है, क्योंकि माप की ये दो इकाइयाँ अतुलनीय हैं - सिस्टम मान लेंगे कि दुश्मन से लगभग 200 मीटर की दूरी पर एक ही सुरक्षा में है, जो बिल्कुल स्वस्थ है चरित्र दुश्मन से 100 मीटर की दूरी पर। इसके अलावा, जबकि एक व्यापक अर्थ में स्वास्थ्य का प्रतिशत मूल्य रैखिक है, दूरी यह नहीं है कि - दुश्मन 200 और 190 मीटर की दूरी में अंतर 10 मीटर और शून्य के बीच के अंतर से कम महत्वपूर्ण है।

आदर्श रूप से, हमें एक समाधान की आवश्यकता है जो दो संकेतक लेता है और उन्हें समान अंतराल में परिवर्तित करता है ताकि उनकी तुलना सीधे की जा सके। और हमें डिजाइनरों को नियंत्रित करने की आवश्यकता है कि इन परिवर्तनों की गणना प्रत्येक मूल्य के सापेक्ष महत्व को नियंत्रित करने के लिए कैसे की जाए। इस प्रयोजन के लिए प्रतिक्रिया वक्र (रिस्पांस वक्र) का उपयोग किया जाता है।

प्रतिक्रिया वक्र की व्याख्या करने का सबसे आसान तरीका एक्स अक्ष के साथ इनपुट के साथ एक ग्राफ के रूप में है, मनमाना मूल्य, जैसे "निकटतम दुश्मन से दूरी" और वाई अक्ष के साथ आउटपुट (आमतौर पर 0.0 से 1.0 की सीमा में एक सामान्यीकृत मान)। चार्ट पर एक लाइन या वक्र सामान्यीकृत आउटपुट के लिए इनपुट के बंधन को निर्धारित करता है, और डिजाइनर इन पंक्तियों को उनके द्वारा अपेक्षित व्यवहार प्राप्त करने के लिए समायोजित करते हैं।

"सुरक्षा" के स्तर की गणना करने के लिए, आप प्रतिशत स्वास्थ्य मूल्यों की रैखिकता बनाए रख सकते हैं - उदाहरण के लिए, 10% अधिक स्वास्थ्य - यह आमतौर पर अच्छा होता है जब चरित्र गंभीर रूप से घायल हो जाता है और जब वह आसानी से घायल हो जाता है। इसलिए, हम इन मानों को 0 से 1 तक के अंतराल पर सीधे तरीके से निर्दिष्ट करते हैं:


निकटतम शत्रु से दूरी थोड़ी अलग है, इसलिए हम एक निश्चित दूरी (50 मीटर कहते हैं) से परे दुश्मनों द्वारा सभी परेशान नहीं हैं, और हम थोड़ी दूरी पर अंतर की तुलना में अधिक अंतर में रुचि रखते हैं।

यहां हम देखते हैं कि 40 और 50 मीटर की दूरी पर दुश्मनों के लिए "सुरक्षा" का उत्पादन लगभग समान है: 0.96 और 1.0।


हालाँकि, 15 मीटर (लगभग 0.5) पर दुश्मन और 5 मीटर (लगभग 0.2) पर दुश्मन के बीच बहुत बड़ा अंतर है। इस तरह के एक कार्यक्रम बेहतर दुश्मन के करीब होने के महत्व को दर्शाता है।

0 से 1 की सीमा में इन दोनों मूल्यों को सामान्य करके, हम इन दो इनपुट मानों के औसत के रूप में कुल सुरक्षा मान की गणना कर सकते हैं। 20% स्वास्थ्य के साथ एक चरित्र और 50 मीटर की दूरी पर दुश्मन 0.6 का सुरक्षा स्कोर होगा। 75% स्वास्थ्य और सिर्फ 5 मीटर की दूरी पर दुश्मन के साथ एक चरित्र 0.47 का सुरक्षा स्कोर होगा। 10% स्वास्थ्य के साथ एक गंभीर रूप से घायल चरित्र और 5 मीटर का दुश्मन केवल 0.145 का सुरक्षा सूचकांक होगा।

निम्नलिखित पर यहां विचार किया जाना चाहिए:

• — , .
• — , , 50 — , , .
• , ( ) . , — , Unity AnimationCurve , .

Blackboards

अक्सर हम खुद को ऐसी स्थिति में पाते हैं जहां एजेंट के लिए एआई को खेल के दौरान प्राप्त ज्ञान और जानकारी की निगरानी करना शुरू करना चाहिए ताकि उनका उपयोग आगे के निर्णय लेने में किया जा सके। उदाहरण के लिए, एक एजेंट को यह याद रखने की आवश्यकता हो सकती है कि उस चरित्र के अंतिम समय में उसने किस अंतिम चरित्र पर हमला किया था। या उसे यह याद रखना चाहिए कि शोर सुनने के बाद उसे कितना समय बीत चुका है, ताकि एक निश्चित अवधि के बाद वह अपने कारणों की तलाश में रुक जाए और अपनी पिछली पढ़ाई पर वापस लौट आए। बहुत बार, डेटा रिकॉर्डिंग सिस्टम को डेटा रीडिंग सिस्टम से दृढ़ता से अलग किया जाता है, इसलिए इसे एजेंट से आसानी से सुलभ होना चाहिए, और सीधे विभिन्न एआई सिस्टम में नहीं बनाया जाना चाहिए। पढ़ने लिखने के कुछ समय बाद हो सकता है, इसलिए डेटा को कहीं संग्रहीत करने की आवश्यकता होती है,ताकि बाद में उन्हें पुनः प्राप्त किया जा सके (और मांग पर गणना नहीं की जा सकती, जो संभव नहीं है)।

एक हार्ड-कोडेड एआई सिस्टम में, समाधान आवश्यकता की प्रक्रिया में आवश्यक चर जोड़ने के लिए हो सकता है। ये चर वर्ण या एजेंट के उदाहरणों से संबंधित हैं, या तो इसमें सीधे एकीकृत होते हैं, या ऐसी जानकारी के लिए एक अलग संरचना / वर्ग बनाते हैं। इस डेटा को पढ़ने और लिखने के लिए AI प्रक्रियाओं को अनुकूलित किया जा सकता है। एक सरल प्रणाली में, यह अच्छी तरह से काम करेगा, लेकिन जैसे ही अधिक जानकारी जोड़ी जाती है, यह बोझिल हो जाता है, और आमतौर पर हर बार खेल के पुनर्निर्माण की आवश्यकता होती है।

एक बेहतर तरीका डेटा वेयरहाउस को एक संरचना में बदलना है जो सिस्टम को मनमाना डेटा पढ़ने और लिखने की अनुमति देता है। यह समाधान आपको डेटा संरचना को बदलने की आवश्यकता के बिना नए चर जोड़ने की अनुमति देता है, इस प्रकार उन परिवर्तनों की संख्या में वृद्धि करने की क्षमता प्रदान करता है जो डेटा फ़ाइलों और लिपियों से पुनर्मूल्यांकन की आवश्यकता के बिना किए जा सकते हैं। यदि प्रत्येक एजेंट केवल कुंजी-मूल्य वाले जोड़े की सूची संग्रहीत करता है, जिनमें से प्रत्येक ज्ञान का एक अलग टुकड़ा है, तो अलग-अलग AI सिस्टम इस जानकारी को जोड़ सकते हैं और यदि आवश्यक हो तो इसे पढ़कर सहयोग कर सकते हैं।

एआई के विकास में, इस तरह के दृष्टिकोण को "ब्लैकबोर्ड" ("ब्लैकबोर्ड") कहा जाता है, क्योंकि प्रत्येक प्रतिभागी - हमारे मामले में, ये एआई प्रक्रियाएं हैं (उदाहरण के लिए, धारणा, एक रास्ता खोजना और निर्णय लेना) - "ब्लैकबोर्ड" को लिख सकते हैं, जिसमें से पढ़ें उनके कार्य के प्रदर्शन के लिए डेटा कोई अन्य प्रतिभागी हो सकता है। आप इसकी कल्पना कर सकते हैं कि विशेषज्ञों की एक टीम ने बोर्ड के चारों ओर इकट्ठा किया और उस पर कुछ उपयोगी लिखा जिसे आपको समूह के साथ साझा करने की आवश्यकता है। एक ही समय में, वे अपने सहयोगियों के पिछले नोट पढ़ सकते हैं जब तक कि वे एक संयुक्त निर्णय या योजना नहीं आते। कोड में आम चर की एक हार्ड-कोडित सूची को कभी-कभी "स्थिर ब्लैकबोर्ड" कहा जाता है (क्योंकि तत्व जिसमें जानकारी संग्रहीत की जाती है, प्रोग्राम निष्पादन के दौरान स्थिर है), और कुंजी-मूल्य वाले जोड़े की एक मनमानी सूची को अक्सर "डायनेमिक ब्लैकबोर्ड" कहा जाता है।लेकिन उनका उपयोग लगभग उसी तरह से किया जाता है - एआई सिस्टम के कुछ हिस्सों के बीच एक मध्यवर्ती लिंक के रूप में।

पारंपरिक एआई में, आम तौर पर संयुक्त निर्णय लेने के लिए विभिन्न प्रणालियों के सहयोग पर जोर दिया जाता है, लेकिन गेम एआई में अपेक्षाकृत कुछ सिस्टम मौजूद हैं। हालाँकि, सहयोग की एक निश्चित डिग्री अभी भी मौजूद हो सकती है। एक्शन आरपीजी में निम्नलिखित की कल्पना करें:

• "धारणा" प्रणाली नियमित रूप से क्षेत्र को स्कैन करती है और ब्लैकबोर्ड में निम्नलिखित प्रविष्टियां लिखती है:
  
  • निकटतम शत्रु: भूत 412
    
  • "निकटतम दुश्मन की दूरी": 35.0
    
  • "करीबी दोस्त": "योद्धा 43"
    
  • "निकटतम दोस्त से दूरी": 55.4
    
  • "अंतिम शोर का समय देखा गया": दोपहर 12:45 बजे
• एक लड़ाकू प्रणाली की तरह सिस्टम एक ब्लैकबोर्ड पर प्रमुख घटनाओं को रिकॉर्ड कर सकता है, उदाहरण के लिए:
  
  • अंतिम नुकसान लिया: दोपहर 12:34

इनमें से कई डेटा निरर्थक लग सकते हैं - अंत में, आप हमेशा निकटतम दुश्मन से दूरी पा सकते हैं, बस यह जानते हुए कि यह दुश्मन कौन है और अपनी स्थिति के लिए एक अनुरोध को पूरा करके। लेकिन जब प्रति फ्रेम कई बार दोहराया जाता है, तो यह तय करने के लिए कि कोई एजेंट किसी चीज़ की धमकी दे रहा है या नहीं, यह संभावित रूप से धीमा ऑपरेशन बन जाता है, खासकर अगर उसे निकटतम दुश्मन को निर्धारित करने के लिए एक स्थानिक क्वेरी करने की आवश्यकता होती है। और "अंतिम शोर देखा" या "अंतिम क्षति प्राप्त" की टाइमस्टैम्प अभी भी तात्कालिक नहीं हो पाएगी - आपको यह समय रिकॉर्ड करने की आवश्यकता है कि ये घटनाएँ हुईं, और ब्लैकबोर्ड इसके लिए एक सुविधाजनक स्थान है।

अवास्तविक इंजन 4 व्यवहार पेड़ों द्वारा प्रेषित डेटा को संग्रहीत करने के लिए एक गतिशील ब्लैकबोर्ड प्रणाली का उपयोग करता है। इस साझा डेटा ऑब्जेक्ट के लिए धन्यवाद, डिज़ाइनर अपने ब्लूप्रिंट (दृश्य स्क्रिप्ट) के आधार पर ब्लैकबोर्ड पर नए मान आसानी से लिख सकते हैं, और व्यवहार ट्री बाद में व्यवहार का चयन करने के लिए इन मानों को पढ़ सकता है, और इस सब के लिए इंजन पुनर्संयोजन की आवश्यकता नहीं है।

प्रभाव मानचित्र

एआई में मानक कार्य यह तय करना है कि एजेंट को कहां स्थानांतरित करना चाहिए। शूटर में हम कार्रवाई "शेल्टर में ले जाएँ" का चयन कर सकते हैं, लेकिन यह कैसे तय करें कि शेल्टर दुश्मनों की स्थितियों में कहाँ है? "एस्केप" कार्रवाई के समान - भागने का सबसे सुरक्षित तरीका कहां है? या आरटीएस में, हमें दुश्मन की रक्षा में कमजोर स्थान पर हमला करने के लिए सैनिकों की आवश्यकता हो सकती है - हम यह कैसे निर्धारित करते हैं कि यह कमजोर स्थान कहां है?

इन सभी सवालों को भौगोलिक कार्य माना जा सकता है, क्योंकि हम पर्यावरण की ज्यामिति और आकार और उसमें संस्थाओं की स्थिति के बारे में एक प्रश्न पूछते हैं। हमारे खेल में, यह सब डेटा सबसे पहले से ही उपलब्ध होने की संभावना है, लेकिन उन्हें अर्थ देना आसान काम नहीं है। उदाहरण के लिए, यदि हम दुश्मन की रक्षा में एक कमजोर स्थान ढूंढना चाहते हैं, तो बस सबसे कमजोर इमारत या किलेबंदी की स्थिति को चुनना काफी अच्छा नहीं है यदि उनके पास दो शक्तिशाली बंदूक सिस्टम हैं, जो फ़्लैक्स पर हैं। हमें स्थानीय क्षेत्र को ध्यान में रखने और स्थिति का बेहतर विश्लेषण देने की जरूरत है।

यह वह है जो "प्रभाव मानचित्र" डेटा संरचना के लिए है। यह "प्रभाव" का वर्णन करता है जो एक इकाई के आसपास के क्षेत्र पर हो सकता है। कई संस्थाओं के प्रभाव को जोड़ते हुए, हम पूरे परिदृश्य पर अधिक यथार्थवादी रूप बनाते हैं। कार्यान्वयन के दृष्टिकोण से, हम इस पर एक 2D ग्रिड सुपरइम्पोज़ करके खेल की दुनिया का अनुमान लगाते हैं, और यह पता लगाने के बाद कि इकाई का ग्रिड किस सेल में है, हम गेमप्ले के पहलू को इंगित करते हुए इस और आस-पास की कोशिकाओं पर प्रभाव आकलन लागू करते हैं, जिसे हम अनुकरण करना चाहते हैं। पूरी तस्वीर प्राप्त करने के लिए, हम इन मूल्यों को एक ही ग्रिड में जमा करते हैं। उसके बाद, हम दुनिया को समझने और स्थिति और लक्ष्य बिंदुओं पर निर्णय लेने के लिए विभिन्न ग्रिड क्वेरी कर सकते हैं।

उदाहरण के लिए, "दुश्मन के बचाव में सबसे कमजोर बिंदु।" हमारे पास एक रक्षात्मक दीवार है, जिसके हमले पर हम पैदल सैनिकों को भेजना चाहते हैं, लेकिन इसके पीछे 3 प्रलय हैं - 2 बाईं ओर एक दूसरे के करीब, 1 दाईं ओर। हम एक अच्छे हमले की स्थिति कैसे चुनते हैं?

शुरू करने के लिए, हम गुलेल हमले के भीतर ग्रिड के सभी कोशिकाओं को +1 सुरक्षा बिंदु दे सकते हैं। एक गुलेल के लिए प्रभाव मानचित्र पर इन बिंदुओं को आकर्षित करना इस तरह दिखता है:


नीली आयत सभी कोशिकाओं को सीमित करती है जिसमें आप दीवार पर हमला शुरू कर सकते हैं। लाल वर्ग +1 गुलेल प्रभाव को दर्शाता है। हमारे मामले में, इसका मतलब है उनके हमले का क्षेत्र और हमलावर इकाइयों के लिए खतरा।

अब हम दूसरे गुलेल के प्रभाव को जोड़ते हैं:


हमारे पास एक अंधेरा क्षेत्र है जिसमें दो कैटापोल्ट का प्रभाव बनता है, जो इन कोशिकाओं को +2 सुरक्षा देता है। ब्लू जोन के अंदर सेल +2 दीवार पर हमला करने के लिए एक विशेष रूप से खतरनाक जगह हो सकती है! अंतिम गुलेल का प्रभाव जोड़ें:


[प्रतीक: CC-BY: https://game-icons.net/heavenly-dog/originals/defensive-wall.html ]

अब हमारे पास कैटापॉल्ट द्वारा कवर किए गए क्षेत्र का एक पूरा पदनाम है। संभावित हमले के क्षेत्र में, +2 गुलेल के प्रभाव वाली एक कोशिका, +1 प्रभाव वाली 11 कोशिकाएँ और 0 गुलेल के प्रभाव वाली 2 कोशिकाएँ हैं - ये हमले की स्थिति के लिए मुख्य उम्मीदवार हैं, उनमें हम गुलेल की आग के डर के बिना दीवार पर हमला कर सकते हैं।

प्रभाव के नक्शों का लाभ यह है कि वे एक निरंतर स्थान को लगभग पदों के लगभग अनंत सेटों के साथ असतत सेटों में बदल देते हैं, जिसके बारे में हम बहुत जल्दी निर्णय ले सकते हैं।

हालांकि, हमने कम संख्या में संभावित हमले वाले पदों को चुनकर यह लाभ प्राप्त किया। हमें मैन्युअल रूप से इन पदों के प्रत्येक गुलेल से दूरी की जांच करने के बजाय यहां प्रभाव मानचित्र का उपयोग क्यों करना चाहिए?

सबसे पहले, एक प्रभाव मानचित्र की गणना बहुत सस्ती हो सकती है। प्रभाव अंक कार्ड पर डाल दिए जाने के बाद, इसे तब तक बदलने की आवश्यकता नहीं है जब तक कि संस्थाओं को स्थानांतरित करना शुरू न हो जाए। इसका मतलब है कि हमें लगातार दूरी की गणना करने की आवश्यकता नहीं है या हर संभव इकाई से पूछताछ करना है - हम इस जानकारी को मानचित्र में "सेंकना" करते हैं और किसी भी समय इसके लिए अनुरोध भेज सकते हैं।

दूसरे, हम अधिक जटिल प्रश्नों को पूरा करने के लिए विभिन्न प्रभाव मानचित्रों को ओवरलैप और संयोजित कर सकते हैं। उदाहरण के लिए, बचने के लिए एक सुरक्षित जगह का चयन करने के लिए, हम अपने दुश्मनों के प्रभाव का एक नक्शा ले सकते हैं और अपने दोस्तों के नक्शे को घटा सकते हैं - सबसे बड़े नकारात्मक मूल्य वाले ग्रिड कोशिकाओं को सुरक्षित माना जाएगा।


रेडर, अधिक खतरनाक, और हरियाली, सुरक्षित। जिन क्षेत्रों में ओवरलैप प्रभावित होते हैं, वे प्रभाव के परस्पर विरोधी क्षेत्रों को प्रतिबिंबित करने के लिए पूरी तरह या आंशिक रूप से बेअसर हो सकते हैं।

अंत में, प्रभाव मानचित्रों को दुनिया में प्रस्तुत करते समय कल्पना करना आसान है। वे डिजाइनरों के लिए एक मूल्यवान संकेत हो सकते हैं जिन्हें दृश्य गुणों के आधार पर AI को अनुकूलित करने की आवश्यकता होती है, और उन्हें वास्तविक समय में यह देखने के लिए देखा जा सकता है कि AI अपने फैसले क्यों चुनता है।

निष्कर्ष

मुझे उम्मीद है कि लेख ने आपको गेमिंग एआई में उपयोग किए जाने वाले सबसे लोकप्रिय टूल और दृष्टिकोणों का अवलोकन दिया था, साथ ही ऐसी परिस्थितियां भी थीं जिनमें उन्हें लागू किया जा सकता है। लेख में कई अन्य तकनीकों पर विचार नहीं किया गया था (उनका उपयोग अक्सर कम किया जाता है, लेकिन संभवतः उतना ही प्रभावी हो सकता है), निम्नलिखित सहित:

• अनुकूलन कार्य एल्गोरिदम, शीर्ष पर चढ़ने, ढाल वंश, और आनुवंशिक एल्गोरिदम सहित।
• प्रतिस्पर्धात्मक खोज / योजना एल्गोरिदम जैसे कि मिनिमैक्स और अल्फा बीटा क्लिपिंग
• वर्गीकरण तकनीक, उदाहरण के लिए, अवधारणात्मक, तंत्रिका नेटवर्क और समर्थन वेक्टर विधि
• एजेंट धारणा और मेमोरी प्रोसेसिंग सिस्टम
• AI के लिए आर्किटेक्चरल दृष्टिकोण, जैसे कि हाइब्रिड सिस्टम, प्रेडिकलिव आर्किटेक्चर (ब्रूक्स आर्किटेक्चर) और अन्य सिस्टम को परतों में विघटित करने के अन्य तरीके।
• मोशन प्लानिंग और मोशन मैचिंग जैसे एनीमेशन टूल
• प्रदर्शन से संबंधित कार्य जैसे कि विस्तार का स्तर, कभी भी एल्गोरिदम, और समयबद्धता

इन विषयों के बारे में अधिक पढ़ने के लिए, साथ ही साथ इस लेख में चर्चा किए गए विषय, आप निम्नलिखित स्रोतों का अध्ययन कर सकते हैं।

• GameDev.net में आर्टिफिशियल इंटेलिजेंस पर आर्टिकल और ट्यूटोरियल हैं , साथ ही आर्टिफिशियल इंटेलिजेंस पर एक फोरम भी है ।
• पर AiGameDev.com कई प्रस्तुतियों और खेल विकास के संदर्भ में कृत्रिम बुद्धि के विषयों की एक विस्तृत श्रृंखला पर लेख है
• जीडीसी वॉल्ट में जीडीसी एआई शिखर सम्मेलन की रिपोर्ट है, जिनमें से कई मुफ्त में उपलब्ध हैं: https://www.gdcvault.com/
  
• इसके अलावा, एआई गेम प्रोग्रामर्स गिल्ड के पास इस समिट से पुराने लेखों और प्रस्तुतियों के लिंक का एक गुच्छा है: http://gameai.com/
  
• एआई शोधकर्ता और गेम डेवलपर टॉमी थॉम्पसन का एक YouTube चैनल है जो वाणिज्यिक खेलों में एआई को समझाने और उसकी खोज के लिए समर्पित है: https://www.youtube.com/user/tthompso

निम्न सहित कई उच्च गुणवत्ता की सामग्री पुस्तकों में पाई जा सकती है:

• गेम एआई प्रो सीरीज़ छोटे लेखों का एक संग्रह है जिसमें बताया गया है कि विशिष्ट सुविधाओं को कैसे लागू किया जाए या विशिष्ट समस्याओं को हल किया जाए। Http://www.gameaipro.com/ पर पिछली किताबों से मुफ्त स्निपेट पोस्ट किए।
  
  • गेम एआई प्रो: गेम एआई प्रोफेशनल की एकत्रित बुद्धि
    
  • गेम AI प्रो 2: गेम AI प्रोफेशनल की एकत्रित बुद्धि
    
  • गेम AI प्रो 3: गेम AI प्रोफेशनल की एकत्रित बुद्धि
    
  
  
• AI Game Programming Wisdom Game AI Pro. , . , !
  
  
  • AI Game Programming Wisdom 1
    
  • AI Game Programming Wisdom 2
    
  • AI Game Programming Wisdom 3
    
  • AI Game Programming Wisdom 4
    
• Artificial Intelligence: A Modern Approach — , . , , , .

इसके अलावा, गेमिंग AI के बारे में कई अच्छी किताबें हैं, जो उद्योग में पेशेवरों द्वारा लिखी गई हैं। किसी एक को वरीयता देना मुश्किल है - समीक्षाओं को पढ़ें और जो आपको सूट करता है उसे चुनें।