गेम एआई कैसे बनाएं: शुरुआती लोगों के लिए एक गाइड

मुझे खेलों में कृत्रिम बुद्धिमत्ता के बारे में रोचक सामग्री मिली। सरल उदाहरणों का उपयोग करके एआई के बारे में बुनियादी चीजों की व्याख्या के साथ, और इसके सुविधाजनक विकास और डिजाइन के लिए कई उपयोगी उपकरण और तरीके हैं। उन्हें कैसे, कहां और कब इस्तेमाल करना है - यह भी है।

अधिकांश उदाहरण छद्मकोड में लिखे गए हैं, इसलिए गहन प्रोग्रामिंग ज्ञान की आवश्यकता नहीं है। चित्र और गिफ के साथ पाठ की कटौती के तहत 35 शीट, इसलिए तैयार हो जाओ।

युपीडी। मुझे खेद है , लेकिन PatientZero ने पहले ही Habré पर इस लेख का अनुवाद किया। आप यहां इसका संस्करण पढ़ सकते हैं, लेकिन किसी कारण से लेख ने मुझे पास कर दिया (मैंने खोज का उपयोग किया, लेकिन कुछ गलत हो गया)। और जब से मैं एक गेम देव ब्लॉग लिख रहा हूं, मैंने ग्राहकों के लिए अपना अनुवाद विकल्प छोड़ने का फैसला किया (कुछ पल मेरे लिए अलग हैं, कुछ जानबूझकर डेवलपर्स की सलाह पर याद किए जाते हैं)।

AI क्या है?

गेम एआई इस बात पर केंद्रित है कि किसी वस्तु को किन स्थितियों में स्थित होना चाहिए, उसके आधार पर प्रदर्शन करना चाहिए। इसे आमतौर पर "बुद्धिमान एजेंटों" का प्रबंधन कहा जाता है, जहां एजेंट एक खेल चरित्र, वाहन, बॉट, और कभी-कभी कुछ अधिक सार होता है: संस्थाओं या सभ्यता का एक पूरा समूह। प्रत्येक मामले में, यह एक ऐसी चीज है जिसे अपने परिवेश को देखना चाहिए, उसके आधार पर निर्णय लेना चाहिए और उनके अनुसार कार्य करना चाहिए। इसे नब्ज / विचार / अधिनियम चक्र कहा जाता है:

• संवेदना: एजेंट अपने वातावरण में उन चीजों के बारे में जानकारी पाता या प्राप्त करता है जो उसके व्यवहार को प्रभावित कर सकती हैं (आस-पास के खतरे, इकट्ठा करने के लिए आइटम, शोध के लिए दिलचस्प स्थान)।
• सोचें: एजेंट निर्णय लेता है कि कैसे प्रतिक्रिया करें (यह विचार करता है कि क्या वस्तुओं को इकट्ठा करना सुरक्षित है या क्या उसे पहले लड़ना / छिपाना होगा)।
• अधिनियम: एजेंट पिछले निर्णय को लागू करने के लिए क्रियाएं करता है (प्रतिद्वंद्वी या वस्तु की ओर बढ़ना शुरू करता है)।
• ... अब पात्रों के कार्यों के कारण स्थिति बदल गई है, इसलिए चक्र नए डेटा के साथ दोहराता है।

AI लूप के अर्थ भाग पर ध्यान केंद्रित करता है। उदाहरण के लिए, स्वायत्त कारें सड़क की तस्वीरें लेती हैं, उन्हें रडार और लिडार डेटा के साथ जोड़ती हैं, और व्याख्या करती हैं। आमतौर पर यह मशीन लर्निंग द्वारा किया जाता है, जो आने वाले डेटा को संसाधित करता है और उन्हें अर्थ देता है, "जैसे एक और कार 20 गज आगे है।" ये तथाकथित वर्गीकरण समस्याएं हैं।

खेलों को जानकारी निकालने के लिए एक जटिल प्रणाली की आवश्यकता नहीं है, क्योंकि अधिकांश डेटा पहले से ही इसका एक अभिन्न हिस्सा है। यह निर्धारित करने के लिए कि किसी दुश्मन से आगे है, यह निर्धारित करने के लिए छवि मान्यता एल्गोरिदम को चलाने की कोई आवश्यकता नहीं है - खेल पहले से ही जानता है और निर्णय लेने की प्रक्रिया में सीधे जानकारी स्थानांतरित करता है। इसलिए, सेंस चक्र का हिस्सा अक्सर थिंक एंड एक्ट की तुलना में बहुत सरल होता है।

खेल ऐ सीमाएँ

एआई में कई प्रतिबंध हैं जिन्हें देखा जाना चाहिए:

• एआई को पहले से प्रशिक्षित करने की आवश्यकता नहीं है, जैसे कि यह एक मशीन लर्निंग एल्गोरिदम था। हजारों खिलाड़ियों को देखने और उनके खिलाफ खेलने का सबसे अच्छा तरीका सीखने के लिए विकास के दौरान एक तंत्रिका नेटवर्क लिखना व्यर्थ है। क्यों? क्योंकि खेल जारी नहीं है, लेकिन कोई खिलाड़ी नहीं हैं।
• खेल को मनोरंजन और चुनौती देना चाहिए, इसलिए एजेंटों को लोगों के खिलाफ सबसे अच्छा दृष्टिकोण नहीं ढूंढना चाहिए।
• एजेंटों को यथार्थवादी दिखने की जरूरत है ताकि खिलाड़ियों को ऐसा लगे कि वे असली लोगों के खिलाफ खेल रहे हैं। अल्फ़ागो ने मनुष्यों को बाहर निकाल दिया, लेकिन उठाए गए कदम खेल की पारंपरिक समझ से बहुत दूर थे। यदि खेल एक मानव प्रतिद्वंद्वी की नकल करता है, तो ऐसी भावना नहीं होनी चाहिए। एल्गोरिथ्म को बदलने की आवश्यकता है ताकि यह आदर्श निर्णय ले सके, न कि आदर्श।
• एआई को वास्तविक समय में काम करना चाहिए। इसका मतलब है कि एल्गोरिथ्म निर्णय लेने के लिए लंबे समय तक प्रोसेसर के उपयोग को एकाधिकार नहीं दे सकता है। यहां तक ​​कि इसके लिए 10 मिलीसेकंड बहुत लंबा है, क्योंकि अधिकांश गेम में केवल 16 से 33 मिलीसेकंड हैं जो सभी प्रसंस्करण को पूरा करने और ग्राफिक के अगले फ्रेम पर जाने के लिए हैं।
• आदर्श रूप से, सिस्टम का कम से कम हिस्सा डेटा-संचालित होता है ताकि गैर-कोडर बदलाव कर सकें और समायोजन तेज हो।

एआई दृष्टिकोणों पर विचार करें जो पूरे नब्ज / थिंक / अधिनियम चक्र को फैलाते हैं।

मूल निर्णय लेना

आइए सबसे सरल खेल से शुरू करें - पोंग। लक्ष्य: प्लेटफ़ॉर्म (पैडल) को स्थानांतरित करें ताकि गेंद अतीत से उड़ने के बजाय, उससे उछल जाए। यह टेनिस की तरह है, जिसमें आप गेंद को नहीं मारने पर हार जाते हैं। यहां, एआई के पास अपेक्षाकृत आसान काम है - यह तय करने के लिए कि मंच को किस दिशा में ले जाना है।

सशर्त बयान

एआई के लिए, पोंग का सबसे स्पष्ट समाधान है - हमेशा गेंद के नीचे प्लेटफॉर्म को स्थिति में लाने की कोशिश करें।

इसके लिए एक सरल एल्गोरिथ्म, स्यूडोकोड में लिखा गया है:

खेल चल रहा है, जबकि हर फ्रेम / अद्यतन:
यदि गेंद पैडल के बाईं ओर है:
चप्पू छोड़ दिया
और अगर गेंद पैडल के दाईं ओर है:
चप्पू सही से चलाएं

यदि प्लेटफ़ॉर्म गेंद की गति से चलता है, तो यह पोंग में एआई के लिए एकदम सही एल्गोरिदम है। एजेंट के लिए बहुत अधिक डेटा और संभावित कार्रवाई नहीं होने पर कुछ भी जटिल करने की आवश्यकता नहीं है।

यह दृष्टिकोण इतना सरल है कि संपूर्ण सेंस / थिंक / एक्ट चक्र बमुश्किल ध्यान देने योग्य है। लेकिन वह है:

• यदि कथन है तो सेंस पार्ट दो में है। खेल जानता है कि गेंद कहां है और मंच कहां है, इसलिए एआई इस जानकारी के लिए उसकी ओर मुड़ता है।
• थिंक पार्ट भी दो में आता है यदि कथन। वे दो समाधानों को अपनाते हैं, जो इस मामले में परस्पर अनन्य हैं। नतीजतन, तीन कार्यों में से एक का चयन किया जाता है - प्लेटफ़ॉर्म को बाईं ओर ले जाएं, दाईं ओर ले जाएं, या कुछ भी न करें यदि यह पहले से ही सही ढंग से तैनात है
• एक्ट का हिस्सा मूव पैडल लेफ्ट और मूव पैडल राइट स्टेटमेंट में है। खेल के डिजाइन के आधार पर, वे मंच को तुरंत या एक निश्चित गति से स्थानांतरित कर सकते हैं।

इस तरह के दृष्टिकोण को प्रतिक्रियाशील कहा जाता है - नियमों का एक सरल सेट है (इस मामले में, यदि कोड में बयान) जो दुनिया की वर्तमान स्थिति और कार्य का जवाब देते हैं।

निर्णय का पेड़

पोंग उदाहरण वास्तव में औपचारिक एआई अवधारणा के बराबर है जिसे निर्णय वृक्ष कहा जाता है। एल्गोरिथ्म इसे एक "पत्ता" तक पहुंचने के लिए पास करता है - एक निर्णय कि क्या कार्रवाई की जाए।

आइए हमारे मंच के एल्गोरिथ्म के लिए निर्णय पेड़ का एक ब्लॉक आरेख बनाएं:



पेड़ के प्रत्येक भाग को नोड कहा जाता है - एआई ऐसी संरचनाओं का वर्णन करने के लिए ग्राफ सिद्धांत का उपयोग करता है। नोड्स दो प्रकार के होते हैं:

• निर्णय नोड्स: एक निश्चित स्थिति की जाँच के आधार पर दो विकल्पों के बीच चयन करना जहाँ प्रत्येक विकल्प को एक अलग नोड के रूप में प्रस्तुत किया जाता है।
• अंतिम नोड्स: अंतिम निर्णय का प्रतिनिधित्व करने वाली क्रिया करने के लिए।

एल्गोरिथ्म पहले नोड (पेड़ की "जड़") से शुरू होता है। यह या तो यह तय करता है कि किस बच्चे के नोड को जाना है, या नोड में संग्रहीत कार्रवाई करता है और पूरा करता है।

यदि निर्णय के पेड़ पिछले अनुभाग में बयान के रूप में एक ही काम करता है तो क्या फायदा है? यहां एक सामान्य प्रणाली है जहां प्रत्येक समाधान में केवल एक शर्त और दो संभावित परिणाम हैं। यह डेवलपर को पेड़ में निर्णयों का प्रतिनिधित्व करने वाले डेटा से एआई बनाने की अनुमति देता है, इसके हार्डकोडिंग से बचना। तालिका के रूप में कल्पना करें:



कोड की तरफ, आपको स्ट्रिंग्स पढ़ने के लिए एक सिस्टम मिलता है। उनमें से प्रत्येक के लिए एक नोड बनाएं, दूसरे कॉलम के आधार पर निर्णय तर्क को कनेक्ट करें और तीसरे और चौथे कॉलम के आधार पर बच्चे के नोड्स। आपको अभी भी परिस्थितियों और कार्यों को प्रोग्राम करने की आवश्यकता है, लेकिन अब खेल की संरचना अधिक जटिल होगी। इसमें, आप अतिरिक्त निर्णय और कार्य जोड़ते हैं, और फिर एक पेड़ की परिभाषा के साथ एक पाठ फ़ाइल को संपादित करके पूरे एआई को कॉन्फ़िगर करते हैं। इसके बाद, फ़ाइल को गेम डिज़ाइनर को स्थानांतरित करें जो गेम को फिर से देखे बिना और कोड को बदले बिना व्यवहार को बदल सकता है।

निर्णय वृक्ष बहुत उपयोगी होते हैं जब वे उदाहरणों के एक बड़े सेट के आधार पर स्वचालित रूप से निर्मित होते हैं (उदाहरण के लिए, आईडी 3 एल्गोरिथ्म का उपयोग करके)। यह उन्हें प्राप्त आंकड़ों के आधार पर स्थितियों को वर्गीकृत करने के लिए एक प्रभावी और उच्च-प्रदर्शन उपकरण बनाता है। हालांकि, हम एजेंटों का चयन करने के लिए एक सरल प्रणाली से परे जाते हैं।

परिदृश्यों

हमने एक निर्णय ट्री सिस्टम को डिसाइड किया जो पूर्व-निर्मित स्थितियों और कार्यों का उपयोग करता था। एआई डिजाइनर उस पेड़ को व्यवस्थित कर सकता है जिस तरह से वह चाहता है, लेकिन उसे अभी भी एनकोडर पर भरोसा करना पड़ता है जिसने यह सब प्रोग्राम किया। क्या होगा यदि हम अपनी खुद की स्थितियों या कार्यों को बनाने के लिए डिजाइनर उपकरण दे सकते हैं?

प्रोग्रामर को Is Ball Ball of Paddle और Is Ball Right of Paddle शर्तों के लिए कोड लिखने से रोकने के लिए, वह एक प्रणाली बना सकता है जिसमें डिज़ाइनर इन मूल्यों की जाँच के लिए शर्तों को रिकॉर्ड करेगा। तब निर्णय वृक्ष का डेटा इस तरह दिखेगा:



संक्षेप में, यह पहली तालिका के समान है, लेकिन स्वयं के अंदर के समाधानों का अपना कोड होता है, अगर-स्टेटमेंट के सशर्त भाग के समान। कोड पक्ष पर, यह निर्णय नोड्स के लिए दूसरे कॉलम में पढ़ा जाएगा, लेकिन पूरा करने के लिए एक विशिष्ट स्थिति की तलाश में है (यह बॉल लेफ्ट ऑफ पैडल है), यह सशर्त अभिव्यक्ति का मूल्यांकन करता है और क्रमशः सही या गलत रिटर्न देता है। यह स्क्रिप्टिंग भाषा लुआ या एंजेलस्क्रिप्ट का उपयोग करके किया जाता है। उनका उपयोग करते हुए, डेवलपर अपने गेम (बॉल और पैडल) में ऑब्जेक्ट ले सकता है और वे चर बना सकता है जो स्क्रिप्ट (बॉल.पोजिशन) में उपलब्ध होंगे। इसके अलावा, स्क्रिप्टिंग भाषा C ++ की तुलना में सरल है। इसके लिए एक पूर्ण संकलन चरण की आवश्यकता नहीं है, इसलिए यह खेल तर्क के त्वरित समायोजन के लिए आदर्श रूप से अनुकूल है और "गैर-कोडर्स" को आवश्यक कार्यों को स्वयं बनाने की अनुमति देता है।

उपरोक्त उदाहरण में, स्क्रिप्टिंग भाषा का उपयोग केवल सशर्त अभिव्यक्ति का मूल्यांकन करने के लिए किया जाता है, लेकिन इसका उपयोग क्रियाओं के लिए भी किया जा सकता है। उदाहरण के लिए, मूव पैडल राइट डेटा एक स्क्रिप्ट स्टेटमेंट बन सकता है (ball.position.x + = 10)। ताकि क्रिया को स्क्रिप्ट में भी परिभाषित किया जा सके, प्रोग्रामिंग मूव पैडल राइट की आवश्यकता के बिना।

आप आगे भी जा सकते हैं और एक स्क्रिप्टिंग भाषा में एक पूर्ण निर्णय ट्री लिख सकते हैं। यह हार्डकोडेड सशर्त बयानों के रूप में एक कोड होगा, लेकिन वे बाहरी स्क्रिप्ट फ़ाइलों में स्थित होंगे, अर्थात, उन्हें पूरे कार्यक्रम को फिर से देखे बिना बदला जा सकता है। अक्सर, आप विभिन्न एआई प्रतिक्रियाओं का परीक्षण करने के लिए खेल के दौरान स्क्रिप्ट फ़ाइल को सीधे बदल सकते हैं।

घटना की प्रतिक्रिया

उपरोक्त उदाहरण पोंग के लिए एकदम सही हैं। वे लगातार सेंस / थिंक / एक्ट चक्र चलाते हैं और दुनिया की नवीनतम स्थिति के आधार पर कार्य करते हैं। लेकिन अधिक जटिल खेलों में, आपको व्यक्तिगत घटनाओं का जवाब देने की आवश्यकता है, और एक ही बार में सब कुछ का मूल्यांकन नहीं करना चाहिए। पोंग पहले से ही एक असफल उदाहरण है। कोई दूसरा चुनें।

एक शूटर की कल्पना करें जहां दुश्मन तब तक निश्चिंत हैं जब तक वे खिलाड़ी को नहीं पा लेते हैं, जिसके बाद वे अपनी "विशेषज्ञता" के आधार पर कार्य करते हैं: कोई "कुचलने" के लिए चलेगा, कोई दूर से हमला करेगा। यह अभी भी बुनियादी उत्तरदायी प्रणाली है - "अगर खिलाड़ी पर ध्यान दिया जाता है, तो कुछ करें" - लेकिन इसे तार्किक रूप से प्लेयर सीन इवेंट (खिलाड़ी पर ध्यान दिया जाता है) और प्रतिक्रिया में विभाजित किया जा सकता है (उत्तर का चयन करें और इसे निष्पादित करें)।

यह हमें सेंस / थिंक / एक्ट चक्र में वापस लाता है। हम नब्ज भाग को सांकेतिक शब्दों में बदलना कर सकते हैं, जो प्रत्येक फ्रेम यह देखने के लिए जांच करेगा कि क्या खिलाड़ी का AI दिखाई दे रहा है। यदि नहीं, तो कुछ भी नहीं होता है, लेकिन अगर यह देखा जाता है, तो प्लेयर सीन घटना को उठाया जाता है। कोड में एक अलग सेक्शन होगा जो कहता है: "जब प्लेयर सीन इवेंट होता है, तो इसे करें", आपको थिंक और एक्ट के भागों को संदर्भित करने के लिए उत्तर की आवश्यकता कहां है। इस प्रकार, आप प्लेयर सीन ईवेंट के लिए प्रतिक्रियाएँ सेट करेंगे: "बढ़ते" चरित्र के लिए चार्जएंडअटैक, और स्नाइपर के लिए HideAndSnipe। इन संबंधों को त्वरित संपादन के लिए डेटा फ़ाइल में बनाया जा सकता है, बिना रीकंपाइल के। और यहां आप स्क्रिप्टिंग भाषा का भी उपयोग कर सकते हैं।

कठिन निर्णय ले रहे हैं

हालांकि सरल प्रतिक्रिया प्रणालियां बहुत प्रभावी हैं, कई स्थितियां हैं जब वे पर्याप्त नहीं हैं। कभी-कभी एजेंट जो कुछ कर रहा है, उसके आधार पर विभिन्न निर्णय लेना आवश्यक है, लेकिन इस स्थिति के रूप में कल्पना करना मुश्किल है। कभी-कभी एक निर्णय वृक्ष या स्क्रिप्ट में उन्हें प्रभावी रूप से प्रतिनिधित्व करने के लिए बहुत अधिक शर्तें होती हैं। कभी-कभी आपको पूर्व-मूल्यांकन करने की आवश्यकता होती है कि अगले चरण पर निर्णय लेने से पहले स्थिति कैसे बदल जाएगी। इन समस्याओं को हल करने के लिए अधिक परिष्कृत दृष्टिकोण की आवश्यकता होती है।

परिमित राज्य मशीन

परिमित राज्य मशीन या FSM (राज्य मशीन) यह कहने का एक तरीका है कि हमारा एजेंट वर्तमान में कई संभावित राज्यों में से एक है, और वह एक राज्य से दूसरे राज्य में जा सकता है। ऐसे राज्यों की एक निश्चित संख्या है - इसलिए नाम। जीवन का सबसे अच्छा उदाहरण ट्रैफिक लाइट है। अलग-अलग स्थानों में रोशनी के विभिन्न क्रम, लेकिन सिद्धांत समान है - प्रत्येक राज्य कुछ का प्रतिनिधित्व करता है (स्टैंड, गो, आदि)। एक ट्रैफ़िक लाइट किसी भी समय केवल एक ही स्थिति में होती है, और सरल नियमों के आधार पर एक से दूसरे में जाती है।

खेलों में एनपीसी के साथ, एक समान कहानी। उदाहरण के लिए, निम्नलिखित शर्तों के साथ एक गार्ड लें:

• पेट्रोलिंग (पेट्रोलिंग)।
• आक्रमण (हमला)।
• भगोड़ा (भागने)।

और उसकी स्थिति बदलने के लिए ऐसी शर्तें:

• अगर गार्ड दुश्मन को देखता है, तो वह हमला करता है।
• यदि गार्ड हमला करता है, लेकिन अब दुश्मन को नहीं देखता है, तो वह गश्त पर लौटता है।
• अगर गार्ड हमला करता है, लेकिन बुरी तरह से घायल हो जाता है, तो वह भाग जाता है।

आप यह भी लिख सकते हैं कि गार्ड-स्टेट वैरिएबल और विभिन्न चेकों के साथ स्टेटमेंट: क्या पास में कोई दुश्मन है, एनपीसी का स्वास्थ्य स्तर क्या है, आदि कुछ और राज्यों को जोड़ते हैं:

• निष्क्रियता (निष्क्रियता) - गश्ती के बीच।
• खोज (खोज) - जब देखा दुश्मन गायब हो गया।
• मदद के लिए पूछें (मदद खोजना) - जब दुश्मन को देखा जाता है, लेकिन अकेले उसके साथ लड़ने के लिए बहुत मजबूत।

उनमें से प्रत्येक के लिए विकल्प सीमित है - उदाहरण के लिए, एक गार्ड छिपने वाले दुश्मन की तलाश में नहीं जाएगा यदि वह खराब स्वास्थ्य में है।

अंत में, "अगर <x और y, लेकिन z> नहीं, तो <p>" की विशाल सूची बहुत बोझिल हो सकती है, इसलिए हमें एक ऐसी विधि को औपचारिक रूप देना चाहिए जो हमें राज्यों के बीच की स्थिति और बदलाव को ध्यान में रखने की अनुमति देगा। ऐसा करने के लिए, हम सभी राज्यों को ध्यान में रखते हैं, और प्रत्येक राज्य के तहत, हम सभी राज्यों को उनके लिए आवश्यक शर्तों के साथ, सभी संक्रमणों को सूचीबद्ध करते हैं।



यह राज्य संक्रमण तालिका एफएसएम का प्रतिनिधित्व करने का एक व्यापक तरीका है। आइए एक आरेख बनाएं और एनपीसी का व्यवहार कैसे बदलता है, इसका पूरा अवलोकन करें।



चार्ट मौजूदा स्थिति के आधार पर इस एजेंट के लिए निर्णय लेने का सार दर्शाता है। इसके अलावा, प्रत्येक तीर राज्यों के बीच एक संक्रमण दिखाता है यदि इसके बगल में स्थिती सत्य है।

प्रत्येक अद्यतन, हम एजेंट की वर्तमान स्थिति की जांच करते हैं, संक्रमण की सूची को देखते हैं, और यदि संक्रमण के लिए शर्तों को पूरा किया जाता है, तो यह एक नई स्थिति लेता है। उदाहरण के लिए, प्रत्येक फ्रेम यह देखने के लिए जांचता है कि क्या 10 सेकंड का टाइमर समाप्त हो गया है, और यदि ऐसा है, तो गार्ड आइडलिंग से पैट्रोलिंग पर स्विच करता है। उसी तरह, हमलावर राज्य एजेंट के स्वास्थ्य की जांच करता है - यदि यह कम है, तो यह फ्लेइंग राज्य में चला जाता है।

यह राज्य परिवर्तन को संभाल रहा है, लेकिन खुद राज्यों के साथ जुड़े व्यवहार के बारे में क्या? किसी विशेष राज्य के लिए वास्तविक व्यवहार के कार्यान्वयन के संबंध में, आमतौर पर दो प्रकार के "हुक" होते हैं, जहां हम एफएसए को कार्रवाई करते हैं:

• वर्तमान स्थिति के लिए हम समय-समय पर कार्य करते हैं।
• एक राज्य से दूसरे राज्य में जाने पर होने वाली क्रियाएं।

पहले प्रकार के उदाहरण। पैट्रोलिंग स्थिति प्रत्येक फ़्रेम एजेंट को गश्ती मार्ग के साथ ले जाएगा। राज्य पर हमला करना हर फ्रेम पर हमला शुरू करने या संभव होने पर एक राज्य में जाने की कोशिश करेगा।

दूसरे प्रकार के लिए, संक्रमण पर विचार करें "यदि दुश्मन दिखाई दे रहा है और दुश्मन बहुत मजबूत है, तो फाइंडिंग हेल्प स्टेट पर जाएं। एजेंट को यह चुनना होगा कि मदद के लिए कहां जाना है और इस जानकारी को सहेजना है ताकि फाइंडिंग हेल्प स्टेटस को पता हो कि कहां जाना है। जैसे ही मदद मिलती है, एजेंट वापस हमला करने की स्थिति में चला जाता है। इस बिंदु पर, वह सहयोगी को खतरे के बारे में बताना चाहता है, इसलिए NotifyFriendOfThreat कार्रवाई हो सकती है।

और फिर, हम सेंस / थिंक / एक्ट चक्र के प्रिज्म के माध्यम से इस प्रणाली को देख सकते हैं। ट्रांज़िशन लॉजिक द्वारा उपयोग किए गए डेटा में सेंस ट्रांसलेट होता है। सोचो - प्रत्येक राज्य में उपलब्ध संक्रमण। और अधिनियम राज्य के भीतर या राज्यों के बीच संक्रमण के समय-समय पर किए गए कार्यों द्वारा किया जाता है।

कभी-कभी संक्रमण की स्थिति में लगातार मतदान महंगा हो सकता है। उदाहरण के लिए, यदि प्रत्येक एजेंट यह निर्धारित करने के लिए प्रत्येक फ्रेम पर जटिल गणना करता है कि क्या यह दुश्मनों को देखता है और समझता है कि क्या पैट्रोलिंग राज्य से हमला करने के लिए स्विच करना संभव है, तो यह बहुत अधिक प्रोसेसर समय लेगा।

दुनिया की स्थिति में महत्वपूर्ण बदलाव को उन घटनाओं के रूप में माना जा सकता है जिन्हें संसाधित किया जाएगा जैसा कि वे होते हैं। एफएसएम के बजाय संक्रमण की स्थिति की जांच करने के लिए "क्या मेरा एजेंट खिलाड़ी को देख सकता है?" प्रत्येक फ्रेम, आप कम बार चेक करने के लिए एक अलग प्रणाली को कॉन्फ़िगर कर सकते हैं (उदाहरण के लिए, प्रति सेकंड 5 बार)। और परिणाम चेक पास होने पर प्लेयर सीन देने के लिए है।

यह एफएसएम के पास जाता है, जिसे अब प्लेयर सीन इवेंट में जाना होता है और इसके अनुसार प्रतिक्रिया होती है। परिणामी व्यवहार उत्तर देने से पहले लगभग अपरिहार्य विलंब को छोड़कर समान है। लेकिन कार्यक्रम के एक अलग हिस्से में नब्ज को अलग करने के परिणामस्वरूप उत्पादकता बेहतर हो गई है।

पदानुक्रमित परिमित राज्य मशीन

हालांकि, बड़े एफएसएम के साथ काम करना हमेशा सुविधाजनक नहीं होता है। यदि हम अलग-अलग मेलेअटैकिंग (हाथापाई) और रंगेडअटैकिंग (राउंडेड) के साथ हमले की स्थिति का विस्तार करना चाहते हैं, तो हमें अन्य सभी राज्यों से बदलावों को बदलना होगा जो हमलावर राज्य (वर्तमान और भविष्य) का नेतृत्व करते हैं।

निश्चित रूप से आपने देखा कि हमारे उदाहरण में बहुत सारे डुप्लिकेट संक्रमण हैं। निष्क्रिय अवस्था में अधिकांश संक्रमण, गश्त करने वाली अवस्था में संक्रमण के समान होते हैं। यह दोहराना अच्छा नहीं होगा, खासकर अगर हम अधिक समान राज्यों को जोड़ते हैं। यह सामान्य लेबल "नॉन-कॉम्बैट" के तहत ग्रुप आइडलिंग और पैट्रोलिंग के लिए समझ में आता है, जहां राज्यों का मुकाबला करने के लिए संक्रमण का केवल एक सामान्य सेट है। यदि हम इस लेबल को एक स्थिति के रूप में प्रस्तुत करते हैं, तो आइडलिंग और पैट्रोलिंग सबस्टेशन बन जाएंगे। एक नए गैर-लड़ाकू विकल्प के लिए एक अलग रूपांतरण तालिका का उपयोग करने का एक उदाहरण:

मुख्य शर्तें:


युद्ध की स्थिति से बाहर:


और चार्ट के रूप में:



यह एक ही प्रणाली है, लेकिन एक नए गैर-लड़ाकू राज्य के साथ, जिसमें आइडलिंग और पैट्रोलिंग शामिल हैं। एफएसएम युक्त प्रत्येक राज्य के साथ सबस्टेशन (और ये सबटाइटल होते हैं, बदले में, उनके अपने एफएसएम होते हैं - और इसी तरह, जितना आपको आवश्यकता होती है), हमें एक पदानुक्रमित परिमित स्टेट मशीन या एचएफएसएम (पदानुक्रमित राज्य मशीन) मिलता है। एक गैर-लड़ाकू राज्य समूहीकृत होने के बाद, हमने निरर्थक संक्रमणों का एक समूह काट दिया। हम समान संक्रमण वाले किसी भी नए राज्यों के लिए भी ऐसा कर सकते हैं। उदाहरण के लिए, यदि भविष्य में हम आक्रमण करने वाले राज्य का विस्तार मेलेअटैकिंग और मिसाइलअटैकिंग स्टेट्स तक करते हैं, तो वे इस बात का विकल्प होंगे कि दुश्मन की दूरी और गोला-बारूद की उपस्थिति के आधार पर एक-दूसरे को पार करें। नतीजतन, व्यवहार के जटिल मॉडल और व्यवहार के उप-मॉडल को न्यूनतम डुप्लिकेट किए गए बदलावों के साथ दर्शाया जा सकता है।

HFSM . , , . , . . , , . , 25%, , , , — . 25% 10%, .

, « », , . .

, : «» , , , . :

• : Succeeded ( ), Failed ( ) Running ( ).
• . Decorator, . Succeed, .
• , , Running .

. HFSM :



Idling/Patrolling Attacking . , , Fleeing, , — Patrolling, Idling, Attacking .



— , . , — , ? , — , Idling 10 , , ?

. , . , .

Utility-based system

. , , . , , .

Utility-based system (, ) . , , , . — , .

, . FSM, , , . , ( , ). , .

— , 0 ( ) 100 ( ). , . :



— . . , , , Fleeing, FindingHelp . FindingHelp . , 50, . .

, . . , Fleeing , , Attacking , . - Fleeing Attacking , , . , , FSM.

. . The Sims, , — «», . , , EatFood , , , EatFood .

, Utility-based system , . . , Utility , , .

, , , . ? , , , , ? .

प्रबंध

, , , . , , . . Sense/Think/Act, , Think , Act . , , . — , . , , . :

desired_travel = destination_position – agent_position

2D-. (-2,-2), - - (30, 20), , — (32, 22). , — 5 , (4.12, 2.83). 8 .

. , , 5 / ( ), . , .

— , , , . . steering behaviours, : Seek (), Flee (), Arrival () . . , , , .

. Seek Arrival — . Obstacle Avoidance ( ) Separation () , . Alignment () Cohesion () . steering behaviours . , Arrival, Separation Obstacle Avoidance, . .

, — , - Arrival Obstacle Avoidance. , , . : , .

, , - .

Steering behaviours ( ), — . pathfinding ( ), .

— . - , , . . , ( , ). , Breadth-First Search BFS ( ). ( breadth, «»). , , — , , .



, . (, pathfinding) — , , .

, , steering behaviours, — 1 2, 2 3 . — , — . - .

BFS — «» , «». A* (A star). , - ( , ), , , . , — «» ( ) , ( ).



, , , . , BFS, — .

लेकिन अधिकांश खेलों को ग्रिड पर नहीं रखा जाता है, और अक्सर यह यथार्थवाद से समझौता किए बिना नहीं किया जा सकता है। समझौता करने की जरूरत है। चौकों का आकार कितना होना चाहिए? बहुत बड़ा - और वे छोटे गलियारों या घुमावों की सही ढंग से कल्पना करने में सक्षम नहीं होंगे, बहुत छोटे - खोजने के लिए बहुत सारे वर्ग होंगे, जिसमें अंत में बहुत समय लगेगा।

समझने वाली पहली बात यह है कि ग्रिड हमें कनेक्टेड नोड्स का ग्राफ देता है। ए * और बीएफएस एल्गोरिदम वास्तव में ग्राफ़ पर काम करते हैं और हमारे ग्रिड के बारे में बिल्कुल भी परवाह नहीं करते हैं। हम खेल की दुनिया में कहीं भी नोड्स लगा सकते हैं: यदि किसी भी दो जुड़े नोड्स के बीच संबंध है, साथ ही प्रारंभ और अंत बिंदुओं के बीच और कम से कम नोड्स में से एक है, तो एल्गोरिथ्म पहले की तरह ही काम करेगा। इसे अक्सर वेपॉइंट सिस्टम कहा जाता है, क्योंकि प्रत्येक नोड दुनिया में एक महत्वपूर्ण स्थिति का प्रतिनिधित्व करता है, जो किसी भी संख्या में काल्पनिक पथ का हिस्सा हो सकता है।


उदाहरण 1: प्रत्येक वर्ग में एक गाँठ। खोज उस नोड से शुरू होती है जहां एजेंट स्थित है, और वांछित वर्ग के नोड पर समाप्त होता है।


उदाहरण 2: नोड्स (वेपॉइंट्स) का एक छोटा सेट। एजेंट के साथ खोज शुरू होती है, आवश्यक संख्या में नोड्स से गुजरती है, और फिर गंतव्य पर जारी रहती है।

यह पूरी तरह से लचीला और शक्तिशाली प्रणाली है। लेकिन आपको यह तय करने में थोड़ी सावधानी बरतने की ज़रूरत है कि किस तरह और किस तरह से जगह बनाई जाए, अन्यथा एजेंट बस निकटतम बिंदु नहीं देख सकते हैं और पथ को शुरू करने में सक्षम नहीं होंगे। यह आसान होगा अगर हम दुनिया की ज्यामिति के आधार पर स्वचालित रूप से वेपॉइंट सेट कर सकें।

फिर एक नेविगेशन जाल या नवमेश दिखाई देता है। यह आमतौर पर त्रिकोण का 2 डी जाल है जो दुनिया की ज्यामिति को ओवरलैप करता है - जहां भी एजेंट को चलने की अनुमति है। ग्रिड में प्रत्येक त्रिकोण ग्राफ में एक नोड बन जाता है और इसमें तीन समीपवर्ती त्रिकोण होते हैं जो ग्राफ़ में आसन्न नोड बन जाते हैं।

यह चित्र यूनिटी इंजन का एक उदाहरण है - उन्होंने दुनिया में ज्यामिति का विश्लेषण किया और नवमेश (स्क्रीनशॉट में हल्का नीला) बनाया। नवमेश में प्रत्येक बहुभुज एक ऐसा क्षेत्र है जिसमें एक एजेंट एक बहुभुज से दूसरे बहुभुज तक खड़ा या स्थानांतरित हो सकता है। इस उदाहरण में, बहुभुज फर्श से छोटे होते हैं, जिस पर वे स्थित होते हैं - एजेंट के आयामों को ध्यान में रखने के लिए बनाया जाता है, जो इसके नाममात्र की स्थिति से परे होगा।



हम इस ग्रिड के माध्यम से मार्ग को खोज सकते हैं, फिर से ए * एल्गोरिथ्म का उपयोग कर। यह हमें दुनिया में लगभग सही मार्ग देगा जो सभी ज्यामिति को ध्यान में रखता है और अतिरिक्त नोड्स और वेपॉइंट की आवश्यकता नहीं है।

पाथफाइंडिंग बहुत व्यापक विषय है जिसके बारे में लेख का एक भाग पर्याप्त नहीं है। यदि आप इसे और अधिक विस्तार से अध्ययन करना चाहते हैं, तो अमित पटेल की साइट इसमें मदद करेगी।

आयोजन

हमने पाथफाइंडिंग के साथ यह सुनिश्चित किया कि कभी-कभी केवल एक दिशा और चाल चुनने के लिए पर्याप्त नहीं है - हमें एक मार्ग चुनना चाहिए और वांछित गंतव्य तक पहुंचने के लिए कई मोड़ बनाने चाहिए। हम इस विचार को संक्षेप में प्रस्तुत कर सकते हैं: लक्ष्य प्राप्त करना केवल अगला कदम नहीं है, बल्कि एक संपूर्ण अनुक्रम है, जहां कभी-कभी आपको यह जानने के लिए कुछ कदम आगे बढ़ाने की आवश्यकता होती है कि पहले क्या होना चाहिए। इसे नियोजन कहते हैं। पाथफाइंडिंग को कई नियोजन जोड़ में से एक माना जा सकता है। हमारे सेंस / थिंक / एक्ट चक्र के नजरिए से, यह वह जगह है जहां थिंक पार्ट भविष्य के लिए कई एक्ट भागों की योजना बनाता है।

आइए बोर्ड गेम मैजिक: द गैदरिंग के उदाहरण को देखें। हम हाथ पर कार्ड के ऐसे सेट के साथ पहले जाते हैं:

• दलदल - 1 काला मान (पृथ्वी का नक्शा) देता है।
• वन - 1 हरी मण (पृथ्वी का नक्शा) देता है।
• भगोड़े जादूगर - को बुलाने के लिए 1 नीले मन की आवश्यकता होती है।
• एलविश मिस्टिक - को बुलाने के लिए 1 हरे मन की आवश्यकता होती है।

हम शेष तीन कार्डों को नजरअंदाज करना आसान बनाते हैं। नियमों के अनुसार, एक खिलाड़ी को प्रति कार्ड 1 कार्ड भूमि खेलने की अनुमति है, वह इस कार्ड को "मन" से निकाल सकता है और फिर मन की राशि से मंत्र (समन प्राणियों सहित) का उपयोग कर सकता है। इस स्थिति में, मानव खिलाड़ी जानता है कि आपको फ़ॉरेस्ट, "टैप" 1 ग्रीन मैना खेलने की आवश्यकता है, और फिर एलविश मिस्टिक को कॉल करें। लेकिन आप खेल एआई का अनुमान कैसे लगाते हैं?

आसान योजना

तुच्छ दृष्टिकोण प्रत्येक क्रिया को तब तक करने की कोशिश करता है जब तक कि उपयुक्त न हों। कार्ड को देखते हुए, एआई देखता है कि दलदल क्या खेल सकता है। और उसे बजाता है। क्या इस मोड़ पर कोई अन्य कार्य बाकी हैं? वह या तो एलविश मिस्टिक या भगोड़े जादूगर को नहीं बुला सकता है, क्योंकि उनके सम्मन के लिए क्रमशः हरे और नीले मन की आवश्यकता होती है, और दलदल केवल काला मान देता है। और वह फॉरेस्ट नहीं खेल पाएगा, क्योंकि वह पहले भी स्वैम्प खेल चुका है। इस प्रकार, खेल एआई नियमों द्वारा चला गया, लेकिन खराब तरीके से किया। इसमें सुधार किया जा सकता है।

नियोजन उन कार्यों की एक सूची पा सकता है जो खेल को उसकी इच्छित स्थिति में लाते हैं। जिस तरह पथ के प्रत्येक वर्ग में पड़ोसी (पाथफाइंडिंग में) थे, योजना में प्रत्येक क्रिया में पड़ोसी या उत्तराधिकारी भी होते हैं। हम इन क्रियाओं और बाद की क्रियाओं को तब तक खोज सकते हैं जब तक हम वांछित स्थिति तक नहीं पहुँच जाते।

हमारे उदाहरण में, वांछित परिणाम "एक प्राणी को बुलाना है, यदि संभव हो तो।" इस कदम की शुरुआत में, हम खेल के नियमों द्वारा अनुमत केवल दो संभावित कार्यों को देखते हैं:

1. दलदल खेल (परिणाम: खेल में दलदल)
2. वन खेलें (परिणाम: खेल में वन)

प्रत्येक कार्रवाई को आगे के कार्यों और दूसरों को बंद करने के लिए नेतृत्व कर सकते हैं, फिर से, खेल के नियमों के आधार पर। कल्पना कीजिए कि हमने दलदल खेला - यह अगले कदम के रूप में दलदल को हटा देगा (हमने पहले से ही इसे खेला है), यह वन को भी हटा देगा (क्योंकि नियमों के अनुसार आप प्रति बारी जमीन का एक नक्शा खेल सकते हैं)। उसके बाद, AI अगले चरण के रूप में जोड़ता है - 1 ब्लैक मैना प्राप्त करना, क्योंकि कोई अन्य विकल्प नहीं हैं। यदि वह आगे जाता है और टैप द स्वैम्प का चयन करता है, तो उसे 1 यूनिट काले मान प्राप्त होंगे और इसके साथ कुछ भी नहीं किया जा सकता है।

1. दलदल खेल (परिणाम: खेल में दलदल)
1.1 "टैप" दलदल (परिणाम: दलदल "नल", काले मन की +1 इकाई)
कोई कार्रवाई उपलब्ध नहीं - END
2. वन खेलें (परिणाम: खेल में वन)

कार्यों की सूची कम थी, हम एक गतिरोध पर हैं। अगले चरण के लिए प्रक्रिया को दोहराएं। हम फ़ॉरेस्ट खेलते हैं, एक्शन खोलें "गेट 1 ग्रीन मैना", जो बदले में तीसरा एक्शन खोलेगा - एल्विश मिस्टिक की कॉल।

1. दलदल खेल (परिणाम: खेल में दलदल)
1.1 "टैप" दलदल (परिणाम: दलदल "नल", काले मन की +1 इकाई)
कोई कार्रवाई उपलब्ध नहीं - END
2. वन खेलें (परिणाम: खेल में वन)
2.1 "टैप" वन (परिणाम: वन "टैप", +1 ग्रीन मैना इकाई)
२.१.१ समन एल्विश मिस्टिक (परिणाम: गेम में एल्विश मिस्टिक, -1 यूनिट ऑफ ग्रीन मन)
कोई कार्रवाई उपलब्ध नहीं - END

अंत में, हमने सभी संभावित कार्यों की जांच की और एक योजना बनाई जिसे प्राणी कहते हैं।

यह बहुत ही सरल उदाहरण है। सबसे अच्छा संभव योजना चुनना उचित है, न कि कुछ मानदंडों को पूरा करने वाला। एक नियम के रूप में, आप अंतिम परिणाम या उनके कार्यान्वयन के कुल लाभों के आधार पर संभावित योजनाओं का मूल्यांकन कर सकते हैं। आप खुद को पृथ्वी के मानचित्र को खेलने के लिए 1 अंक और प्राणी को चुनौती देने के लिए 3 अंक जोड़ सकते हैं। दलदल खेलने के लिए 1 अंक देने वाली योजना होगी। और फ़ॉरेस्ट खेलने के लिए → फ़ॉरेस्ट टैप करें → एल्विश मिस्टिक पर कॉल करें - वह तुरंत 4 अंक देगा।

जादू में यह योजना कैसे काम करती है: द गैदरिंग, लेकिन उसी तर्क से यह अन्य स्थितियों में लागू होता है। उदाहरण के लिए, बिशप शतरंज में स्थानांतरित करने के लिए जगह बनाने के लिए एक मोहरा ले जाएँ। या XCOM पर सुरक्षित रूप से शूट करने के लिए एक दीवार के पीछे कवर ले। सामान्य तौर पर, आप बिंदु प्राप्त करते हैं।

बेहतर योजना बनाई

कभी-कभी हर संभावित विकल्प पर विचार करने के लिए बहुत अधिक संभावित क्रियाएं होती हैं। मैजिक: द गैदरिंग के साथ उदाहरण पर लौटना: मान लीजिए कि खेल में और आपके हाथों में जमीन और जीव के कई पत्ते हैं - चालों के संभावित संयोजन की संख्या दसियों में हो सकती है। समस्या के कई समाधान हैं।

पहला रास्ता पीछे की ओर है। सभी संयोजनों के माध्यम से छंटनी के बजाय, अंतिम परिणाम के साथ शुरू करना और एक सीधा मार्ग खोजने की कोशिश करना बेहतर है। पेड़ की जड़ से एक विशिष्ट पत्ती के रास्ते के बजाय, हम विपरीत दिशा में चलते हैं - पत्ती से जड़ तक। यह विधि सरल और तेज है।

यदि प्रतिद्वंद्वी के पास स्वास्थ्य की 1 इकाई है, तो आप "क्षति की 1 या उससे अधिक इकाइयों को नुकसान पहुंचाने" की योजना पा सकते हैं। इसे प्राप्त करने के लिए, कई शर्तों को पूरा करना होगा:

1. नुकसान एक जादू के कारण हो सकता है - यह हाथ में होना चाहिए।
2. एक जादू करने के लिए, आपको मन की आवश्यकता है।
3. मैना को पाने के लिए, आपको एक लैंड कार्ड खेलना होगा।
4. पृथ्वी का एक कार्ड खेलने के लिए - आपको इसे अपने हाथ में रखना होगा।

एक और तरीका सबसे अच्छा है-पहली खोज। सभी रास्तों से गुजरने के बजाय, हम सबसे उपयुक्त को चुनते हैं। सबसे अधिक बार, यह विधि अनावश्यक खोज लागतों के बिना एक इष्टतम योजना देती है। A * सर्वश्रेष्ठ पहली खोज का रूप है - बहुत शुरुआत से सबसे आशाजनक मार्गों की खोज, वह पहले से ही अन्य विकल्पों की जांच किए बिना सबसे अच्छा तरीका खोज सकता है।

सबसे पहली खोज के लिए एक दिलचस्प और तेजी से लोकप्रिय विकल्प मोंटे कार्लो ट्री सर्च है। यह अनुमान लगाने के बजाय कि प्रत्येक बाद की कार्रवाई चुनते समय कौन सी योजनाएं दूसरों की तुलना में बेहतर हैं, एल्गोरिथ्म प्रत्येक चरण में यादृच्छिक उत्तराधिकारियों का चयन करता है जब तक कि यह अंत तक नहीं पहुंचता (जब योजना जीत या हार का नेतृत्व करती है)। फिर अंतिम परिणाम का उपयोग पिछले विकल्पों की वजन रेटिंग को बढ़ाने या घटाने के लिए किया जाता है। एक पंक्ति में कई बार इस प्रक्रिया को दोहराते हुए, एल्गोरिथ्म एक अच्छा अनुमान देता है कि अगला कदम बेहतर है, भले ही स्थिति बदल जाए (यदि प्रतिद्वंद्वी खिलाड़ी को रोकने के लिए उपाय करता है)।

खेलों में योजना बनाने की कहानी लक्ष्य-उन्मुख कार्रवाई योजना या GOAP (लक्ष्य-उन्मुख कार्रवाई योजना) के बिना नहीं होगी। यह एक व्यापक रूप से इस्तेमाल किया और चर्चा की गई विधि है, लेकिन कुछ विशिष्ट विवरणों के अलावा, यह अनिवार्य रूप से पीछे की ओर छँटाई विधि है जिसके बारे में हमने पहले बात की थी। यदि कार्य "खिलाड़ी को नष्ट करना" था, और खिलाड़ी कवर के पीछे है, तो योजना यह हो सकती है: ग्रेनेड के साथ नष्ट करें → इसे प्राप्त करें → इसे ड्रॉप करें।

आमतौर पर कई लक्ष्य होते हैं, जिनमें से प्रत्येक की अपनी प्राथमिकता होती है। यदि सर्वोच्च प्राथमिकता वाला लक्ष्य पूरा नहीं किया जा सकता है (क्रियाओं का कोई संयोजन खिलाड़ी को "नष्ट करने की योजना नहीं बनाता है" क्योंकि खिलाड़ी दिखाई नहीं देता है), एआई कम प्राथमिकता के साथ लक्ष्य पर वापस आ जाएगी।

प्रशिक्षण और अनुकूलन

हमने पहले ही कहा कि गेमिंग एआई आमतौर पर मशीन लर्निंग का उपयोग नहीं करता है क्योंकि यह वास्तविक समय में एजेंटों के प्रबंधन के लिए उपयुक्त नहीं है। लेकिन इसका मतलब यह नहीं है कि आप इस क्षेत्र से कुछ उधार नहीं ले सकते। हम एक शूटर में ऐसी विपत्ति चाहते हैं जिससे हम कुछ सीख सकें। उदाहरण के लिए, मानचित्र पर सर्वोत्तम स्थिति के बारे में पता करें। या एक फाइटिंग गेम में एक विरोधी जो खिलाड़ी द्वारा अक्सर इस्तेमाल किए जाने वाले कॉम्बो ट्रिक को ब्लॉक करेगा, दूसरों को उपयोग करने के लिए प्रेरित करेगा। तो ऐसी स्थितियों में मशीन सीखना बहुत उपयोगी हो सकता है।

सांख्यिकी और संभावनाएं

इससे पहले कि हम जटिल उदाहरणों पर आगे बढ़ते हैं, हम अनुमान लगाते हैं कि हम कुछ सरल माप लेकर और निर्णय लेने के लिए उनका उपयोग करके कितनी दूर जा सकते हैं। उदाहरण के लिए, एक वास्तविक समय की रणनीति - हम यह कैसे निर्धारित कर सकते हैं कि कोई खिलाड़ी खेल के पहले कुछ मिनटों में हमला कर सकता है और इसके खिलाफ तैयारी करने के लिए क्या बचाव है? भविष्य की प्रतिक्रिया क्या हो सकती है, यह समझने के लिए हम खिलाड़ी के पिछले अनुभव का अध्ययन कर सकते हैं। शुरू करने के लिए, हमारे पास ऐसे प्रारंभिक डेटा नहीं हैं, लेकिन हम उन्हें एकत्र कर सकते हैं - हर बार जब AI किसी व्यक्ति के खिलाफ खेलता है, तो वह पहले हमले के समय को रिकॉर्ड कर सकता है। कई सत्रों के बाद, हमें औसत समय मिलेगा जिस पर खिलाड़ी भविष्य में आक्रमण करेगा।

औसत मूल्यों में एक समस्या है: यदि कोई खिलाड़ी 20 बार "निर्णय" करता है और 20 बार धीरे-धीरे खेलता है, तो आवश्यक मूल्य कहीं बीच में होगा, और यह हमें कुछ भी उपयोगी नहीं देगा। एक समाधान इनपुट को सीमित करना है - आप पिछले 20 टुकड़ों पर विचार कर सकते हैं।

एक समान दृष्टिकोण का उपयोग कुछ कार्यों की संभावना का आकलन करने के लिए किया जाता है, यह मानते हुए कि भविष्य में खिलाड़ी की पिछली प्राथमिकताएं समान होंगी। यदि कोई खिलाड़ी पांच बार आग के गोले से, दो बार बिजली से और एक बार हाथ से हाथ मिलाने पर हमला करता है, तो जाहिर है कि वह आग के गोले से बचता है। हम अतिरिक्त हथियारों का उपयोग करने की संभावना देखते हैं और देखते हैं: आग का गोला = 62.5%, बिजली = 25% और हाथापाई = 5.5%। हमारे खेल ऐ को अग्नि सुरक्षा के लिए तैयार करने की आवश्यकता है।

एक और दिलचस्प तरीका है, इनपुट डेटा के बड़े संस्करणों का अध्ययन करने और स्थिति को वर्गीकृत करने के लिए Naive Bayes Classifier (भोले Bayesian वर्गीकारक) का उपयोग करना ताकि AI सही तरीके से प्रतिक्रिया दे। बेइज़ियन क्लासीफायर सबसे अच्छा ईमेल स्पैम फिल्टर का उपयोग करने के लिए जाने जाते हैं। वहां, वे शब्दों पर शोध करते हैं, उनकी तुलना करते हैं जहां ये शब्द पहले (स्पैम या नहीं) में दिखाई देते हैं, और आने वाले पत्रों के बारे में निष्कर्ष निकालते हैं। हम कम इनपुट के साथ भी ऐसा कर सकते हैं। उन सभी उपयोगी जानकारियों के आधार पर, जो AI देखती है (उदाहरण के लिए, कौन सी दुश्मन इकाइयाँ बनाई गई हैं, या कौन सा मंत्र वे उपयोग करते हैं, या वे कौन-सी तकनीकें खोजी गई हैं), और अंतिम परिणाम (युद्ध या शांति, "क्रश" या बचाव, आदि) - हम वांछित AI व्यवहार का चयन करेंगे।

ये सभी प्रशिक्षण विधियां पर्याप्त हैं, लेकिन परीक्षण से प्राप्त आंकड़ों के आधार पर इनका उपयोग करना उचित है। एआई सीखेगा कि विभिन्न रणनीतियों का अनुकूलन कैसे करें जो आपके नाटक परीक्षकों ने उपयोग की हैं। एक एआई जो एक रिलीज के बाद एक खिलाड़ी के लिए अनुकूल हो जाता है, जीतने के लिए बहुत ही अनुमानित या इसके विपरीत, बहुत जटिल हो सकता है।

मूल्य आधारित अनुकूलन

हमारे खेल की दुनिया और नियमों की सामग्री को देखते हुए, हम उन मानों के सेट को बदल सकते हैं जो निर्णय लेने को प्रभावित करते हैं, और न केवल इनपुट डेटा का उपयोग करते हैं। हम यह करते हैं:

• बता दें कि AI खेल के दौरान दुनिया की स्थिति और प्रमुख घटनाओं पर डेटा एकत्र करता है (जैसा कि ऊपर बताया गया है)।
• आइए इस डेटा के आधार पर कुछ महत्वपूर्ण मान बदलें।
• हम इन मूल्यों के प्रसंस्करण या मूल्यांकन के आधार पर अपने निर्णयों का एहसास करते हैं।

उदाहरण के लिए, एक एजेंट के पास नक्शे पर एक प्रथम-व्यक्ति शूटर चुनने के लिए कई कमरे हैं। प्रत्येक कमरे का अपना मूल्य है, जो यह निर्धारित करता है कि यात्रा करना कितना वांछनीय है। एआई यादृच्छिक रूप से चुनता है कि मूल्य के आधार पर किस कमरे में जाना है। फिर एजेंट को याद है कि वह किस कमरे में मारा गया था, और इसके मूल्य को कम कर देता है (संभावना है कि वह वहां वापस आ जाएगा)। इसी तरह रिवर्स स्थिति के लिए - यदि एजेंट कई विरोधियों को नष्ट कर देता है, तो कमरे का मूल्य बढ़ जाता है।

मार्कोव मॉडल

यदि हम पूर्वानुमान के लिए एकत्रित डेटा का उपयोग करते हैं तो क्या होगा? यदि हम प्रत्येक कमरे को याद करते हैं जिसमें हम खिलाड़ी को एक निश्चित अवधि के लिए देखते हैं, तो हम भविष्यवाणी करेंगे कि खिलाड़ी किस कमरे में जा सकता है। कमरों (मूल्यों) में खिलाड़ी के आंदोलन को ट्रैक और रिकॉर्ड करके, हम उनकी भविष्यवाणी कर सकते हैं।

चलो तीन कमरे लेते हैं: लाल, हरा और नीला। खेल सत्र देखने के दौरान हमने जो अवलोकन दर्ज किए हैं, उनके साथ ही:



प्रत्येक कमरे के लिए टिप्पणियों की संख्या लगभग बराबर है - हम अभी भी नहीं जानते हैं कि एक घात के लिए एक अच्छी जगह कहां बनाई जाए। आंकड़ों का संग्रह उन खिलाड़ियों के रिस्पॉन्स से भी जटिल है जो पूरे नक्शे में समान रूप से दिखाई देते हैं। लेकिन अगले कमरे पर डेटा, जो वे नक्शे पर प्रदर्शित होने के बाद दर्ज करते हैं, पहले से ही उपयोगी है।

यह देखा जा सकता है कि ग्रीन रूम खिलाड़ियों को सूट करता है - लाल रंग के अधिकांश लोग इसमें जाते हैं, जिनमें से 50% वहां और आगे रहते हैं। नीले कमरे, इसके विपरीत, लोकप्रिय नहीं है, यह लगभग कभी नहीं देखा जाता है, और यदि यह है, तो यह नहीं भटकती है।

लेकिन डेटा हमें कुछ और महत्वपूर्ण बताता है - जब खिलाड़ी नीले कमरे में होता है, तो अगला कमरा जिसमें हम सबसे अधिक संभावना देखेंगे कि वह लाल होगा, हरा नहीं। इस तथ्य के बावजूद कि ग्रीन रूम लाल एक से अधिक लोकप्रिय है, अगर खिलाड़ी नीले रंग में है तो स्थिति बदल जाती है। अगला राज्य (यानी जिस कमरे में खिलाड़ी जाएगा) पिछली स्थिति पर निर्भर करता है (यानी जिस कमरे में खिलाड़ी अब है)। निर्भरता के अध्ययन के कारण, हम पूर्वानुमानों की तुलना में अधिक सटीक रूप से करेंगे यदि हमने केवल एक दूसरे के स्वतंत्र रूप से टिप्पणियों की गणना की।

अतीत की स्थिति के आंकड़ों के आधार पर भविष्य की स्थिति की भविष्यवाणी करना मार्कोव मॉडल कहलाता है, और ऐसे उदाहरण (कमरों के साथ) को मार्कोव श्रृंखला कहा जाता है। चूंकि मॉडल क्रमिक अवस्थाओं के बीच परिवर्तनों की संभावना का प्रतिनिधित्व करते हैं, इसलिए वे प्रत्येक संक्रमण के निकट संभावना वाले एफएसएम के रूप में दिखाई देते हैं। पहले, हम उस व्यवहार स्थिति का प्रतिनिधित्व करने के लिए FSM का उपयोग करते थे जिसमें एजेंट स्थित था, लेकिन यह अवधारणा किसी भी राज्य पर लागू होती है, चाहे वह एजेंट से संबंधित हो या नहीं। इस स्थिति में, राज्य एजेंट के कब्जे वाले कमरे का प्रतिनिधित्व करते हैं:



यह राज्यों में परिवर्तनों की सापेक्ष संभावना का प्रतिनिधित्व करने का एक सरल संस्करण है, जिससे AI को अगले राज्य की भविष्यवाणी करने का कुछ अवसर मिल सके। आप कुछ कदम आगे की भविष्यवाणी कर सकते हैं।

यदि खिलाड़ी ग्रीन रूम में है, तो 50% संभावना है कि वह अगले अवलोकन के दौरान वहां रहेगा। लेकिन इस बात की क्या संभावना है कि वह उसके बाद भी वहाँ रहेगा? केवल एक मौका नहीं है कि खिलाड़ी दो टिप्पणियों के बाद ग्रीन रूम में बने रहे, बल्कि यह भी मौका था कि वह छोड़ कर वापस लौट आए। यहाँ नए डेटा के साथ नई तालिका है:



यह दर्शाता है कि दो टिप्पणियों के बाद ग्रीन रूम में एक खिलाड़ी को देखने का मौका 51% - 21% होगा, कि वह लाल कमरे से आएगा, उनमें से 5%, कि खिलाड़ी उनके बीच नीले कमरे में जाएंगे, और 25%, कि खिलाड़ी नहीं करता है ग्रीन रूम छोड़ देंगे।

एक तालिका सिर्फ एक दृश्य उपकरण है - एक प्रक्रिया को केवल प्रत्येक चरण पर संभावनाओं का गुणन करने की आवश्यकता होती है। इसका मतलब है कि आप भविष्य में एक संशोधन के साथ दूर तक देख सकते हैं: हम मानते हैं कि एक कमरे में प्रवेश करने का मौका पूरी तरह से वर्तमान कमरे पर निर्भर है। इसे मार्कोव संपत्ति कहा जाता है - भविष्य की स्थिति केवल वर्तमान पर निर्भर करती है। लेकिन यह पूरी तरह से सही नहीं है। खिलाड़ी अन्य कारकों के आधार पर निर्णय ले सकते हैं: स्वास्थ्य स्तर या गोला-बारूद की मात्रा। चूंकि हम इन मूल्यों को ठीक नहीं करते हैं, हमारे पूर्वानुमान कम सटीक होंगे।

एन-ग्राम

- ? एक ही बात! , , -.

— (, Kick, Punch Block) . , Kick, Kick, Punch, SuperDeathFist, , .


( , SuperDeathFist.)

, Kick, Kick, , Punch. - SuperDeathFist , .

N- (N-grams), N — . 3- (), : . 5- .

N-. N , . , 2- () Kick, Kick Kick, Punch, Kick, Kick, Punch, SuperDeathFist.

, , . Kick, Punch Block, 10-, 60 .

— « / » , . 3- N- , ( N-) , — . Kick Kick Kick Punch. , , , . , , - .

निष्कर्ष

. , .

. , , . , :

• , ,
• / (minimax alpha-beta pruning)
• (, )
• ( , )
• ( )
• ( , anytime, timeslicing)

- :

1. GameDev.net , .
2. AiGameDev.com .
3. The GDC Vault GDC AI, .
4. AI Game Programmers Guild .
5. , , YouTube- AI and Games .

:

1. Game AI Pro , , .

Game AI Pro: Collected Wisdom of Game AI Professionals
Game AI Pro 2: Collected Wisdom of Game AI Professionals
Game AI Pro 3: Collected Wisdom of Game AI Professionals

2. AI Game Programming Wisdom — Game AI Pro. , .

AI Game Programming Wisdom 1
AI Game Programming Wisdom 2
AI Game Programming Wisdom 3
AI Game Programming Wisdom 4

3. Artificial Intelligence: A Modern Approach — . — .