🥢 👏 🤰🏻 एकता में मशीन लर्निंग एजेंट 🌚 🌓 🐥

यूनिटी में मशीन लर्निंग एजेंट्स के बारे में यह लेख एक तकनीकी प्रर्वतक, एकता के सलाहकार, प्रबंधक और कई यूनिटी गेम्स, ग्राफिक प्रोजेक्ट्स, और पुस्तकों के लेखक माइकल लन्हम द्वारा लिखा गया था।

एकता डेवलपर्स ने मशीन सीखने के लिए समर्थन, और खेल और सिमुलेशन डेवलपर्स के लिए गहरी सुदृढीकरण सीखने (डीआरएल) एसडीके के निर्माण के लिए विशेष रूप से सुदृढीकरण सीखने के लिए समर्थन लागू किया है। सौभाग्य से, डैनी लैंग की अगुवाई वाली एकता टीम ने प्रभावशाली परिणाम देने में सक्षम एक विश्वसनीय और आधुनिक डीआरएल इंजन को सफलतापूर्वक लागू किया है। एकता डीआरएल इंजन के आधार के रूप में समीपस्थ नीति अनुकूलन (पीपीओ) मॉडल का उपयोग करती है; यह मॉडल बहुत अधिक जटिल है और कुछ पहलुओं में भिन्न हो सकता है।

इस लेख में, मैं आपको गेम और सिमुलेशन में डीआरएल एजेंट बनाने के लिए टूल और एसडीके से परिचित कराऊंगा। इस उपकरण की नवीनता और शक्ति के बावजूद, इसका उपयोग करना आसान है और इसमें सहायक उपकरण हैं जो आपको चलते-फिरते मशीन सीखने की अवधारणाओं को सीखने की अनुमति देते हैं। ट्यूटोरियल के साथ काम करने के लिए आपको एकता इंजन स्थापित करने की आवश्यकता है।

ML-Agent स्थापित करें

इस खंड में, मैं संक्षेप में उन चरणों के बारे में बात करूंगा जो एमएल-एजेंट एसडीके को स्थापित करने के लिए उठाए जाने चाहिए। यह सामग्री अभी भी बीटा में है और संस्करण से संस्करण में भिन्न हो सकती है। इन चरणों का पालन करें:

कंप्यूटर पर गिट स्थापित करें; यह कमांड लाइन से काम करता है। Git एक बहुत लोकप्रिय स्रोत कोड प्रबंधन प्रणाली है, और प्लेटफार्मों पर Git को स्थापित करने और उपयोग करने के बारे में इंटरनेट पर कई संसाधन हैं। गिट स्थापित करने के बाद, यह सुनिश्चित करें कि यह किसी भी भंडार का क्लोन बनाकर काम करता है।
कमांड प्रॉम्प्ट या नियमित शेल खोलें। विंडोज उपयोगकर्ता एनाकोंडा विंडो खोल सकते हैं।
उस कार्य फ़ोल्डर में जाएं जहां आप अपना नया कोड रखना चाहते हैं और निम्नलिखित कमांड दर्ज करें (विंडोज उपयोगकर्ता C: \ ML-Agent का चयन कर सकते हैं):
```
  git क्लोन https://github.com/Unity-Technologies/ml-agents 
```
तो आप अपने कंप्यूटर पर एमएल-एजेंट रिपॉजिटरी को क्लोन करते हैं और उसी नाम से एक नया फ़ोल्डर बनाते हैं। आप फ़ोल्डर नाम में एक संस्करण संख्या भी जोड़ सकते हैं। कृत्रिम बुद्धि के लगभग पूरे विश्व की तरह एकता लगातार बदल रही है, कम से कम अभी के लिए। इसका मतलब है कि नए बदलाव लगातार दिखाई दे रहे हैं। लेखन के समय, हम रिपॉजिटरी को ml-agent.6 फ़ोल्डर में क्लोन कर रहे हैं:
```
  git क्लोन https://github.com/Unity-Technologies/ml-agents ml-agent.6 
```

Ml- एजेंटों के लिए एक नया आभासी वातावरण बनाएँ और संस्करण 3.6 को इस तरह निर्दिष्ट करें:

  #Windows 
 conda create -n ml- एजेंट अजगर = 3.6
 
 #Mac
 अपने पसंदीदा वातावरण के लिए प्रलेखन का उपयोग करें

एनाकोंडा के साथ फिर से अपने पर्यावरण को सक्रिय करें:
```
  ml- एजेंटों को सक्रिय करें 
```
TensorFlow स्थापित करें। एनाकोंडा में, यह निम्नलिखित कमांड के साथ किया जा सकता है:
```
  पाइप स्थापित टेंसरफ़्लो == 1.7.1 
```
पायथन पैकेज स्थापित करें। एनाकोंडा में, निम्नलिखित दर्ज करें:
```
cd ML-Agents #from root folder cd ml-agents or cd ml-agents.6 #for example cd ml-agents pip install -e . or pip3 install -e . 
```
तो आप सभी आवश्यक एजेंट एसडीके पैकेज स्थापित करें; इसमें कई मिनट लग सकते हैं। खिड़की को बंद न करें, यह जल्द ही काम में आएगा।

इसलिए हमने ML-Agent के लिए Unity Python SDK स्थापित और कॉन्फ़िगर किया है। अगले भाग में, हम सीखेंगे कि यूनिटी द्वारा प्रदान किए गए कई वातावरणों में से एक को कैसे सेट और प्रशिक्षित किया जाए।

एजेंट प्रशिक्षण

अब हम तुरंत व्यापार के लिए नीचे उतर सकते हैं और उन उदाहरणों का पता लगा सकते हैं जो गहन सुदृढीकरण सीखने (डीआरएल) का उपयोग करते हैं। सौभाग्य से, इंजन की शक्ति को प्रदर्शित करने के लिए नए एजेंट के टूलकिट में कई उदाहरण हैं। एकता या एकता हब खोलें, और इन चरणों का पालन करें:

प्रोजेक्ट संवाद बॉक्स के शीर्ष पर स्थित ओपन प्रोजेक्ट बटन पर क्लिक करें।
स्क्रीनशॉट में दिखाए गए अनुसार UnitySDK प्रोजेक्ट फ़ोल्डर को ढूंढें और खोलें:

एकता एसडीके परियोजना खोलें
प्रोजेक्ट को लोड करने के लिए प्रतीक्षा करें, और उसके बाद संपादक के नीचे प्रोजेक्ट विंडो खोलें। यदि कोई विंडो आपसे प्रोजेक्ट को अपडेट करने के लिए कहती है, तो हां या जारी रखें चुनें। वर्तमान में, सभी एजेंट कोड पिछड़े संगत हैं।
स्क्रीनशॉट में दिखाए गए अनुसार ग्रिडवर्ल्ड दृश्य का पता लगाएँ और खोलें:

एक ग्रिडवर्ल्ड दृश्य का एक उदाहरण खोलना
पदानुक्रम विंडो में GridAcademy ऑब्जेक्ट का चयन करें।
दिमाग का चयन संवाद खोलने के लिए इंस्पेक्टर विंडो पर जाएं और दिमाग क्षेत्र के बगल में स्थित आइकन पर क्लिक करें:
GridWorldPlayer के मस्तिष्क का चयन करें। यह दिमाग खिलाड़ी का है, यानी खिलाड़ी (आप) खेल को नियंत्रित कर सकते हैं।
संपादक के शीर्ष पर स्थित प्ले बटन पर क्लिक करें और पर्यावरण देखें। चूंकि खेल अब खिलाड़ी को नियंत्रित करने के लिए स्थापित किया गया है, इसलिए आप घन को स्थानांतरित करने के लिए WASD कुंजी का उपयोग कर सकते हैं। कार्य लाल घन को हरे रंग से + प्रतीक में ले जाता है, जबकि लाल X से बचता है।

खेल में सहज हो जाओ। ध्यान दें कि खेल केवल एक निश्चित अवधि के लिए काम करता है और बारी आधारित नहीं है। अगले भाग में, हम सीखेंगे कि इस उदाहरण को डीआरएल एजेंट के साथ कैसे चलाया जाए।

दिमाग में क्या है?

एमएल-एजेंट्स प्लेटफ़ॉर्म के अद्भुत पहलुओं में से एक खिलाड़ी प्रबंधन से एआई / एजेंट प्रबंधन में जल्दी और आसानी से स्विच करने की क्षमता है। इसके लिए, एकता एक "मस्तिष्क" की अवधारणा का उपयोग करती है। मस्तिष्क को खिलाड़ी या एजेंट (मस्तिष्क सीखने) द्वारा नियंत्रित किया जा सकता है। सबसे आश्चर्यजनक बात यह है कि आप खेल को इकट्ठा कर सकते हैं और इसे एक खिलाड़ी के रूप में परख सकते हैं, और फिर इसे एक आरएल एजेंट के नियंत्रण में दे सकते हैं। इसके लिए धन्यवाद, एआई का उपयोग करके नियंत्रित करने के लिए थोड़े प्रयास के साथ किसी भी लिखित गेम को बनाया जा सकता है।

एकता में आरएल एजेंट प्रशिक्षण स्थापित करने और शुरू करने की प्रक्रिया काफी सरल है। एकता सीखने वाले मस्तिष्क के एक मॉडल का निर्माण करने के लिए बाहरी पायथन का उपयोग करती है। पायथन का उपयोग करना बहुत मायने रखता है क्योंकि इसके आसपास पहले से ही कई गहन शिक्षण (डीएल) पुस्तकालय हैं। GridWorld में एजेंट को प्रशिक्षित करने के लिए, निम्नलिखित चरणों को पूरा करें:

GridAcademy का फिर से चयन करें और GridWorldPlive के बजाय दिमाग के क्षेत्र में GridWorldLearning मस्तिष्क का चयन करें:

ग्रिडवर्ल्ड लर्निंग ब्रेन का उपयोग करने के लिए स्विच करना
दाईं ओर नियंत्रण बॉक्स की जाँच करें। यह सरल पैरामीटर रिपोर्ट करता है कि मस्तिष्क को बाहरी रूप से नियंत्रित किया जा सकता है। यह विकल्प सक्षम होना चाहिए।
पदानुक्रम विंडो में TrueAgent ऑब्जेक्ट का चयन करें, और फिर इंस्पेक्टर विंडो में, ग्रिड एजेंट घटक में मस्तिष्क की संपत्ति को ग्रिडवर्ल्ड लर्निंग मस्तिष्क में बदलें:

एजेंट के लिए GridWorldLearning मस्तिष्क नौकरी
इस उदाहरण में, हमें एक ही GridWorldLearning मस्तिष्क का उपयोग करने के लिए अकादमी और एजेंट दोनों की आवश्यकता है। एनाकोंडा या पायथन विंडो में स्विच करें और एमएल-एजेंट / एमएल-एजेंट फ़ोल्डर का चयन करें।
एनाकोंडा या पायथन विंडो में एमएल-एजेंट वर्चुअल वातावरण का उपयोग करके निम्न कमांड चलाएँ:
```
  mlagents- कॉन्फिग / ट्रेनर_कॉन्फ़िग.यामल --run-id = firstRun --train 
```
यह यूनिटी पीपीओ प्रशिक्षण मॉडल और एक उदाहरण एजेंट को निर्दिष्ट कॉन्फ़िगरेशन के साथ लॉन्च करेगा। एक निश्चित बिंदु पर, कमांड प्रॉम्प्ट विंडो आपको लोड किए गए वातावरण के साथ एकता संपादक शुरू करने के लिए कहेगी।
ग्रिडवर्ल्ड वातावरण लॉन्च करने के लिए एकता संपादक में प्ले पर क्लिक करें। इसके तुरंत बाद, आपको पायथन स्क्रिप्ट विंडो के लिए एजेंट प्रशिक्षण और आउटपुट देखना चाहिए:

लर्निंग मोड में ग्रिडवर्ल्ड चल रहा है
ध्यान दें कि mlagents-learn स्क्रिप्ट एक पायथन कोड है जो एक एजेंट को चलाने के लिए एक आरएल मॉडल बनाता है। जैसा कि आप स्क्रिप्ट के आउटपुट से देख सकते हैं, कई पैरामीटर (हाइपरपरमेटर्स) हैं जिन्हें कॉन्फ़िगर करने की आवश्यकता है।
एजेंट को कुछ हज़ार पुनरावृत्तियों को सीखने दें और ध्यान दें कि यह कितनी तेज़ी से सीखता है। PPO नामक आंतरिक मॉडल का उपयोग कई अलग-अलग कार्यों के लिए एक बहुत प्रभावी शिक्षण मॉडल साबित हुआ है, और यह खेल के विकास के लिए बहुत उपयुक्त है। पर्याप्त रूप से शक्तिशाली उपकरण के साथ, एक एजेंट आदर्श रूप से एक घंटे से भी कम समय में सीख सकता है।

एजेंट को आगे सीखने दें और एजेंट की सीखने की प्रक्रिया को ट्रैक करने के अन्य तरीकों का पता लगाएं, जैसा कि अगले भाग में प्रस्तुत किया गया है।

TensorBoard के साथ सीखने की निगरानी

आरएल मॉडल या किसी डीएल मॉडल का उपयोग कर एक एजेंट को प्रशिक्षित करना अक्सर एक कठिन काम होता है और विस्तार पर ध्यान देने की आवश्यकता होती है। सौभाग्य से, TensorFlow में TensorBoard नामक चार्टिंग टूल का एक सेट है, जिसका उपयोग आप अपनी सीखने की प्रक्रिया की निगरानी के लिए कर सकते हैं। TensorBoard शुरू करने के लिए इन चरणों का पालन करें:

एक एनाकोंडा या पायथन विंडो खोलें। एमएल-एजेंट आभासी वातावरण को सक्रिय करें। उस विंडो को बंद न करें जिसमें प्रशिक्षण मॉडल चल रहा है; हमें इसे जारी रखने की आवश्यकता है।
एमएल-एजेंट / एमएल-एजेंट फ़ोल्डर में जाएं और निम्नलिखित कमांड चलाएं:
```
  टेंसबोर्ड --logdir = सारांश 
```
इसलिए हम अपने स्वयं के अंतर्निहित वेब सर्वर पर TensorBoard लॉन्च करते हैं। आप पिछली कमांड के बाद दिखाए गए URL का उपयोग करके पेज लोड कर सकते हैं।
TensorBoard के लिए URL दर्ज करें जैसा कि विंडो में दिखाया गया है, या स्थानीय होस्ट टाइप करें: 6006 या machinename: 6006 ब्राउज़र में। लगभग एक घंटे के बाद, आपको कुछ इस तरह से देखना चाहिए:

TensorBoard चार्ट विंडो
पिछला स्क्रीनशॉट ग्राफ़ दिखाता है, जिनमें से प्रत्येक प्रशिक्षण का एक अलग पहलू प्रदर्शित करता है। यह समझने के लिए कि हमारे एजेंट को कैसे प्रशिक्षित किया जाता है, आपको इनमें से प्रत्येक ग्राफ से निपटने की आवश्यकता है, इसलिए हम प्रत्येक अनुभाग से आउटपुट का विश्लेषण करेंगे:

पर्यावरण: यह खंड दिखाता है कि एजेंट पूरे वातावरण में खुद को कैसे प्रकट करता है। नीचे पसंदीदा प्रवृत्ति के साथ चार्ट का अधिक विस्तृत दृश्य है:

पर्यावरण अनुभाग के रेखांकन की एक विस्तृत तस्वीर

संचयी पुरस्कार: यह कुल इनाम है जो एजेंट को अधिकतम करता है। आमतौर पर यह आवश्यक है कि यह बढ़ता है, लेकिन किसी कारण से यह घट सकता है। 1 और -1 के बीच पुरस्कार को अधिकतम करना हमेशा सबसे अच्छा होता है। यदि अनुसूची पुरस्कार इस सीमा से आगे जाते हैं, तो यह भी तय किया जाना चाहिए।
एपिसोड की लंबाई: यदि यह मान कम हो जाता है, तो यह आमतौर पर एक अच्छा संकेत है। अंत में, छोटे एपिसोड, अधिक प्रशिक्षण। हालांकि, ध्यान रखें कि यदि आवश्यक हो, तो एपिसोड की लंबाई बढ़ सकती है, इसलिए तस्वीर अलग हो सकती है।
पाठ: यह चार्ट यह स्पष्ट करता है कि एजेंट किस पाठ में है; यह पाठ्यक्रम सीखने के लिए अभिप्रेत है।
हानियाँ: यह खंड नीति और मूल्य के लिए परिकलित हानियों या लागतों का प्रतिनिधित्व करने वाले रेखांकन दिखाता है। नीचे इस खंड का एक स्क्रीनशॉट है जिसमें इष्टतम सेटिंग्स की ओर इशारा करते हुए तीर हैं:

घाटे और पसंदीदा प्रशिक्षण

पॉलिसी हानि: यह चार्ट समय के साथ नीति परिवर्तन की मात्रा निर्धारित करता है। राजनीति एक तत्व है जो कार्यों को परिभाषित करता है, और सामान्य स्थिति में, यह अनुसूची नीचे की ओर होनी चाहिए, यह दर्शाता है कि राजनीति बेहतर निर्णय ले रही है।
मान हानि: यह मान फ़ंक्शन का औसत नुकसान है। संक्षेप में, यह बताता है कि एजेंट अपने अगले राज्य के मूल्य की कितनी अच्छी तरह भविष्यवाणी करता है। प्रारंभ में, इस मूल्य में वृद्धि होनी चाहिए, और पारिश्रमिक के स्थिरीकरण के बाद, यह घटनी चाहिए।
नीति: पीपीओ में कार्यों की गुणवत्ता का आकलन करने के लिए, एक नीति की अवधारणा का उपयोग किया जाता है, न कि एक मॉडल के रूप में। नीचे दिया गया स्क्रीनशॉट नीति चार्ट और पसंदीदा प्रवृत्ति दिखाता है:

पॉलिसी चार्ट और पसंदीदा रुझान
एन्ट्रॉपी: यह ग्राफ रिसर्च एजेंट की भयावहता को दर्शाता है। इस मूल्य को कम करने की आवश्यकता है, क्योंकि एजेंट पर्यावरण के बारे में अधिक सीखता है और कम शोध की आवश्यकता होती है।
सीखने की दर: इस मामले में, इस मूल्य को धीरे-धीरे रैखिक रूप से घटाना चाहिए।
मूल्य का अनुमान: यह सभी एजेंट राज्यों द्वारा दौरा किया गया औसत मूल्य है। एक एजेंट के बढ़े हुए ज्ञान को प्रतिबिंबित करने के लिए, यह मान बढ़ना चाहिए और फिर स्थिर होना चाहिए।

6. एजेंट को पूरा होने तक छोड़ दें और TensorBoard को बंद न करें।
7. एनाकोंडा / पायथन विंडो पर लौटें जिसने मस्तिष्क को प्रशिक्षित किया और इस कमांड को चलाया:

  mlagents- लर्निंग कॉन्फिग / ट्रेनर_कॉन्फिग.यूमल -run-id = secondRun --train

8. आपको फिर से संपादक में प्ले पर क्लिक करने के लिए कहा जाएगा; तो यह करो। एजेंट को प्रशिक्षण शुरू करने और कई सत्र आयोजित करने दें। इस प्रक्रिया में, TensorBoard विंडो देखें और ध्यान दें कि चार्ट पर सेकंड रुन कैसे प्रदर्शित होता है। आप इस एजेंट को पूरा होने तक चलने दे सकते हैं, लेकिन आप चाहें तो इसे रोक सकते हैं।

एमएल-एजेंटों के पिछले संस्करणों में, आपको पहले खेल के लिए सीखने के माहौल के रूप में एकता निष्पादन योग्य बनाना होगा, और फिर इसे चलाना होगा। अजगर के बाहरी मस्तिष्क को उसी तरह काम करना चाहिए था। इस पद्धति ने कोड या गेम में समस्याओं को डीबग करना बहुत कठिन बना दिया। नई तकनीक में, इन सभी कठिनाइयों को समाप्त कर दिया गया था।

अब जब हमने देखा है कि एक एजेंट को सेट करना और प्रशिक्षित करना कितना आसान है, तो अगले भाग पर चलते हैं, जिसमें हम सीखते हैं कि पायथन बाहरी मस्तिष्क के बिना एजेंट को कैसे चलाना है और इसे सीधे यूनिटी में निष्पादित करना है।

एजेंट लॉन्च

पायथन प्रशिक्षण बहुत अच्छा है, लेकिन आप इसे वास्तविक गेम में उपयोग नहीं कर सकते। आदर्श रूप से, हम एक TensorFlow चार्ट का निर्माण करना चाहते हैं और इसका उपयोग एकता में करना चाहते हैं। सौभाग्य से, TensorFlowSharp पुस्तकालय बनाया गया था जो .NET को TensorFlow ग्राफिक्स का उपयोग करने की अनुमति देता है। यह हमें ऑफ़लाइन TFModels मॉडल बनाने की अनुमति देता है, और बाद में उन्हें गेम में इंजेक्ट करता है। दुर्भाग्य से, हम केवल प्रशिक्षित मॉडल का उपयोग कर सकते हैं, लेकिन उन्हें इस तरह प्रशिक्षित नहीं कर सकते हैं, कम से कम अभी तक नहीं।

आइए देखें कि यह कैसे काम करता है, ग्राफ के उदाहरण का उपयोग करके हमने केवल ग्रिडवर्ल्ड पर्यावरण के लिए प्रशिक्षित किया; एकता में आंतरिक मस्तिष्क के रूप में इसका उपयोग करें। अपने आंतरिक मस्तिष्क को सेट करने और उपयोग करने के लिए निम्नलिखित अनुभाग में दिए चरणों का पालन करें:

यहां से TFSharp प्लगइन डाउनलोड करें
संपादक मेनू से, संपत्ति का चयन करें आयात पैकेज | कस्टम पैकेज ...
आपके द्वारा अभी डाउनलोड किया गया एसेट पैकेज ढूंढें और प्लगइन को प्रोजेक्ट में लोड करने के लिए आयात संवादों का उपयोग करें।
मेनू से, संपादित करें का चयन करें | प्रोजेक्ट सेटिंग्स। सेटिंग्स विंडो खुलती है (संस्करण 2018.3 में दिखाई दी)
प्लेयर विकल्पों में स्क्रिप्टिंग डेफिनिशन सिंबल के अक्षर खोजें और टेक्स्ट को ENABLE_TENSORFLOW में बदलें, और स्क्रीनशॉट में दिखाए अनुसार Unsafe कोड को भी अनुमति दें।

ध्वज को सक्षम करना ENABLE_TENSORFLOW
Hierarchy विंडो में GridWorldAcademy ऑब्जेक्ट ढूंढें और सुनिश्चित करें कि यह दिमाग का उपयोग करता है | GridWorldLearning। ग्रिड अकादमी स्क्रिप्ट के दिमाग अनुभाग में नियंत्रण विकल्प को अक्षम करें।
एसेट्स / उदाहरण / GridWorld / Brains फ़ोल्डर में GridWorldLearning मस्तिष्क का पता लगाएं और सुनिश्चित करें कि निरीक्षक विंडो में मॉडल पैरामीटर सेट किया गया है, जैसा कि स्क्रीनशॉट में दिखाया गया है:

मस्तिष्क के लिए मॉडल कार्य
GridWorldLearning को पहले से ही मॉडल के रूप में सेट किया जाना चाहिए। इस उदाहरण में, हम TFModel का उपयोग करते हैं जो ग्रिडवर्ल्ड उदाहरण के साथ आता है।
संपादक शुरू करने के लिए प्ले पर क्लिक करें और देखें कि एजेंट क्यूब का प्रबंधन कैसे करता है।

अब हम एकता पूर्व प्रशिक्षित वातावरण शुरू कर रहे हैं। अगले भाग में, हम सीखेंगे कि मस्तिष्क का उपयोग कैसे करें जिसे हमने पिछले अनुभाग में प्रशिक्षित किया था।

प्रशिक्षित मस्तिष्क लोड हो रहा है

सभी एकता उदाहरणों में पूर्व प्रशिक्षित दिमाग होते हैं जिनका उपयोग उदाहरणों का अध्ययन करने के लिए किया जा सकता है। बेशक, हम अपने ही टीएफ ग्राफ को एकता में लोड करने और उन्हें चलाने में सक्षम होना चाहते हैं। एक प्रशिक्षित ग्राफ लोड करने के लिए, इन चरणों का पालन करें:

एमएल-एजेंट्स / एमएल-एजेंट्स / मॉडल / फ़र्स्ट-रनर-फोल्डर पर जाएं। इस फ़ोल्डर के अंदर GridWorldLearning.bytes फ़ाइल है। इस फाइल को प्रोजेक्ट / एसेट्स / ML-Agent / Examples / GridWorld / TFModels फ़ोल्डर में एकता के अंदर खींचें:

एकता में बाइट्स ग्राफ खींचना
इसलिए हम ग्राफ को एकता परियोजना में एक संसाधन के रूप में आयात करते हैं और इसका नाम बदलकर GridWorldLearning 1. इंजन ऐसा करते हैं क्योंकि डिफ़ॉल्ट मॉडल में पहले से ही समान नाम है।
मस्तिष्क फ़ोल्डर में GridWorldLearning का पता लगाएं, इसे इंस्पेक्टर विंडो में चुनें और नए GridWorldLearning 1 मॉडल को मस्तिष्क पैरामीटर मापदंडों के मॉडल क्षेत्र में खींचें:

ग्राफ मॉडल क्षेत्र में मस्तिष्क लोड हो रहा है
इस स्तर पर, हमें किसी अन्य पैरामीटर को बदलने की आवश्यकता नहीं है, लेकिन इस बात पर विशेष ध्यान दें कि मस्तिष्क कैसे कॉन्फ़िगर किया गया है। अभी के लिए, मानक सेटिंग्स करेंगे।
एकता संपादक में प्ले पर क्लिक करें और देखें कि एजेंट गेम के चारों ओर सफलतापूर्वक कैसे चलता है।
खेल में एजेंट की सफलता उसके प्रशिक्षण के समय पर निर्भर करती है। यदि आप उसे प्रशिक्षण पूरा करने की अनुमति देते हैं, तो एजेंट पूरी तरह से प्रशिक्षित एकता एजेंट के समान होगा।