एकता के लिए प्लग-इन-एजेंट

हाल ही में, ml- एजेंट प्लगइन को अपडेट किया गया है। जो लोग नहीं जानते हैं, उनके लिए यह एक खुला स्रोत प्लगइन है जो एकता में प्रशिक्षण एजेंटों के लिए एक वातावरण है। उन्हें पायथन एपीआई का उपयोग करके सुदृढीकरण सीखने, नकल सीखने, न्यूरोव्यूलेशन या अन्य मशीन सीखने के तरीकों का उपयोग करके प्रशिक्षित किया जा सकता है। यह कई आधुनिक एल्गोरिदम (TensorSlow पर आधारित) भी प्रदान करता है जो आपको अपने खेल के लिए स्मार्ट एनपीसी बनाने की अनुमति देता है।

एकता में मशीन सीखने को लागू करने के लिए आपको क्या करने की आवश्यकता है?

इस प्लगइन को यहाँ डाउनलोड करें । आपको एकता-एनवायरमेंट फ़ोल्डर की आवश्यकता होगी। इससे पहले, एक खाली प्रोजेक्ट बनाएं। एसेट्स फ़ोल्डर में, एसेट्स फ़ोल्डर की सामग्री को एकता-एनोवमेंट के साथ जोड़ें। ProjectSettings के साथ ऐसा करें। कृपया ध्यान दें कि यदि आप इस प्लगइन को किसी मौजूदा प्रोजेक्ट में जोड़ते हैं, तो पहले एक खाली प्रोजेक्ट बनाएं, ऊपर दिए गए चरणों का पालन करें और एक पैकेज (एसेट्स-एक्सपोर्टपैकेज) बनाएं और फिर इसे अपने मौजूदा प्रोजेक्ट में आयात करें। यह आवश्यक है ताकि आप अपने प्रोजेक्ट में मौजूदा प्रोजेक्टसेटिंग सेटिंग्स को न खोएं।

मैं एक सॉकर गेम के उदाहरण का उपयोग करके मशीन लर्निंग के कार्यान्वयन का प्रदर्शन करूँगा (यह दृश्य पहले से ही प्लगइन में है)। इसकी दो टीमें हैं, नीला और लाल। प्रत्येक टीम में एक स्ट्राइकर और गोलकीपर है।


चलिए प्लगइन पर वापस आते हैं। उसे मंच पर काम करने के लिए, हमें कम से कम एक अकादमी, मस्तिष्क और एजेंट वस्तु की आवश्यकता है। सहभागिता योजना नीचे देखी जा सकती है।



अकादमी की वस्तु और उसकी सहायक कंपनियां गोआलीब्रेन, स्ट्राइकरब्रेन मंच पर स्थित हैं। जैसा कि हम आरेख से देख सकते हैं, प्रत्येक अकादमी में कई मस्तिष्क हो सकते हैं, लेकिन प्रत्येक मस्तिष्क में एक अकादमी होनी चाहिए।

एजेंट - ये हमारी गेम ऑब्जेक्ट हैं जिन्हें हम प्रशिक्षित करना चाहते हैं।



अगला, कोड पर जाएं। सॉकरएकेडमी क्लास, जिसे गेमऑब्जेक्ट अकादमी में जोड़ा गया था, अकादमी वर्ग से विरासत में मिला है, इससे पहले आपको एमएलएगेंट्स का उपयोग करके एक नाम स्थान जोड़ना चाहिए। उसके बाद, हमें तरीकों को ओवरराइड करना चाहिए

public override void AcademyReset() { } public override void AcademyStep() { } 

और ब्रेन द्वारा बनाए गए लिंक्स को जोड़ें

 public Brain brainStriker; public Brain brainGoalie; 

GoalieBrain, StrikerBrain में एक मस्तिष्क घटक जोड़ें और उन्हें अकादमी में असाइन करें



AgentS Bureau वर्ग सॉकर से विरासत में मिला है। इसे प्रत्येक खिलाड़ी में जोड़ें और इंगित करें कि कौन से ब्रेन का उपयोग किया जाएगा।



AgentSystem स्क्रिप्ट में, हम खिलाड़ियों के तर्क का वर्णन करते हैं। ओवरराइड कलेक्टऑब्सेस () विधि में, हम उन किरणों की एक सूची जोड़ते हैं जो खिलाड़ियों को मॉनीटर करने और गेमप्ले पर प्रतिक्रिया देने में मदद करेंगे।

 public override void CollectObservations() { float rayDistance = 20f; float[] rayAngles = { 0f, 45f, 90f, 135f, 180f, 110f, 70f }; string[] detectableObjects; if (team == Team.red) { detectableObjects = new string[] { "ball", "redGoal", "blueGoal", "wall", "redAgent", "blueAgent" }; } else { detectableObjects = new string[] { "ball", "blueGoal", "redGoal", "wall", "blueAgent", "redAgent" }; } AddVectorObs(rayPer.Perceive(rayDistance, rayAngles, detectableObjects, 0f, 0f)); AddVectorObs(rayPer.Perceive(rayDistance, rayAngles, detectableObjects, 1f, 0f)); } 

ओवरराइड किए गए AgentAction विधि अद्यतन का एक एनालॉग है। इसमें, हम चाल विधि को कहते हैं और पुरस्कार वितरित करते हैं।

 public override void AgentAction(float[] vectorAction, string textAction) { // Existential penalty for strikers. if (agentRole == AgentRole.striker) { AddReward(-1f / 3000f); } // Existential bonus for goalies. if (agentRole == AgentRole.goalie) { AddReward(1f / 3000f); } MoveAgent(vectorAction); } 

यदि हम गेंद को छूते हैं, तो इसे धक्का दें

 void OnCollisionEnter(Collision c) { float force = 2000f * kickPower; if (c.gameObject.tag == "ball") { Vector3 dir = c.contacts[0].point - transform.position; dir = dir.normalized; c.gameObject.GetComponent<Rigidbody>().AddForce(dir * force); } } 

लक्ष्य पूरा होने पर रीसेट करें

 public override void AgentReset() { if (academy.randomizePlayersTeamForTraining) { ChooseRandomTeam(); } if (team == Team.red) { JoinRedTeam(agentRole); transform.rotation = Quaternion.Euler(0f, -90f, 0f); } else { JoinBlueTeam(agentRole); transform.rotation = Quaternion.Euler(0f, 90f, 0f); } transform.position = area.GetRandomSpawnPos(team.ToString(), agentRole.ToString()); agentRB.velocity = Vector3.zero; agentRB.angularVelocity = Vector3.zero; area.ResetBall(); } 

प्रशिक्षण के विकल्प

आप एकता संपादक से एजेंटों को प्रशिक्षित कर सकते हैं, साथ ही TensorFlow का उपयोग कर सकते हैं । एकता के लिए, आपको अकादमी में प्रत्येक मस्तिष्क के लिए सजा और इनाम को निर्दिष्ट करने की आवश्यकता है।



वैल्यू को एक्सटर्नल सेट करके ब्रेन को उसका टाइपब्रेन बताना भी सार्थक है। वे निम्नलिखित प्रकारों में भी आते हैं:

• बाहरी - जहां पायथन एपीआई का उपयोग करके निर्णय किए जाते हैं। यहां, ब्रेन द्वारा उत्पन्न टिप्पणियों और पुरस्कारों को बाहरी संचारक के माध्यम से पायथन एपीआई पर पुनर्निर्देशित किया जाता है। अजगर एपीआई तब उचित कार्रवाई लौटाता है जिसे एजेंट को लेना चाहिए।
• आंतरिक - जहां निर्णय अंतर्निहित TensorFlow मॉडल का उपयोग करके किया जाता है। नेस्टेड TensorFlow मॉडल एक विज्ञान नीति का प्रतिनिधित्व करता है, और मस्तिष्क प्रत्येक एजेंट के लिए कार्रवाई निर्धारित करने के लिए सीधे इस मॉडल का उपयोग करता है।
• प्लेयर - जहां वास्तविक कीबोर्ड या नियंत्रक इनपुट का उपयोग करके निर्णय किए जाते हैं। यहां, मानव खिलाड़ी एजेंट को नियंत्रित करता है, और मस्तिष्क द्वारा एकत्रित टिप्पणियों और पुरस्कारों का उपयोग एजेंट को नियंत्रित करने के लिए नहीं किया जाता है।
• हेयुरिस्टिक - जहां हार्ड-कोडेड व्यवहार का उपयोग करके निर्णय किए जाते हैं। यह इस बात के समान है कि वर्तमान में अधिकांश चरित्र व्यवहार को कैसे परिभाषित किया जाता है और यह डिबगिंग के लिए उपयोगी हो सकता है या इसकी तुलना कैसे कर सकता है कि हार्ड-कोडित नियमों के साथ एक एजेंट की तुलना में एक एजेंट जिसका व्यवहार प्रशिक्षित किया गया है।