आरएल एल्गोरिथ्म को एक साथ चलाने की क्रियाओं को एक साथ सेट करने की क्षमता के लिए तंत्रिका नेटवर्क वास्तुकला

आरएल एल्गोरिथ्म को लागू करने के लिए क्लासिक न्यूरल नेटवर्क योजनाओं में से एक निम्नानुसार है:


कहां: इनपुट - तंत्रिका नेटवर्क के लिए इनपुट; एफसी - (पूरी तरह से जुड़ा हुआ) छिपी हुई परत वास्तुकला या सीएनएन - एफसी - वास्तुकला छिपी परत वास्तुकला (इनपुट के लिए क्या खिलाया जाता है पर निर्भर करता है); आउटपुट - नेटवर्क आउटपुट। अक्सर, नेटवर्क आउटपुट एक सॉफ्टमैक्स परत होती है जो सभी संभावित कार्यों के सेट से किसी एक क्रिया की संभावना देती है।

इस वास्तुकला का नुकसान यह है कि कई एक साथ किए गए कार्यों की पसंद को लागू करना मुश्किल है।

इस समस्या को हल करने के लिए, मुखौटा परत के साथ एक वास्तुकला प्रस्तावित है। प्रस्तावित वास्तुकला इस प्रकार है:


यह वास्तुकला पूरी तरह से शास्त्रीय वास्तुकला के अनुरूप है, लेकिन इसमें एक एक्शन मास्क परत भी शामिल है। इस वास्तुकला से केवल एक ही रास्ता है - यह मूल्य का मूल्य है (एक साथ प्रदर्शन किए गए कार्यों का एक समूह)। एक्शन मास्क लेयर को नीचे दिए गए छद्म कोड के अनुसार लागू किया जा सकता है:

import numpy as np class Layer: def __init__(self, items, item_size, extra_size): assert(items > 0) assert(item_size > 0) assert(extra_size >= 0) self.items = items self.item_size = item_size self.extra_size = extra_size def build(self): self._expand_op = np.zeros((self.items, self.items*self.item_size), \ dtype=np.float32) for i in range(self.items): self._expand_op[i,i*self.item_size:(i+1)*self.item_size] = np.float32(1.0) def call(self, inputs, ops): op_mask_part = inputs[:self.items*self.item_size] if self.extra_size > 0: ext_part = inputs[self.items*self.item_size:] else: ext_part = None # if ops in [-0.5, 0.5] or [-0.5 .. 0.5]: ops1 = np.add(ops, np.float(0.5)) # optional extended_op = np.matmul(ops1, self._expand_op) if self.extra_size > 0: return np.concatenate((np.multiply(op_mask_part, extended_op), ext_part)) else: return np.multiply(op_mask_part,extended_op) 

और इस कोड का उपयोग निम्नलिखित कोड स्निपेट दर्शाता है:

 items = 5 item_size = 10 extra_size = 20 l = Layer(items=items, item_size=item_size, extra_size=extra_size) l.build() inputs = np.random.rand(items*item_size+extra_size) ops = np.random.randint(0, 2, (items,), dtype="int") ops = ops.astype(dtype=np.float32) - np.float32(0.5) result = l.call(inputs,ops) 

यह परत कोड से देखा जा सकता है कि प्रत्येक क्रिया के लिए तंत्रिका नेटवर्क वजन की एक श्रृंखला के रूप में कार्रवाई के कुछ प्रतिनिधित्व बनाने के लिए सीखता है। और ये प्रतिनिधित्व या तो मुखौटा परत के बाद नेटवर्क पर जाते हैं या नहीं। ऑपरेशन के आधार पर, ये वेट पूरे एक्शन वेट के समूह ([0,1] द्वारा गुणन ही नहीं) पर कुछ ऑपरेशन के कार्य के साथ हो सकते हैं। इस प्रकार, नेटवर्क द्वारा निष्पादित कार्यों के समूह के मूल्य की गणना करने के लिए कार्यों का कार्य बनता है। (शास्त्रीय मामले में, सॉफ्टमैक्स परत ने सभी क्रियाओं के मूल्य की गणना की; प्रस्तावित वास्तुकला में, तंत्रिका नेटवर्क चयनित कार्यों के समूह के मूल्य की गणना करता है।)

(एक एक्शन के मूल्य की परिभाषा के लिए, उदाहरण के लिए, आर.एस. सुटन, ईजी बार्टो बिनिन लर्निंग देखें।)

प्रस्तावित वास्तुकला का उपयोग करने के उदाहरण

टेट्रिस खेल

टेट्रिस खेलने के लिए इस वास्तुकला का उपयोग करने का विचार इस प्रकार है। इनपुट्स पर हम टेट्रिस गेम (एक पिक्सेल एक वर्ग) के ग्लास की छवि प्रस्तुत करते हैं। हम क्रिया समूहों में व्यक्तिगत क्रियाओं को समूहित करते हैं। एक तंत्रिका नेटवर्क के लिए एक कार्रवाई का मूल्यांकन एक गिलास में एक आंकड़े की अंतिम स्थिति का एक मुखौटा है। तंत्रिका नेटवर्क में एक्शन मास्क की परत में एक्शन मास्क में इसके वर्गों द्वारा आंकड़ा निर्धारित किया जाता है। क्रियाओं के एक समूह का चयन करने के लिए, हम वर्तमान आकृति के सभी अंतिम पदों की सूची से कार्रवाई (बाहर निकलने) के अधिकतम मूल्यांकन का चयन करते हैं।


चित्रा। क्षेत्र (नीली कोशिकाएं) और गिरती हुई आकृति (हल्के भूरे रंग की कोशिकाएं) को दिखाया गया है। आकृति की अंतिम स्थिति सभी संभावित स्थिति है जिसमें से आंकड़ा खेल के नियमों के अनुसार नहीं चल सकता है (दिखाया नहीं गया है)।

कार की गति का अनुकरण करने वाला एजेंट

इस मामले में, प्रत्येक त्वरण क्रिया (कई त्वरण त्वरण), ब्रेकिंग (ब्रेकिंग के दौरान कई संभावित त्वरण), साथ ही रोटेशन की कई डिग्री प्राथमिक क्रियाओं के रूप में मॉडलिंग की गई थीं। यह समझा जाता है कि एक ही समय में एक रोटेशन और एक त्वरण शामिल हो सकते हैं, या केवल एक रोटेशन कार्रवाई या एक त्वरण कार्रवाई हो सकती है। इस मामले में, वास्तुकला आपको एक जटिल कार्रवाई बनाने के लिए एक ही समय में कई प्राथमिक क्रियाओं को निर्दिष्ट करने की अनुमति देता है।


चित्रा। कार मॉडल (जिस पर पार्किंग लक्ष्य लाल और हरी रेखाओं द्वारा इंगित किया गया है) द्वारा क्रियाओं को करने के लिए क्षेत्र के अलावा, तंत्रिका नेटवर्क के इनपुट (नीचे) और मॉडल के इस राज्य में सभी संभावित कार्यों के लिए कार्यों के मूल्यांकन के मूल्यों को भी प्रदर्शित किया जाता है।

वास्तुकला के अन्य संभावित अनुप्रयोग

इसी तरह, एक गेम में टेट्रिस के उपयोग के साथ, आर्किटेक्चर का उपयोग अन्य खेलों के लिए किया जा सकता है, जहां एक ही समय में मैदान पर आंकड़ों की एक श्रृंखला और कई क्रियाएं निर्दिष्ट की जा सकती हैं (उदाहरण के लिए, खेल मैदान के चारों ओर घूमना)।

रोबोटिक्स में, यह वास्तुकला एक मेटा-नेटवर्क के रूप में काम कर सकता है जो व्यक्तिगत संरचनात्मक तत्वों को एक सामान्य पहनावा में समन्वयित करता है।

इसके अलावा, यह आर्किटेक्चर आपको CNN भाग को प्री-ट्रेन करने के लिए ट्रांसफर लर्निंग का उपयोग करने की अनुमति देता है, और शुरुआत में तंत्रिका नेटवर्क के आरएल भाग को प्रशिक्षित करने के लिए, और फिर मॉडल डेटा पर पहले से प्रशिक्षित आरएल नेटवर्क पर सीएनएन भाग को प्रशिक्षित करने की अनुमति देता है। उदाहरण के लिए, जब टेट्रिस गेम की प्रोग्रामिंग की जाती है, ट्रांसफर लर्निंग को सीएनएन भाग की शुरुआत में और एफसी भाग को एक्शन मास्क लेयर (जिसे परिणामस्वरूप नेटवर्क में स्थानांतरित किया जाता है) के प्रशिक्षण के साथ लागू किया गया था। पार्किंग समस्या में, मैं आरएल भाग (यानी पहली चेरी) सीखने के बाद सीएनएन प्रशिक्षण लागू करने की योजना बना रहा हूं।

→ प्रोग्राम सोर्स कोड उदाहरण यहां देखे जा सकते हैं