PDDM - उन्नत शेड्यूलर के साथ नए मॉडल-आधारित सुदृढीकरण सीखना एल्गोरिदम

सुदृढीकरण सीखना दो बड़े वर्गों में विभाजित है: मॉडल-मुक्त और मॉडल-आधारित। पहले मामले में, कार्रवाई सीधे इनाम सिग्नल द्वारा अनुकूलित की जाती है, और दूसरे में, तंत्रिका नेटवर्क केवल वास्तविकता का एक मॉडल है, और बाहरी शेड्यूलर का उपयोग करके इष्टतम कार्यों का चयन किया जाता है। प्रत्येक दृष्टिकोण के अपने फायदे और नुकसान हैं।

बर्कले और Google ब्रेन के डेवलपर्स ने एक बेहतर शेड्यूलर के साथ मॉडल-आधारित पीडीडीएम एल्गोरिदम पेश किया, जो आपको बड़ी संख्या में स्वतंत्रता के साथ बड़ी संख्या में उदाहरणों के साथ जटिल आंदोलनों को प्रभावी ढंग से सीखने की अनुमति देता है। स्वतंत्रता की 24 डिग्री के साथ यथार्थवादी उंगली के जोड़ों के साथ एक रोबोट बांह में गेंदों को कैसे घुमाया जाए, यह जानने के लिए, वास्तविक भौतिक रोबोट पर केवल 4 घंटे का अभ्यास किया।

रीइनफोर्समेंट लर्निंग एक रिवार्ड सिग्नल वाला रोबोट का प्रशिक्षण है। यह जीवित प्राणियों के सीखने के समान है। लेकिन समस्या इस तथ्य से जटिल है कि यह ज्ञात नहीं है कि तंत्रिका नेटवर्क के वजन को कैसे बदलना है ताकि इसके प्रस्तावित कार्यों से पुरस्कारों में वृद्धि हो। इसलिए, सुदृढीकरण सीखना में, पारंपरिक तंत्रिका नेटवर्क प्रशिक्षण विधियां उपयुक्त नहीं हैं। आखिरकार, यह नहीं पता है कि उसे बाहर निकलने पर वास्तव में क्या देना चाहिए, जिसका अर्थ है कि उसकी भविष्यवाणी और चीजों की वास्तविक स्थिति के बीच एक त्रुटि ढूंढना असंभव है। तंत्रिका नेटवर्क की परतों के माध्यम से इस अंतर को वापस छोड़ना और इस त्रुटि को कम करने के लिए न्यूरॉन्स के बीच वजन को बदलना। यह तंत्रिका नेटवर्क द्वारा पढ़ाया जाने वाला एक क्लासिक बैक प्रॉपेगोरिथम एल्गोरिथम है।

इसलिए, वैज्ञानिकों ने इस समस्या को हल करने के लिए कई तरीके ईजाद किए हैं।

मॉडल-नि: शुल्क

सबसे प्रभावी दृष्टिकोणों में से एक अभिनेता-आलोचक मॉडल था। अपने इनपुट पर एक तंत्रिका नेटवर्क (अभिनेता) को राज्य के वातावरण की स्थिति प्राप्त करने दें, और आउटपुट पर, कार्रवाई जारी करें जो कि पुरस्कार पुरस्कार में वृद्धि की ओर ले जाए। अब तक, ये क्रियाएं यादृच्छिक हैं और केवल नेटवर्क के भीतर सिग्नल प्रवाह पर निर्भर करती हैं, क्योंकि तंत्रिका नेटवर्क को अभी तक प्रशिक्षित नहीं किया गया है। और दूसरे तंत्रिका नेटवर्क (आलोचक) को पर्यावरण की स्थिति भी प्राप्त करने दें, लेकिन पहले नेटवर्क के आउटपुट से भी कार्य करते हैं। और आउटपुट पर, केवल इनाम इनाम की भविष्यवाणी करें, जो इन कार्यों को लागू करने पर प्राप्त होगा।

अब अपने हाथों को देखें: हम यह नहीं जानते हैं कि पहले नेटवर्क के आउटपुट में सबसे अच्छी क्रियाएं क्या होनी चाहिए, जिससे इनाम में बढ़ोतरी हो सकती है। इसलिए, बैक प्रोपगेशन एल्गोरिथ्म का उपयोग करते हुए, हम इसे प्रशिक्षित नहीं कर सकते हैं। लेकिन दूसरा तंत्रिका नेटवर्क बहुत अच्छी तरह से इनाम इनाम के सटीक मूल्य (या बल्कि, आमतौर पर इसके परिवर्तन) की भविष्यवाणी कर सकता है, जिसे यह प्राप्त होगा यदि कार्रवाई अब लागू होती है। तो चलो दूसरे नेटवर्क से त्रुटि परिवर्तन ढाल लें, और इसे पहले पर लागू करें! तो आप त्रुटि के पीछे प्रसार की शास्त्रीय विधि द्वारा पहले तंत्रिका नेटवर्क को प्रशिक्षित कर सकते हैं। हम केवल त्रुटि को पहले नेटवर्क के आउटपुट से नहीं, बल्कि दूसरे के आउटपुट से लेते हैं।

नतीजतन, पहला तंत्रिका नेटवर्क पुरस्कार में वृद्धि के लिए अग्रणी इष्टतम क्रियाएं जारी करना सीखता है। क्योंकि अगर आलोचक आलोचक ने गलती की और वास्तविकता में होने की तुलना में एक छोटे इनाम की भविष्यवाणी की, तो इस अंतर का ग्रेडिएंट अभिनेता के कार्यों को दिशा में ले जाएगा ताकि आलोचक अधिक सटीक रूप से इनाम की भविष्यवाणी करे। और इसका मतलब है कि अधिक इष्टतम कार्यों की ओर (आखिरकार, वे इस तथ्य को जन्म देंगे कि आलोचक एक उच्च पुरस्कार की सटीक भविष्यवाणी करता है)। एक समान सिद्धांत विपरीत दिशा में काम करता है: यदि आलोचक अपेक्षित इनाम को कम कर देता है, तो अपेक्षा और वास्तविकता के बीच का अंतर पहले न्यूरल नेटवर्क से कार्यों के आउटपुट को कम कर देगा, जिसके कारण दूसरे नेटवर्क से इस ओवरडिमेट रिवार्ड इंडिकेशन का संकेत मिलता है।

जैसा कि आप देख सकते हैं, इस मामले में, कार्रवाई सीधे इनाम सिग्नल द्वारा अनुकूलित की जाती है। यह सुदृढीकरण सीखने में सभी मॉडल-मुक्त एल्गोरिदम का सामान्य सार है। वे इस समय अत्याधुनिक हैं।

उनका लाभ यह है कि ढाल वंश द्वारा इष्टतम कार्यों की मांग की जाती है, इसलिए, अंत में, सबसे इष्टतम वाले पाए जाते हैं। जिसका अर्थ है सबसे अच्छा परिणाम दिखाना। एक और लाभ छोटे (और इसलिए तेजी से सीखने योग्य) तंत्रिका नेटवर्क का उपयोग करने की क्षमता है। यदि पर्यावरणीय कारकों की पूरी विविधता में से कुछ विशिष्ट समस्या को हल करने के लिए महत्वपूर्ण हैं, तो ढाल मूल उन्हें पहचानने में काफी सक्षम है। और समस्या को हल करने के लिए उपयोग करें। इन दो लाभों ने प्रत्यक्ष मॉडल-मुक्त तरीकों से सफलता सुनिश्चित की है।

लेकिन उनके नुकसान भी हैं। चूंकि कार्रवाई सीधे इनाम संकेत द्वारा सिखाई जाती है, इसलिए कई प्रशिक्षण उदाहरणों की आवश्यकता होती है। बहुत ही साधारण मामलों के लिए भी लाखों। वे बड़ी संख्या में स्वतंत्रता के साथ कार्यों पर खराब काम करते हैं। यदि एल्गोरिथ्म तुरंत उच्च आयाम के परिदृश्य के बीच प्रमुख कारकों की पहचान करने का प्रबंधन नहीं करता है, तो यह सबसे अधिक संभावना नहीं सीखेगा। अन्य पर्यावरणीय कारकों को नजरअंदाज करते हुए, मॉडल-मुक्त विधियां प्रणाली में कमजोरियों का शोषण कर सकती हैं, गैर-इष्टतम कार्रवाई (यदि ढाल मूल इस पर अभिसरण करती है) पर ध्यान केंद्रित करती है। यहां तक ​​कि थोड़ा अलग मॉडल-मुक्त कार्यों के लिए, विधियों को पूरी तरह से फिर से प्रशिक्षित करना होगा।

मॉडल के आधार पर

सुदृढीकरण सीखने में मॉडल-आधारित विधियाँ ऊपर वर्णित दृष्टिकोण से मौलिक रूप से भिन्न हैं। मॉडल-आधारित में, एक तंत्रिका नेटवर्क केवल भविष्यवाणी करता है कि आगे क्या होगा। कोई कार्रवाई की पेशकश नहीं। यही है, यह केवल वास्तविकता का एक मॉडल है (इसलिए "मॉडल" नाम में आधारित है)। और निर्णय लेने की व्यवस्था बिल्कुल नहीं।

मॉडल-आधारित न्यूरल नेटवर्क को राज्य के वर्तमान वातावरण के साथ खिलाया जाता है और हम कौन सी क्रिया करना चाहते हैं। और तंत्रिका नेटवर्क भविष्यवाणी करता है कि इन कार्यों को लागू करने के बाद भविष्य में राज्य कैसे बदल जाएगा। वह यह भी अनुमान लगा सकती है कि इन कार्यों के परिणामस्वरूप क्या इनाम होगा। लेकिन यह आवश्यक नहीं है, क्योंकि पुरस्कार की गणना आमतौर पर एक प्रसिद्ध राज्य से की जा सकती है। इसके अलावा, इस उत्पादन राज्य को तंत्रिका नेटवर्क (नए प्रस्तावित कार्यों के साथ) के इनपुट पर वापस खिलाया जा सकता है, और इसलिए बाहरी वातावरण में कई कदमों के बाद पुनरावृत्ति की भविष्यवाणी की जाती है।

मॉडल आधारित तंत्रिका नेटवर्क सीखना बहुत आसान है। चूंकि वे केवल यह अनुमान लगाते हैं कि दुनिया कैसे बदल जाएगी, बिना कोई सुझाव दिए कि इनाम बढ़ाने के लिए क्या इष्टतम क्रियाएं होनी चाहिए। इसलिए, मॉडल-आधारित तंत्रिका नेटवर्क अपने प्रशिक्षण के लिए सभी मौजूदा उदाहरणों का उपयोग करता है, न कि केवल उन लोगों के लिए जो पुरस्कारों में वृद्धि या कमी करते हैं, जैसा कि मॉडल-फ्री में है। यही कारण है कि मॉडल आधारित तंत्रिका नेटवर्क को कम प्रशिक्षण उदाहरणों की आवश्यकता होती है।

एकमात्र दोष यह है कि मॉडल आधारित तंत्रिका नेटवर्क को सिस्टम की वास्तविक गतिशीलता का अध्ययन करना चाहिए, और इसलिए इसके लिए पर्याप्त क्षमता होनी चाहिए। एक मॉडल-फ्री न्यूरल नेटवर्क प्रमुख कारकों पर एकाग्र हो सकता है, बाकी को अनदेखा कर सकता है और इसलिए एक छोटा सा सरल नेटवर्क हो सकता है (यदि कार्य सिद्धांत में कम संसाधनों द्वारा हल किया जाता है)।

एक और महान लाभ, उदाहरणों की एक छोटी संख्या पर प्रशिक्षण के अलावा, यह है कि दुनिया के एक सार्वभौमिक मॉडल के रूप में, इस दुनिया में किसी भी संख्या की समस्याओं को हल करने के लिए एकल मॉडल-आधारित तंत्रिका नेटवर्क का उपयोग किया जा सकता है।

मॉडल-आधारित दृष्टिकोण में मुख्य समस्या यह है कि तंत्रिका नेटवर्क के इनपुट के लिए क्या कार्य क्रियाएं लागू की जानी चाहिए? आखिरकार, तंत्रिका नेटवर्क स्वयं कोई इष्टतम क्रिया प्रदान नहीं करता है।

सबसे आसान तरीका यह है कि इस तरह के एक तंत्रिका नेटवर्क के माध्यम से हजारों यादृच्छिक कार्यों को चलाया जाए और उन लोगों को चुना जाए जिनके लिए तंत्रिका नेटवर्क सबसे बड़ा इनाम होने की भविष्यवाणी करेगा। यह एक क्लासिक मॉडल-आधारित सुदृढीकरण सीखना है। हालांकि, बड़े आयामों और लंबे समय की श्रृंखलाओं के साथ, संभावित क्रियाओं की संख्या उन सभी के माध्यम से छंटनी करने के लिए बहुत बड़ी हो जाती है (या यहां तक ​​कि कम से कम थोड़ा इष्टतम अनुमान लगाती है)।

इस कारण से, मॉडल-आधारित विधियां आमतौर पर मॉडल-फ्री से नीच होती हैं, जो कि ढाल वंश द्वारा सीधे सबसे इष्टतम कार्यों में परिवर्तित होती हैं।

रोबोटिक्स में आंदोलनों के लिए लागू एक बेहतर संस्करण यादृच्छिक क्रियाओं का उपयोग नहीं करना है, बल्कि पिछले आंदोलन को बनाए रखने के लिए सामान्य वितरण में यादृच्छिकता को जोड़ना है। चूंकि रोबोट्स के मूवमेंट आमतौर पर चिकने होते हैं, इससे बस्ट्स की संख्या कम हो जाती है। लेकिन एक ही समय में, एक महत्वपूर्ण तेज बदलाव याद किया जा सकता है।

इस दृष्टिकोण के लिए अंतिम विकास विकल्प को CEM विकल्प माना जा सकता है, जो एक निश्चित सामान्य वितरण का उपयोग नहीं करता है जो क्रियाओं के वर्तमान पथ में यादृच्छिकता का परिचय देता है, लेकिन क्रॉस-एन्ट्रोपी का उपयोग करके यादृच्छिक वितरण के मापदंडों का चयन करता है। ऐसा करने के लिए, कार्यों की गणना की आबादी लॉन्च की जाती है और उनमें से सबसे अच्छी का उपयोग अगली पीढ़ी में मापदंडों के प्रसार को परिष्कृत करने के लिए किया जाता है। विकासवादी एल्गोरिथम जैसा कुछ।

PDDM

नए प्रस्तावित PDDM मॉडल-आधारित सुदृढीकरण सीखने के एल्गोरिथ्म में क्या हो रहा है, यह समझाने के लिए इस तरह के लंबे परिचय की आवश्यकता थी। बर्कले एआई ब्लॉग (या एक विस्तारित संस्करण ), और यहां तक ​​कि मूल arxiv.org/abs/1909.11652 लेख पर एक लेख पढ़ने के बाद, यह स्पष्ट नहीं हो सकता था।

PDDM विधि CEM के विचार को दोहराता है जब सबसे अधिक अनुमानित इनाम के साथ क्रियाओं का चयन करने के लिए एक मॉडल-आधारित तंत्रिका नेटवर्क के माध्यम से चलने वाली यादृच्छिक क्रियाओं को चुनना होता है। केवल यादृच्छिक वितरण मापदंडों का चयन करने के बजाय, जैसा कि CEM में किया जाता है, PDDM क्रियाओं और यादृच्छिक वितरण को अद्यतन करने के लिए नरम नियम के बीच एक अस्थायी संबंध का उपयोग करता है। मूल लेख में सूत्र दिया गया है। यह आपको लंबे समय की दूरी पर बड़ी संख्या में उपयुक्त कार्यों की जांच करने की अनुमति देता है, खासकर अगर आंदोलनों को सटीक समन्वय की आवश्यकता होती है। इसके अतिरिक्त, एल्गोरिथ्म के लेखक कार्रवाई के लिए उम्मीदवारों को फ़िल्टर करते हैं, जिससे आंदोलनों का एक चिकना प्रक्षेपवक्र प्राप्त होता है।

सीधे शब्दों में कहें, डेवलपर्स ने क्लासिक मॉडल-आधारित सुदृढीकरण सीखने में परीक्षण करने के लिए यादृच्छिक कार्यों को चुनने के लिए बस एक बेहतर फॉर्मूला प्रस्तावित किया।

लेकिन परिणाम बहुत अच्छा था।

एक असली रोबोट पर केवल 4 घंटे के प्रशिक्षण में, 24 डिग्री की स्वतंत्रता वाले एक रोबोट ने दो गेंदों को पकड़कर उन्हें बिना गिराए हथेलियों में घुमाया। ऐसे कम उदाहरणों के साथ किसी भी आधुनिक मॉडल-मुक्त विधियों के लिए एक अप्राप्य परिणाम।

दिलचस्प बात यह है कि प्रशिक्षण के लिए, उन्होंने 7 डिग्री की स्वतंत्रता के साथ एक दूसरे रोबोट बांह का इस्तेमाल किया, जिसने गिराए गए गेंदों को उठाया और उन्हें मुख्य रोबोट कैमरे में वापस कर दिया:

नतीजतन, 1-2 घंटे के बाद, रोबोरुक आत्मविश्वास से गेंदों को पकड़ सकता था और उन्हें अपने हाथ की हथेली में स्थानांतरित कर सकता था, और पूर्ण प्रशिक्षण के लिए 4 घंटे पर्याप्त थे।

उंगलियों के हिलने-डुलने पर ध्यान दें। यह मॉडल-आधारित दृष्टिकोणों की एक विशेषता है। चूंकि इच्छित कार्यों को यादृच्छिक रूप से चुना जाता है, वे हमेशा इष्टतम लोगों के साथ मेल नहीं खाते हैं। मॉडल-मुक्त एल्गोरिथ्म वास्तव में इष्टतम चिकनी आंदोलनों पर जुट सकता है।

हालांकि, मॉडल-आधारित दृष्टिकोण एक प्रशिक्षित तंत्रिका नेटवर्क के साथ दुनिया को मॉडलिंग करने की अनुमति देता है ताकि बिना किसी समस्या के हल किया जा सके। लेख में कई उदाहरण हैं, उदाहरण के लिए, आप आसानी से हाथ में गेंदों के रोटेशन की दिशा बदल सकते हैं (मॉडल-फ्री में, आपको इसके लिए तंत्रिका नेटवर्क को फिर से प्रशिक्षित करना होगा)। या लाल बिंदु का अनुसरण करते हुए गेंद को अपने हाथ की हथेली में एक विशिष्ट बिंदु पर पकड़ें।

आप रॉबोरुक को एक पेंसिल के साथ मनमाने ढंग से खींचना भी बना सकते हैं, जो सीखना मॉडल से मुक्त तरीकों के लिए बहुत मुश्किल काम है।

यद्यपि प्रस्तावित एल्गोरिथ्म एक रामबाण नहीं है, और शब्द के पूर्ण अर्थों में एक AI एल्गोरिथ्म भी नहीं है (PDDM में, तंत्रिका नेटवर्क केवल विश्लेषणात्मक मॉडल की जगह लेता है, और निर्णय एक ट्रिकी नियम के साथ यादृच्छिक खोज द्वारा किए जाते हैं जो विकल्पों की गणना को कम करता है), यह रोबोटिक्स में उपयोगी हो सकता है। चूंकि इसने परिणामों में एक उल्लेखनीय सुधार दिखाया और बहुत कम उदाहरणों पर प्रशिक्षित किया गया है।