👵 👩🏼‍🤝‍👨🏽 👩🏼‍🤝‍👨🏾 सुदृढीकरण सीखने या विकासवादी रणनीतियों?

नमस्कार, हेब्र!

हम शायद ही कभी एक कोड और स्पष्ट रूप से अकादमिक ध्यान के बिना दो साल पहले यहां ग्रंथों के अनुवाद पोस्ट करने का निर्णय लेते हैं - लेकिन आज हम एक अपवाद करेंगे। हम आशा करते हैं कि लेख के शीर्षक में दुविधा हमारे कई पाठकों के लिए चिंता का विषय है, और यह कि आप पहले से ही मूल काम पढ़ चुके हैं या विकासवादी रणनीतियों पर मौलिक काम पढ़ेंगे, जिसके साथ यह पोस्ट नीतिबद्ध है। बिल्ली के लिए आपका स्वागत है!

मार्च 2017 में, OpenAI ने "अधिगम रणनीतियाँ के लिए एक स्केलेबल विकल्प के रूप में सुदृढीकरण सीखने के लिए एक वैकल्पिक लेख" प्रकाशित करके गहन शिक्षा समुदाय में एक उपद्रव किया। इस काम में, प्रभावशाली परिणामों को इस तथ्य के पक्ष में वर्णित किया गया था कि प्रकाश सुदृढीकरण (आरएल) के साथ प्रशिक्षण में नहीं जुटा था, और जटिल तंत्रिका नेटवर्क के प्रशिक्षण के दौरान अन्य तरीकों की कोशिश करना उचित है। फिर एक चर्चा प्रबलित शिक्षा के महत्व के बारे में हुई और यह समस्याओं को हल करने के लिए सीखने में "अनिवार्य" तकनीक की स्थिति के लायक है। यहां मैं इस तथ्य के बारे में बात करना चाहता हूं कि आपको इन दो तकनीकों को प्रतिस्पर्धा के रूप में नहीं मानना चाहिए, जिनमें से एक स्पष्ट रूप से दूसरे की तुलना में बेहतर है; इसके विपरीत, वे अंततः एक दूसरे के पूरक हैं। वास्तव में, यदि आप एक सामान्य एआई और ऐसी प्रणाली बनाने के लिए क्या आवश्यक है, इसके बारे में थोड़ा सोचते हैं कि उनके पूरे अस्तित्व को सीखने, निर्णय लेने और योजना बनाने में सक्षम होगा, तो हम लगभग निश्चित रूप से इस निष्कर्ष पर पहुंचेंगे कि यह या उस संयुक्त समाधान की आवश्यकता होगी । वैसे, यह प्रकृति थी जो संयुक्त निर्णय पर आई थी, जो विकास के दौरान स्तनधारियों और अन्य उच्चतर जानवरों की जटिल बुद्धि के साथ संपन्न हुई थी।

विकासवादी रणनीतियाँ

OpenAI लेख की मुख्य थीसिस यह थी कि पारंपरिक बैकप्रोगैजेशन के साथ संयुक्त सुदृढीकरण सीखने का उपयोग करने के बजाय, उन्होंने तथाकथित "विकासवादी रणनीति" (ES) का उपयोग करके जटिल समस्याओं को हल करने के लिए तंत्रिका नेटवर्क को सफलतापूर्वक प्रशिक्षित किया। इस तरह के ईएस दृष्टिकोण में नेटवर्क पैमाने पर वजन मूल्यों के वितरण को बनाए रखने में शामिल हैं, कई एजेंट इस वितरण से चयनित समानांतर और काम कर रहे मापदंडों का उपयोग करते हैं। प्रत्येक एजेंट अपने स्वयं के वातावरण में कार्य करता है और किसी एपिसोड की एक कड़ी या चरणों के पूरा होने पर, एल्गोरिथ्म एक कुल इनाम देता है, जिसे फिटनेस स्कोर के रूप में व्यक्त किया जाता है। इस मूल्य को देखते हुए, मापदंडों के वितरण को अधिक सफल एजेंटों की ओर स्थानांतरित किया जा सकता है, कम सफल लोगों से वंचित किया जा सकता है। सैकड़ों बार सैकड़ों एजेंटों को शामिल करने वाले इस तरह के ऑपरेशन को दोहराते हुए, वेट के वितरण को एक ऐसे स्थान पर स्थानांतरित करना संभव है जो हमें एजेंटों को अपने कार्य को हल करने के लिए एक गुणवत्ता नीति तैयार करने की अनुमति देगा। वास्तव में, लेख में प्रस्तुत परिणाम प्रभावशाली हैं: यह दिखाया गया है कि यदि आप समानांतर में एक हजार एजेंट चलाते हैं, तो दो पैरों पर एंथ्रोपोमोर्फिक आंदोलन का आधे घंटे से भी कम समय में अध्ययन किया जा सकता है (जबकि सबसे उन्नत आरएल तरीकों के लिए एक घंटे से अधिक की आवश्यकता होती है)। अधिक विस्तृत समीक्षा के लिए, मैं प्रयोग के लेखकों और साथ ही वैज्ञानिक लेख से एक उत्कृष्ट पोस्ट पढ़ने की सलाह देता हूं।

एंथ्रोपोमोर्फिक ईमानदार मुद्रा के लिए विभिन्न शिक्षण रणनीतियों, OpenAI के ES विधि का उपयोग करके अध्ययन किया गया।

ब्लैक बॉक्स

इस विधि का महान लाभ यह है कि इसे समानांतर करना आसान है। जबकि आरएल के तरीकों, उदाहरण के लिए, ए 3 सी, वर्कफ़्लोज़ और पैरामीटर सर्वर के बीच सूचना के आदान-प्रदान की आवश्यकता होती है, ईएस को केवल मापदंडों के वितरण पर वैधता अनुमान और सामान्यीकृत जानकारी की आवश्यकता होती है। इस तरह की सरलता के लिए धन्यवाद, यह विधि स्केलेबिलिटी में आधुनिक आरएल विधियों को दरकिनार करती है। हालांकि, यह सब व्यर्थ नहीं है: आपको नेटवर्क को एक ब्लैक बॉक्स के सिद्धांत पर अनुकूलित करना होगा। इस मामले में, "ब्लैक बॉक्स" का मतलब है कि प्रशिक्षण के दौरान नेटवर्क की आंतरिक संरचना को पूरी तरह से नजरअंदाज कर दिया जाता है, और केवल समग्र परिणाम (एपिसोड के लिए इनाम) का उपयोग किया जाता है, और यह इस पर निर्भर करता है कि क्या किसी विशेष नेटवर्क का वजन भविष्य की पीढ़ियों को विरासत में मिलेगा। उन स्थितियों में जहां हमें पर्यावरण से एक स्पष्ट प्रतिक्रिया नहीं मिलती है - और कई पारंपरिक आरएल-संबंधित कार्यों को हल करने में, इनाम का प्रवाह बहुत दुर्लभ है - समस्या "आंशिक रूप से ब्लैक बॉक्स" से "पूरी तरह से ब्लैक बॉक्स" में बदल जाती है। इस मामले में, उत्पादकता को गंभीरता से बढ़ाना संभव है, इसलिए, निश्चित रूप से, ऐसा समझौता उचित है। "अगर वे अभी भी निराशाजनक शोर कर रहे हैं, तो किसको ग्रेडिएंट की आवश्यकता है?" - यह आम राय है।

हालांकि, ऐसी स्थितियों में जहां प्रतिक्रिया अधिक सक्रिय है, ES मामले गलत होने लगे हैं। OpenAI टीम बताती है कि ES का उपयोग करके सरल वर्गीकरण नेटवर्क MNIST को कैसे प्रशिक्षित किया गया था, और इस बार प्रशिक्षण 1000 गुना धीमा था। तथ्य यह है कि छवियों के वर्गीकरण में ढाल संकेत अत्यंत जानकारीपूर्ण है कि नेटवर्क को बेहतर वर्गीकरण कैसे पढ़ाया जाए। इस प्रकार, समस्या आरएल तकनीक के साथ इतनी अधिक नहीं जुड़ी हुई है जितना कि शोर के प्रवणता पैदा करने वाले वातावरण में विरल पुरस्कार के साथ।

प्रकृति द्वारा पाया गया समाधान

यदि आप एआई को विकसित करने के तरीकों के माध्यम से प्रकृति के उदाहरण से सीखने की कोशिश करते हैं, तो कुछ मामलों में एआई को समस्या-उन्मुख दृष्टिकोण के रूप में दर्शाया जा सकता है। अंत में, प्रकृति ऐसी सीमाओं के भीतर काम करती है, जो कंप्यूटर वैज्ञानिकों के पास नहीं है। एक राय है कि किसी विशेष समस्या को हल करने के लिए विशुद्ध रूप से सैद्धांतिक दृष्टिकोण अनुभवजन्य विकल्पों की तुलना में अधिक प्रभावी समाधान प्रदान कर सकता है। फिर भी, मुझे अभी भी लगता है कि यह जांचना उचित होगा कि कैसे कुछ प्रतिबंधों (पृथ्वी) के गठन वाले एजेंटों (जानवरों, विशेष रूप से स्तनधारियों में) के तहत संचालित एक गतिशील प्रणाली, लचीली और जटिल व्यवहार करने में सक्षम है। हालांकि इनमें से कुछ सीमाएं डेटा विज्ञान की सिम्युलेटेड दुनिया में लागू नहीं हैं, अन्य बस बहुत अच्छे हैं।

स्तनधारियों के बौद्धिक व्यवहार की जांच करने के बाद, हम देखते हैं कि यह दो निकट परस्पर संबंधित प्रक्रियाओं की जटिल बातचीत के परिणामस्वरूप बनता है: दूसरों के अनुभव से सीखना और अपने स्वयं के अनुभव से सीखना । पहले अक्सर प्राकृतिक चयन के कारण विकासवाद के साथ पहचाना जाता है, लेकिन यहां मैं एपिजेनेटिक्स, माइक्रोबायोम और अन्य तंत्रों को ध्यान में रखने के लिए एक व्यापक शब्द का उपयोग करता हूं जो जीवों के बीच अनुभव के आदान-प्रदान को सुनिश्चित करते हैं जो एक दूसरे से आनुवंशिक रूप से संबंधित नहीं हैं। दूसरी प्रक्रिया, फर्स्ट-हैंड लर्निंग वह सारी जानकारी है जो एक जानवर पूरे जीवन में आत्मसात करने का प्रबंधन करता है और यह जानकारी सीधे तौर पर बाहरी दुनिया के साथ इस जानवर की बातचीत से जुड़ी होती है। इस श्रेणी में शैक्षिक प्रक्रिया में निहित संचार में महारत हासिल करने के लिए वस्तुओं को पहचानना सीखने से लेकर सब कुछ शामिल है।

मोटे तौर पर, प्रकृति में होने वाली इन दो प्रक्रियाओं की तुलना तंत्रिका नेटवर्क के अनुकूलन के लिए दो विकल्पों के साथ की जा सकती है। विकासवादी रणनीतियां, जहां शरीर के बारे में जानकारी को अपडेट करने के लिए ढाल जानकारी का उपयोग किया जाता है, किसी और के अनुभव से सीखने के करीब आते हैं। इसी तरह, ढाल विधियां, जहां एक विशेष अनुभव की प्राप्ति एजेंट के व्यवहार में एक या किसी अन्य परिवर्तन की ओर ले जाती है, अनुभव के साथ सीखने के लिए तुलनीय है। यदि आप बौद्धिक व्यवहार की किस्मों के बारे में या उन क्षमताओं के बारे में सोचते हैं जो इन दोनों दृष्टिकोणों में से प्रत्येक जानवरों में विकसित होती हैं, तो ऐसी तुलना अधिक स्पष्ट है। दोनों मामलों में, "विकासवादी तरीके" प्रतिक्रियाशील व्यवहारों के अध्ययन में योगदान करते हैं जो एक निश्चित फिटनेस के विकास (जीवित रहने के लिए पर्याप्त) की अनुमति देते हैं। कई मामलों में कैद से चलना या बचना सीखना अधिक "सहज" व्यवहार के बराबर है जो आनुवंशिक स्तर पर कई जानवरों में "हार्ड-वायर्ड" हैं। इसके अलावा, यह उदाहरण पुष्टि करता है कि विकासवादी तरीके ऐसे मामलों में लागू होते हैं जब सिग्नल-इनाम बेहद दुर्लभ होता है (जैसे, उदाहरण के लिए, एक शावक के सफल पालन का तथ्य)। ऐसे मामले में, इस तथ्य की शुरुआत से कई साल पहले किए गए कार्यों के किसी भी विशिष्ट सेट के साथ इनाम को सहसंबंधित करना असंभव है। दूसरी ओर, अगर हम उस मामले पर विचार करते हैं जिसमें ES विफल रहता है, अर्थात्, छवियों का वर्गीकरण, तो परिणाम उल्लेखनीय रूप से सौ से अधिक वर्षों में किए गए अनगिनत व्यवहार मनोवैज्ञानिक प्रयोगों के दौरान प्राप्त पशु प्रशिक्षण के परिणामों के साथ तुलनीय होंगे।

पशु प्रशिक्षण

सुदृढीकरण सीखने में उपयोग किए जाने वाले तरीके कई मामलों में सीधे तौर पर मनोवैज्ञानिक साहित्य से कंडिशनिंग कंडीशनिंग पर लिए गए हैं , और पशु कंडीशनिंग का उपयोग करके ऑपेरेंट कंडीशनिंग का अध्ययन किया गया है। वैसे, सुदृढीकरण प्रशिक्षण के दो संस्थापकों में से एक, रिचर्ड सटन ने मनोविज्ञान में स्नातक की डिग्री हासिल की है। ऑपरेटिव कंडीशनिंग के संदर्भ में, जानवर विशिष्ट व्यवहार पैटर्न के साथ इनाम या सजा को जोड़ना सीखते हैं। प्रशिक्षक और शोधकर्ता किसी तरह पुरस्कारों के साथ इस तरह की संगति कर सकते हैं, जिससे जानवरों को सरलता या कुछ व्यवहार दिखाने के लिए उकसाया जा सकता है। हालाँकि, जानवरों के अध्ययन में प्रयुक्त संचालक कंडीशनिंग उस कंडीशनिंग के अधिक स्पष्ट रूप से अधिक कुछ नहीं है, जिसके आधार पर जानवरों को जीवन भर प्रशिक्षित किया जाता है। हम लगातार पर्यावरण से सकारात्मक सुदृढीकरण संकेत प्राप्त करते हैं और तदनुसार अपने व्यवहार को समायोजित करते हैं। वास्तव में, कई न्यूरोफिज़ियोलॉजिस्ट और संज्ञानात्मक वैज्ञानिकों का मानना है कि वास्तव में लोग और अन्य जानवर एक स्तर भी अधिक काम करते हैं और संभावित स्थितियों पर भरोसा करते हुए, भविष्य की स्थितियों में अपने व्यवहार के परिणामों की भविष्यवाणी करने के लिए लगातार सीख रहे हैं।

स्व-अध्ययन में पूर्वानुमान की केंद्रीय भूमिका ऊपर वर्णित गतिशीलता को सबसे महत्वपूर्ण तरीके से बदल रही है। जो संकेत पहले बहुत दुर्लभ (एपिसोडिक इनाम) माना जाता था वह बहुत घना है। सैद्धांतिक रूप से, स्थिति लगभग निम्नलिखित है: समय के प्रत्येक क्षण में, स्तनधारी मस्तिष्क संवेदी उत्तेजनाओं और क्रियाओं की एक जटिल धारा के आधार पर परिणामों की गणना करता है, जबकि जानवर बस इस धारा में डूब जाता है। इस मामले में, जानवर का अंतिम व्यवहार एक घने संकेत देता है, जिसे पूर्वानुमान के सुधार और व्यवहार के विकास द्वारा निर्देशित किया जाना चाहिए। भविष्य में पूर्वानुमान (और, तदनुसार, किए गए कार्यों की गुणवत्ता) को अनुकूलित करने के लिए मस्तिष्क इन सभी संकेतों का उपयोग करता है। संज्ञानात्मक वैज्ञानिक और दार्शनिक एंडरसन क्लार्क द्वारा उत्कृष्ट पुस्तक " सर्फिंग अनसेंटी " में इस दृष्टिकोण का अवलोकन दिया गया है। यदि हम कृत्रिम एजेंटों के प्रशिक्षण के लिए इस तरह के तर्कों को आगे बढ़ाते हैं, तो सुदृढीकरण प्रशिक्षण एक मौलिक दोष को प्रकट करता है: इस प्रतिमान में उपयोग किया जाने वाला संकेत यह (या होना चाहिए) की तुलना में निराशाजनक रूप से कमजोर है। ऐसे मामलों में जहां सिग्नल संतृप्ति को बढ़ाना असंभव है (शायद इसलिए क्योंकि यह परिभाषा के अनुसार, कमजोर, या निम्न-स्तर की प्रतिक्रियात्मकता से जुड़ा हुआ है) - यह शायद एक प्रशिक्षण पद्धति को पसंद करना बेहतर है जो अच्छी तरह से समानांतर है, उदाहरण के लिए, ईएस।

तंत्रिका नेटवर्क का बेहतर शिक्षण

स्तनधारी मस्तिष्क में निहित उच्च तंत्रिका गतिविधि के सिद्धांतों के आधार पर, जो लगातार पूर्वानुमान में लगे हुए हैं, हाल ही में सुदृढीकरण प्रशिक्षण में कुछ सफलताओं को प्राप्त करना संभव हो गया है, जो अब ऐसे पूर्वानुमानों के महत्व को ध्यान में रखता है। मैं आपको दो समान कार्यों की सिफारिश कर सकता हूं:

इन दोनों लेखों में, लेखक भविष्य की पर्यावरणीय परिस्थितियों के बारे में पूर्वानुमान परिणामों के साथ विशिष्ट डिफ़ॉल्ट तंत्रिका नेटवर्क नीतियों के पूरक हैं। पहले लेख में, पूर्वानुमान को विभिन्न प्रकार के माप चर पर लागू किया जाता है, और दूसरे में, पर्यावरण में परिवर्तन और एजेंट के व्यवहार जैसे कि। दोनों मामलों में, सकारात्मक सुदृढीकरण से जुड़ा विरल संकेत अधिक संतृप्त और सूचनात्मक हो जाता है, जिससे त्वरित सीखने और अधिक जटिल व्यवहार मॉडल दोनों को आत्मसात किया जाता है। इस तरह के सुधार केवल उन तरीकों के साथ काम करते हैं जो ढाल संकेत का उपयोग करते हैं, लेकिन "ब्लैक बॉक्स" के सिद्धांत पर काम करने वाले तरीकों के साथ नहीं होते हैं, जैसे कि, उदाहरण के लिए, ईएस।

इसके अलावा, फर्स्ट-हैंड लर्निंग और ग्रेडिएंट मेथड्स ज्यादा प्रभावी हैं। यहां तक कि उन मामलों में भी जब सुदृढीकरण प्रशिक्षण का उपयोग करने के बजाय ईएस पद्धति का उपयोग करके किसी विशेष समस्या का अध्ययन करना संभव था, इस तथ्य के कारण लाभ प्राप्त किया गया था कि आरएल की तुलना में ईएस रणनीति में कई गुना अधिक डेटा शामिल था। इस मामले में जानवरों में सीखने के सिद्धांतों के बारे में सोचते हुए, हम ध्यान दें कि एक विदेशी उदाहरण पर प्रशिक्षण का नतीजा कई पीढ़ियों के बाद खुद को प्रकट करता है, जबकि कभी-कभी व्यक्ति में अनुभव होने वाली एक भी घटना पशु को हमेशा के लिए सबक सीखने के लिए पर्याप्त होती है। उदाहरण के बिना इस तरह के प्रशिक्षण अभी तक पूरी तरह से पारंपरिक ढाल तरीकों में फिट नहीं होते हैं, यह ईएस की तुलना में बहुत अधिक समझदार है। उदाहरण के लिए, एपिसोडिक न्यूरल कंट्रोल जैसे दृष्टिकोण हैं, जहां प्रशिक्षण प्रक्रिया के दौरान क्यू-मान संग्रहीत किए जाते हैं, जिसके बाद कार्रवाई करने से पहले उनके साथ कार्यक्रम की जांच की जाती है। यह एक ढाल विधि निकलती है जो आपको पहले से कहीं अधिक तेजी से समस्याओं को हल करने का तरीका सीखने की अनुमति देती है। एपिसोडिक न्यूरल कंट्रोल पर लेख में, लेखकों ने मानव हिप्पोकैम्पस का उल्लेख किया है, जो एक बार के अनुभव के बाद भी घटना के बारे में जानकारी संग्रहीत करने में सक्षम है और इसलिए, रिकॉल प्रक्रिया में एक महत्वपूर्ण भूमिका निभाता है। इस तरह के तंत्र को एजेंट के आंतरिक संगठन तक पहुंच की आवश्यकता होती है, जो ईएस प्रतिमान में असंभव परिभाषा द्वारा भी है।

तो उन्हें गठबंधन क्यों नहीं?

संभवतः इस लेख में से अधिकांश ने यह धारणा छोड़ दी कि मैं इसमें आरएल विधियों की वकालत कर रहा था। हालांकि, वास्तव में, मेरा मानना है कि लंबे समय में, सबसे अच्छा समाधान दोनों विधियों का एक संयोजन होगा ताकि प्रत्येक का उपयोग उन स्थितियों में किया जाए जिसमें यह सबसे उपयुक्त है। जाहिर है, कई प्रतिक्रियाशील नीतियों के मामले में या सकारात्मक सुदृढीकरण के बहुत विरल संकेतों के साथ स्थितियों में, ईएस जीतता है, खासकर यदि आपके पास कंप्यूटिंग शक्ति है जिस पर आप बड़े पैमाने पर समानांतर प्रशिक्षण चला सकते हैं। दूसरी ओर, प्रबलित शिक्षण या शिक्षक प्रशिक्षण का उपयोग करने वाले ढाल तरीके तब उपयोगी होंगे जब व्यापक फीडबैक हमारे पास उपलब्ध हो, और समस्या को हल करने के लिए जल्दी और कम डेटा के साथ सीखने की आवश्यकता हो।

प्रकृति की ओर मुड़ते हुए, हम पाते हैं कि पहला तरीका, संक्षेप में, दूसरे के लिए नींव देता है। यही कारण है कि, विकास के दौरान, स्तनधारियों ने एक मस्तिष्क विकसित किया है जो पर्यावरण से आने वाले जटिल संकेतों की सामग्री से बेहद कुशल सीखने की अनुमति देता है। तो, सवाल खुला रहता है। शायद विकासवादी रणनीतियों से हमें प्रभावी शिक्षण आर्किटेक्चर का आविष्कार करने में मदद मिलेगी जो धीरे-धीरे सीखने के तरीकों के लिए उपयोगी होगा। आखिरकार, प्रकृति द्वारा पाया गया समाधान वास्तव में बहुत सफल है।

सुदृढीकरण सीखने या विकासवादी रणनीतियों? - वह दोनों, और दूसरा