सहज ज्ञान युक्त आरएल (सुदृढीकरण सीखना): परिचय-लाभ-अभिनेता-आलोचना (A2C)

नमस्कार, हेब्र! मैं आपके ध्यान में रुडी गिलमैन और कैथरीन वैंग इन्टिटिव आरएल: इंट्रो टू एडवांटेज-एक्टर-क्रिटिक (ए 2 सी) के लेख का अनुवाद करता हूं।

प्रबलित लर्निंग स्पेशलिस्ट (आरएल) ने कई उत्कृष्ट ट्यूटोरियल तैयार किए हैं। हालांकि, अधिकांश, गणितीय समीकरणों और सार आरेखों के संदर्भ में आरएल का वर्णन करते हैं। हम विषय के बारे में एक अलग दृष्टिकोण से सोचना पसंद करते हैं। आरएल खुद से प्रेरित है कि जानवर कैसे सीखते हैं, इसलिए अंतर्निहित आरएल तंत्र को प्राकृतिक घटनाओं में वापस क्यों नहीं अनुवाद किया जाए, जिसका उद्देश्य अनुकरण करना है? लोग कहानियों के माध्यम से सबसे अच्छा सीखते हैं।

यह एक्टर एडवांटेज क्रिटिक (ए 2 सी) मॉडल की कहानी है। विषय-आलोचक मॉडल नीति स्नातक मॉडल का एक लोकप्रिय रूप है, जो अपने आप में एक पारंपरिक आरएल एल्गोरिथ्म है। यदि आप A2C को समझते हैं, तो आप गहरी RL को समझते हैं।

A2C की सहज समझ प्राप्त करने के बाद, जांचें:

• हमारे A2C कोड का सरल कार्यान्वयन (प्रशिक्षण के लिए) या OpenAI TensorFlow बेस मॉडल के आधार पर PyTorch का हमारा औद्योगिक संस्करण ;
• बार्टो और सटन द्वारा आरएल का परिचय , डेविड सिल्वर के विहित पाठ्यक्रम , युसी ली द्वारा एक समीक्षा, और आरएल में गहन विसर्जन के लिए गीथ पर डेनी ब्रिट्स रिपॉजिटरी ;
• PyTorch में लागू सामान्य रूप से गहन सीखने के सहज और व्यावहारिक कवरेज के लिए अद्भुत fast.ai पाठ्यक्रम ;
• आर्थर गिउलियानी आरएल ट्यूटोरियल ने टेंसोरफ्लो में कार्यान्वित किया।

दृष्टांत @embermarke

आरएल में, एजेंट, क्लेओवुका लोमड़ी, कार्यों से घिरे राज्यों के माध्यम से आगे बढ़ता है, रास्ते में पुरस्कार को अधिकतम करने की कोशिश करता है।

A2C स्थिति इनपुट प्राप्त करता है - Klukovka के मामले में सेंसर इनपुट - और दो आउटपुट उत्पन्न करता है:
1) वर्तमान स्थिति के क्षण से कितना पारिश्रमिक प्राप्त होगा, इसका आकलन (वर्तमान) पारिश्रमिक के अपवाद के साथ।
2) क्या नीति (नीति) लेने के लिए एक सिफारिश।

आलोचक: वाह, क्या शानदार घाटी है! यह फोर्जिंग के लिए एक फलदायी दिन होगा! मैं शर्त लगाता हूं कि मैं सूर्यास्त से पहले 20 अंक एकत्र कर लूंगा।
"विषय": ये फूल सुंदर लगते हैं, मुझे "ए" की लालसा महसूस होती है।

डीप आरएल मॉडल किसी अन्य वर्गीकरण या प्रतिगमन मॉडल की तरह इनपुट-आउटपुट मैपिंग मशीन हैं। छवियों या पाठ को श्रेणीबद्ध करने के बजाय, गहरे आरएल मॉडल राज्यों को क्रियाओं और / या राज्यों को राज्यों के मूल्यों में लाते हैं। A2C दोनों करता है।

राज्य-कार्रवाई-इनाम का यह सेट एक अवलोकन है। वह डेटा की इस पंक्ति को अपनी पत्रिका को लिखेगा, लेकिन वह अभी इसके बारे में सोचने वाला नहीं है। जब वह सोचना बंद करेगी तो वह उसे भर देगी।

कुछ लेखक समय-चरण 1 के साथ 1 को पुरस्कृत करते हैं, अन्य इसे चरण 2 के साथ जोड़ते हैं, लेकिन सभी को एक ही अवधारणा को ध्यान में रखना है: इनाम राज्य से जुड़ा हुआ है, और कार्रवाई तुरंत पूर्ववर्ती है।

हुकिंग प्रक्रिया को फिर से दोहराता है। सबसे पहले, वह अपने परिवेश को मानती है और एक फ़ंक्शन V (S) और कार्रवाई के लिए एक सिफारिश विकसित करती है।

समालोचक: यह घाटी सुंदर मानक दिखती है। वी (एस) = 19।
विषय: कार्रवाई के विकल्प बहुत समान दिखते हैं। मुझे लगता है कि मैं अभी "C" ट्रैक पर जाऊंगा।

तब यह कार्य करता है।

+20 का इनाम देता है! और अवलोकन रिकॉर्ड करता है।

वह फिर से प्रक्रिया दोहराती है।

तीन अवलोकनों को इकट्ठा करने के बाद, क्लाइवुक्का सोचना बंद कर देता है।

अन्य मॉडल परिवार दिन के अंत तक (मोंटे कार्लो) इंतजार करते हैं, जबकि अन्य प्रत्येक चरण (एक-चरण) के बाद सोचते हैं।
इससे पहले कि वह अपना आंतरिक आलोचक स्थापित कर सके, क्लुकोव्का को यह गणना करने की आवश्यकता है कि वह वास्तव में प्रत्येक दिए गए राज्य में कितने अंक प्राप्त करेगा।

लेकिन पहले!
आइए देखें कि क्लूकोव्का के चचेरे भाई, लिस मोंटे कार्लो, प्रत्येक राज्य के सही अर्थ की गणना कैसे करते हैं।

मोंटे कार्लो मॉडल खेल के अंत तक अपने अनुभव को प्रतिबिंबित नहीं करते हैं, और चूंकि अंतिम स्थिति का मूल्य शून्य है, इसलिए इस पिछले राज्य के वास्तविक मूल्य का पता लगाना बहुत सरल है क्योंकि इस क्षण के बाद प्राप्त पुरस्कारों का योग है।

वास्तव में, यह सिर्फ एक उच्च फैलाव का नमूना V (S) है। एजेंट आसानी से एक ही राज्य से एक अलग प्रक्षेपवक्र का पालन कर सकता है, इस प्रकार एक अलग कुल इनाम प्राप्त कर रहा है।

लेकिन Klyukovka जाता है, रुक जाता है और कई बार प्रतिबिंबित करता है जब तक कि दिन समाप्त नहीं हो जाता। वह जानना चाहती है कि खेल के अंत तक उसे वास्तव में प्रत्येक राज्य से कितने अंक मिलेंगे, क्योंकि खेल के अंत तक कई घंटे बाकी हैं।

यह वह जगह है जहां वह वास्तव में स्मार्ट कुछ करती है - लोमड़ी क्लोवुक्का का अनुमान है कि इस सेट में उसे अंतिम स्थिति के लिए कितने अंक प्राप्त होंगे। सौभाग्य से, उसकी स्थिति का सही आकलन है - उसकी आलोचक।
इस आकलन के साथ, कोइलोवका पिछले राज्यों के "सही" मूल्यों की गणना कर सकता है, जैसा कि मोंटे कार्लो लोमड़ी करता है।

लिस मोंटे कार्लो लक्ष्य चिह्नों का मूल्यांकन करता है, जिससे प्रक्षेपवक्र की तैनाती होती है और प्रत्येक राज्य से आगे पुरस्कार जोड़ता है। ए 2 सी इस प्रक्षेपवक्र में कटौती करता है और इसे अपने आलोचक के मूल्यांकन के साथ बदल देता है। यह प्रारंभिक भार स्कोर के विचरण को कम करता है और ए 2 सी को लगातार चलाने की अनुमति देता है, जिससे एक छोटे पूर्वाग्रह की शुरुआत होती है।

इस तथ्य को प्रतिबिंबित करने के लिए पुरस्कारों को अक्सर कम कर दिया जाता है कि पारिश्रमिक अब भविष्य की तुलना में बेहतर है। सादगी के लिए, क्लुकोव्का अपने पुरस्कारों को कम नहीं करता है।

क्लुकोका अब डेटा की प्रत्येक पंक्ति के माध्यम से जा सकते हैं और अपने वास्तविक मूल्यों के साथ राज्य के मूल्यों के अनुमानों की तुलना कर सकते हैं। वह अपनी भविष्यवाणी कौशल को सही करने के लिए इन संख्याओं के बीच के अंतर का उपयोग करती है। दिन भर में हर तीन कदम पर, क्लाइवुका मूल्यवान अनुभव एकत्र करता है जो विचार करने योग्य है।

“मैंने 1 और 2 राज्यों को खराब दर्जा दिया है। मैंने क्या गलत किया? अहा! अगली बार जब मैं इन जैसे पंख देखूंगा, तो मैं वी (एस) बढ़ाऊंगा।

यह पागल लग सकता है कि क्लुकोव्का अन्य पूर्वानुमानों के साथ तुलना करने के लिए आधार के रूप में अपनी वी (एस) रेटिंग का उपयोग करने में सक्षम है। लेकिन जानवर (हमारे सहित) हर समय ऐसा करते हैं! यदि आपको लगता है कि चीजें ठीक चल रही हैं, तो आपको उन कार्यों को फिर से करने की आवश्यकता नहीं है जो आपको इस स्थिति में लाए हैं।

हमारे गणना किए गए आउटपुट को ट्रिम करके और उन्हें एक प्रारंभिक लोड अनुमान के साथ बदलकर, हमने बड़े मोंटे कार्लो संस्करण को एक छोटे पूर्वाग्रह के साथ बदल दिया। आरएल मॉडल आमतौर पर उच्च फैलाव (सभी संभावित रास्तों का प्रतिनिधित्व) से पीड़ित होते हैं, और ऐसा प्रतिस्थापन आमतौर पर इसके लायक होता है।

क्लुकोव्का पूरे दिन इस प्रक्रिया को दोहराते हैं, राज्य-कार्रवाई-इनाम की तीन टिप्पणियों का संग्रह करते हैं और उन पर प्रतिबिंबित करते हैं।

तीन अवलोकनों का प्रत्येक सेट लेबल प्रशिक्षण डेटा की एक छोटी, स्वतःसंबंधित श्रृंखला है। इस स्वत :संबंध को कम करने के लिए, कई A2Cs समानांतर में कई एजेंटों को प्रशिक्षित करते हैं, एक सामान्य तंत्रिका नेटवर्क पर भेजने से पहले अपने अनुभव को एक साथ जोड़ते हैं।

दिन आखिरकार समाप्त हो रहा है। केवल दो चरण बचे हैं।
जैसा कि हमने पहले कहा था, क्लुकोव्का के कार्यों की सिफारिशों को इसकी क्षमताओं के बारे में प्रतिशत विश्वास में व्यक्त किया गया है। केवल सबसे विश्वसनीय विकल्प चुनने के बजाय, क्लुकोव्का कार्यों के इस वितरण से चुनता है। यह सुनिश्चित करता है कि वह हमेशा सुरक्षित होने के लिए सहमत नहीं है, लेकिन संभावित औसत क्रियाएं।

मैं इसे पछतावा कर सकता था, लेकिन ... कभी-कभी, अज्ञात चीजों की खोज, आप रोमांचक नई खोजों के लिए आ सकते हैं ...

अनुसंधान को और प्रोत्साहित करने के लिए, एन्ट्रॉपी नामक मान को नुकसान फ़ंक्शन से घटाया जाता है। एन्ट्रॉपी का अर्थ है क्रियाओं के वितरण का "दायरा"।
- ऐसा लगता है कि खेल ने भुगतान किया है!

या नहीं?

कभी-कभी एजेंट एक ऐसी स्थिति में होता है जहां सभी क्रियाएं नकारात्मक परिणामों को जन्म देती हैं। हालांकि, A2C बुरी स्थितियों का सामना करता है।

जब सूरज ढल गया, तो क्ल्योवकोका ने समाधान के अंतिम सेट पर प्रतिबिंबित किया।

हमने इस बारे में बात की कि किस तरह से क्लोविउक्का अपने भीतर के आलोचक को स्थापित करता है। लेकिन वह अपने भीतर के "विषय" को कैसे ठीक करती है? वह इस तरह के अति सुंदर विकल्प बनाना कैसे सीखती है?

साधारण दिमाग वाली लोमड़ी ग्रैडिएंट-पॉलिसी कार्रवाई के बाद वास्तविक आय को देखती है और अच्छी आय को अधिक संभावना बनाने के लिए अपनी नीति को समायोजित करती है: - ऐसा लगता है कि इस राज्य में मेरी नीति से 20 अंकों का नुकसान हुआ, मुझे लगता है कि भविष्य में "सी" करना बेहतर होगा। कम संभावना है।

- लेकिन रुकिए! कार्रवाई "C" को दोष देना अनुचित है। इस राज्य का अनुमानित मूल्य -100 था, इसलिए "C" चुनना और -20 के साथ समाप्त होना वास्तव में 80 का सापेक्ष सुधार था! मुझे भविष्य में "सी" बनाने की अधिक संभावना है।

एक्शन सी का चयन करके इसे प्राप्त कुल राजस्व के जवाब में अपनी नीति को समायोजित करने के बजाय, यह एक्शन सी से रिश्तेदार राजस्व के लिए अपनी कार्रवाई को ट्यून करता है। इसे "लाभ" कहा जाता है।

जिसे हमने लाभ कहा है, वह केवल एक गलती है। एक लाभ के रूप में, क्लुकोव्का इसका उपयोग उन गतिविधियों को करने के लिए करता है जो आश्चर्यजनक रूप से अच्छे थे, अधिक संभावना है। एक गलती के रूप में, वह अपनी आंतरिक आलोचक को स्थिति मूल्य के आकलन में सुधार करने के लिए उसी राशि का उपयोग करती है।

विषय का लाभ लेता है:
- "वाह, मैंने जितना सोचा था उससे बेहतर काम किया, एक्शन सी एक अच्छा विचार होना चाहिए।"
आलोचक त्रुटि का उपयोग करता है:
“लेकिन मैं हैरान क्यों था? मुझे शायद इस स्थिति का मूल्यांकन नकारात्मक रूप से नहीं करना चाहिए था। ”

अब हम दिखा सकते हैं कि कुल नुकसान की गणना कैसे की जाती है - हम अपने मॉडल को बेहतर बनाने के लिए इस फ़ंक्शन को कम से कम करते हैं।
"कुल हानि = कार्रवाई का नुकसान + मूल्य का नुकसान - एन्ट्रापी"

कृपया ध्यान दें कि तीन गुणात्मक रूप से विभिन्न प्रकार के ग्रेडिएंट्स की गणना करने के लिए, हम "एक के माध्यम से" मान लेते हैं। यह प्रभावी है, लेकिन अभिसरण को अधिक कठिन बना सकता है।

सभी जानवरों की तरह, जैसा कि क्लेवुक्का बड़े होते हैं, वह राज्यों के मूल्यों की भविष्यवाणी करने, अपने कार्यों में अधिक आत्मविश्वास हासिल करने और कम बार पुरस्कारों पर आश्चर्यचकित होने की अपनी क्षमता को कम कर देगा।

आरएल एजेंट, जैसे कि क्लुकोव्का, न केवल पर्यावरण के साथ बातचीत करते हुए, सभी आवश्यक डेटा उत्पन्न करते हैं, बल्कि स्वयं लक्ष्य लेबल का भी मूल्यांकन करते हैं। यह सही है, आरएल मॉडल पिछले ग्रेड को बेहतर मैच के लिए नए और बेहतर ग्रेड से अपडेट करते हैं।

जैसा कि डॉ। डेविड सिल्वर, Google Deepmind में RL समूह के प्रमुख कहते हैं: AI = DL + RL। जब Klyukovka जैसा एजेंट अपनी बुद्धिमानी सेट कर सकता है, तो संभावनाएं अनंत हैं ...