प्रबलित शिक्षण परिचय

सभी को नमस्कार!

हमने मशीन लर्निंग कोर्स के लिए एक नई स्ट्रीम खोली है, इसलिए इस अनुशासन से संबंधित लेखों के लिए निकट भविष्य में प्रतीक्षा करें, इसलिए बोलें। ठीक है, निश्चित रूप से, सेमिनार खोलें। अब आइए देखें कि सुदृढीकरण सीखना क्या है।

प्रबलित शिक्षण मशीन सीखने का एक महत्वपूर्ण रूप है, जहां एक एजेंट क्रियाओं को करने और परिणाम देखने के द्वारा वातावरण में व्यवहार करना सीखता है।

हाल के वर्षों में, हमने अनुसंधान के इस आकर्षक क्षेत्र में कई सफलताएं देखी हैं। उदाहरण के लिए, 2014 में डीपमाइंड और डीप क्यू लर्निंग आर्किटेक्चर , 2016 में अल्फा चैंपियन के साथ चैंपियन , 2017 में ओपनएआई और पीपीओ के साथ अन्य पर जीत ।




डीपमाइंड डीक्यूएन

लेखों की इस श्रृंखला में, हम प्रबलित शिक्षण की समस्या को हल करने के लिए आज उपयोग किए जाने वाले विभिन्न आर्किटेक्चरों का अध्ययन करने पर ध्यान केंद्रित करेंगे। इनमें क्यू-लर्निंग, डीप क्यू-लर्निंग, पॉलिसी ग्रेजुएट्स, एक्टर क्रिटिक और पीपीओ शामिल हैं।

इस लेख में आप सीखेंगे:

• सुदृढीकरण सीखने क्या है और पुरस्कार क्यों एक केंद्रीय विचार है
• तीन सुदृढीकरण सीखने के दृष्टिकोण
• गहरी सुदृढीकरण सीखने में "गहरा" का क्या अर्थ है

सुदृढीकरण सीखने वाले एजेंटों के कार्यान्वयन में डूबने से पहले इन पहलुओं को मास्टर करना बहुत महत्वपूर्ण है।

सुदृढीकरण प्रशिक्षण का विचार यह है कि एजेंट पर्यावरण के साथ बातचीत करके और प्रदर्शन करने वाले कार्यों के लिए पुरस्कार प्राप्त करके सीखेगा।



पर्यावरण के साथ बातचीत के माध्यम से सीखना हमारे प्राकृतिक अनुभव से आता है। कल्पना कीजिए कि आप लिविंग रूम में एक बच्चे हैं। आप चिमनी देखते हैं और उसके पास जाते हैं।



निकटवर्ती गर्म, आपको अच्छा लगता है (सकारात्मक इनाम +1)। आप समझते हैं कि आग एक सकारात्मक चीज है।



लेकिन तब आप आग को छूने की कोशिश करते हैं। आउच! उसने अपना हाथ जलाया (नकारात्मक इनाम -1)। आपने महसूस किया कि जब आप पर्याप्त मात्रा में गर्मी पैदा करते हैं तो आग सकारात्मक होती है। लेकिन अगर आप उससे संपर्क करेंगे, तो आप जल जाएंगे।

यह लोग बातचीत के माध्यम से सीखते हैं। प्रबलित शिक्षण केवल क्रिया के माध्यम से सीखने के लिए एक कम्प्यूटेशनल दृष्टिकोण है।

सुदृढीकरण सीखने की प्रक्रिया



एक उदाहरण के रूप में, सुपर मारियो को खेलने के लिए सीखने वाले एजेंट की कल्पना करें। सुदृढीकरण सीखना (आरएल) प्रक्रिया को एक चक्र के रूप में तैयार किया जा सकता है जो निम्नानुसार काम करता है:

• एजेंट पर्यावरण से राज्य S0 प्राप्त करता है (हमारे मामले में, हम सुपर मारियो ब्रोस (पर्यावरण) से खेल का पहला फ्रेम प्राप्त करते हैं)
• इस स्थिति S0 के आधार पर, एजेंट A0 लेता है (एजेंट दाईं ओर जाएगा)
• पर्यावरण एक नई स्थिति S1 (नया फ्रेम) में जाता है
• पर्यावरण R1 एजेंट को कुछ इनाम देता है (मृत नहीं: +1)

यह आरएल चक्र राज्यों, कार्यों और पुरस्कारों का एक क्रम उत्पन्न करता है ।
एजेंट का लक्ष्य अपेक्षित संचित पुरस्कारों को अधिकतम करना है।

सेंट्रल आइडिया रिवॉर्ड हाइपोथेसिस

एक एजेंट का अपेक्षित संचित पुरस्कारों को अधिकतम करने का लक्ष्य क्यों है? ठीक है, सुदृढीकरण सीखना एक इनाम परिकल्पना के विचार पर आधारित है। सभी लक्ष्यों को अपेक्षित संचित पुरस्कारों को अधिकतम करके वर्णित किया जा सकता है।

इसलिए, सुदृढीकरण प्रशिक्षण में, सबसे अच्छा व्यवहार प्राप्त करने के लिए, हमें अपेक्षित संचित पुरस्कारों को अधिकतम करने की आवश्यकता है।

प्रत्येक बार चरण t पर संचित इनाम को इस प्रकार लिखा जा सकता है:



यह इसके बराबर है:



हालांकि, वास्तव में, हम केवल इस तरह के पुरस्कार नहीं जोड़ सकते हैं। पुरस्कार जो पहले (गेम की शुरुआत में) आते हैं, वे भविष्य में पुरस्कार की तुलना में अधिक अनुमानित हैं।



मान लीजिए कि आपका एजेंट एक छोटा माउस है और आपका प्रतिद्वंद्वी एक बिल्ली है। आपका लक्ष्य यह है कि बिल्ली आपके खाने से पहले अधिक से अधिक मात्रा में पनीर खाए। जैसा कि हम आरेख में देखते हैं, एक बिल्ली के पास पनीर की तुलना में खुद के बगल में पनीर खाने की संभावना अधिक होती है (हम इसके करीब हैं, यह उतना ही खतरनाक है)।

नतीजतन, एक बिल्ली का इनाम, भले ही यह अधिक (अधिक पनीर) हो, कम हो जाएगा। हमें यकीन नहीं है कि हम इसे खा सकते हैं। पारिश्रमिक कम करने के लिए, हम निम्नलिखित कार्य करते हैं:

• हम गामा नामक छूट की दर निर्धारित करते हैं। यह 0 और 1 के बीच होना चाहिए।
• जितना बड़ा गामा, उतनी ही कम छूट। इसका मतलब यह है कि लर्निंग एजेंट लंबी अवधि के पुरस्कारों से अधिक चिंतित है।
• दूसरी ओर, गामा जितना छोटा होगा, छूट भी उतनी ही अधिक होगी। इसका मतलब यह है कि प्राथमिकता अल्पकालिक पुरस्कार (निकटतम पनीर) को दी जाती है।

संचित अपेक्षित विचार, खाते में छूट लेना, इस प्रकार है:



मोटे तौर पर, समय सूचक को गामा का उपयोग करके प्रत्येक इनाम को कम किया जाएगा। जैसे ही समय कदम बढ़ता है, बिल्ली हमारे करीब हो जाती है, इसलिए भविष्य का इनाम कम और कम होने की संभावना है।

समसामयिक या निरंतर कार्य

एक कार्य सुदृढीकरण के साथ सीखने की समस्या का एक उदाहरण है। हमारे पास दो प्रकार के कार्य हो सकते हैं: एपिसोडिक और निरंतर।

एपिसोडिक कार्य

इस मामले में, हमारे पास एक प्रारंभिक बिंदु और एक समाप्ति बिंदु (टर्मिनल राज्य) है। यह एक प्रकरण बनाता है : राज्यों, कार्यों, पुरस्कारों और नए राज्यों की सूची।
उदाहरण के लिए सुपर मारियो ब्रोस लें: एपिसोड नए मारियो के लॉन्च के साथ शुरू होता है और जब आप मारे जाते हैं या स्तर के अंत तक पहुंचते हैं तो समाप्त होता है।


एक नए एपिसोड की शुरुआत

निरंतर कार्य

ये ऐसे कार्य हैं जो बिना किसी टर्मिनल राज्य के हमेशा के लिए चलते हैं । इस मामले में, एजेंट को सबसे अच्छे कार्यों को चुनना सीखना चाहिए और साथ ही साथ पर्यावरण के साथ बातचीत करनी चाहिए।

उदाहरण के लिए, एक एजेंट जो स्वचालित स्टॉक ट्रेडिंग करता है। इस कार्य के लिए कोई प्रारंभिक बिंदु और टर्मिनल राज्य नहीं है। जब तक हम उसे रोकने का फैसला नहीं करते, तब तक एजेंट काम करना जारी रखता है।



मोंटे कार्लो बनाम समय अंतर विधि

सीखने के दो तरीके हैं:

• एपिसोड के अंत में पुरस्कार एकत्र करना और फिर अधिकतम अपेक्षित भविष्य के पुरस्कारों की गणना करना - मोंटे कार्लो दृष्टिकोण
• हर कदम पर पुरस्कार का मूल्यांकन - एक अस्थायी अंतर

मोंटे कार्लो

जब एपिसोड समाप्त होता है (एजेंट एक "टर्मिनल राज्य" तक पहुंचता है), तो एजेंट ने कुल जमा इनाम को देखने के लिए देखा कि उसने कितना अच्छा काम किया है। मोंटे कार्लो दृष्टिकोण में, खेल के अंत में ही पुरस्कार प्राप्त होते हैं।

फिर हम संवर्धित ज्ञान के साथ एक नया खेल शुरू करते हैं। एजेंट प्रत्येक पुनरावृत्ति के साथ सबसे अच्छा निर्णय लेता है।



यहाँ एक उदाहरण है:



यदि हम भूलभुलैया को एक पर्यावरण के रूप में लेते हैं:

• हम हमेशा एक ही शुरुआती बिंदु से शुरू करते हैं।
• हम एपिसोड को रोकते हैं अगर बिल्ली हमें खाती है या हम 20 कदम चलते हैं।
• प्रकरण के अंत में, हमारे पास राज्यों, कार्यों, पुरस्कारों और नए राज्यों की एक सूची है।
• एजेंट Gt के कुल इनाम को संक्षेप में बताता है (यह देखने के लिए कि उसने कितना अच्छा किया)।
• फिर यह उपरोक्त सूत्र के अनुसार V (st) को अपडेट करता है।
• फिर एक नया खेल नए ज्ञान के साथ शुरू होता है।

अधिक से अधिक एपिसोड चलाना, एजेंट बेहतर और बेहतर खेलना सीखेंगे।

समय का अंतर: हर समय कदम पर सीखना

टेम्पोरल अंतर लर्निंग (टीडी) विधि उच्चतम संभव इनाम को अपडेट करने के लिए एपिसोड के अंत की प्रतीक्षा नहीं करेगी। वह प्राप्त अनुभव के आधार पर वी को अपडेट करेगा।

इस विधि को टीडी (0) या स्टेप वाइज टीडी कहा जाता है ( किसी एक कदम के बाद उपयोगिता फ़ंक्शन को अपडेट करता है)।



टीडी तरीके केवल मूल्यों को अद्यतन करने के लिए अगली बार कदम की उम्मीद करते हैं। समय t + 1 पर , टीडी लक्ष्य इनाम Rt + 1 और वर्तमान रेटिंग V (St + 1) का उपयोग करके बनाया गया है।

टीडी लक्ष्य अपेक्षित का अनुमान है: वास्तव में, आप पिछली V (St) रेटिंग को एक चरण के भीतर लक्ष्य के लिए अद्यतन करते हैं।

समझौता अन्वेषण / संचालन

सुदृढीकरण प्रशिक्षण समस्याओं को हल करने के लिए विभिन्न रणनीतियों पर विचार करने से पहले, हमें एक और बहुत महत्वपूर्ण विषय पर विचार करना चाहिए: अन्वेषण और शोषण के बीच व्यापार बंद।

• इंटेलिजेंस से पर्यावरण के बारे में और जानकारी मिलती है।
• शोषण अधिकतम ज्ञात पुरस्कारों का उपयोग करता है।

याद रखें कि हमारे आरएल एजेंट का लक्ष्य अपेक्षित संचित पुरस्कारों को अधिकतम करना है। हालांकि, हम एक आम जाल में पड़ सकते हैं।



इस खेल में, हमारे माउस में पनीर के छोटे टुकड़े (+1 प्रत्येक) हो सकते हैं। लेकिन भूलभुलैया के शीर्ष पर पनीर (+1000) का एक विशाल टुकड़ा है। हालांकि, अगर हम केवल पुरस्कारों पर ध्यान केंद्रित करते हैं, तो हमारा एजेंट कभी भी विशाल चंक तक नहीं पहुंचेगा। इसके बजाय, वह पुरस्कार के केवल निकटतम स्रोत का उपयोग करेगा, भले ही यह स्रोत छोटा हो (शोषण)। लेकिन अगर हमारा एजेंट थोड़ा सामंजस्य करता है, तो वह एक बड़ा इनाम पा सकेगा।

इसे ही हम अन्वेषण और शोषण के बीच एक समझौता कहते हैं। हमें एक नियम को परिभाषित करना चाहिए जो इस समझौते से निपटने में मदद करेगा। भविष्य के लेखों में आप ऐसा करने के विभिन्न तरीके सीखेंगे।

तीन सुदृढीकरण सीखने के दृष्टिकोण

अब जब हमने सुदृढीकरण सीखने के मुख्य तत्वों की पहचान कर ली है, तो आइए प्रबलित शिक्षण को हल करने के लिए तीन तरीकों पर जाएं: लागत-आधारित, नीति-आधारित और मॉडल-आधारित।

लागत के आधार पर

लागत-आधारित आरएल में, लक्ष्य उपयोगिता फ़ंक्शन V (s) का अनुकूलन करना है।
यूटिलिटी फंक्शन एक ऐसा फंक्शन है, जो हमें एक एजेंट को हर राज्य में मिलने वाले अधिकतम अपेक्षित इनाम की सूचना देता है।

प्रत्येक राज्य का मूल्य उस इनाम की कुल राशि है जो एजेंट भविष्य में इस राज्य से शुरू होने की उम्मीद कर सकता है।



एजेंट इस उपयोगिता फ़ंक्शन का उपयोग यह तय करने के लिए करेगा कि प्रत्येक चरण में किस राज्य को चुनना है। एजेंट उच्चतम मूल्य के साथ राज्य का चयन करता है।



भूलभुलैया के उदाहरण में, प्रत्येक चरण में हम लक्ष्य प्राप्त करने के लिए उच्चतम मूल्य: -7, फिर -6, फिर -5 (आदि) लेंगे।

नीति आधारित

नीति-आधारित आरएल में, हम उपयोगिता फ़ंक्शन का उपयोग किए बिना s (एस) पॉलिसी फ़ंक्शन को सीधे अनुकूलित करना चाहते हैं। एक नीति वह है जो किसी दिए गए बिंदु पर एक एजेंट के व्यवहार को समय पर निर्धारित करती है।


कार्रवाई = नीति (राज्य)
हम राजनीति के कार्य का अध्ययन करते हैं। यह हमें प्रत्येक राज्य को सबसे उपयुक्त कार्रवाई के साथ सहसंबंधित करने की अनुमति देता है।

नीतियां दो प्रकार की होती हैं:

• नियतात्मक: किसी दिए गए राज्य में राजनीति हमेशा एक ही कार्रवाई करेगी।
• स्टोचस्टिक: कार्रवाई द्वारा वितरण की संभावना को प्रदर्शित करता है।

जैसा कि आप देख सकते हैं, नीति सीधे प्रत्येक चरण के लिए सबसे अच्छी कार्रवाई का संकेत देती है।

मॉडल के आधार पर

मॉडल आधारित आरएल में, हम पर्यावरण को मॉडल करते हैं। इसका मतलब है कि हम पर्यावरणीय व्यवहार का एक मॉडल बना रहे हैं। समस्या यह है कि प्रत्येक वातावरण को मॉडल के एक अलग दृष्टिकोण की आवश्यकता होगी। इसीलिए हम निम्नलिखित लेखों में इस प्रकार के प्रशिक्षण पर अधिक ध्यान केंद्रित नहीं करेंगे।

गहन सुदृढीकरण सीखने का परिचय

डीप रीइनफोर्समेंट लर्निंग, प्रबलित शिक्षण की समस्याओं को हल करने के लिए गहरे तंत्रिका नेटवर्क का परिचय देता है - इसलिए नाम "डीप" है।
उदाहरण के लिए, अगले लेख में, हम क्यू-लर्निंग (क्लासिक सुदृढीकरण सीखने) और डीप क्यू-लर्निंग पर काम करेंगे।

आप इस तथ्य में अंतर देखेंगे कि पहले दृष्टिकोण में हम क्यू तालिका बनाने के लिए पारंपरिक एल्गोरिथ्म का उपयोग करते हैं, जो हमें प्रत्येक राज्य के लिए क्या कार्रवाई करने में मदद करता है।

दूसरे दृष्टिकोण में, हम एक तंत्रिका नेटवर्क (अनुमानित राज्य-आधारित पुरस्कार: q मान) का उपयोग करेंगे।


यूडनेस इंस्पायर्ड क्यू डिजाइन चार्ट


वह सब है। हमेशा की तरह, हम यहां आपकी टिप्पणियों या प्रश्नों की प्रतीक्षा कर रहे हैं, या आप उन्हें पाठ्यक्रम शिक्षक आर्थर कादुरिन से नेटवर्किंग के लिए अपने खुले पाठ में पूछ सकते हैं।