🎻 👨🏽‍🏭 🐫 पायथन में सुदृढीकरण सीखना 🧕🏽 🏚️ 🤜🏽

हाय साथियों!

निवर्तमान वर्ष के अंतिम प्रकाशन में, हम सुदृढीकरण सीखना का उल्लेख करना चाहते थे - एक विषय जो हम पहले से ही एक पुस्तक में अनुवाद कर रहे हैं।

खुद के लिए न्यायाधीश: मध्यम के साथ एक प्रारंभिक लेख था, जिसने समस्या के संदर्भ को रेखांकित किया, पायथन में कार्यान्वयन के साथ सबसे सरल एल्गोरिदम का वर्णन किया। लेख में कई gif हैं। और प्रेरणा, इनाम और सफलता की राह पर सही रणनीति चुनना ऐसी चीजें हैं जो आने वाले वर्ष में हममें से प्रत्येक के लिए बेहद उपयोगी होंगी।

अच्छा पढ़ लो!

प्रबलित शिक्षण मशीन लर्निंग का एक रूप है जिसमें एजेंट वातावरण में कार्य करना सीखता है, क्रिया करता है और इस तरह अंतर्ज्ञान विकसित करता है, जिसके बाद वह अपने कार्यों के परिणामों का अवलोकन करता है। इस लेख में मैं आपको बताऊंगा कि सुदृढीकरण के साथ सीखने की समस्या को कैसे समझा और तैयार किया जाए, और फिर इसे पायथन में हल करें।

हाल ही में, हम इस तथ्य के आदी हो गए हैं कि कंप्यूटर मनुष्यों के खिलाफ खेल खेलते हैं - या तो मल्टीप्लेयर गेम में बॉट्स के रूप में, या एक-पर-एक गेम में प्रतिद्वंद्वियों के रूप में: Dota2, PUB-G, मारियो में। रिसर्च कंपनी दीपमाइंड ने इस खबर को लेकर तब हंगामा मचाया जब 2016 में उनके अल्फ़ागो कार्यक्रम ने दक्षिण कोरियाई चैंपियन को हराया। यदि आप एक शौकीन चावला गेमर हैं, तो आप Dota 2 OpenAI पाँच के पाँच मैचों के बारे में सुन सकते हैं, जहाँ कारों ने लोगों के खिलाफ लड़ाई लड़ी और कई मैचों में Dota2 में सर्वश्रेष्ठ खिलाड़ियों को हराया। (यदि आप विवरण में रुचि रखते हैं, तो एल्गोरिथ्म का यहां विस्तार से विश्लेषण किया गया है और यह जांच की जाती है कि मशीनें कैसे खेली जाती हैं)।

OpenAI Five का नवीनतम संस्करण रोशन लेता है ।

तो, चलिए केंद्रीय प्रश्न से शुरू करते हैं। हमें प्रबलित प्रशिक्षण की आवश्यकता क्यों है? क्या यह केवल खेलों में उपयोग किया जाता है, या यह लागू समस्याओं को हल करने के लिए यथार्थवादी परिदृश्यों में लागू होता है? यदि यह आपका पहली बार सुदृढीकरण प्रशिक्षण पढ़ रहा है, तो आप बस इन सवालों के जवाब की कल्पना नहीं कर सकते। वास्तव में, प्रबलित शिक्षा कृत्रिम बुद्धिमत्ता के क्षेत्र में सबसे अधिक व्यापक रूप से उपयोग की जाने वाली और तेजी से विकासशील तकनीकों में से एक है।
यहां कई विषय क्षेत्र हैं जिनमें सुदृढीकरण सीखने की प्रणाली विशेष रूप से मांग में हैं:

मानव रहित वाहन
खेल उद्योग
रोबोटिक्स
अनुशंसा प्रणाली
विज्ञापन और विपणन

अवलोकन और सुदृढीकरण सीखने की पृष्ठभूमि

इसलिए, जब हमारे पास अपने निपटान में बहुत सारी मशीन और गहन शिक्षण विधियां हैं, तो सुदृढीकरण के साथ सीखने की घटना कैसे हुई? "उन्हें रिच सौटन और एंड्रयू बार्टो, रिच के अनुसंधान पर्यवेक्षक द्वारा आविष्कार किया गया था, जिन्होंने उन्हें पीएचडी तैयार करने में मदद की थी।" प्रतिमान पहली बार 1980 के दशक में आकार लिया और फिर पुरातन था। इसके बाद, रिच का मानना था कि उसके पास एक महान भविष्य है, और वह अंततः मान्यता प्राप्त करेगी।

प्रबलित शिक्षण उस वातावरण में स्वचालन का समर्थन करता है जहां यह तैनात है। मशीन और डीप लर्निंग दोनों लगभग एक ही तरह से काम करते हैं - वे रणनीतिक रूप से अलग तरीके से व्यवस्थित होते हैं, लेकिन दोनों प्रतिमान स्वचालन का समर्थन करते हैं। तो, सुदृढीकरण प्रशिक्षण क्यों उत्पन्न हुआ?

यह प्राकृतिक सीखने की प्रक्रिया की बहुत याद दिलाता है जिसमें प्रक्रिया / मॉडल कार्य करता है और कार्य के साथ सामना करने के तरीके के बारे में प्रतिक्रिया प्राप्त करता है: अच्छा और नहीं।

मशीन और गहरी सीख भी प्रशिक्षण विकल्प हैं, हालांकि, वे उपलब्ध आंकड़ों में पैटर्न की पहचान करने के लिए अधिक अनुरूप हैं। सुदृढीकरण सीखने में, दूसरी ओर, ऐसा अनुभव परीक्षण और त्रुटि के माध्यम से प्राप्त होता है; सिस्टम धीरे-धीरे सही विकल्प या वैश्विक इष्टतम पाता है। प्रबलित शिक्षण का एक गंभीर अतिरिक्त लाभ यह है कि इस मामले में, एक शिक्षक के साथ शिक्षण के साथ, प्रशिक्षण डेटा का एक व्यापक सेट प्रदान करना आवश्यक नहीं है। कुछ छोटे टुकड़े पर्याप्त होंगे।

सुदृढीकरण सीखने की अवधारणा

अपनी बिल्लियों को नए गुर सिखाने की कल्पना करें; लेकिन, दुर्भाग्य से, बिल्लियों को मानव भाषा समझ में नहीं आती है, इसलिए आप उन्हें नहीं ले सकते और उन्हें बता सकते हैं कि आप उनके साथ क्या खेलने जा रहे हैं। इसलिए, आप अलग तरह से कार्य करेंगे: स्थिति का अनुकरण करें, और बिल्ली एक तरह से या किसी अन्य प्रतिक्रिया में प्रतिक्रिया करने की कोशिश करेगी। यदि बिल्ली ने जिस तरह से आप चाहते थे, उस पर प्रतिक्रिया की, तो आप उसमें दूध डालते हैं। क्या आप समझते हैं कि आगे क्या होगा? एक बार फिर, इसी तरह की स्थिति में, बिल्ली फिर से वांछित कार्रवाई करेगी, और इससे भी अधिक उत्साह के साथ, उम्मीद है कि इसे और भी बेहतर खिलाया जाएगा। यह एक सकारात्मक उदाहरण पर सीखने का तरीका है; लेकिन, यदि आप नकारात्मक प्रोत्साहन के साथ एक बिल्ली को "शिक्षित" करने की कोशिश करते हैं, उदाहरण के लिए, इसे कड़ाई से देखें और इसे फेंक दें, यह आमतौर पर ऐसी स्थितियों में नहीं सीखता है।

प्रबलित शिक्षण इसी तरह काम करता है। हम मशीन को कुछ इनपुट और क्रियाएं बताते हैं, और फिर आउटपुट के आधार पर मशीन को पुरस्कृत करते हैं। हमारा अंतिम लक्ष्य पुरस्कारों को अधिकतम करना है। अब आइए देखें कि सुदृढीकरण सीखने के संदर्भ में उपरोक्त समस्या का कैसे सुधार किया जाए।

बिल्ली "एजेंट" के रूप में कार्य करती है जो "पर्यावरण" के संपर्क में है।
पर्यावरण एक घर या खेल क्षेत्र है, जो आप बिल्ली को सिखा रहे हैं उसके आधार पर।
प्रशिक्षण से उत्पन्न होने वाली स्थितियों को "राज्य" कहा जाता है। एक बिल्ली के मामले में, परिस्थितियों के उदाहरण हैं जब बिल्ली "चलती है" या "बिस्तर के नीचे क्रॉल करती है।"
एजेंट कार्रवाई करने और एक "राज्य" से दूसरे में जाने से प्रतिक्रिया करते हैं।
राज्य में परिवर्तन के बाद, एजेंट को एक "इनाम" या एक "जुर्माना" प्राप्त होता है जो उसके द्वारा की गई कार्रवाई के आधार पर होता है।
"रणनीति" सर्वोत्तम परिणाम प्राप्त करने के लिए एक क्रिया को चुनने के लिए एक पद्धति है।

अब जब हमें पता चला है कि सुदृढीकरण सीखना क्या है, तो आइए सुदृढीकरण सीखने और गहरी सुदृढीकरण सीखने की उत्पत्ति और विकास के बारे में विस्तार से बात करते हैं, चर्चा करते हैं कि यह प्रतिमान हमें उन समस्याओं को हल करने की अनुमति देता है जो शिक्षक के साथ या बिना सीखने के लिए असंभव हैं, और निम्नलिखित पर भी ध्यान दें। जिज्ञासु तथ्य: वर्तमान में, Google का खोज इंजन सुदृढीकरण सीखने के एल्गोरिदम का उपयोग करके अनुकूलित है।

सुदृढीकरण को समझना शब्दावली सीखना

एजेंट और पर्यावरण सुदृढीकरण सीखने के एल्गोरिथ्म में महत्वपूर्ण भूमिका निभाते हैं। पर्यावरण वह दुनिया है जिसमें एजेंट को जीवित रहना पड़ता है। इसके अलावा, एजेंट पर्यावरण (इनाम) से मजबूत संकेत प्राप्त करता है: यह एक ऐसी संख्या है जो बताती है कि दुनिया की वर्तमान स्थिति कितनी अच्छी या बुरी है। एजेंट का उद्देश्य कुल इनाम को अधिकतम करना है, तथाकथित "लाभ"। हमारे पहले सुदृढीकरण सीखने के एल्गोरिदम लिखने से पहले, आपको निम्नलिखित शब्दावली को समझने की आवश्यकता है।

स्टेट्स : एक राज्य एक ऐसी दुनिया का पूरा विवरण है जिसमें इस दुनिया को चिह्नित करने वाली सूचनाओं का एक भी टुकड़ा गायब नहीं है। यह एक स्थिति, निश्चित या गतिशील हो सकता है। एक नियम के रूप में, ऐसे राज्यों को एरेज़, मैट्रिस या उच्चतर क्रम के दसियों के रूप में लिखा जाता है।
क्रिया : क्रिया आम तौर पर पर्यावरणीय परिस्थितियों पर निर्भर करती है, और विभिन्न वातावरणों में एजेंट अलग-अलग क्रियाएं करेगा। कई वैध एजेंट क्रियाएं अंतरिक्ष में "एक्शन स्पेस" कहलाती हैं। आमतौर पर, अंतरिक्ष में क्रियाओं की संख्या परिमित होती है।
पर्यावरण : यह वह स्थान है जिसमें एजेंट मौजूद होता है और जिसके साथ वह इंटरैक्ट करता है। विभिन्न वातावरणों के लिए विभिन्न प्रकार के पुरस्कार, रणनीतियों आदि का उपयोग किया जाता है।
पुरस्कार और जीत : आपको सुदृढीकरण के साथ प्रशिक्षण के दौरान इनाम फ़ंक्शन आर की लगातार निगरानी करने की आवश्यकता होती है। एल्गोरिथ्म स्थापित करते समय, इसे अनुकूलित करते हुए, और जब आप सीखना बंद कर देते हैं तो यह महत्वपूर्ण होता है। यह दुनिया की वर्तमान स्थिति पर निर्भर करता है, कार्रवाई सिर्फ और दुनिया की अगली स्थिति।
रणनीतियाँ : एक रणनीति एक नियम है जिसके अनुसार एक एजेंट अगली कार्रवाई चुनता है। रणनीतियों के सेट को एजेंट के "मस्तिष्क" के रूप में भी जाना जाता है।

अब जब हम सुदृढीकरण सीखने की शब्दावली से परिचित हो गए हैं, तो आइए उचित एल्गोरिदम का उपयोग करके समस्या को हल करें। इससे पहले, आपको यह समझने की आवश्यकता है कि इस तरह की समस्या को कैसे बनाया जाए, और इस समस्या को हल करते समय, सुदृढीकरण के साथ प्रशिक्षण की शब्दावली पर भरोसा करें।

टैक्सी समाधान

इसलिए, हम एल्गोरिदम को मजबूत करने के उपयोग के साथ समस्या को हल करने के लिए आगे बढ़ते हैं।
मान लीजिए कि हमारे पास एक मानवरहित टैक्सी के लिए एक प्रशिक्षण क्षेत्र है, जिसे हम यात्रियों को चार अलग-अलग बिंदुओं ( R,G,Y,B ) पर पार्किंग स्थल तक पहुंचाने के लिए प्रशिक्षित करते हैं। इससे पहले, आपको पर्यावरण को समझने और सेट करने की आवश्यकता है जिसमें हम पायथन में प्रोग्रामिंग शुरू करते हैं। यदि आप केवल पायथन सीखना शुरू कर रहे हैं, तो मैं आपके लिए इस लेख की सलाह देता हूं ।

टैक्सी की समस्या को हल करने के लिए पर्यावरण को ओपनएआई के जिम का उपयोग करके कॉन्फ़िगर किया जा सकता है - यह सुदृढीकरण प्रशिक्षण के साथ समस्याओं को हल करने के लिए सबसे लोकप्रिय पुस्तकालयों में से एक है। खैर, जिम का उपयोग करने से पहले, आपको इसे अपनी मशीन पर स्थापित करना होगा, और पायथन पैकेज मैनेजर जिसे पाइप कहा जाता है, इसके लिए सुविधाजनक है। निम्नलिखित स्थापना आदेश है।

pip install gym

अगला, आइए देखें कि हमारा पर्यावरण कैसे प्रदर्शित होगा। इस कार्य के लिए सभी मॉडल और इंटरफ़ेस पहले से ही जिम में कॉन्फ़िगर किए गए हैं और Taxi-V2 तहत नामित हैं। इस वातावरण को प्रदर्शित करने के लिए नीचे दिए गए कोड स्निपेट का उपयोग किया जाता है।

“हमारे पास 4 स्थान हैं (विभिन्न पत्रों द्वारा इंगित); हमारा काम एक बिंदु पर एक यात्री को उठाना है और उसे दूसरे स्थान पर छोड़ देना है। हम एक सफल यात्री लैंडिंग के लिए +20 अंक प्राप्त करते हैं और उस पर खर्च किए गए प्रत्येक चरण के लिए 1 अंक खो देते हैं। प्रत्येक अनजाने बोर्डिंग और एक यात्री के उतरने के लिए 10 अंकों का जुर्माना भी है। ” (स्रोत: gym.openai.com/envs/Taxi-v2 )

यहाँ हम अपने कंसोल में आउटपुट देखेंगे:

टैक्सी V2 ENV

ग्रेट, env ओपनएआई जिम का दिल है, यह एक एकीकृत पर्यावरण इंटरफ़ेस है। निम्नलिखित एनवी विधियां हैं जो हमें उपयोगी लगती हैं:

env.reset : पर्यावरण को रीसेट करता है और एक यादृच्छिक प्रारंभिक स्थिति देता है।
env.step(action) : पर्यावरण env.step(action) विकास को एक कदम समय में आगे env.step(action) ।
env.step(action) : निम्नलिखित चर लौटाता है

observation : पर्यावरण का अवलोकन।
reward : यह reward कि क्या आपकी कार्रवाई फायदेमंद थी।
done : इंगित करता है कि क्या हम यात्री को ठीक से लेने और छोड़ने में कामयाब रहे, इसे "एक प्रकरण" भी कहा जाता है।
info : डिबगिंग उद्देश्यों के लिए आवश्यक अतिरिक्त जानकारी जैसे प्रदर्शन और विलंबता।
env.render : पर्यावरण के एक फ्रेम को प्रदर्शित करता है (प्रतिपादन के लिए उपयोगी)

इसलिए, पर्यावरण की जांच करते हुए, आइए समस्या को बेहतर ढंग से समझने की कोशिश करें। इस पार्किंग में टैक्सी एकमात्र कार हैं। पार्किंग को 5x5 ग्रिड में विभाजित किया जा सकता है, जहां हमें 25 संभावित टैक्सी स्थान मिलते हैं। ये 25 मूल्य हमारे राज्य स्थान के तत्वों में से एक हैं। कृपया ध्यान दें: फिलहाल, हमारी टैक्सी निर्देशांक (3, 1) के साथ बिंदु पर स्थित है।

पर्यावरण में 4 बिंदु हैं जहां यात्रियों को चढ़ने की अनुमति है: ये हैं: R, G, Y, B या [(0,0), (0,4), (4,0), (4,3)] निर्देशांक में ( क्षैतिज रूप से; लंबवत), यदि कार्टेशियन निर्देशांक में उपरोक्त वातावरण की व्याख्या करना संभव था। यदि आप यात्री के एक और (1) स्थिति को भी ध्यान में रखते हैं: टैक्सी के अंदर, आप अपने प्रशिक्षण के लिए अपने वातावरण में राज्यों की कुल संख्या की गणना करने के लिए यात्री स्थानों और उनके गंतव्यों के सभी संयोजन ले सकते हैं: हमारे पास चार (4) गंतव्य और पांच (4+) हैं 1) यात्री स्थान।

तो, टैक्सी के लिए हमारे वातावरण में, 5 × 5 × 5 × 4 = 500 संभव राज्य हैं। एक एजेंट 500 में से एक स्थिति से निपटता है और कार्रवाई करता है। हमारे मामले में, विकल्प निम्नानुसार हैं: एक दिशा या किसी अन्य में जाना, या यात्री को लेने / छोड़ने का निर्णय। दूसरे शब्दों में, हमारे पास हमारे छह संभावित कार्य हैं:
पिकअप, ड्रॉप, उत्तर, पूर्व, दक्षिण, पश्चिम (अंतिम चार मूल्य दिशाएं हैं जिसमें एक टैक्सी चल सकती है।)

यह action space : सभी क्रियाओं का सेट जो हमारे एजेंट किसी दिए गए राज्य में ले जा सकते हैं।

जैसा कि ऊपर चित्रण से स्पष्ट है, एक टैक्सी कुछ परिस्थितियों में कुछ कार्य नहीं कर सकती है (दीवारें हस्तक्षेप करती हैं)। पर्यावरण का वर्णन करने वाले कोड में, हम बस दीवार में प्रत्येक हिट के लिए -1 का जुर्माना लगाते हैं, और दीवार के साथ एक टैक्सी टकराती है। इस प्रकार, इस तरह के जुर्माना जमा होंगे, इसलिए टैक्सी दीवारों को नहीं मारने की कोशिश करेगी।

रिवार्ड टेबल: टैक्सी का माहौल बनाते समय, P नामक एक प्राथमिक इनाम तालिका भी बनाई जा सकती है। आप इसे एक मैट्रिक्स मान सकते हैं, जहां राज्यों की संख्या पंक्तियों की संख्या और स्तंभों की संख्या के लिए क्रियाओं की संख्या से मेल खाती है। यही है, हम states × actions मैट्रिक्स के बारे में बात कर रहे हैं।

चूंकि इस मैट्रिक्स में पूरी तरह से सभी स्थितियां दर्ज की गई हैं, इसलिए आप उस राज्य को सौंपे गए डिफ़ॉल्ट इनाम मूल्यों को देख सकते हैं जिन्हें हमने वर्णन करने के लिए चुना है:

 >>> import gym >>> env = gym.make("Taxi-v2").env >>> env.P[328] {0: [(1.0, 433, -1, False)], 1: [(1.0, 233, -1, False)], 2: [(1.0, 353, -1, False)], 3: [(1.0, 333, -1, False)], 4: [(1.0, 333, -10, False)], 5: [(1.0, 333, -10, False)] }

इस शब्दकोश की संरचना इस प्रकार है: {action: [(probability, nextstate, reward, done)]} ।

मान ५-५ क्रियाओं (दक्षिण, उत्तर, पूर्व, पश्चिम, पिकअप, ड्रॉपऑफ) के अनुरूप होते हैं, जो एक टैक्सी चित्रण में दिखाए गए वर्तमान स्थिति में प्रदर्शन कर सकती है।
जब आप यात्री को वांछित बिंदु पर सफलतापूर्वक गिरा देते हैं, तो आपको न्याय करने की अनुमति देता है।

किसी भी सुदृढीकरण प्रशिक्षण के बिना इस समस्या को हल करने के लिए, आप लक्ष्य राज्य सेट कर सकते हैं, रिक्त स्थान का चयन कर सकते हैं, और फिर, यदि आप निश्चित संख्या में पुनरावृत्तियों के लिए लक्ष्य राज्य प्राप्त कर सकते हैं, तो मान लें कि यह क्षण अधिकतम इनाम से मेल खाता है। अन्य राज्यों में, इनाम का मूल्य या तो अधिकतम दृष्टिकोण करता है यदि प्रोग्राम सही तरीके से काम करता है (लक्ष्य के करीब पहुंचता है) या गलती होने पर जुर्माना जमा करता है। इसके अलावा, जुर्माने का मूल्य -10 से कम नहीं पहुंच सकता है।

चलो सुदृढीकरण प्रशिक्षण के बिना इस समस्या को हल करने के लिए कोड लिखें।
चूंकि हमारे पास प्रत्येक राज्य के लिए डिफ़ॉल्ट इनाम मूल्यों के साथ एक पी-टेबल है, हम इस तालिका के आधार पर अपनी टैक्सी के नेविगेशन को व्यवस्थित करने का प्रयास कर सकते हैं।

हम एक अंतहीन लूप बनाते हैं, जब तक कि यात्री गंतव्य (एक एपिसोड) तक नहीं पहुंच जाता है, या, दूसरे शब्दों में, जब तक कि इनाम दर 20 तक नहीं पहुंच जाती। env.action_space.sample() विधि स्वचालित रूप से सभी उपलब्ध कार्यों के सेट से एक यादृच्छिक कार्रवाई का चयन करती है। । विचार करें कि क्या होता है:

 import gym from time import sleep #  thr env env = gym.make("Taxi-v2").env env.s = 328 #     ,   , epochs = 0 penalties, reward = 0, 0 frames = [] done = False while not done: action = env.action_space.sample() state, reward, done, info = env.step(action) if reward == -10: penalties += 1 #         frames.append({ 'frame': env.render(mode='ansi'), 'state': state, 'action': action, 'reward': reward } ) epochs += 1 print("Timesteps taken: {}".format(epochs)) print("Penalties incurred: {}".format(penalties)) #    , ,  def frames(frames): for i, frame in enumerate(frames): clear_output(wait=True) print(frame['frame'].getvalue()) print(f"Timestep: {i + 1}") print(f"State: {frame['state']}") print(f"Action: {frame['action']}") print(f"Reward: {frame['reward']}") sleep(.1) frames(frames)

निष्कर्ष:

साभार: OpenAI

समस्या हल हो गई है, लेकिन अनुकूलित नहीं है, या यह एल्गोरिथम सभी मामलों में काम नहीं करेगा। हमें एक उपयुक्त इंटरैक्शन एजेंट की आवश्यकता है ताकि समस्या को हल करने के लिए मशीन / एल्गोरिदम द्वारा खर्च किए गए पुनरावृत्तियों की संख्या न्यूनतम बनी रहे। यहां क्यू-लर्निंग एल्गोरिदम हमारी मदद करेगा, जिसके कार्यान्वयन पर हम अगले भाग में विचार करेंगे।

प्रस्तुत है क्यू-लर्निंग

नीचे सबसे लोकप्रिय और सबसे सरल सुदृढीकरण सीखने वाले एल्गोरिदम में से एक है। पर्यावरण एजेंट को क्रमिक प्रशिक्षण के लिए और इस तथ्य के लिए पुरस्कार देता है कि किसी विशेष राज्य में वह सबसे इष्टतम कदम उठाता है। ऊपर चर्चा किए गए कार्यान्वयन में, हमारे पास एक इनाम तालिका "पी" थी, जिसके अनुसार हमारे एजेंट सीखेंगे। रिवॉर्ड टेबल के आधार पर, वह अगली क्रिया को चुनता है कि यह कितना उपयोगी है, इसके आधार पर और फिर क्यू वैल्यू नामक एक और वैल्यू को अपडेट करता है। नतीजतन, संयोजन (स्थिति, क्रिया) पर प्रदर्शित क्यू-टेबल नामक एक नई तालिका बनाई जाती है। यदि क्यू-मान बेहतर हैं, तो हमें अधिक अनुकूलित पुरस्कार मिलते हैं।

उदाहरण के लिए, यदि एक टैक्सी ऐसी स्थिति में है जहां यात्री टैक्सी के समान बिंदु पर है, तो यह बहुत संभावना है कि "पिक" कार्रवाई के लिए क्यू-मूल्य अन्य कार्यों की तुलना में अधिक है, उदाहरण के लिए, "यात्री को छोड़ दें" या "उत्तर" "।
क्यू-मानों को यादृच्छिक मूल्यों के साथ आरंभ किया जाता है, और जैसा कि एजेंट पर्यावरण के साथ बातचीत करता है और कुछ कार्यों को करके विभिन्न पुरस्कार प्राप्त करता है, क्यू-मूल्यों को निम्नलिखित समीकरण के अनुसार अपडेट किया जाता है:

यह प्रश्न उठाता है: क्यू-मूल्यों को कैसे आरंभ करें और उनकी गणना कैसे करें। जैसा कि कार्रवाई की जाती है, इस समीकरण में क्यू-मान निष्पादित किए जाते हैं।

यहाँ, अल्फा और गामा क्यू-लर्निंग एल्गोरिदम के पैरामीटर हैं। अल्फा सीखने की गति है, और गामा छूट कारक है। दोनों मान 0 से 1 तक हो सकते हैं और कभी-कभी एक के बराबर होते हैं। गामा शून्य के बराबर हो सकता है, लेकिन अल्फा नहीं हो सकता है, क्योंकि अद्यतन के दौरान नुकसान के मूल्य को मुआवजा दिया जाना चाहिए (सीखने की दर सकारात्मक है)। यहां अल्फा वैल्यू वैसी ही है, जैसे टीचर के साथ पढ़ाने पर। गामा यह निर्धारित करता है कि भविष्य में हमें इंतजार करने वाले पुरस्कार देना कितना महत्वपूर्ण है।

इस एल्गोरिथ्म को नीचे संक्षेप में प्रस्तुत किया गया है:

चरण 1: क्यू-टेबल को इनिशियलाइज़ करें, इसे शून्य से भरें, और क्यू-वैल्यूज़ के लिए हम मनमाना स्थिरांक निर्धारित करते हैं।
चरण 2: अब एजेंट को पर्यावरण पर प्रतिक्रिया करने दें और विभिन्न क्रियाओं का प्रयास करें। प्रत्येक राज्य परिवर्तन के लिए, हम इस राज्य (S) में संभव सभी क्रियाओं में से एक का चयन करते हैं।
चरण 3: पिछली कार्रवाई (ए) के परिणामों के आधार पर अगले राज्य (एस ') पर जाएं।
चरण 4: राज्य (एस ') से सभी संभावित कार्यों के लिए, उच्चतम क्यू-मूल्य के साथ एक का चयन करें।
चरण 5: उपरोक्त समीकरण के अनुसार क्यू-टेबल के मूल्यों को अपडेट करें।
चरण 6: अगले राज्य को चालू में बदल दें।
चरण 7: यदि लक्ष्य स्थिति तक पहुँच गया है, तो हम इस प्रक्रिया को पूरा करते हैं, और फिर दोहराते हैं।

क्यू-पायथन में सीखना

 import gym import numpy as np import random from IPython.display import clear_output #  Taxi-V2 Env env = gym.make("Taxi-v2").env #    q_table = np.zeros([env.observation_space.n, env.action_space.n]) #  alpha = 0.1 gamma = 0.6 epsilon = 0.1 all_epochs = [] all_penalties = [] for i in range(1, 100001): state = env.reset() #   epochs, penalties, reward, = 0, 0, 0 done = False while not done: if random.uniform(0, 1) < epsilon: #    action = env.action_space.sample() else: #    action = np.argmax(q_table[state]) next_state, reward, done, info = env.step(action) old_value = q_table[state, action] next_max = np.max(q_table[next_state]) #    new_value = (1 - alpha) * old_value + alpha * \ (reward + gamma * next_max) q_table[state, action] = new_value if reward == -10: penalties += 1 state = next_state epochs += 1 if i % 100 == 0: clear_output(wait=True) print("Episode: {i}") print("Training finished.")

महान, अब आपके सभी मूल्य q_table वैरिएबल में संग्रहीत किए जाएंगे।

तो, आपका मॉडल पर्यावरणीय परिस्थितियों में प्रशिक्षित है, और अब जानता है कि यात्रियों को अधिक सटीक रूप से कैसे चुनना है। और आप सुदृढीकरण सीखने की घटना से परिचित हो गए, और आप एक नई समस्या को हल करने के लिए एल्गोरिथ्म को प्रोग्राम कर सकते हैं।

अन्य सुदृढीकरण सीखने की तकनीक:

मार्कोव निर्णय लेने की प्रक्रिया (एमडीपी) और बेलमैन समीकरण
डायनेमिक प्रोग्रामिंग: मॉडल-आधारित आरएल, स्ट्रेटेजी इटरेशन और वैल्यू इटरेशन
डीप क्यू-प्रशिक्षण
रणनीति ढाल मूल तरीके
सार्सा

इस अभ्यास का कोड यहां स्थित है:

विहार / अजगर-सुदृढीकरण-शिक्षा

पायथन में सुदृढीकरण सीखना

More articles: