फिर से सुदृढीकरण प्रशिक्षण को अनदेखा न करें।

नमस्कार, हेब्र! मैं आपके लिए मिशेल काना, पीएचडी द्वारा "डोंट एवर एवर इग्नोर रिनफोर्समेंट लर्निंग अगेन" लेख का अनुवाद प्रस्तुत करता हूं।

शिक्षक के साथ सीखना और शिक्षक के बिना सीखना यह सब नहीं है। सभी जानते हैं कि OpenAI जिम से शुरू करें।


क्या आप विश्व शतरंज चैंपियन, बैकगैमौन को हराने या जाने वाले हैं?

एक तरीका है जो आपको ऐसा करने की अनुमति देता है - सुदृढीकरण प्रशिक्षण।

सुदृढीकरण सीखने क्या है?

प्रबलित अधिगम एक ऐसे वातावरण में लगातार निर्णय लेने के लिए सीख रहा है जिसके लिए अधिकतम पुरस्कार प्राप्त होता है जो प्रत्येक क्रिया के लिए दिया जाता है।

उसमें कोई शिक्षक नहीं है, केवल पर्यावरण से इनाम का संकेत है। समय मायने रखता है, और क्रियाएं बाद के डेटा को प्रभावित करती हैं। ऐसी स्थितियाँ शिक्षक के साथ या उसके बिना सीखने के लिए मुश्किलें खड़ी करती हैं।


नीचे दिए गए उदाहरण में, माउस जितना संभव हो उतना भोजन खोजने की कोशिश करता है और जब संभव हो तो बिजली के झटके से बचा जाता है।


एक चूहा बहादुर हो सकता है और बहुत सारे पनीर के साथ एक जगह पाने के लिए छुट्टी पा सकता है। यह सिर्फ खड़े रहने और कुछ भी प्राप्त न करने से बेहतर होगा।

माउस प्रत्येक विशिष्ट स्थिति में सर्वोत्तम निर्णय नहीं लेना चाहता है। इसके लिए उसे बहुत मानसिक परिव्यय की आवश्यकता होगी, और यह सार्वभौमिक नहीं होगा।

सुदृढीकरण के साथ प्रशिक्षण तरीकों के कुछ जादुई सेट प्रदान करता है जो हमारे माउस को बिजली के झटके से बचने और अधिक से अधिक भोजन प्राप्त करने का तरीका जानने की अनुमति देता है।

माउस एक एजेंट है। दीवारों, पनीर और अचेत बंदूकों के साथ एक भूलभुलैया पर्यावरण है । माउस बाएं, दाएं, ऊपर, नीचे जा सकता है - ये क्रियाएं हैं ।


माउस पनीर चाहता है, बिजली का झटका नहीं। पनीर एक इनाम है । माउस पर्यावरण का निरीक्षण कर सकता है - ये अवलोकन हैं ।

बर्फ सुदृढीकरण प्रशिक्षण

आइए माउस को भूलभुलैया में छोड़ें और बर्फ की ओर बढ़ें। “सर्दी आ गई है। आप और आपके दोस्त पार्क में फ्रिसबी फेंक रहे थे जब आपने अचानक फ्रिसबी को झील के बीच में फेंक दिया था। असल में, झील में पानी जम गया था, लेकिन वहाँ कुछ छेद थे जहाँ बर्फ पिघलती थी। ( स्रोत )


"यदि आप छेद में से एक पर कदम रखते हैं, तो आप बर्फ के पानी में गिर जाएंगे। इसके अलावा, दुनिया में फ्रिस्बी की भारी कमी है, इसलिए यह नितांत आवश्यक है कि आप झील के चारों ओर घूमें और ड्राइव पाएं। ”( स्रोत )

आप एक समान स्थिति में कैसा महसूस करते हैं?

यह सुदृढीकरण सीखने के लिए एक चुनौती है। एजेंट ग्रिड की दुनिया में चरित्र की गतिविधियों को नियंत्रित करता है। कुछ ग्रिड टाइलें निष्क्रिय हैं, जबकि अन्य पात्र पानी में गिरने का कारण बनते हैं। लक्ष्य के लिए एक निष्क्रिय रास्ता खोजने के लिए एजेंट को एक इनाम मिलता है।

हम OpenAI जिम का उपयोग करके ऐसे वातावरण का अनुकरण कर सकते हैं - सुदृढीकरण के साथ सीखने के एल्गोरिदम के विकास और तुलना के लिए एक टूलकिट। यह पर्यावरण के एक मानकीकृत सेट तक पहुंच प्रदान करता है, जैसे कि हमारे उदाहरण में, जिसे फ्रोजन लेक कहा जाता है। यह एक पाठ माध्यम है जिसे कोड की कुछ पंक्तियों के साथ बनाया जा सकता है।

import gym from gym.envs.registration import register # load 4x4 environment if 'FrozenLakeNotSlippery-v0' in gym.envs.registry.env_specs: del gym.envs.registry.env_specs['FrozenLakeNotSlippery-v0'] register(id='FrozenLakeNotSlippery-v0', entry_point='gym.envs.toy_text:FrozenLakeEnv', kwargs={'map_name' : '4x4', 'is_slippery': False}, max_episode_steps=100, reward_threshold=0.8196 ) # load 16x16 environment if 'FrozenLake8x8NotSlippery-v0' in gym.envs.registry.env_specs: del gym.envs.registry.env_specs['FrozenLake8x8NotSlippery-v0'] register( id='FrozenLake8x8NotSlippery-v0', entry_point='gym.envs.toy_text:FrozenLakeEnv', kwargs={'map_name' : '8x8', 'is_slippery': False}, max_episode_steps=100, reward_threshold=0.8196 ) 

अब हमें एक ऐसी संरचना की आवश्यकता है जो हमें सुदृढीकरण के साथ सीखने की समस्याओं को व्यवस्थित रूप से देखने की अनुमति दे।

मार्कोव निर्णय लेने की प्रक्रिया

हमारे उदाहरण में, एजेंट ग्रिड की दुनिया पर चरित्र की गति को नियंत्रित करता है, और इस वातावरण को पूरी तरह से अवलोकन योग्य वातावरण कहा जाता है।

चूंकि भविष्य की टाइल वर्तमान टाइल को ध्यान में रखते हुए पिछले टाइल पर निर्भर नहीं करती है
(हम यादृच्छिक राज्यों के अनुक्रम के साथ काम कर रहे हैं, जो कि मार्कोव संपत्ति के साथ है ), इसलिए हम तथाकथित मार्कोस प्रक्रिया के साथ काम कर रहे हैं।

वर्तमान स्थिति वह सब कुछ समाप्‍त कर देती है, जिसे यह तय करने की जरूरत होती है कि अगली चाल क्‍या होगी, कुछ भी याद रखने की जरूरत नहीं है।

प्रत्येक अगले सेल पर (जो एक स्थिति है), एजेंट कुछ संभावना के साथ चुनता है जो कार्रवाई अगले सेल की ओर जाता है, अर्थात् स्थिति और वातावरण एजेंट को अवलोकन और इनाम के साथ प्रतिक्रिया करता है।

हम मार्कोव प्रक्रिया में इनाम समारोह और छूट गुणांक जोड़ते हैं, और हमें तथाकथित मार्कोव प्रक्रिया मिलती है । कार्यों का एक सेट जोड़कर, हमें मार्कोव निर्णय लेने की प्रक्रिया ( एमडीपी ) मिलती है । एमडीपी के घटकों को नीचे और अधिक विवरण में वर्णित किया गया है।

राज्य

एक राज्य पर्यावरण का एक हिस्सा है, एक संख्यात्मक प्रतिनिधित्व करता है कि एजेंट पर्यावरण के समय में एक निश्चित बिंदु पर क्या देखता है, झील ग्रिड की स्थिति। एस शुरुआती बिंदु है, जी लक्ष्य है, एफ ठोस बर्फ है जिस पर एजेंट खड़ा हो सकता है, और एच वह छेद है जिसमें एजेंट गिर जाएगा यदि यह उस पर कदम रखता है। हमारे पास 4 में 4 ग्रिड वातावरण में 16 राज्य हैं, या 8 में 8 वातावरण में 64 राज्य हैं। नीचे हम OpenAI जिम का उपयोग करके 4 से 4 पर्यावरण का एक उदाहरण देंगे।

 def view_states_frozen_lake(env = gym.make('FrozenLakeNotSlippery-v0')): print(env.observation_space) print() env.env.s=random.randint(0,env.observation_space.n-1) env.render() view_states_frozen_lake() 

कार्रवाई

एजेंट की 4 संभावित क्रियाएं हैं, जो क्रमशः 0, 1, 2, 3 के रूप में पर्यावरण में बाएं, दाएं, नीचे, ऊपर, के रूप में दर्शायी जाती हैं।

 def view_actions_frozen_lake(env = gym.make('FrozenLakeNotSlippery-v0')): print(env.action_space) print("Possible actions: [0..%a]" % (env.action_space.n-1)) view_actions_frozen_lake() 

राज्य संक्रमण मॉडल

राज्य संक्रमण मॉडल बताता है कि जब एक एजेंट अपनी वर्तमान स्थिति के आधार पर कार्रवाई करता है तो पर्यावरण की स्थिति कैसे बदलती है।

मॉडल को आमतौर पर संक्रमण संभावना द्वारा वर्णित किया जाता है, जिसे आकार एन x एन के वर्ग संक्रमण मैट्रिक्स के रूप में व्यक्त किया जाता है, जहां एन हमारे मॉडल के राज्यों की संख्या है। नीचे दिया गया चित्रण मौसम की स्थिति के लिए ऐसे मैट्रिक्स का एक उदाहरण है।


जमे हुए झील के वातावरण में, हम मानते हैं कि झील फिसलन नहीं है। अगर हम सही हैं, तो हम निश्चित रूप से सही हैं। इसलिए, सभी संभावनाएं समान हैं।

"लेफ्ट" एजेंट 1 सेल को बाईं ओर ले जाता है या इसे उसी स्थिति में छोड़ देता है यदि एजेंट बाईं सीमा पर है।

"राइट" इसे 1 सेल को दाईं ओर ले जाता है या इसे उसी स्थिति में छोड़ देता है यदि एजेंट सही सीमा पर है।

"ऊपर" एजेंट को 1 सेल ऊपर ले जाता है, या एजेंट एक ही जगह पर रहता है अगर यह ऊपरी सीमा पर है।

"डाउन" एजेंट को 1 सेल नीचे ले जाता है, या यह उसी स्थान पर रहता है यदि यह निचली सीमा पर है।

पारिश्रमिक

प्रत्येक राज्य एफ में, एजेंट को 0 पुरस्कार प्राप्त होते हैं, राज्य एच में, वह -1 प्राप्त करता है, क्योंकि, इस राज्य में पारित होने के बाद, एजेंट की मृत्यु हो जाती है। और जब एजेंट लक्ष्य तक पहुंचता है, तो उसे +1 इनाम मिलता है।

इस तथ्य के कारण कि दोनों मॉडल, संक्रमण मॉडल और इनाम मॉडल, नियतात्मक कार्य हैं, यह पर्यावरण को निर्धारक बनाता है। \

छूट

छूट एक वैकल्पिक पैरामीटर है जो भविष्य के पुरस्कार के महत्व को नियंत्रित करता है। इसे 0 से 1 तक की सीमा में मापा जाता है। इस पैरामीटर का उद्देश्य कुल इनाम को अनंत तक जाने से रोकना है।

डिस्काउंट एजेंट के व्यवहार को भी मॉडल करता है जब एजेंट भविष्य में प्राप्त होने वाले पुरस्कारों के लिए तत्काल इनाम पसंद करता है।

मूल्य

भाग्य का मूल्य भाग्य के लिए छूट के साथ अपेक्षित दीर्घकालिक आय है।

नीति (π)

एजेंट जो अगली कार्रवाई का चयन करने के लिए रणनीति का उपयोग करता है उसे पॉलिसी कहा जाता है। सभी उपलब्ध नीतियों में, इष्टतम वह है जो प्रकरण के दौरान प्राप्त पारिश्रमिक या अपेक्षित राशि को अधिकतम करता है।

प्रकरण

एपिसोड तब शुरू होता है जब एजेंट शुरुआती सेल पर दिखाई देता है, और जब एजेंट या तो छेद में गिर जाता है या लक्ष्य सेल तक पहुंच जाता है।

चलो यह सब कल्पना करते हैं

मार्कोव निर्णय लेने की प्रक्रिया में शामिल सभी अवधारणाओं की समीक्षा करने के बाद, अब हम ओपनएक्स जिम का उपयोग करके 16x16 के वातावरण में कई यादृच्छिक क्रियाओं को मॉडल कर सकते हैं। हर बार, एजेंट एक यादृच्छिक कार्रवाई का चयन करता है और उसे निष्पादित करता है। सिस्टम इनाम की गणना करता है और पर्यावरण की नई स्थिति को प्रदर्शित करता है।

 def simulate_frozen_lake(env = gym.make('FrozenLakeNotSlippery-v0'), nb_trials=10): rew_tot=0 obs= env.reset() env.render() for _ in range(nb_trials+1): action = env.action_space.sample() # select a random action obs, rew, done, info = env.step(action) # perform the action rew_tot = rew_tot + rew # calculate the total reward env.render() # display the environment print("Reward: %r" % rew_tot) # print the total reward simulate_frozen_lake(env = gym.make('FrozenLake8x8NotSlippery-v0')) 

निष्कर्ष

इस लेख में, हमने सुदृढीकरण सीखने की बुनियादी अवधारणाओं की संक्षिप्त समीक्षा की। हमारे उदाहरण ने ओपनएआई जिम टूलकिट के लिए एक परिचय प्रदान किया, जो पूर्व-निर्मित वातावरण के साथ प्रयोग करना आसान बनाता है।

अगले भाग में, हम प्रस्तुत करेंगे कि कैसे उन नीतियों को डिज़ाइन और कार्यान्वित किया जाए जो एजेंट को लक्ष्य प्राप्त करने के लिए कार्यों का एक सेट लेने की अनुमति देगा और एक विश्व चैंपियन को हराने जैसे पुरस्कार प्राप्त करेगा।

आपका ध्यान के लिए धन्यवाद।