मोंटे कार्लो लाठी रणनीति अनुकूलन

मशीन लर्निंग कोर्स के छात्रों के लिए लेख का अनुवाद विशेष रूप से तैयार किया गया था।

---

प्रबलित प्रशिक्षण ने आर्टिफिशियल इंटेलिजेंस की दुनिया में कदम रखा। AlphaGo और AlphaStar से शुरू होकर , मनुष्यों द्वारा पहले वर्चस्व वाली गतिविधियों की संख्या अब एआई एजेंटों द्वारा प्रबलित सीखने के साथ काम कर रही है। संक्षेप में, ये उपलब्धियां अधिकतम इनाम प्राप्त करने के लिए किसी विशेष वातावरण में एजेंट के कार्यों के अनुकूलन पर निर्भर करती हैं। ग्रैडिएंटक्रैसेंट के पिछले कुछ लेखों में , हमने बैंडोव सिस्टम और नीति- आधारित दृष्टिकोणों की बुनियादी बातों से लेकर मार्कोव के वातावरण में इनाम-आधारित व्यवहार को अनुकूलित करने के विभिन्न दृष्टिकोणों पर ध्यान दिया है । इन सभी दृष्टिकोणों को हमारे पर्यावरण के पूर्ण ज्ञान की आवश्यकता है। उदाहरण के लिए, डायनेमिक प्रोग्रामिंग के लिए आवश्यक है कि हमारे पास सभी संभावित राज्य परिवर्तनों का पूर्ण वितरण हो। हालांकि, वास्तव में, हम पाते हैं कि अधिकांश प्रणालियों की पूरी तरह से व्याख्या नहीं की जा सकती है, और यह संभावना वितरण जटिलता, अंतर्निहित अनिश्चितता, या कम्प्यूटेशनल क्षमताओं में सीमाओं के कारण स्पष्ट रूप से प्राप्त नहीं की जा सकती है। एक सादृश्य के रूप में, मौसम विज्ञानी के कार्य पर विचार करें - मौसम पूर्वानुमान में शामिल कारकों की संख्या इतनी महान हो सकती है कि संभावना की सही गणना करना असंभव है।

ऐसे मामलों के लिए, मोंटे कार्लो जैसे शिक्षण विधियां समाधान हैं। मोंटे कार्लो शब्द का उपयोग आमतौर पर यादृच्छिक नमूना अनुमान के किसी भी दृष्टिकोण का वर्णन करने के लिए किया जाता है। दूसरे शब्दों में, हम अपने पर्यावरण के बारे में ज्ञान की भविष्यवाणी नहीं करते हैं, लेकिन पर्यावरण के साथ बातचीत के परिणामस्वरूप प्राप्त राज्यों, कार्यों और पुरस्कारों के अनुकरणीय दृश्यों के माध्यम से जाकर अनुभव से सीखते हैं। ये तरीके सामान्य संचालन के दौरान मॉडल द्वारा लौटाए गए पुरस्कारों को सीधे देखते हुए काम करते हैं ताकि इसकी स्थितियों का औसत मूल्य निर्धारित किया जा सके। दिलचस्प है, यहां तक ​​कि पर्यावरण की गतिशीलता के किसी भी ज्ञान के बिना (जिसे राज्य संक्रमणों की संभावना वितरण के रूप में माना जाना चाहिए), हम अभी भी पुरस्कार को अधिकतम करने के लिए इष्टतम व्यवहार प्राप्त कर सकते हैं।

एक उदाहरण के रूप में, 12 पासा के रोल के परिणाम पर विचार करें। इन फेंकता को एक ही राज्य के रूप में देखते हुए, हम इन परिणामों को औसत कर सकते हैं ताकि वास्तविक अनुमानित परिणाम के करीब पहुंच सकें। नमूना जितना बड़ा होगा, हम उतने ही सटीक रूप से वास्तविक अपेक्षित परिणाम के करीब आएंगे।


60 शॉट्स के लिए 12 पासा पर औसत अपेक्षित राशि 41.57 है

इस तरह के नमूने-आधारित मूल्यांकन पाठक को परिचित लग सकते हैं, क्योंकि इस तरह के नमूने को के-बैंडिट सिस्टम के लिए भी किया जाता है। अलग-अलग डाकुओं की तुलना करने के बजाय, मोंटे कार्लो विधियों का उपयोग मार्कोव वातावरण में विभिन्न नीतियों की तुलना करने के लिए किया जाता है, कार्य के पूरा होने तक एक निश्चित नीति के रूप में राज्य के मूल्य का निर्धारण किया जाता है।

मोंटे कार्लो राज्य मूल्य का आकलन

सुदृढीकरण सीखने के संदर्भ में, मोंटे कार्लो तरीके नमूना परिणामों के औसत द्वारा एक मॉडल की स्थिति के महत्व का मूल्यांकन करने का एक तरीका है। एक टर्मिनल राज्य की आवश्यकता के कारण, मोंटे कार्लो तरीके स्वाभाविक रूप से एपिसोडिक वातावरण के लिए लागू होते हैं। इस सीमा के कारण, मोंटे कार्लो के तरीकों को आमतौर पर "स्वायत्त" माना जाता है जिसमें टर्मिनल राज्य तक पहुंचने के बाद सभी अपडेट किए जाते हैं। भूलभुलैया से निकलने का रास्ता खोजने के साथ एक सरल सादृश्य दिया जा सकता है - एक स्वायत्त दृष्टिकोण एजेंट को मजबूर करेगा कि वह भूलभुलैया से गुजरने में लगने वाले समय को कम करने की कोशिश करने के लिए प्राप्त मध्यवर्ती अनुभव का उपयोग करने से पहले बहुत अंत तक पहुंच जाए। दूसरी ओर, ऑनलाइन दृष्टिकोण के साथ, एजेंट भूलभुलैया के पारित होने के दौरान पहले से ही अपने व्यवहार को लगातार बदल देगा, हो सकता है कि वह नोटिस करेगा कि हरे गलियारे मृत समाप्त होते हैं और उदाहरण के लिए, उनसे बचने का फैसला करते हैं। हम निम्नलिखित लेखों में से एक में ऑनलाइन दृष्टिकोणों पर चर्चा करेंगे।

मोंटे कार्लो विधि को निम्नानुसार तैयार किया जा सकता है:



मोंटे कार्लो विधि कैसे काम करती है, इसे बेहतर ढंग से समझने के लिए, नीचे दिए गए राज्य संक्रमण आरेख पर विचार करें। प्रत्येक राज्य संक्रमण के लिए इनाम काले रंग में प्रदर्शित किया जाता है, इस पर 0.5 का डिस्काउंट कारक लागू होता है। आइए राज्य के वास्तविक मूल्य को अलग रखें और एक थ्रो के परिणामों की गणना करने पर ध्यान केंद्रित करें।


राज्य संक्रमण आरेख। स्थिति संख्या लाल रंग में दिखाई गई है, परिणाम काला है।
यह देखते हुए कि टर्मिनल राज्य 0 के बराबर परिणाम देता है, चलो प्रत्येक राज्य के परिणाम की गणना करते हैं, टर्मिनल राज्य (G5) से शुरू होता है। कृपया ध्यान दें कि हमने डिस्काउंट फैक्टर को 0.5 पर सेट किया है, जो बाद के राज्यों की ओर भारित करेगा।



या अधिक आम तौर पर:



सूची के सभी परिणामों को संग्रहीत करने से बचने के लिए, हम मोंटे कार्लो पद्धति में राज्य के मूल्य को धीरे-धीरे अपडेट करने की प्रक्रिया का प्रदर्शन कर सकते हैं, एक समीकरण का उपयोग कर जिसमें पारंपरिक ढाल वंश के साथ कुछ समानताएं हैं:


मोंटे कार्लो वृद्धिशील अद्यतन प्रक्रिया। S राज्य है, V इसका मान है, G इसका परिणाम है, और A चरण मान पैरामीटर है।

सुदृढीकरण प्रशिक्षण के एक भाग के रूप में, मोंटे कार्लो विधियों को प्रथम-यात्रा या प्रत्येक यात्रा के रूप में भी वर्गीकृत किया जा सकता है। संक्षेप में, दोनों के बीच का अंतर यह है कि मोंटे कार्लो अपडेट से पहले कितनी बार किसी राज्य की यात्रा की जा सकती है। मोंटे कार्लो प्रथम-यात्रा विधि सभी राज्यों के मूल्य का अनुमान लगाती है कि पूरा होने से पहले प्रत्येक राज्य में एकल यात्राओं के बाद परिणामों का औसत मूल्य, जबकि मोंटे कार्लो हर यात्रा विधि औसतन n यात्राओं के बाद के परिणामों को पूरा करती है। हम इस लेख में मोंटे कार्लो फर्स्ट-विजिट का उपयोग इसकी सादगीपूर्ण सादगी के कारण करेंगे।

मोंटे कार्लो नीति प्रबंधन

यदि मॉडल नीति प्रदान नहीं कर सकता है, तो मोंटे कार्लो का उपयोग राज्य-कार्रवाई मूल्यों का मूल्यांकन करने के लिए किया जा सकता है। यह राज्यों के अर्थ से अधिक उपयोगी है, क्योंकि किसी दिए गए राज्य में प्रत्येक क्रिया (q) के अर्थ का विचार एजेंट को अपरिचित वातावरण में टिप्पणियों से स्वचालित रूप से एक नीति बनाने की अनुमति देता है।

औपचारिक रूप से, हम मोंटे कार्लो का उपयोग q (s, a, pi) का अनुमान लगाने के लिए कर सकते हैं, जब अपेक्षित परिणाम राज्य s, क्रिया a और बाद की नीति Pi से शुरू होता है । मोंटे कार्लो के तरीके समान हैं, सिवाय इसके कि एक निश्चित राज्य के लिए किए गए कार्यों का एक अतिरिक्त आयाम है। ऐसा माना जाता है कि यदि राज्य में कभी दौरा किया जाता है और उसमें कोई क्रिया की जाती है , तो राज्य-कार्रवाई (ए) जोड़ी को यात्रा के दौरान देखा जाता है। इसी तरह, मूल्य-कार्यों का मूल्यांकन "प्रथम-यात्रा" और "हर यात्रा" के दृष्टिकोण का उपयोग करके किया जा सकता है।

जैसा कि डायनेमिक प्रोग्रामिंग में, हम सामान्यीकृत पुनरावृत्ति नीति (GPI) का उपयोग करके राज्य-कार्य मानों को देखने से एक नीति बना सकते हैं।



नीति मूल्यांकन और नीति सुधार के कदमों को बारी-बारी से और अनुसंधान सहित यह सुनिश्चित करने के लिए कि सभी संभावित कार्यों का दौरा किया जाता है, हम प्रत्येक स्थिति के लिए इष्टतम नीति प्राप्त कर सकते हैं। मोंटे कार्लो जीपीआई के लिए, यह रोटेशन आमतौर पर प्रत्येक पास के अंत के बाद किया जाता है।


मोंटे कार्लो जी.पी.आई.

लाठी रणनीति

बेहतर तरीके से समझने के लिए कि मोंटे कार्लो विधि विभिन्न राज्य मूल्यों का आकलन करने के कार्य में कैसे काम करती है, आइए एक लाठी खेल के उदाहरण के लिए चरण-दर-चरण प्रदर्शन करें। शुरू करने के लिए, आइए अपने खेल के नियमों और शर्तों को निर्धारित करें:

• हम केवल डीलर के खिलाफ खेलेंगे, कोई अन्य खिलाड़ी नहीं होगा। यह हमें डीलर के हाथों को पर्यावरण का हिस्सा मानने की अनुमति देगा।
• नाममात्र मूल्यों के बराबर संख्या वाले कार्ड का मूल्य। चित्र कार्ड का मूल्य: जैक, किंग और क्वीन 10. 10. ऐस का मूल्य खिलाड़ी की पसंद के आधार पर 1 या 11 हो सकता है।
• दोनों पक्षों को दो कार्ड मिलते हैं। दो खिलाड़ी कार्डों का सामना होता है, डीलर के कार्ड में से एक का सामना भी करना पड़ता है।
• खेल का लक्ष्य है कि हाथ में कार्ड की मात्रा <= 21 है। 21 से अधिक का मूल्य एक बस्ट है, यदि दोनों पक्षों में 21 का मान है, तो खेल एक ड्रा में खेला जाता है।
• जब खिलाड़ी ने अपने कार्ड और पहले डीलर के कार्ड को देखा है, तब तक खिलाड़ी उसे एक नया कार्ड ("अभी तक") या नहीं ("पर्याप्त") लेने का विकल्प चुन सकता है जब तक कि वह उसके हाथ में कार्ड मूल्यों के योग से संतुष्ट न हो।
• फिर डीलर अपना दूसरा कार्ड दिखाता है - यदि परिणामी राशि 17 से कम है, तो वह 17 अंक तक पहुंचने तक कार्ड लेने के लिए बाध्य है, जिसके बाद वह कार्ड नहीं लेता है।

आइए देखें कि मोंटे कार्लो विधि इन नियमों के साथ कैसे काम करती है।

दौर 1।

आप कुल 19 प्राप्त करते हैं। लेकिन आप पूंछ से भाग्य को पकड़ने का प्रयास करते हैं, एक मौका लेते हैं, 3 प्राप्त करते हैं और टूट जाते हैं। जब आप टूट गए, तो डीलर के पास 10. के योग के साथ केवल एक खुला कार्ड था। इसे निम्नानुसार दर्शाया जा सकता है:



यदि हम टूट जाते हैं, तो राउंड के लिए हमारा इनाम -1 है। आइए निम्नलिखित मान [एजेंट राशि, डीलर राशि, इक्का?] का उपयोग करते हुए, इस मान को पारमार्थिक स्थिति के वापसी परिणाम के रूप में सेट करें।



खैर, अब हम किस्मत से बाहर हैं। चलिए दूसरे दौर में चलते हैं।

राउंड 2।

आप कुल 19 टाइप करते हैं। इस बार आप रुकने का फैसला करते हैं। डीलर 13 डायल करता है, एक कार्ड लेता है और टूट जाता है। प्रचलित अवस्था का वर्णन इस प्रकार किया जा सकता है।



आइए उन स्थितियों और पुरस्कारों का वर्णन करें जो हमें इस दौर में मिले:



पारित होने के अंत के साथ, अब हम गणना किए गए परिणामों का उपयोग करके इस दौर में हमारे सभी राज्यों के मूल्यों को अपडेट कर सकते हैं। 1 का छूट कारक लेते हुए, हम बस अपना नया हाथ इनाम में फैलाते हैं, जैसा कि पहले राज्य के बदलावों के साथ किया गया था। चूंकि राज्य V (19, 10, नहीं) पहले वापस लौट आया था, हम अपेक्षित वापसी मूल्य की गणना करते हैं और इसे हमारे राज्य को सौंपते हैं:


एक उदाहरण के रूप में लाठी का उपयोग करते हुए प्रदर्शन के लिए अंतिम राज्य मूल्य ।

कार्यान्वयन

आइए पायथन का उपयोग करके खेल में सभी संभावित राज्य मूल्यों (या हाथ पर विभिन्न संयोजनों) का पता लगाने के लिए पहली-यात्रा मोंटे कार्लो विधि का उपयोग करके एक लाठी खेल लिखें। हमारा दृष्टिकोण सुधरसन एट के दृष्टिकोण पर आधारित होगा । अल। । हमेशा की तरह, आप हमारे GitHub पर लेख से सभी कोड पा सकते हैं।

कार्यान्वयन को सरल बनाने के लिए, हम OpenAI से जिम का उपयोग करेंगे। न्यूनतम कोड के साथ लाठी शुरू करने के लिए एक इंटरफेस के रूप में पर्यावरण के बारे में सोचो, यह हमें प्रबलित सीखने को लागू करने पर ध्यान केंद्रित करने की अनुमति देगा। आसानी से, राज्यों, कार्यों और पुरस्कारों के बारे में सभी एकत्रित जानकारी "अवलोकन" चर में संग्रहीत की जाती है, जो वर्तमान खेल सत्रों के दौरान जमा होती है।

आइए अपने परिणामों को प्राप्त करने और एकत्र करने के लिए आवश्यक सभी पुस्तकालयों को आयात करके शुरू करें।

import gym import numpy as np from matplotlib import pyplot import matplotlib.pyplot as plt from mpl_toolkits.mplot3d import Axes3D from collections import defaultdict from functools import partial %matplotlib inline plt.style.use('ggplot') 

इसके बाद, अपने जिम वातावरण को इनिशियलाइज़ करते हैं और एक पॉलिसी को परिभाषित करते हैं जो हमारे एजेंट के कार्यों का समन्वय करेगी। वास्तव में, हम कार्ड लेना जारी रखेंगे जब तक कि हाथ में राशि 19 या अधिक तक नहीं पहुंच जाती है, जिसके बाद हम रुक जाते हैं।

 #Observation here encompassess all data about state that we need, as well as reactions to it env = gym.make('Blackjack-v0') #Define a policy where we hit until we reach 19. # actions here are 0-stand, 1-hit def sample_policy(observation): score, dealer_score, usable_ace = observation return 0 if score >= 19 else 1 

आइए हमारी नीति का उपयोग करके पास डेटा बनाने के लिए एक विधि निर्धारित करें। हम स्थिति, कार्रवाई किए गए कार्यों और पारिश्रमिक के बारे में जानकारी संग्रहीत करेंगे।

 def generate_episode(policy, env): # we initialize the list for storing states, actions, and rewards states, actions, rewards = [], [], [] # Initialize the gym environment observation = env.reset() while True: # append the states to the states list states.append(observation) # now, we select an action using our sample_policy function and append the action to actions list action = sample_policy(observation) actions.append(action) # We perform the action in the environment according to our sample_policy, move to the next state observation, reward, done, info = env.step(action) rewards.append(reward) # Break if the state is a terminal state (ie done) if done: break return states, actions, rewards 

अंत में, चलो मोंटे कार्लो भविष्यवाणी समारोह को पहली बार परिभाषित करें। सबसे पहले, हम वर्तमान राज्य मूल्यों और एक शब्दकोश को संग्रहीत करने के लिए एक खाली शब्दकोश को आरंभिक करते हैं जो प्रत्येक राज्य के लिए रिकॉर्ड की संख्या को विभिन्न पासों में संग्रहीत करता है।

 def first_visit_mc_prediction(policy, env, n_episodes): # First, we initialize the empty value table as a dictionary for storing the values of each state value_table = defaultdict(float) N = defaultdict(int) 

प्रत्येक पास के लिए, हम राज्य उत्पन्न होने के बाद राज्य के मूल्यों और प्राप्त किए गए पुरस्कारों के बारे में जानकारी प्राप्त करने के लिए अपनी जनरेट_होस्टेक विधि कहते हैं। हम अपने वृद्धिशील परिणामों को संग्रहीत करने के लिए वैरिएबल को इनिशियलाइज़ भी करते हैं। फिर हम पास के दौरान मिलने वाले प्रत्येक राज्य के लिए इनाम और वर्तमान राज्य मूल्य प्राप्त करते हैं, और प्रति चरण के मूल्य से हमारे चर रिटर्न को बढ़ाते हैं।

 for _ in range(n_episodes): # Next, we generate the epsiode and store the states and rewards states, _, rewards = generate_episode(policy, env) returns = 0 # Then for each step, we store the rewards to a variable R and states to S, and we calculate for t in range(len(states) — 1, -1, -1): R = rewards[t] S = states[t] returns += R # Now to perform first visit MC, we check if the episode is visited for the first time, if yes, #This is the standard Monte Carlo Incremental equation. # NewEstimate = OldEstimate+StepSize(Target-OldEstimate) if S not in states[:t]: N[S] += 1 value_table[S] += (returns — value_table[S]) / N[S] return value_table 

आपको याद दिला दूं कि चूंकि हम मोंटे कार्लो की पहली यात्रा को लागू कर रहे हैं, इसलिए हम एक पास में एक राज्य का दौरा करते हैं। इसलिए, हम यह देखने के लिए कि क्या राज्य का दौरा किया गया है, राज्य शब्दकोश पर एक सशर्त जाँच करें। यदि यह स्थिति पूरी होती है, तो हम मोंटे कार्लो पद्धति का उपयोग करके राज्य के मूल्यों को अपडेट करने के लिए पहले से परिभाषित प्रक्रिया का उपयोग करके नए मूल्य की गणना करने में सक्षम हैं और इस राज्य के लिए टिप्पणियों की संख्या में 1. वृद्धि करते हैं। फिर हम परिणाम के औसत मूल्य को प्राप्त करने के लिए अगले पास के लिए प्रक्रिया को दोहराते हैं। ।

आइए हम जो कुछ भी प्राप्त करते हैं उसे चलाते हैं और परिणाम देखें!

 value = first_visit_mc_prediction(sample_policy, env, n_episodes=500000) for i in range(10): print(value.popitem()) 

लाठी में हाथों पर विभिन्न संयोजनों के राज्य मूल्यों को दिखाने वाले एक नमूने का निष्कर्ष।

हम 5000 पास के लिए मोंटे कार्लो अवलोकन जारी रख सकते हैं और राज्य मूल्यों के वितरण का निर्माण कर सकते हैं जो खिलाड़ी और डीलर के हाथों में किसी भी संयोजन के मूल्यों का वर्णन करता है।

 def plot_blackjack(V, ax1, ax2): player_sum = np.arange(12, 21 + 1) dealer_show = np.arange(1, 10 + 1) usable_ace = np.array([False, True]) state_values = np.zeros((len(player_sum), len(dealer_show), len(usable_ace))) for i, player in enumerate(player_sum): for j, dealer in enumerate(dealer_show): for k, ace in enumerate(usable_ace): state_values[i, j, k] = V[player, dealer, ace] X, Y = np.meshgrid(player_sum, dealer_show) ax1.plot_wireframe(X, Y, state_values[:, :, 0]) ax2.plot_wireframe(X, Y, state_values[:, :, 1]) for ax in ax1, ax2: ax.set_zlim(-1, 1) ax.set_ylabel('player sum') ax.set_xlabel('dealer sum') ax.set_zlabel('state-value') fig, axes = pyplot.subplots(nrows=2, figsize=(5, 8),subplot_kw={'projection': '3d'}) axes[0].set_title('state-value distribution w/o usable ace') axes[1].set_title('state-value distribution w/ usable ace') plot_blackjack(value, axes[0], axes[1]) 

लाठी में विभिन्न संयोजनों के राज्य मूल्यों का दृश्य।

तो, आइए संक्षेप में जानें कि हमने क्या सीखा।

• नमूनाकरण-आधारित शिक्षण विधियाँ हमें किसी भी संक्रमण गतिकी के बिना राज्य और कार्रवाई-राज्य मूल्यों का मूल्यांकन करने की अनुमति देती हैं, बस नमूने द्वारा।
• मोंटे कार्लो दृष्टिकोण मॉडल के यादृच्छिक नमूने पर आधारित है, मॉडल द्वारा लौटाए गए पुरस्कारों का अवलोकन करना, और अपने राज्यों के औसत मूल्य को निर्धारित करने के लिए सामान्य ऑपरेशन के दौरान जानकारी एकत्र करना।
• मोंटे कार्लो विधियों का उपयोग करना, एक सामान्यीकृत पुनरावृत्ति नीति संभव है।
• लाठी में खिलाड़ी और डीलर के हाथों में सभी संभावित संयोजनों के मूल्य का अनुमान कई मोंटे कार्लो सिमुलेशन का उपयोग करके लगाया जा सकता है, जो अनुकूलित रणनीतियों के लिए मार्ग प्रशस्त करता है।

यह मोंटे कार्लो पद्धति की शुरूआत का निष्कर्ष है। हमारे अगले लेख में, हम टेम्पोरल डिफरेंस लर्निंग के फॉर्म के शिक्षण तरीकों पर आगे बढ़ेंगे।

सूत्रों का कहना है:

सटन एट। अल, सुदृढीकरण सीखना
सफेद एट। अल, फंडामेंटल्स ऑफ़ रिनफोर्समेंट लर्निंग, यूनिवर्सिटी ऑफ़ अल्बर्टा
सिल्वा एट। अल, सुदृढीकरण सीखना, यूसीएल
प्लाट एट। अल, नॉर्थएस्टर यूनिवर्सिटी

वह सब है। कोर्स पर मिलते हैं !