क्यू-सीखने को समझना, समस्या "एक चट्टान पर चलना"

नमस्कार, हेब्र! मैं आपका ध्यान लुकास वाज़क्वेज़ के लेख "अंडरस्टैंडिंग क्यू-लर्निंग, क्लिफ वाकिंग प्रॉब्लम" के अनुवाद पर लाता हूँ।

आखिरी पोस्ट में, हमने समस्या "वॉकिंग ऑन ए रॉक" प्रस्तुत की और एक भयानक एल्गोरिथ्म पर बस गए, जिसका कोई मतलब नहीं था। इस बार हम इस ग्रे बॉक्स के रहस्यों को उजागर करेंगे और देखेंगे कि यह इतना डरावना नहीं है।

सारांश

हमने निष्कर्ष निकाला कि भविष्य के पुरस्कारों की मात्रा को अधिकतम करके, हम लक्ष्य के लिए सबसे तेज़ रास्ता भी खोजते हैं, इसलिए हमारा लक्ष्य अब ऐसा करने का एक तरीका खोजना है!

Q- शिक्षण का परिचय

• आइए एक तालिका के निर्माण से शुरू करें जो मापता है कि किसी भी राज्य में एक निश्चित कार्रवाई कितनी अच्छी होगी (हम इसे एक साधारण स्केलर मान के साथ माप सकते हैं, इसलिए जितना बड़ा मूल्य उतना ही बेहतर होगा)
• इस तालिका में प्रत्येक राज्य के लिए एक पंक्ति और प्रत्येक कार्रवाई के लिए एक कॉलम होगा। हमारी दुनिया में, ग्रिड में 48 (X द्वारा Y द्वारा 12 से 4) राज्य हैं और 4 कार्यों की अनुमति है (ऊपर, नीचे, बाएं, दाएं), इसलिए तालिका 48 x 4 होगी।
• इस तालिका में संग्रहीत मानों को "क्यू-मूल्य" कहा जाता है।
• ये भविष्य के पुरस्कारों की राशि का अनुमान है। दूसरे शब्दों में, वे अनुमान लगाते हैं कि खेल के अंत से पहले हम कितने अधिक पुरस्कार प्राप्त कर सकते हैं, राज्य एस में होने और कार्रवाई ए।
• हम यादृच्छिक मूल्यों (या कुछ स्थिर, उदाहरण के लिए, सभी शून्य) के साथ तालिका को प्रारंभिक करते हैं।

इष्टतम "क्यू-टेबल" में वे मूल्य हैं जो हमें प्रत्येक राज्य में सर्वश्रेष्ठ कार्रवाई करने की अनुमति देते हैं, जिससे हमें अंत में जीतने का सबसे अच्छा तरीका मिलता है। समस्या हल हो गई है, चीयर्स, रोबोट लॉर्ड्स :)।

पहले पांच राज्यों के क्यू-मूल्य।

क्यू-लर्निंग

• क्यू-लर्निंग एक एल्गोरिथ्म है जो इन मूल्यों को "सीखता है"।
• हर कदम पर हमें दुनिया के बारे में अधिक जानकारी मिलती है।
• इस जानकारी का उपयोग तालिका में मूल्यों को अद्यतन करने के लिए किया जाता है।

उदाहरण के लिए, मान लें कि हम लक्ष्य (वर्ग [2, 11]) से एक कदम दूर हैं, और यदि हम नीचे जाने का निर्णय लेते हैं, तो हमें -1 के बजाय 0 का पुरस्कार मिलता है।
हम अपनी तालिका में राज्य-एक्शन जोड़ी के मूल्य को अपडेट करने के लिए इस जानकारी का उपयोग कर सकते हैं, और अगली बार जब हम इसे देखते हैं, तो हम पहले से ही जान जाएंगे कि नीचे जाने से हमें 0 का इनाम मिलता है।

अब हम इस जानकारी को और भी फैला सकते हैं! चूँकि अब हम वर्ग [2, 11] से लक्ष्य का मार्ग जानते हैं, कोई भी कार्रवाई जो हमें वर्ग [2, 11] की ओर ले जाती है, वह भी अच्छी होगी, इसलिए हम वर्ग के Q- मान को अद्यतन करते हैं, जो हमें [2, 11] की ओर ले जाता है। 0 के करीब होना।

और वह, महिलाओं और सज्जनों, क्यू-सीखने का सार है!

कृपया ध्यान दें कि हर बार जब हम लक्ष्य तक पहुँचते हैं, तो हम अपने "मैप" को बढ़ाते हैं कि लक्ष्य को एक वर्ग द्वारा कैसे प्राप्त किया जाए, इसलिए पर्याप्त संख्या में पुनरावृत्तियों के बाद, हमारे पास एक पूर्ण नक्शा होगा जो हमें दिखाएगा कि प्रत्येक राज्य से लक्ष्य कैसे प्राप्त करें।

हर राज्य में सबसे अच्छी कार्रवाई करके एक रास्ता तैयार किया जाता है। हरे रंग की कुंजी एक बेहतर कार्रवाई के अर्थ का प्रतिनिधित्व करती है, अधिक संतृप्त कुंजी एक उच्च मूल्य का प्रतिनिधित्व करती हैं। पाठ प्रत्येक क्रिया (ऊपर, नीचे, दाएं, बाएं) के लिए एक मूल्य का प्रतिनिधित्व करता है।

बेलमैन समीकरण

इससे पहले कि हम कोड के बारे में बात करते हैं, गणित के बारे में बात करते हैं: क्यू-सीखने की मूल अवधारणा, बेलमैन समीकरण।

• पहले इस समीकरण में γ भूल ​​जाते हैं
• समीकरण बताता है कि एक विशेष राज्य-एक्शन जोड़ी के लिए क्यू मूल्य एक नए राज्य (इस क्रिया को निष्पादित करके) पर संक्रमण के लिए प्राप्त इनाम होना चाहिए, अगले राज्य में सबसे अच्छी कार्रवाई के मूल्य में जोड़ा गया।

दूसरे शब्दों में, हम एक समय में एक कदम कार्रवाई के मूल्यों के बारे में जानकारी का प्रसार करते हैं!

लेकिन हम तय कर सकते हैं कि भविष्य में एक इनाम प्राप्त करने की तुलना में अभी एक पुरस्कार प्राप्त करना अधिक मूल्यवान है, और इसलिए हमारे पास γ है, 0 से 1 तक की संख्या (आमतौर पर 0.9 से 0.99) जो भविष्य में एक इनाम से गुणा होती है, भविष्य के पुरस्कारों को छूट देना।

तो, दिए गए, = 0.9 और इसे हमारी दुनिया के कुछ राज्यों (ग्रिड) में लागू करना, हमारे पास है:

हम इन मूल्यों को GIF में उपरोक्त के साथ तुलना कर सकते हैं और देख सकते हैं कि वे समान हैं।

कार्यान्वयन

अब जब हमारे पास एक सहज समझ है कि क्यू-लर्निंग कैसे काम करता है, तो हम इस सब को लागू करने के बारे में सोचना शुरू कर सकते हैं, और हम एक गाइड के रूप में सटन की किताब से क्यू-लर्निंग छद्म कोड का उपयोग करेंगे।

सटन की किताब से छद्म कोड।

कोड:

# Initialize Q arbitrarily, in this case a table full of zeros q_values = np.zeros((num_states, num_actions)) # Iterate over 500 episodes for _ in range(500): state = env.reset() done = False # While episode is not over while not done: # Choose action action = egreedy_policy(q_values, state, epsilon=0.1) # Do the action next_state, reward, done = env.step(action) # Update q_values td_target = reward + gamma * np.max(q_values[next_state]) td_error = td_target - q_values[state][action] q_values[state][action] += learning_rate * td_error # Update state state = next_state 

• सबसे पहले, हम कहते हैं: "सभी राज्यों और कार्यों के लिए, हम क्यू (एस, ए) को मनमाने ढंग से शुरू करते हैं", इसका मतलब है कि हम अपने किसी भी मूल्यों के साथ क्यू-मूल्यों की अपनी तालिका बना सकते हैं जो हमें पसंद हैं, वे यादृच्छिक हो सकते हैं, वे कर सकते हैं किसी भी तरह का स्थायी होना मायने नहीं रखता। हम देखते हैं कि लाइन 2 में हम शून्य से भरा एक टेबल बनाते हैं।

हम यह भी कहते हैं: "अंतिम राज्यों के लिए क्यू का मूल्य शून्य है", हम अंतिम राज्यों में कोई कार्रवाई नहीं कर सकते हैं, इसलिए हम इस राज्य में सभी कार्यों के मूल्य को शून्य मानते हैं।

• प्रत्येक एपिसोड के लिए, हमें "एस को इनिशियलाइज़ करना है", यह केवल "गेम को रिस्टार्ट" करने का एक फैंसी तरीका है, हमारे मामले में इसका मतलब है कि खिलाड़ी को शुरुआती स्थिति में लाना; हमारी दुनिया में एक ऐसा तरीका है जो सिर्फ यही करता है, और हम इसे लाइन 6 पर कहते हैं।
• प्रत्येक समय कदम के लिए (हर बार हमें कार्य करने की आवश्यकता होती है), हमें क्यू से प्राप्त कार्रवाई का चयन करना चाहिए।

याद रखें, मैंने कहा, “क्या हम हर हालत में सबसे मूल्यवान हैं?

जब हम ऐसा करते हैं, हम नीति बनाने के लिए अपने क्यू-मूल्यों का उपयोग करते हैं; इस मामले में यह एक लालची नीति होगी, क्योंकि हम हमेशा ऐसे कार्य करते हैं, जो हमारी राय में, हर राज्य में सर्वश्रेष्ठ हैं, इसलिए कहा जाता है कि हम लालच से काम करते हैं।

Barahlenie

लेकिन इस दृष्टिकोण के साथ एक समस्या है: कल्पना करें कि हम एक भूलभुलैया में हैं जिसमें दो पुरस्कार हैं, जिनमें से एक +1 है, और दूसरा +100 है (और हर बार जब हम उनमें से एक पाते हैं, तो खेल समाप्त होता है)। चूंकि हम हमेशा ऐसी कार्रवाई करते हैं जिन्हें हम सबसे अच्छा मानते हैं, हम पहले पुरस्कार के साथ फंस जाएंगे, हमेशा उसी पर लौटेंगे, इसलिए, यदि हम पहली बार +1 पुरस्कार को पहचानते हैं, तो हम बड़े +100 पुरस्कार को याद करेंगे।

निर्णय

हमें यह सुनिश्चित करने की आवश्यकता है कि हमने अपनी दुनिया का पर्याप्त अध्ययन किया है (यह आश्चर्यजनक रूप से कठिन काम है)। यह वह जगह है जहाँ ε खेल में आता है। लालची एल्गोरिथ्म में that का अर्थ है कि हमें समय के साथ प्रतिशत के रूप में यादृच्छिक कार्यों को करने के लिए उत्सुकता से कार्य करना चाहिए, इसलिए अनंत प्रयासों के साथ, हमें सभी राज्यों की जांच करनी चाहिए।

इस प्रक्रिया के अनुसार पंक्ति 12 में एप्सिलन = 0.1 के साथ कार्रवाई का चयन किया जाता है, जिसका अर्थ है कि हम दुनिया के 10% समय पर शोध कर रहे हैं। नीति का कार्यान्वयन निम्नानुसार है:

 def egreedy_policy(q_values, state, epsilon=0.1): # Get a random number from a uniform distribution between 0 and 1, # if the number is lower than epsilon choose a random action if np.random.random() < epsilon: return np.random.choice(4) # Else choose the action with the highest value else: return np.argmax(q_values[state]) 

पहली सूची में लाइन 14 में, हम कार्रवाई करने के लिए कदम विधि कहते हैं, दुनिया हमें अगले राज्य, इनाम और खेल के अंत के बारे में जानकारी देती है।

गणित पर वापस:

हमारे पास एक लंबा समीकरण है, आइए इसके बारे में सोचते हैं:

यदि हम α = 1 लेते हैं:

जो वास्तव में बेलमैन समीकरण से मेल खाता है, जिसे हमने कुछ पैराग्राफ पहले देखा था! इसलिए हम पहले से ही जानते हैं कि यह राज्य मूल्यों के बारे में जानकारी प्रसारित करने के लिए जिम्मेदार रेखा है।

लेकिन आमतौर पर α (जिसे अधिगम गति के रूप में जाना जाता है) 1 से बहुत कम है, इसका मुख्य लक्ष्य एक अद्यतन में बड़े बदलाव से बचना है, इसलिए लक्ष्य में उड़ान भरने के बजाय, हम धीरे-धीरे इसे प्राप्त करते हैं। हमारे सारणीबद्ध दृष्टिकोण में, α = 1 को सेट करने से कोई समस्या नहीं होती है, लेकिन जब तंत्रिका नेटवर्क (निम्न लेखों में इस पर अधिक) के साथ काम करते हैं, तो सब कुछ आसानी से हाथ से निकल सकता है।

कोड को देखते हुए, हम देखते हैं कि 16 वीं पंक्ति में पहली सूची में हमने td_target को परिभाषित किया है, यह वह मान है जो हमें करीब से जाना चाहिए, लेकिन पंक्ति 17 में इस मान पर सीधे जाने के बजाय, हम td_error की गणना करते हैं, हम इस मूल्य को गति के साथ संयोजन में उपयोग करेंगे धीरे-धीरे लक्ष्य की ओर बढ़ना सीखना।

याद रखें कि यह समीकरण क्यू-लर्निंग इकाई है।

अब हमें बस अपने राज्य को अपडेट करने की आवश्यकता है, और सब कुछ तैयार है, यह लाइन 20 है। हम इस प्रक्रिया को दोहराते हैं जब तक हम प्रकरण के अंत तक नहीं पहुंचते, चट्टानों में मरते हुए या लक्ष्य तक पहुंचते हैं।

निष्कर्ष

अब हम सहजता से समझते हैं और जानते हैं कि क्यू-लर्निंग (कम से कम सारणीबद्ध संस्करण) को कैसे एन्कोड किया जाए, इस पोस्ट के लिए इस्तेमाल किए गए सभी कोड की जांच सुनिश्चित करें, जो GitHub पर उपलब्ध है ।

सीखने की प्रक्रिया परीक्षण का दृश्य:

कृपया ध्यान दें कि सभी क्रियाएं एक मूल्य से शुरू होती हैं जो अपने अंतिम मूल्य से अधिक है, यह दुनिया की खोज को प्रोत्साहित करने की एक चाल है।