टेनसफ़्लो.जेएस पर प्रबलित गहरे तंत्रिका नेटवर्क मशीन सीखना: ट्रिक्स

खरोंच से गहरे तंत्रिका नेटवर्क को प्रशिक्षित करना आसान काम नहीं है।

सीखने में बहुत डेटा और समय लगता है, लेकिन कुछ तरकीबें प्रक्रिया को गति देने में मदद कर सकती हैं, जिनके बारे में मैं कट के तहत बात करूंगा।

ट्रिक का उपयोग करके एक सरल भूलभुलैया के पारित होने का प्रदर्शन। नेटवर्क प्रशिक्षण की अवधि: 1 घंटा 06 मिनट। रिकॉर्डिंग 8 बार द्वारा त्वरित।


प्रत्येक कार्य के लिए, आपको नेटवर्क सीखने की गति बढ़ाने के लिए अपने खुद के सेट विकसित करने की आवश्यकता है। मैं कुछ तरकीबें साझा करूंगा जिन्होंने मुझे नेटवर्क को बहुत तेजी से प्रशिक्षित करने में मदद की।

सैद्धांतिक ज्ञान के लिए, मैं sim0nsays चैनल पर स्विच करने की सलाह देता हूं।
और मैं तंत्रिका नेटवर्क के प्रशिक्षण में अपनी मामूली सफलताओं के बारे में बताऊंगा।

समस्या का बयान

गहरे तंत्रिका नेटवर्क द्वारा त्रुटि के पिछड़े प्रसार द्वारा द्विघात हानि समारोह को कम करके अभिसरण समारोह का अनुमान लगाने के लिए।

मेरे पास एक तंत्रिका नेटवर्क को प्रशिक्षित करने के तरीके पर एक रणनीति विकल्प था।
कार्य के सफल समापन के लिए प्रोत्साहित करें या जैसे ही आप कार्य को पूरा करने के लिए प्रोत्साहित करें।

मैंने दूसरी विधि को चुना, दो कारणों से:

• संभावना है कि नेटवर्क कभी भी अपने दम पर फिनिश लाइन तक पहुंच जाएगा, इसलिए यह बहुत अधिक नकारात्मक सुदृढीकरण प्राप्त करने के लिए बर्बाद हो जाएगा। यह सभी न्यूरॉन्स के वजन को रीसेट करेगा और नेटवर्क आगे के प्रशिक्षण के लिए सक्षम नहीं होगा।
  
• डीप न्यूरल नेटवर्क शक्तिशाली होते हैं। मैं बाहर नहीं करता कि पहला तरीका सफल होता अगर मेरे पास विशाल कंप्यूटिंग शक्ति और प्रशिक्षण के लिए बहुत समय होता। मैंने तरकीबें विकसित करके कम से कम लागत का रास्ता अपनाया।
  

तंत्रिका नेटवर्क वास्तुकला

वास्तु के अनुभव और सौभाग्य के आधार पर, वास्तुकला को प्रयोगात्मक रूप से विकसित किया जा रहा है।

समस्या को हल करने के लिए वास्तुकला:

• 3 इनपुट न्यूरॉन्स - एजेंट के निर्देशांक और पारित सेल के मूल्य (हम 0 से 1 तक की सीमा में सामान्य करते हैं)।
  
• 256 और 128 न्यूरॉन्स की 2 छिपी हुई परतें (हम नेटवर्क आउटपुट की ओर परतों के आयाम को कम करते हैं)।
  
• स्थिरता सीखने के नेटवर्क के लिए यादृच्छिक न्यूरॉन्स को छोड़ने वाली 1 परत।
  
• 4 आउटपुट न्यूरॉन्स - अगले चरण के लिए किस पक्ष को चुनने की संभावना है।
  
• न्यूरॉन सक्रियण समारोह: सिग्मोइड। ऑप्टिमाइज़र: एडम।
  

सिग्मॉइड, 0 से 1 तक के उत्पादन में 4 संभावनाएं देता है, अधिकतम एक का चयन करते हुए, हम अगले चरण के लिए पक्ष प्राप्त करते हैं: [jumpTop, jumpRight, jumpBottom, jumpLeft]।

वास्तुकला का विकास

अत्यधिक जटिल मॉडल का उपयोग करते समय पीछे हटना होता है।

यह तब है जब नेटवर्क ने प्रशिक्षण डेटा को याद किया और नए डेटा के लिए जिसे नेटवर्क ने अभी तक नहीं देखा है, यह खराब तरीके से काम करेगा क्योंकि नेटवर्क को सामान्यीकरण की तलाश करने की आवश्यकता नहीं थी, क्योंकि इसमें याद रखने के लिए पर्याप्त मेमोरी थी।

शिक्षा की कमी - अपर्याप्त जटिल मॉडल के साथ। यह तब है जब नेटवर्क के पास सामान्यीकरण खोजने के लिए बहुत कम प्रशिक्षण डेटा था।

निष्कर्ष: उनमें जितनी अधिक परतें और न्यूरॉन्स होते हैं, प्रशिक्षण के लिए उतना अधिक डेटा की आवश्यकता होती है।

खेल का मैदान

खेल के नियम

0 - इस सेल में प्रवेश करते ही एजेंट नष्ट हो जाता है।
1..44 - कोशिकाएं जिनके मान प्रत्येक चरण के साथ बढ़ते हैं।
एजेंट जितना आगे बढ़ेगा, उसे उतना ही अधिक इनाम मिलेगा।
४५ - समाप्त। उसी समय, प्रशिक्षण घटित नहीं होता है, यह केवल तब होता है जब सभी एजेंट नष्ट हो जाते हैं, और फिनिश लाइन एक अपवाद है जो भूलभुलैया की शुरुआत से ही अगले पूर्वानुमान के लिए पहले से ही प्रशिक्षित नेटवर्क का उपयोग करता है।

मापदंडों का विवरण

एजेंट के पास चार दिशाओं में एक "एंटीना" है - वे पर्यावरण खुफिया की भूमिका निभाते हैं और एजेंट के निर्देशांक और उस सेल के मूल्य के लिए एक विवरण हैं जिस पर वह खड़ा है।

विवरण एजेंट के आंदोलन के लिए अगली दिशा की भविष्यवाणी करने की भूमिका निभाता है। यही है, एजेंट अग्रिम में स्कैन करता है कि आगे क्या है और तदनुसार, समय के साथ, नेटवर्क सेल मूल्य बढ़ाने की दिशा में आगे बढ़ना सीखता है और अनुमेय आंदोलन की सीमाओं से परे नहीं जाता है।

तंत्रिका नेटवर्क का उद्देश्य: अधिक पुरस्कार प्राप्त करना।
सीखने का उद्देश्य: सही कार्यों के लिए प्रोत्साहित करने के लिए, कार्य को सुलझाने के लिए एजेंट जितना करीब होगा, तंत्रिका नेटवर्क के लिए उतना अधिक इनाम होगा।

चाल

ट्रिक्स के बिना सीखने के पहले प्रयासों में कई घंटे का प्रशिक्षण लिया गया था और परिणाम पूरा होने से बहुत दूर था। कुछ तकनीकों को लागू करते हुए, परिणाम केवल एक घंटे और छह मिनट में हासिल किया गया!

एजेंट लूपिंग

प्रशिक्षण के दौरान, नेटवर्क ने निर्णय लेना शुरू कर दिया, आगे-पीछे करना - "उपयोग" की समस्या। दोनों चालों ने नेटवर्क को एक सकारात्मक इनाम दिया, जिसने भूलभुलैया की खोज की प्रक्रिया को रोक दिया और स्थानीय न्यूनतम से बाहर निकलने की अनुमति नहीं दी।

एक समाधान में पहला प्रयास एजेंट की चाल की संख्या को सीमित करना था, लेकिन यह इष्टतम नहीं था, क्योंकि एजेंट ने आत्म-विनाश से पहले लूप में बहुत समय बिताया। सबसे अच्छा समाधान एजेंट को नष्ट करना था यदि वह उस से कम मूल्य के साथ सेल पर गया था जिस पर वह खड़ा था - विपरीत दिशा में जाने के लिए प्रतिबंध।

अनुसंधान या उपयोग

एजेंट की वर्तमान स्थिति के आसपास के रास्तों का पता लगाने के लिए एक सरल चाल का उपयोग किया गया था: प्रत्येक चरण पर, 5 एजेंट "स्वैच्छिक" शोधकर्ता होंगे। इन एजेंटों के पाठ्यक्रम को यादृच्छिक रूप से चुना जाएगा, और तंत्रिका नेटवर्क के पूर्वानुमान द्वारा नहीं।

इस प्रकार, हमारे पास एक बढ़ी हुई संभावना है कि पांच एजेंटों में से एक दूसरों की तुलना में आगे बढ़ेगा और बेहतर परिणामों के साथ नेटवर्क को प्रशिक्षित करने में मदद करेगा।

आनुवंशिक एल्गोरिथ्म

प्रत्येक युग में, 500 एजेंट खेल के मैदान में भाग लेते हैं। सभी एजेंटों के लिए पूर्वानुमान एक बार में सभी एजेंटों के लिए अतुल्यकालिक मोड में किए जाते हैं, इसके अलावा, गणना को जीपीयू के लिए सौंप दिया जाता है। इस प्रकार, हम कंप्यूटर की कंप्यूटिंग शक्ति का अधिक कुशल उपयोग प्राप्त करते हैं, जिससे एक समय में 500 एजेंटों के लिए तंत्रिका नेटवर्क की भविष्यवाणी करने के लिए समय की कमी होती है।

भविष्यवाणी प्रशिक्षण से अधिक तेजी से काम करती है, इसलिए नेटवर्क के पास भूलभुलैया के माध्यम से कम से कम समय और सर्वोत्तम परिणाम के साथ आगे बढ़ने की अधिक संभावना है।

पीढ़ी में सर्वश्रेष्ठ सीखना

पूरे युग में, 500 एजेंटों के लिए, भूलभुलैया के माध्यम से उनकी उन्नति के परिणाम संरक्षित हैं। जब अंतिम एजेंट को नष्ट कर दिया जाता है, तो 500 में से 5 सर्वश्रेष्ठ एजेंटों का चयन किया जाता है - जो सबसे दूर भूलभुलैया में पहुंचे।

युग के सर्वोत्तम परिणामों के आधार पर, एक तंत्रिका नेटवर्क को प्रशिक्षित किया जाएगा।

इस प्रकार, हम नेटवर्क को आगे नहीं बढ़ाने वाले एजेंटों पर नेटवर्क को बचाने और प्रशिक्षित नहीं करने से उपयोग की जाने वाली मेमोरी की मात्रा को कम कर देंगे।

समापन

इस क्षेत्र में विशेषज्ञ नहीं होने के कारण, मैं तंत्रिका नेटवर्क के प्रशिक्षण में कुछ सफलता हासिल करने में कामयाब रहा, और आप सफल होंगे - इसके लिए जाएं!

कंप्यूटर से अधिक तेजी से सीखने के लिए, जबकि हम बेहतर करते हैं।

सामग्री

कोड के साथ भंडार
ब्राउज़र प्रशिक्षण लॉन्च करें
टेंसोफ़्लो.जेएस प्रलेखन , जहां आप सीखने के लिए अतिरिक्त संसाधन भी पा सकते हैं।

किताबें

• गहरी सीख। तंत्रिका नेटवर्क की दुनिया में विसर्जन
  एस। निकोलेंको, ए। कादुरिन, ई। अरखंगेल्स्काया
  
• मशीन लर्निंग और टेन्सरफ्लो
  एन। शाकला
  
• स्वयं सीखने की प्रणाली
  एस। आई। निकेलेंको, ए। एल। तुलुपयेव
  
• सुदृढीकरण प्रशिक्षण
  आर.एस. सटन, ई। जी। बार्टो
  
• आत्म-आयोजन कार्ड
  टी। कोहोनन
  

आपका ध्यान के लिए धन्यवाद!