तंत्रिका नेटवर्क और गहन शिक्षा, अध्याय 3, भाग 1: तंत्रिका नेटवर्क को प्रशिक्षित करने के तरीके में सुधार करना

जब कोई व्यक्ति गोल्फ खेलना सीखता है, तो वह आमतौर पर अपना अधिकांश समय एक बुनियादी हिट के लिए खर्च करता है। फिर वह मूल रूप से विकसित और इसे विकसित करने के आधार पर, इन या उन तरकीबों का अध्ययन करते हुए धीरे-धीरे अन्य वार करता है। इसी तरह, हमने अब तक बैकप्रॉपैगमेंट एल्गोरिथ्म को समझने पर ध्यान केंद्रित किया है। यह हमारी "बुनियादी हड़ताल" है, जो तंत्रिका नेटवर्क (एनएस) के अधिकांश कार्यों के लिए प्रशिक्षण का आधार है। इस अध्याय में, मैं उन तकनीकों के सेट के बारे में बात करूँगा, जिनका उपयोग हमारे बैकप्रोपेगैनेशन के सरल कार्यान्वयन को बेहतर बनाने के लिए और एनएस को पढ़ाने के तरीके को बेहतर बनाने के लिए किया जा सकता है।

इस अध्याय में हम जिन तकनीकों को सीखेंगे उनमें शामिल हैं: लागत फ़ंक्शन की भूमिका के लिए सबसे अच्छा विकल्प, अर्थात् क्रॉस एन्ट्रॉपी के साथ लागत फ़ंक्शन; चार तथाकथित नियमितीकरण के तरीके (एल 1 और एल 2 का नियमितीकरण, न्यूरॉन्स का बहिष्करण [ड्रॉपआउट], प्रशिक्षण डेटा का कृत्रिम विस्तार), जो प्रशिक्षण डेटा से परे हमारे एनएस की सामान्यता में सुधार करते हैं; नेटवर्क भार को आरंभ करने के लिए सर्वोत्तम विधि; नेटवर्क के लिए अच्छे हाइपरपैरामीटर चुनने में आपकी मदद करने के लिए हेयुरिस्टिक तरीकों का एक सेट। मैं कई अन्य तकनीकों पर भी विचार करूंगा, थोड़ा अधिक सतही रूप से। अधिकांश भाग के लिए, ये चर्चाएँ एक-दूसरे से स्वतंत्र हैं, इसलिए यदि आप चाहें तो आप उन पर कूद सकते हैं। हम वर्किंग कोड में कई तकनीकों को भी लागू करते हैं और उन्हें हस्तलिखित संख्याओं को वर्गीकृत करने के कार्य के लिए प्राप्त परिणामों को बेहतर बनाने के लिए उपयोग करते हैं, जिसका अध्याय 1 में अध्ययन किया गया था।

बेशक, हम तंत्रिका नेटवर्क के साथ उपयोग के लिए विकसित तकनीकों की विशाल संख्या का केवल एक अंश मानते हैं। लब्बोलुआब यह है कि उपलब्ध तकनीकों की बहुतायत की दुनिया में प्रवेश करने का सबसे अच्छा तरीका कुछ सबसे महत्वपूर्ण लोगों का विस्तार से अध्ययन करना है। इन महत्वपूर्ण तकनीकों को माहिर करना न केवल अपने आप में उपयोगी है, इससे तंत्रिका नेटवर्क का उपयोग करते समय आने वाली समस्याओं के बारे में आपकी समझ भी गहरी होगी। नतीजतन, आपको आवश्यकतानुसार नई तकनीकों को जल्दी से अनुकूलित करने के लिए तैयार किया जाएगा।

क्रॉस एंट्रोपी लागत समारोह

हममें से ज्यादातर लोग गलत होने से नफरत करते हैं। पियानो सीखना शुरू करने के कुछ समय बाद, मैंने दर्शकों के सामने एक छोटा संगीत कार्यक्रम दिया। मैं घबरा गया, और आवश्यकता से कम एक ओक्टेव टुकड़ा खेलना शुरू कर दिया। मैं उलझन में था, और तब तक जारी नहीं रख सकता था जब तक कि कोई मुझसे गलती की ओर इशारा न करे। मुझे बहुत शर्म आ रही थी। हालांकि, हालांकि यह अप्रिय है, हम यह भी बहुत जल्दी सीखते हैं, यह तय करते हुए कि हम गलत थे। और निश्चित रूप से अगली बार जब मैंने दर्शकों से बात की, तो मैं सही सप्तक में खेला! इसके विपरीत, हम और अधिक धीरे-धीरे सीखते हैं जब हमारी गलतियों को अच्छी तरह से परिभाषित नहीं किया जाता है।

आदर्श रूप से, हम उम्मीद करते हैं कि हमारे तंत्रिका नेटवर्क अपनी गलतियों से जल्दी सीखेंगे। क्या व्यवहार में ऐसा होता है? इस प्रश्न का उत्तर देने के लिए, आइए एक दूरगामी उदाहरण देखें। इसमें सिर्फ एक इनपुट के साथ एक न्यूरॉन शामिल है:



हम इस न्यूरॉन को कुछ सरल तरीके से करना सिखा रहे हैं: 1 को स्वीकार करें और 0. दें। बेशक, हम प्रशिक्षण एल्गोरिथ्म का उपयोग किए बिना, मैन्युअल रूप से वजन और ऑफसेट का चयन करके ऐसी तुच्छ समस्या का समाधान पा सकते हैं। हालांकि, प्रशिक्षण के परिणामस्वरूप वजन और विस्थापन प्राप्त करने के लिए ढाल वंश का उपयोग करने की कोशिश करना काफी उपयोगी होगा। आइए देखें कि एक न्यूरॉन को कैसे प्रशिक्षित किया जाता है।

निश्चितता के लिए, मैं 0.6 का प्रारंभिक वजन और 0.9 का एक प्रारंभिक ऑफसेट चुनूंगा। ये कुछ सामान्य मूल्य हैं जिन्हें एक शुरुआती बिंदु के रूप में सौंपा गया है, और मैंने उन्हें विशेष रूप से नहीं चुना है। प्रारंभ में, एक आउटपुट न्यूरॉन 0.82 का उत्पादन करता है, इसलिए हमें 0.0 के वांछित आउटपुट के करीब आने के लिए बहुत कुछ सीखने की जरूरत है। मूल लेख में एक इंटरैक्टिव रूप है जिस पर आप "रन" पर क्लिक कर सकते हैं और सीखने की प्रक्रिया का निरीक्षण कर सकते हैं। यह एनीमेशन पहले से रिकॉर्ड नहीं किया गया है, ब्राउज़र वास्तव में ढाल की गणना करता है, और फिर इसका उपयोग वजन और ऑफसेट को अपडेट करने के लिए करता है, और परिणाम दिखाता है। सीखने की गति 0. = 0.15 है, जो हो रहा है उसे देखने में सक्षम होने के लिए काफी धीमी है, लेकिन सेकंड में जगह लेने के लिए सीखने के लिए पर्याप्त तेज़ है। लागत समारोह सी द्विघात है, पहले अध्याय में पेश किया गया है। मैं जल्द ही आपको इसका सटीक रूप याद दिलाऊंगा, इसलिए वापस आना और वहां हंगामा करना जरूरी नहीं है। प्रशिक्षण "रन" बटन पर क्लिक करके कई बार शुरू किया जा सकता है।

जैसा कि आप देख सकते हैं, न्यूरॉन जल्दी से वजन और पूर्वाग्रह सीखता है, जो लागत को कम करता है, और 0.09 का आउटपुट देता है। यह 0.0 का वांछित परिणाम नहीं है, लेकिन काफी अच्छा है। मान लीजिए कि हम एक प्रारंभिक वजन और 2.0 के बजाय ऑफसेट का चयन करते हैं। इस मामले में, प्रारंभिक आउटपुट 0.98 होगा, जो पूरी तरह से गलत है। आइए देखें कि इस मामले में न्यूरॉन 0 का उत्पादन कैसे सीखेगा।

हालाँकि यह उदाहरण समान शिक्षण दर (example = 0.15) का उपयोग करता है, हम देखते हैं कि सीखना धीमा है। पहले युगों में से लगभग 150, वज़न और विस्थापन शायद ही कभी बदलते हैं। फिर प्रशिक्षण तेज हो जाता है, और, लगभग पहले उदाहरण के रूप में, न्यूरॉन तेजी से 0.0 की ओर बढ़ता है। यह व्यवहार अजीब है, किसी व्यक्ति को सीखने की तरह नहीं। जैसा कि मैंने शुरुआत में कहा था, हम अक्सर सबसे जल्दी सीखते हैं जब हम बहुत गलत होते हैं। लेकिन हमने अभी देखा कि कैसे हमारे कृत्रिम न्यूरॉन बड़ी कठिनाई से सीखते हैं, बहुत सी गलतियाँ करते हैं - जब वह थोड़ी सी गलती करता है तो बहुत कठिन होता है। इसके अलावा, यह पता चला है कि इस तरह का व्यवहार न केवल हमारे सरल उदाहरण में, बल्कि एक सामान्य उद्देश्य एनएस में भी उत्पन्न होता है। इतना धीमा क्यों सीख रहा है? क्या मुझे इस समस्या से बचने का कोई रास्ता मिल सकता है?

समस्या के स्रोत को समझने के लिए, हम याद करते हैं कि हमारा न्यूरॉन लागत फ़ंक्शन, /C / andw और ∂C / .b के आंशिक डेरिवेटिव द्वारा निर्धारित दर पर वजन और विस्थापन में परिवर्तन के माध्यम से सीखता है। इसलिए यह कहना कि "सीखना धीमा है" यह कहने के लिए समान है कि ये आंशिक व्युत्पन्न छोटे हैं। समस्या यह समझने की है कि वे छोटे क्यों हैं। ऐसा करने के लिए, आइए आंशिक व्युत्पन्न की गणना करें। याद रखें कि हम द्विघात लागत फ़ंक्शन का उपयोग करते हैं, जो समीकरण (6) द्वारा दिया गया है:

$$

$$C = \ frac {(y-a) ^ 2} {2} \ टैग {54}$$

जब इनपुट पर x = 1 का उपयोग किया जाता है तो न्यूरॉन आउटपुट होता है, और y = 0 वांछित आउटपुट होता है। वजन और विस्थापन के माध्यम से इसे सीधे लिखने के लिए, याद रखें कि a = z (z), जहां z = wx + b। वजन और विस्थापन द्वारा विभेदीकरण के लिए चेन नियम का उपयोग करना, हम प्राप्त करते हैं:

$$

$$\ frac {\ आंशिक C} {\ आंशिक w} = ((y) \ sigma '(z) x = a \ sigma' (z) \ टैग {55}$$

$$

$$\ frac {\ आंशिक C} {\ आंशिक b} = (a-y) \ sigma '(z) = a \ sigma' (z) \ टैग {56}$$

जहाँ मैंने x = 1 और y = 0 प्रतिस्थापित किया है। इन अभिव्यक्तियों के व्यवहार को समझने के लिए, आइए दाईं ओर z '(z) शब्द पर करीब से नज़र डालते हैं। सिग्मॉइड के आकार को याद करें:



ग्राफ दिखाता है कि जब न्यूरॉन का आउटपुट 1 के करीब होता है, तो वक्र बहुत सपाट हो जाता है, और ('(z) छोटा हो जाता है। समीकरण (55) और (56) हमें बताते हैं कि ∂C / andw और 55C / becomeb बहुत छोटे हो जाते हैं। इसलिए सीखने में मंदी। इसके अलावा, जैसा कि हम थोड़ी देर बाद देखेंगे, प्रशिक्षण की सुस्ती, वास्तव में, उसी कारण से और अधिक सामान्य प्रकृति की नेशनल असेंबली में होती है, और न केवल हमारे सबसे सरल उदाहरण में।

पेश है क्रॉस एंट्री कॉस्ट फंक्शन

सीखने को धीमा करने के साथ हम क्या करते हैं? यह पता चला है कि हम मूल्य के एक और कार्य के साथ मूल्य के द्विघात फ़ंक्शन को बदलकर समस्या को हल कर सकते हैं, जिसे क्रॉस-एन्ट्रॉपी के रूप में जाना जाता है। क्रॉस एंट्रोपी को समझने के लिए, हम अपने सरलतम मॉडल से दूर चले जाते हैं। मान लीजिए कि हम कई इनपुट वैल्यू x ₁ , x ₂ , ... के साथ एक न्यूरॉन को प्रशिक्षित करते हैं, जो कि वेट ₁ , w ₂ , ... और ऑफसेट 1:



न्यूरॉन का उत्पादन, निश्चित रूप से, एक = z (z) होगा, जहां z = w _j w _j x _j + b आदानों का भारित योग है। हम दिए गए न्यूरॉन के रूप में क्रॉस-एन्ट्रापी लागत फ़ंक्शन को परिभाषित करते हैं

$$

$$C = - \ frac {1} {n} \ sum_x \ left [y \ ln a + (1-y) \ ln (1-a) \ right] \ टैग {57}$$

जहां n प्रशिक्षण डेटा की इकाइयों की कुल संख्या है, योग सभी प्रशिक्षण डेटा x पर चला जाता है, और y संबंधित वांछित आउटपुट है।

यह स्पष्ट नहीं है कि समीकरण (57) सीखने को धीमा करने की समस्या को हल करता है। ईमानदारी से, यह भी स्पष्ट नहीं है कि इसे मूल्य का कार्य कहा जाता है! सीखने में मंदी की ओर मुड़ने से पहले, आइए देखें कि क्रॉस-एंट्रोपी को किस अर्थ में मूल्य के एक फ़ंक्शन के रूप में व्याख्या किया जा सकता है।

विशेष रूप से दो गुण मूल्य के एक समारोह के रूप में क्रॉस-एंट्रोपी की व्याख्या करना उचित बनाते हैं। सबसे पहले, यह शून्य से अधिक है, अर्थात, सी> 0। यह देखने के लिए, ध्यान दें कि (ए) योग के सभी व्यक्तिगत सदस्य (57) नकारात्मक हैं, क्योंकि दोनों लॉगरिदम को 0 से 1 तक की संख्या में लिया जाता है, और (बी) ऋण चिह्न राशि के सामने होता है।

दूसरे, यदि न्यूरॉन का वास्तविक आउटपुट सभी प्रशिक्षण इनपुट एक्स के लिए वांछित आउटपुट के करीब है, तो क्रॉस एन्ट्रापी शून्य के करीब होगा। यह साबित करने के लिए, हमें यह मानने की आवश्यकता होगी कि वांछित आउटपुट y या तो 0 या 1 होगा। आमतौर पर ऐसा तब होता है जब वर्गीकरण समस्याओं को हल करते हैं, या बूलियन फ़ंक्शन की गणना करते हैं। यह समझने के लिए कि यदि आप ऐसी धारणा नहीं बनाते हैं, तो अनुभाग के अंत में अभ्यास देखें।

यह साबित करने के लिए, कुछ इनपुट x के लिए उस y = 0 और a for0 की कल्पना करें। तो यह तब होगा जब न्यूरॉन इस तरह के इनपुट को अच्छी तरह से हैंडल करेगा। हम देखते हैं कि मूल्य के लिए अभिव्यक्ति का पहला शब्द (57) y = 0 के बाद से गायब हो जाता है, और दूसरा 1ln (1 - a) term0 होगा। वही सही है जब y = 1 और a y1। इसलिए, यदि वास्तविक आउटपुट वांछित के करीब है, तो मूल्य का योगदान छोटा होगा।

सारांशित करते हुए, हम पाते हैं कि क्रॉस एन्ट्रापी सकारात्मक है, और जब शून्य बेहतर हो जाता है तो सभी प्रशिक्षण इनपुट x के लिए वांछित आउटपुट y की गणना करता है। हम लागत समारोह में दोनों गुणों की उपस्थिति की उम्मीद करते हैं। और वास्तव में, ये दोनों गुण द्विघात मान से पूरे होते हैं। इसलिए, क्रॉस-एन्ट्रॉपी के लिए अच्छी खबर है। हालांकि, क्रॉस-एन्ट्रापी लागत फ़ंक्शन का एक फायदा है क्योंकि, द्विघात मान के विपरीत, यह सीखने की गति को धीमा करने की समस्या से बचा जाता है। यह देखने के लिए, आइए वजन द्वारा क्रॉस एन्ट्रॉपी के साथ मूल्य के आंशिक व्युत्पन्न की गणना करें। (57) में एक itute σ (z) को प्रतिस्थापित करें, दो बार चेन नियम लागू करें, और प्राप्त करें

$$

$$\ frac {\ आंशिक C} {\ आंशिक w_j} = - \ frac {1} {n} \ sum_x \ left (\ frac {y} {\ sigma (z)) - \ frac {(1-y)} 1- {\ _ सिग्मा (z)} \ सही) \ frac {\ आंशिक \ sigma} {\ आंशिक w_j} \ टैग {58}$$

$$

$$= - \ frac {1} {n} \ sum_x \ left (\ frac {y} {\ सिग्मा (z)} - \ frac {(1-y)} {1- \ _ sigma (z)) का दाईं ओर \ _ 'सिग्मा' (z) x_j \ टैग {59}$$

एक सामान्य भाजक को कम करना और सरल करना, हमें मिलता है:

$$

$$\ frac {\ आंशिक C} {\ आंशिक w_j} = \ frac {1} {n} \ sum_x \ frac {\ sigma ’(z) x_j} {\ sigma (z) (1- sigma (z)) } (\ sigma (z) -y) \ टैग {60}$$

सिग्मॉयड, σ (z) = 1 / (1 + e ) ^z ) और बीजगणित की एक बिट की परिभाषा का उपयोग करके, हम दिखा सकते हैं कि σ ′ (z) = σ (z) (1 - σ (z))। मैं आपको आगे अभ्यास में इसे सत्यापित करने के लिए कहूंगा, लेकिन अभी के लिए, इसे सच्चाई के रूप में स्वीकार करें। शब्द terms (z) और σ (z) (1 - z (z)) रद्द कर दिए गए हैं, और यह आगे बढ़ता है

$$

$$\ frac {\ आंशिक C} {\ आंशिक w_j} = \ frac {1} {n} \ sum_x x_j (\ sigma (z) -y)। \ _ {६१}$$

महान अभिव्यक्ति। यह इस प्रकार है कि जिस गति से वजन प्रशिक्षित किया जाता है वह z (z) ,y, अर्थात, आउटपुट पर एक त्रुटि द्वारा नियंत्रित होता है। बड़ी त्रुटि, तेजी से न्यूरॉन सीखता है। यह सहज रूप से अपेक्षित हो सकता है। यह विकल्प समान द्विघात लागत समीकरण (55) में z '(z) शब्द के कारण सीखने में मंदी से बचा जाता है। जब हम क्रॉस एन्ट्रॉपी का उपयोग करते हैं, तो z '(z) शब्द कम हो जाता है और हमें अब इसके छोटे होने की चिंता नहीं करनी होगी। यह कमी क्रॉस-एन्ट्रापी लागत फ़ंक्शन द्वारा गारंटीकृत एक विशेष चमत्कार है। वास्तव में, निश्चित रूप से, यह काफी चमत्कार नहीं है। जैसा कि हम बाद में देखेंगे, क्रॉस एन्ट्रॉपी को विशेष रूप से इस संपत्ति के लिए चुना गया था।

इसी तरह, पूर्वाग्रह के लिए आंशिक व्युत्पन्न की गणना की जा सकती है। मैंने फिर से सभी विवरण नहीं दिए, लेकिन आप आसानी से जांच सकते हैं

$$

$$\ frac {\ आंशिक C} {\ आंशिक b} = \ frac {1} {n} \ sum_x (\ sigma (z) -y)। {टैग {62}$$

यह फिर से द्विघात मान (56) के समान समीकरण में ('(z) शब्द के कारण सीखने की मंदता से बचने में मदद करता है।

व्यायाम

• जांचें कि ′ that (z) = σ (z) (1 - z (z))।

आइए अपने दूरगामी उदाहरण पर जाएं जो हमने पहले खेला था और देखें कि क्या होता है अगर हम द्विघात मान के बजाय क्रॉस एन्ट्रॉपी का उपयोग करते हैं। ट्यून करने के लिए, हम उस मामले से शुरू करते हैं जिसमें द्विघात लागत पूरी तरह से काम करती थी जब शुरुआती वजन 0.6 था और ऑफसेट 0.9 था। मूल लेख में एक संवादात्मक रूप है जिसमें आप रन बटन पर क्लिक कर सकते हैं और देख सकते हैं कि क्रॉस एंट्रॉपी के साथ द्विघात मान को बदलने पर क्या होता है।

आश्चर्य की बात नहीं, इस मामले में न्यूरॉन पूरी तरह से प्रशिक्षित है, पहले की तरह। अब आइए उस मामले को देखें जिसमें न्यूरॉन अटक जाते थे , जिसका वजन और विस्थापन 2.0 से शुरू होता था।



सफलता! इस बार न्यूरॉन जल्दी से सीख गया, जैसा कि हम चाहते थे। यदि आप बारीकी से देखते हैं, तो आप देख सकते हैं कि लागत वक्र की ढलान शुरू में इसी द्विघात मान वक्र के समतल क्षेत्र की तुलना में स्थिर है। यह क्रॉस-कंट्री एन्ट्रापी हमें यह शीतलता प्रदान करती है, और यह हमें अटकने नहीं देती है जहाँ हम बहुत बड़ी गलतियों से शुरू होने पर न्यूरॉन के सबसे तेज़ प्रशिक्षण की उम्मीद करते हैं।

मैंने यह नहीं बताया कि अंतिम उदाहरणों में प्रशिक्षण की किस गति का उपयोग किया गया था। इससे पहले, एक द्विघात मान के साथ, हमने 15 = 0.15 का उपयोग किया। क्या हमें नए उदाहरणों में समान गति का उपयोग करना चाहिए? वास्तव में, लागत फ़ंक्शन को बदलना, सीखने के "समान" गति का उपयोग करने के लिए वास्तव में इसका क्या मतलब है यह कहना असंभव है; यह संतरे के साथ सेब की तुलना होगी। दोनों लागत कार्यों के लिए, मैंने एक सीखने की गति की तलाश करके प्रयोग किया जो मुझे यह देखने की अनुमति देता है कि क्या हो रहा है। यदि आप अभी भी रुचि रखते हैं, तो नवीनतम उदाहरणों में, 5 = 0.005।

आप तर्क दे सकते हैं कि सीखने की गति को बदलना ग्राफिक्स को व्यर्थ बनाता है। कौन परवाह करता है कि यदि हम मनमाने ढंग से सीखने की गति का चयन कर सकते हैं तो न्यूरॉन कितनी तेजी से सीखता है? लेकिन यह आपत्ति मुख्य बिंदु को ध्यान में नहीं रखती है। रेखांकन का अर्थ सीखने की पूर्ण गति में नहीं है, लेकिन यह गति कैसे बदलती है। जब द्विघात फ़ंक्शन का उपयोग किया जाता है, तो प्रशिक्षण धीमा होता है यदि न्यूरॉन बहुत गलत है, और तब न्यूरॉन वांछित उत्तर के करीब पहुंच जाता है। क्रॉस-एंट्रोपी के साथ, जब न्यूरॉन एक बड़ी गलती करता है, तो सीखना तेज होता है। और ये कथन किसी दी गई सीखने की गति पर निर्भर नहीं करते हैं।

हमने एक न्यूरॉन के लिए क्रॉस एन्ट्रापी की जांच की। हालांकि, कई परतों और कई न्यूरॉन्स के साथ नेटवर्क का सामान्यीकरण करना आसान है। मान लीजिए कि y = y ₁ , y ₂ , ... आउटपुट न्यूरॉन्स के वांछित मूल्य हैं, अर्थात्, अंतिम परत में न्यूरॉन्स, और एक ^एल ₁ , एक ^एल ₂ , ... आउटपुट मान हैं। फिर क्रॉस एन्ट्रापी को इस प्रकार परिभाषित किया जा सकता है:

$$

$$C = - \ frac {1} {n} \ sum_x \ sum_j \ left [y_j \ ln a ^ L_j + (1-y_j) \ ln (1-a ^ L_j) के दाईं ओर \ टैग {63}$$

यह समीकरण (57) के समान है, केवल अब सभी आउटपुट न्यूरॉन्स पर हमारे all _जे sums। मैं व्युत्पन्न का विस्तार से विश्लेषण नहीं करूंगा, लेकिन यह मानना ​​उचित है कि अभिव्यक्ति (63) का उपयोग करके हम कई न्यूरॉन्स के साथ नेटवर्क में मंदी से बच सकते हैं। यदि रुचि है, तो आप नीचे दी गई समस्या में व्युत्पन्न ले सकते हैं।

संयोग से, शब्द "क्रॉस एन्ट्रॉपी" मैं पुस्तक के कुछ शुरुआती पाठकों को भ्रमित करता हूं क्योंकि यह अन्य स्रोतों का खंडन करता है। विशेष रूप से, अक्सर क्रॉस एन्ट्रॉपी को दो प्रायिकता वितरण, पीजे के लिए निर्धारित किया जाता है
और क्यूज, ∑ _जे पी _जे lnq _{जे के रूप में} । यह परिभाषा (57) के साथ जुड़ी हो सकती है, अगर एक सिग्मॉइड न्यूरॉन को एक संभावना वितरण को बाहर करने के लिए माना जाता है जिसमें न्यूरॉन के सक्रियण और 1-एक मान पूरक है।

हालांकि, अगर हमारे पास आखिरी परत में कई सिग्मॉइड न्यूरॉन्स हैं, तो वेक्टर ^एल _जे आमतौर पर प्रायिकता वितरण नहीं करता है। नतीजतन, प्रकार result _जे पी _जे lnq _जे की परिभाषा व्यर्थ है, क्योंकि हम संभावना वितरण के साथ काम नहीं करते हैं। इसके बजाय (63), कोई कल्पना कर सकता है कि प्रत्येक न्यूरॉन के क्रॉस-एंट्रॉपी का एक सारांश सेट कैसे संक्षेपित किया जाता है, जहां प्रत्येक न्यूरॉन की सक्रियता की व्याख्या दो-तत्व संभाव्यता वितरण के हिस्से के रूप में की जाती है (बेशक, हमारे नेटवर्क में कोई संभावित तत्व नहीं हैं, इसलिए ये वास्तव में संभाव्यता नहीं हैं)। इस अर्थ में, (63) प्रायिकता वितरण के लिए क्रॉस एन्ट्रापी का सामान्यीकरण होगा।

द्विघात मान के बजाय क्रॉस एन्ट्रॉपी का उपयोग कब करें? वास्तव में, क्रॉस एन्ट्रापी का उपयोग लगभग हमेशा बेहतर होगा यदि आपके पास सिग्मोइड आउटपुट न्यूरॉन्स हैं। इसे समझने के लिए, याद रखें कि नेटवर्क सेट करते समय, हम आमतौर पर एक यादृच्छिक प्रक्रिया का उपयोग करके वज़न और ऑफसेट को इनिशियलाइज़ करते हैं। ऐसा हो सकता है कि यह विकल्प इस तथ्य की ओर जाता है कि नेटवर्क पूरी तरह से कुछ प्रशिक्षण इनपुट डेटा की गलत व्याख्या करेगा - उदाहरण के लिए, आउटपुट न्यूरॉन 1 हो जाएगा, जब इसे 0 पर जाना चाहिए, या इसके विपरीत। यदि हम एक द्विघात मान का उपयोग करते हैं जो प्रशिक्षण को धीमा कर देता है, तो यह प्रशिक्षण को बिल्कुल भी बंद नहीं करेगा, क्योंकि भार अन्य प्रशिक्षण उदाहरणों पर प्रशिक्षित किया जाएगा, लेकिन यह स्थिति स्पष्ट रूप से अवांछनीय है।

अभ्यास

• क्रॉस-एन्ट्रॉपी का एक कैच यह है कि पहले तो y और a की संबंधित भूमिकाओं को याद रखना मुश्किल हो सकता है। यह भ्रमित होना आसान है, क्योंकि यह सही होगा, - [ylna + (1 - y) ln (1 - a)] या - [alny + (1 - a) ln (1 - y)]। Y = 0 या 1 होने पर दूसरी अभिव्यक्ति का क्या होगा? क्या यह समस्या पहली अभिव्यक्ति को प्रभावित करती है? क्यों?
• खंड की शुरुआत में एक एकल न्यूरॉन की चर्चा में, मैंने कहा कि यदि सभी प्रशिक्षण इनपुट डेटा के लिए ≈ (z) singley है तो क्रॉस एन्ट्रॉपी छोटा है। , y 0 1. , (, ) y 0 1. , , σ(z)=y . ,

  $$

  $$C = -\frac{1}{n} \sum_x [y \ln y+(1-y) \ln(1-y)] \tag{64}$$
  । −[ylny+(1−y)ln(1−y)] .

• . ,

  $$

  $$\frac{\partial C}{\partial w^L_{jk}} = \frac{1}{n} \sum_x a^{L-1}_k (a^L_j-y_j) \sigma'(z^L_j) \tag{65}$$
  σ'(z ^L _j ) , . , δ ^L x

  $$

  $$\delta^L = a^L-y \tag{66}$$
  , ,

  $$

  $$\frac{\partial C}{\partial w^L_{jk}} = \frac{1}{n} \sum_x a^{L-1}_k (a^L_j-y_j) \tag{67}$$
  σ'(z ^L _j ) , , , . . , .
• . , . , , , , a ^L _j = z ^L _j . , δL x

  $$

  $$\delta^L = a^L-y \tag{68}$$
  , , , ,

  $$

  $$\frac{\partial C}{\partial w^L_{jk}} = \frac{1}{n} \sum_x a^{L-1}_k (a^L_j-y_j) \tag{69}$$

  $$

  $$\frac{\partial C}{\partial b^L_{j}} = \frac{1}{n} \sum_x (a^L_j-y_j) \tag{70}$$
  , , . .

MNIST

क्रॉस एन्ट्रापी एक प्रोग्राम के हिस्से के रूप में लागू करना आसान है जो कि ढाल वंश और वापस प्रसार का उपयोग करके नेटवर्क को सिखाता है। हम इसे बाद में MNIST, network.py से हमारे शुरुआती हस्तलिखित संख्यात्मक वर्गीकरण कार्यक्रम के उन्नत संस्करण को विकसित करके करेंगे। नए प्रोग्राम को network2.py कहा जाता है, और इसमें न केवल क्रॉस एन्ट्रॉपी शामिल है, बल्कि इस अध्याय में कई अन्य तकनीकों को भी विकसित किया गया है। इस बीच, आइए देखें कि हमारा नया कार्यक्रम MNIST अंकों को कितनी अच्छी तरह वर्गीकृत करता है। अध्याय 1 में, हम 30 छिपे हुए न्यूरॉन्स के साथ एक नेटवर्क का उपयोग करेंगे, और आकार 10. का एक मिनी-पैकेट। हम सीखने की गति learning = 0.5 निर्धारित करेंगे और हम 30 युग सीखेंगे।

जैसा कि मैंने पहले ही कहा था, यह कहना असंभव है कि प्रशिक्षण की गति किस मामले में उपयुक्त है, इसलिए मैंने चयन के साथ प्रयोग किया। सच है, वहाँ बहुत ही मोटे तौर पर heuristically सीखने की दर एंट्रोपी और द्विघात मान को पार करने का एक तरीका है। हमने पहले देखा था कि द्विघात मान के लिए ग्रेडिएंट की शर्तों में एक अतिरिक्त शब्द है '=' (1-σ)। मान लें कि हम इन मूल्यों को σ, we ¹ ₀ dσ 1 (1 - average) = 1/6 के लिए औसत करते हैं। यह देखा जा सकता है कि एक ही सीखने की दर के लिए औसतन (बहुत मोटे तौर पर) चौगुनी लागत 6 गुना धीमी सीखती है। इससे पता चलता है कि एक अच्छा शुरुआती बिंदु 6. द्विघात फ़ंक्शन के लिए सीखने की गति को 6 से विभाजित करना होगा। बेशक, यह बिल्कुल भी सख्त तर्क नहीं है, और आपको इसे बहुत गंभीरता से नहीं लेना चाहिए। लेकिन यह कभी-कभी एक शुरुआती बिंदु के रूप में उपयोगी हो सकता है।

Network2.py के लिए इंटरफ़ेस network.py से थोड़ा अलग है, लेकिन यह अभी भी स्पष्ट होना चाहिए कि क्या हो रहा है। Python शेल में सहायता कमांड (network2.Network.SGD) का उपयोग करके network2.py पर प्रलेखन प्राप्त किया जा सकता है।

>>> import mnist_loader >>> training_data, validation_data, test_data = \ ... mnist_loader.load_data_wrapper() >>> import network2 >>> net = network2.Network([784, 30, 10], cost=network2.CrossEntropyCost) >>> net.large_weight_initializer() >>> net.SGD(training_data, 30, 10, 0.5, evaluation_data=test_data, ... monitor_evaluation_accuracy=True) 

नोट, जिस तरह से net.large_weight_initializer () कमांड का उपयोग उसी तरह से वज़न और ऑफ़सेट को आरंभ करने के लिए किया जाता है जैसा कि अध्याय 1 में वर्णित है। हमें इसे चलाने की आवश्यकता है, क्योंकि बाद में हम डिफ़ॉल्ट रूप से वज़न के आरंभीकरण को बदल देंगे। नतीजतन, उपरोक्त सभी कमांड शुरू करने के बाद, हमें एक नेटवर्क मिलता है जो 95.49% की सटीकता के साथ काम करता है। यह द्विघात के उपयोग से पहले अध्याय, 95.42% से परिणाम के बहुत करीब है।

आइए उस मामले को भी देखें जहां हम 100 छिपे हुए न्यूरॉन्स का उपयोग करते हैं और एन्ट्रापी को पार करते हैं, और बाकी को भी छोड़ देते हैं। इस मामले में, सटीकता 96.82% है। यह पहले अध्याय के परिणामों पर एक बड़ा सुधार है, जहां हमने द्विघात मान का उपयोग करके 96.59% की सटीकता हासिल की है। परिवर्तन छोटा लग सकता है, लेकिन यह सोचें कि त्रुटि 3.41% से 3.18% तक गिर गई। यही है, हमने लगभग 1/14 त्रुटियों को समाप्त कर दिया है। यह बहुत अच्छा है।

यह बहुत अच्छा है कि क्रॉस-एन्ट्रापी लागत फ़ंक्शन हमें द्विघात मान की तुलना में समान या बेहतर परिणाम देता है। हालांकि, वे असमान रूप से साबित नहीं करते हैं कि क्रॉस एन्ट्रॉपी सबसे अच्छा विकल्प है। तथ्य यह है कि मैंने हाइपरपरमेटर्स को चुनने की कोशिश नहीं की - प्रशिक्षण की गति, मिनी-पैकेज का आकार, आदि। सुधार को और अधिक ठोस बनाने के लिए, हमें उनके अनुकूलन का सही ढंग से सामना करने की आवश्यकता है। लेकिन परिणाम अभी भी प्रेरणादायक हैं, और हमारी सैद्धांतिक गणना इस बात की पुष्टि करती है कि क्रॉस एन्ट्रापी द्विघात लागत समारोह की तुलना में बेहतर विकल्प है।

इस नस में, यह पूरा अध्याय और, सिद्धांत रूप में, पुस्तक के बाकी हिस्सों से गुजरेगा। हम नई तकनीक विकसित करेंगे, उसका परीक्षण करेंगे और "बेहतर परिणाम" प्राप्त करेंगे। बेशक, यह अच्छा है कि हम इन सुधारों को देखते हैं। लेकिन उनकी व्याख्या करना हमेशा मुश्किल होता है। यह तभी सुनिश्चित होगा जब हम अन्य सभी हाइपरपैरेटरों के अनुकूलन पर गंभीर कार्य के बाद सुधार देखेंगे। और यह एक जटिल काम है, जिसके लिए बड़े कम्प्यूटेशनल संसाधनों की आवश्यकता होती है, और आमतौर पर हम इस तरह की गहन जांच से निपटेंगे नहीं। इसके बजाय, हम अनौपचारिक परीक्षणों के आधार पर आगे बढ़ेंगे, जैसे कि ऊपर सूचीबद्ध। लेकिन आपको यह ध्यान रखने की आवश्यकता है कि इस तरह के परीक्षण अस्पष्ट साक्ष्य नहीं हैं, और उन मामलों की सावधानीपूर्वक निगरानी करें जब तर्क विफल होने लगते हैं।

अब तक, हम विस्तार से क्रॉस एन्ट्रॉपी पर चर्चा कर रहे हैं। अगर यह हमारे MNIST परिणामों में इतना छोटा सुधार देता है तो इतना प्रयास क्यों बर्बाद करना? बाद में इस अध्याय में हम अन्य तकनीकों को देखेंगे - विशेष रूप से, नियमितीकरण - जो बहुत मजबूत सुधार देते हैं। तो हम क्रॉस एन्ट्रापी पर क्यों ध्यान केंद्रित करते हैं? विशेष रूप से, क्योंकि क्रॉस एन्ट्रॉपी मूल्य का अक्सर उपयोग किया जाने वाला कार्य है, इसलिए यह एक अच्छी समझ के लायक है। लेकिन अधिक महत्वपूर्ण कारण यह है कि न्यूरॉन्स की संतृप्ति तंत्रिका नेटवर्क के क्षेत्र में एक महत्वपूर्ण समस्या है, जिसके लिए हम लगातार पूरी किताब में लौट आएंगे। इसलिए, मैंने इस तरह के विस्तार में क्रॉस एन्ट्रॉपी पर चर्चा की, क्योंकि यह न्यूरॉन्स की संतृप्ति को समझने के लिए एक अच्छी प्रयोगशाला है और इस समस्या के लिए दृष्टिकोण कैसे लाया जाए।

क्रॉस एन्ट्रॉपी का क्या मतलब है? यह कहां से आता है?

क्रॉस एन्ट्रापी की हमारी चर्चा बीजगणितीय विश्लेषण और व्यावहारिक कार्यान्वयन के चारों ओर घूमती है। यह उपयोगी है, लेकिन इसके परिणामस्वरूप, व्यापक वैचारिक प्रश्न अनुत्तरित रहते हैं, उदाहरण के लिए: क्रॉस एन्ट्रॉपी का क्या मतलब है? क्या इसे प्रस्तुत करने का एक सहज तरीका है? क्रॉस एन्ट्रॉपी के साथ भी लोग कैसे आ सकते हैं?

चलो अंतिम के साथ शुरू करते हैं: हमें क्रॉस एन्ट्रॉपी के बारे में क्या सोच सकता है? मान लीजिए हमने पहले वर्णित एक लर्निंग स्लोडाउन की खोज की और महसूस किया कि यह समीकरणों (55) और (56) में शर्तों ('(z) के कारण हुआ। इन समीकरणों पर थोड़ी नज़र डालने पर, हम इस बारे में सोच सकते हैं कि क्या इस तरह के एक लागत समारोह का चयन करना संभव है ताकि disapp '(z) शब्द गायब हो जाए। फिर एक प्रशिक्षण उदाहरण की लागत C = C _x समीकरणों को पूरा करेगा:

$$

$$\ frac {\ आंशिक C} {\ आंशिक w_j} = x_j (a-y) \ टैग {71}$$

$$

$$\ frac {\ आंशिक सी} {\ आंशिक बी} = (ए-वाई) \ टैग {72}$$

यदि हमने एक मान फ़ंक्शन का चयन किया है जो उन्हें सच बनाता है, तो वे केवल एक सहज ज्ञान युक्त समझ का वर्णन करेंगे कि प्रारंभिक त्रुटि जितनी बड़ी होगी, न्यूरॉन तेजी से सीखता है। वे मंदी की समस्या को भी ठीक करेंगे। वास्तव में, इन समीकरणों के साथ शुरू करते हुए, हम यह दिखाएंगे कि एक गणितीय प्रवृत्ति का अनुसरण करके क्रॉस एन्ट्रॉपी के रूप को प्राप्त करना संभव है। यह देखने के लिए, हम ध्यान दें कि, चेन नियम के आधार पर, हमें यह मिलता है:

$$

$$\ frac {\ आंशिक C} {\ आंशिक b} = \ frac {\ आंशिक C} {\ आंशिक a} \ sigma ’(z) \ टैग {73}$$

अंतिम समीकरण में उपयोग करना σ σ (z) = z (z) (1 - last (z)) = a (1 - a), हम प्राप्त करते हैं:

$$

$$\ frac {\ आंशिक C} {\ आंशिक b} = \ frac {\ आंशिक C} {\ आंशिक a} (1-a) \ tag {74}$$

समीकरण (72) के साथ तुलना, हम प्राप्त करते हैं:

$$

$$\ frac {\ आंशिक C} {\ आंशिक} a = = frac {a-y} {a (1-a)} \ टैग {75}$$

इस अभिव्यक्ति को एक से अधिक, हम प्राप्त करते हैं:

$$

$$C = - [y \ ln a + (1-y) \ ln (1-a)] + {\ rm स्थिर} \ टैग {76}$$

यह लागत समारोह के लिए एक अलग प्रशिक्षण उदाहरण x का योगदान है। पूर्ण लागत फ़ंक्शन प्राप्त करने के लिए, हमें सभी प्रशिक्षण उदाहरणों पर औसत करने की आवश्यकता है, और हम आते हैं:

$$

$$C = - \ frac {1} {n} \ sum_x [y \ ln a + (1-y) \ ln (1-a)] + {\ rm स्थिर} \ "{77}$$

यहाँ निरंतर प्रशिक्षण उदाहरणों में से प्रत्येक के व्यक्तिगत स्थिरांक का औसत है। जैसा कि आप देख सकते हैं, समीकरण (71) और (72) विशिष्ट रूप से क्रॉस एन्ट्रापी, मांस को एक सामान्य स्थिरांक के रूप में निर्धारित करते हैं। क्रॉस एन्ट्रापी को जादुई रूप से पतली हवा से बाहर नहीं निकाला गया था। वह एक सरल और प्राकृतिक तरीके से पाया जा सकता है।

क्रॉस एन्ट्रापी के सहज विचार के बारे में क्या? हम इसकी कल्पना कैसे करते हैं? एक विस्तृत विवरण हमें अपने प्रशिक्षण पाठ्यक्रम से आगे निकलने के लिए प्रेरित करेगा। हालांकि, हम क्रॉस थ्रोपी की व्याख्या करने के एक मानक तरीके के अस्तित्व का उल्लेख कर सकते हैं, जो सूचना सिद्धांत के क्षेत्र से उत्पन्न होता है। मोटे तौर पर, क्रॉस एन्ट्रॉपी आश्चर्य का एक उपाय है। उदाहरण के लिए, हमारा न्यूरॉन फ़ंक्शन x → y = y (x) की गणना करने का प्रयास कर रहा है। लेकिन इसके बजाय, यह फ़ंक्शन x → a = a (x) गिनता है। मान लीजिए कि हम संभावना के एक न्यूरॉन के अनुमान के रूप में अनुमान लगाते हैं कि y = 1, और 1-a यह संभावना है कि y के लिए सही मान 0. है। फिर एंट्रोपी उपायों को पार करें जब हम औसत रूप से "आश्चर्यचकित" होते हैं y का सही मूल्य ज्ञात करें। अगर हम बाहर निकलने के तरीके की उम्मीद करते हैं तो हम बहुत आश्चर्यचकित नहीं हैं, और अगर बाहर का रास्ता अप्रत्याशित है तो हम बहुत आश्चर्यचकित हैं। बेशक, मैंने "आश्चर्य" की एक सख्त परिभाषा नहीं दी, इसलिए यह सब खाली रेंट जैसा लग सकता है। लेकिन वास्तव में, सूचना के सिद्धांत में अप्रत्याशितता निर्धारित करने का एक सटीक तरीका है। दुर्भाग्य से, मुझे इंटरनेट पर इस बिंदु की एक अच्छी, छोटी और आत्मनिर्भर चर्चा के किसी भी उदाहरण के बारे में पता नहीं है। लेकिन अगर आप थोड़ी गहरी खुदाई करने में रुचि रखते हैं, तो विकिपीडिया लेख में अच्छी सामान्य जानकारी है जो आपको सही दिशा में भेज देगी। सूचना सिद्धांत पर एक पुस्तक में क्राफ्ट असमानता पर अध्याय 5 में विवरण प्राप्त किया जा सकता है।

कार्य

• हमने विस्तार से चर्चा की है कि सीखने में मंदी जब न्यूरॉन्स को सीखने में द्विघात लागत फ़ंक्शन का उपयोग करके नेटवर्क में संतृप्त किया जाता है। एक अन्य कारक जो सीखने को रोक सकता है वह समीकरण (61) में एक्स _जे की उपस्थिति है। इसके कारण, जब आउटपुट x _j शून्य के करीब पहुंचता है, तो संबंधित भार w _j को धीरे-धीरे प्रशिक्षित किया जाएगा। समझाएं कि कुछ सरल लागत फ़ंक्शन का चयन _करके शब्द x _j को समाप्त करना असंभव क्यों है।

सॉफ्टमैक्स (नरम अधिकतम कार्य)

इस अध्याय में, हम सीखने को धीमा करने की समस्याओं को हल करने के लिए ज्यादातर क्रॉस-एन्ट्रापी लागत फ़ंक्शन का उपयोग करेंगे। हालाँकि, मैं तथाकथित रूप से इस समस्या के बारे में एक और दृष्टिकोण पर चर्चा करना चाहूंगा न्यूरॉन्स के सॉफ्टमैक्स-लेयर। हम इस अध्याय के शेष भाग के लिए सॉफ्टमैक्स परतों का उपयोग नहीं करेंगे, इसलिए यदि आप जल्दी में हैं, तो आप इस अनुभाग को छोड़ सकते हैं। हालाँकि, सॉफ्टमैक्स अभी भी समझने लायक है, विशेष रूप से क्योंकि यह अपने आप में दिलचस्प है, और विशेष रूप से क्योंकि हम अध्याय 6 में सॉफ्टमैक्स परतों का उपयोग करेंगे, गहन तंत्रिका नेटवर्क की हमारी चर्चा में।

सॉफ्टमैक्स का विचार एचसी के लिए एक नए प्रकार के आउटपुट लेयर को परिभाषित करना है। यह उसी तरह से शुरू होता है जैसे सिग्मॉइड परत, भारित इनपुट के गठन के साथ $$$z ^ L_j = \ sum_ {k} w ^ L_ {jk} a ^ {L-1} _k + b ^ L_j$ । हालाँकि, हम उत्तर पाने के लिए सिग्मॉइड का उपयोग नहीं करते हैं। सॉफ्टमैक्स परत में, हम सॉफ्ट ^एल फ़ंक्शन को z ^L _{j पर} लागू करते हैं। उनके अनुसार, उत्पादन न्यूरॉन नं। जे के सक्रियण ^एल _जे बराबर है:

$$

$$a ^ L_j = \ frac {e ^ {z ^ L_j}} {\ sum_k e ^ {z ^ L_k}} \ tag {78}$$

जहां हर में हम सभी आउटपुट न्यूरॉन्स पर योग करते हैं।

यदि सॉफ्टमैक्स फ़ंक्शन आपके लिए अपरिचित है, तो समीकरण (78) आपको रहस्यमय लगेगा। यह बिल्कुल स्पष्ट नहीं है कि हमें इस तरह के फ़ंक्शन का उपयोग क्यों करना चाहिए। यह भी स्पष्ट नहीं है कि यह सीखने को धीमा करने की समस्या को हल करने में हमारी मदद करेगा। समीकरण (78) को बेहतर ढंग से समझने के लिए, मान लें कि हमारे पास चार आउटपुट न्यूरॉन्स और चार संगत भारित इनपुट वाला एक नेटवर्क है, जिसे हम z ^L ₁ , z ^L ₂ , z ^L ₃ और z ^L _{4 के} रूप में नामित करेंगे। मूल लेख में इंटरएक्टिव समायोजन स्लाइडर्स शामिल हैं, जिन्हें भारित इनपुट के संभावित मान और संबंधित आउटपुट सक्रियताओं के शेड्यूल को सौंपा गया है। उनका अध्ययन करने के लिए एक अच्छा प्रारंभिक बिंदु z ^L ₄ को बढ़ाने के लिए नीचे स्लाइडर का उपयोग करना होगा।





Z ^L _{4 को} बढ़ाकर, व्यक्ति संबंधित आउटपुट सक्रियण, ^L ₄ और अन्य आउटपुट सक्रियताओं में कमी का पालन कर सकता है। Z ^L _{4 के} घटने से ^L ₄ कम हो जाएगा, और अन्य सभी आउटपुट सक्रियता बढ़ जाएगी। करीब से देखने पर, आप देखेंगे कि दोनों मामलों में अन्य सक्रियणों में सामान्य परिवर्तन एक ^एल ₄ में होने वाले परिवर्तन की क्षतिपूर्ति करता है। इसका कारण यह गारंटी है कि कुल उत्पादन में सभी सक्रियण 1 देते हैं, जिसे हम समीकरण (78) और कुछ बीजगणित का उपयोग करके साबित कर सकते हैं:

$$

$$\ sum_j a ^ L_j = \ frac {\ sum_j e ^ {z ^ L_j}} {\ sum_k e ^ {z ^ L_k}} = 1 \ tag {79}$$

नतीजतन, एक ^एल ₄ में वृद्धि के साथ _, शेष आउटपुट सक्रियणों को कुल मूल्य में समान रूप से कम करना चाहिए ताकि यह सुनिश्चित हो सके कि सभी आउटपुट सक्रियताओं का योग 1 के बराबर है। और, निश्चित रूप से, अन्य सभी सक्रियणों के लिए समान बयान सही होंगे।

यह समीकरण (78) से भी आता है कि सभी आउटपुट सक्रियता सकारात्मक हैं, क्योंकि घातीय फ़ंक्शन सकारात्मक है। पिछले पैराग्राफ से अवलोकन के साथ संयोजन करते हुए, हम पाते हैं कि सॉफ्टमैक्स परत का आउटपुट कुल मिलाकर सकारात्मक संख्याओं का एक सेट होगा। दूसरे शब्दों में, सॉफ्टमैक्स परत के आउटपुट को प्रायिकता वितरण के रूप में दर्शाया जा सकता है।

तथ्य यह है कि सॉफ्टमैक्स परत का उत्पादन एक संभावना वितरण है, बहुत सुखद है। कई समस्याओं में, संभावना के नेटवर्क द्वारा एक अनुमान के रूप में आउटपुट ^{एल एल} _{जे की} व्याख्या करने में सक्षम होना सुविधाजनक है कि बैलेट जे सही विकल्प होगा। इसलिए, उदाहरण के लिए, वर्गीकरण समस्या MNIST में, हम संभावना के नेटवर्क द्वारा एक अनुमान के रूप में ^एल _{जे की} व्याख्या कर सकते हैं कि जम्मू एक अंक के वर्गीकरण का सही संस्करण होगा।

इसके विपरीत, यदि आउटपुट लेयर सिग्मॉयड था, तो हम निश्चित रूप से यह नहीं मान सकते हैं कि सक्रियण एक संभाव्यता वितरण बनाते हैं। मैं इसे सख्ती से साबित नहीं करूंगा, लेकिन यह मान लेना उचित है कि सामान्य मामले में सिग्मॉइड परत की सक्रियता एक संभावना वितरण नहीं बनाती है। इसलिए, सिग्मोइड आउटपुट लेयर का उपयोग करके, हमें आउटपुट एक्टिविटीज़ की इतनी सरल व्याख्या नहीं मिलेगी।

व्यायाम

• एक उदाहरण दिखाते हैं कि एक सिग्मोइड आउटपुट परत वाले नेटवर्क में, आउटपुट ^{एल एल} _जे हमेशा 1 से नहीं _{जुड़ता} है।

हम सॉफ्टमैक्स फ़ंक्शन के बारे में थोड़ा समझना शुरू करते हैं और सॉफ्टमैक्स परतें कैसे व्यवहार करती हैं। बस संक्षेप में: समीकरण (78) में घातांक सुनिश्चित करते हैं कि सभी आउटपुट सक्रियता सकारात्मक हैं। समीकरण के हर में योग (78) यह सुनिश्चित करता है कि सॉफ्टमैक्स कुल 1. देता है, इसलिए इस तरह का समीकरण अब रहस्यमय नहीं लगता है: यह सुनिश्चित करने का एक प्राकृतिक तरीका है कि आउटपुट सक्रियता एक संभाव्यता वितरण बनाती है। सॉफ्टमैक्स की कल्पना जेड ^एल _{जे के} पैमाने के रूप में की जा सकती है और फिर एक संभावना वितरण के लिए उन्हें एक साथ संपीड़ित किया जा सकता है।

अभ्यास

• सॉफ्टमैक्स की एकरसता। दिखाएँ कि thata ^L _j / Lz ^L _k सकारात्मक है यदि j = k, और ऋणात्मक यदि j। K। नतीजतन, z ^L _{j में} वृद्धि से संबंधित आउटपुट सक्रियता ^L _J को बढ़ाने की गारंटी है, और अन्य सभी आउटपुट सक्रियण कम हो जाते हैं। हम पहले ही इस अनुभव को स्लाइडर्स के उदाहरण का उपयोग करते हुए देख चुके हैं, लेकिन यह प्रमाण कठोर होगा।
• नॉनक्लोकिटी सॉफ्टमैक्स। सिग्मॉइड परतों की एक अच्छी विशेषता यह है कि आउटपुट ^एल _जे संबंधित भारित इनपुट का एक कार्य है, एक ^एल _जे = _j (जेड ^एल _जे )। समझाएं कि सॉफ्टमैक्स परत के साथ ऐसा क्यों नहीं है: ^एल _जे पर कोई भी आउटपुट सक्रियण सभी भारित इनपुट पर निर्भर करता है।

कार्य

• सॉफ्टमैक्स परत को उल्टा करें। मान लीजिए कि हमारे पास एक आउटपुट सॉफ्टमैक्स परत वाला एक एनएस है और एक ^एल _जे की सक्रियता ज्ञात है। दिखाएँ कि संबंधित वेटेड इनपुट z ^L _j = ln a ^L _j + C के रूप के हैं, जहाँ C, _j का एक निरंतर स्वतंत्र है।

सीखने की मंदी की समस्या

हम पहले ही न्यूरॉन्स के सॉफ्टमैक्स परतों से काफी परिचित हो चुके हैं। लेकिन अभी तक हमने यह नहीं देखा है कि सॉफ्टमैक्स की परतें हमें सीखने की धीमी गति की समस्या को हल करने की अनुमति कैसे देती हैं। इसे समझने के लिए, आइए "लॉग-लाइकैलिटी" के आधार पर एक लागत फ़ंक्शन को परिभाषित करें। हम नेटवर्क के प्रशिक्षण इनपुट को निरूपित करने के लिए x का उपयोग करेंगे, और इसी वांछित आउटपुट के लिए y। फिर इस प्रशिक्षण इनपुट से जुड़े एलपीएस होंगे:

$$

$$C \ equiv - \ ln a ^ L_y \ tag {80}$$

इसलिए, यदि, उदाहरण के लिए, हम MNIST छवियों पर अध्ययन करते हैं, और चित्र 7 इनपुट में चला गया, तो LPS एक ^L _{7 होगा} । इसे सहज रूप से समझने के लिए, हम उस मामले पर विचार करते हैं जब नेटवर्क मान्यता के साथ अच्छी तरह से मुकाबला करता है, अर्थात, यह सुनिश्चित है कि यह इनपुट 7 पर है। इस मामले में, यह संबंधित संभावना का मान मूल्यांकन करेगा ^L ₇ जो 1 के करीब है, इसलिए लागत −ln a ^L ₇ छोटा होगा । इसके विपरीत, यदि नेटवर्क अच्छी तरह से काम नहीं करता है, तो एक ^एल ₇ की संभावना कम होगी, और एक ^एल ₇ की लागत अधिक होगी। इसलिए, LPS एक लागत फ़ंक्शन से अपेक्षा के अनुसार व्यवहार करता है।

मंदी की समस्या के बारे में क्या? इसका विश्लेषण करने के लिए, हम याद करते हैं कि मंदी में मुख्य चीज ∂C / Lw ^L _jk और ∂C / Lb ^L _j का व्यवहार है। मैं व्युत्पन्न के कब्जे का विस्तार से वर्णन नहीं करूंगा - मैं आपको कार्यों में ऐसा करने के लिए कहूंगा, लेकिन कुछ बीजगणित का उपयोग करके आप यह दिखा सकते हैं:

$$

$$\ frac {\ आंशिक C} {\ आंशिक b ^ L_j} = a ^ L_j-y_j \ tag {81}$$

$$

$$\ frac {\ आंशिक C} {\ आंशिक w ^ L_ {jk}} = a ^ {L-1} _k (a ^ L_j-y_j) \ टैग {82}$$

मैंने यहाँ संकेतन के साथ थोड़ा खेला है, और मैं पिछले पैराग्राफ की तुलना में थोड़ा अलग तरीके से "y" का उपयोग कर रहा हूँ। वहां, y वांछित नेटवर्क आउटपुट को दर्शाता है - अर्थात, यदि आउटपुट "7" है, तो इनपुट इमेज 7. था और इन समीकरणों में, y आउटपुट आउटपुट सक्रियण वेक्टर को 7 के अनुरूप दर्शाता है, अर्थात, 7 में एकता को छोड़कर सभी शून्य के साथ एक वेक्टर। वें स्थान।

ये समीकरण समान अभिव्यक्तियों के समान हैं जो हमने क्रॉस एन्ट्रोपी के पहले के विश्लेषण में प्राप्त किए थे। तुलना करें, उदाहरण के लिए, समीकरण (82) और (67)। यह एक ही समीकरण है, हालांकि प्रशिक्षण उदाहरणों पर बाद का औसत है। और, जैसा कि पहले मामले में, ये अभिव्यक्तियाँ गारंटी देती हैं कि सीखना धीमा नहीं है। यह कल्पना करना उपयोगी है कि एलपीएस के साथ सॉफ्टमैक्स की परत क्रॉस एंट्रोपी के आधार पर सिग्मॉइड आउटपुट और लागत के साथ परत के समान है।

उनकी समानता को देखते हुए, क्या उपयोग किया जाना चाहिए - सिग्मोइड आउटपुट और क्रॉस एन्ट्रॉपी, या सॉफ्टमैक्स आउटपुट और एलपीएस? वास्तव में, कई मामलों में दोनों दृष्टिकोण अच्छी तरह से काम करते हैं। हालांकि बाद में इस अध्याय में हम क्रॉस एंट्रोपी के आधार पर एक लागत के साथ एक सिग्मॉइड आउटपुट परत का उपयोग करेंगे। बाद में, अध्याय 6 में, हम कभी-कभी सॉफ्टमैक्स आउटपुट और एलपीएस का उपयोग करेंगे। परिवर्तनों का कारण निम्नलिखित कुछ नेटवर्क को कुछ प्रभावशाली शोध पत्रों में पाए गए नेटवर्क के समान बनाना है। अधिक सामान्य दृष्टिकोण से, सॉफ्टमैक्स और एलपीएस का उपयोग तब किया जाना चाहिए जब आपको आउटपुट एक्टिविटीज को संभाव्यता के रूप में व्याख्या करने की आवश्यकता होती है। यह हमेशा आवश्यक नहीं होता है, लेकिन यह वर्गीकरण की समस्याओं (जैसे MNIST) में उपयोगी हो सकता है, जिसमें गैर-अन्तर्विभाजक वर्ग शामिल हैं।

कार्य

• व्युत्पन्न समीकरण (81) और (82)।
• सॉफ्टमैक्स नाम कहां से आया है? मान लीजिए कि हम सॉफ्टमैक्स फ़ंक्शन को बदलते हैं ताकि आउटपुट एक्टिविटी समीकरण द्वारा दिए गए हों

  $$

  $$a ^ L_j = \ frac {e ^ {c z ^ L_j}} {\ sum_k e ^ {c z ^ L_k}} \ tag {83}$$
  जहाँ c एक धनात्मक स्थिरांक है। ध्यान दें कि c = 1 मानक सॉफ्टमैक्स फ़ंक्शन से मेल खाती है। लेकिन सी के एक अलग मूल्य का उपयोग करते हुए, हमें एक और फ़ंक्शन मिलता है जो अभी भी सॉफ्टमैक्स के समान गुणात्मक रूप से होगा। दिखाएँ कि आउटपुट सक्रियता एक संभाव्यता वितरण बनाती है, जैसा कि नियमित सॉफ्टमैक्स के साथ होता है। मान लीजिए हम c को बहुत बड़ा बनाते हैं, वह है, c → & inf ;; उत्पादन गतिविधियों का सीमित मूल्य एक ^L _j क्या है? इस समस्या को हल करने के बाद, यह स्पष्ट होना चाहिए कि c = 1 के साथ एक फ़ंक्शन को अधिकतम फ़ंक्शन का "नरम संस्करण" क्यों माना जाता है। यहीं से सॉफ्टमैक्स शब्द आता है।
• सॉफ्टमैक्स और एलपीएस के साथ वापस प्रचार। पिछले अध्याय में, हमने सिग्मॉइड परतों वाले नेटवर्क के लिए बैकप्रॉपैगेशन एल्गोरिथ्म प्राप्त किया। इस एल्गोरिथ्म को नेटवर्क और सॉफ्टमैक्स परतों पर लागू करने के लिए, हमें त्रुटि algorithm ^L _j / ∂C / Lz ^L _{j के} लिए अभिव्यक्ति प्राप्त करने की आवश्यकता है। दिखाएँ कि एक उपयुक्त अभिव्यक्ति होगी

  $$

  $$\ delta ^ L_j = a ^ L_j -y_j \ tag {84}$$
  इस अभिव्यक्ति का उपयोग करते हुए, हम आउटपुट सॉफ्टमैक्स परत और एलपीएस का उपयोग करके नेटवर्क पर बैकप्रॉपैगैशन एल्गोरिदम लागू कर सकते हैं।

मुकरना और नियमित करना

नोबेल पुरस्कार विजेता एनरिको फर्मी को एक बार एक महत्वपूर्ण अनसुलझे शारीरिक समस्या को हल करने के लिए कई सहयोगियों द्वारा प्रस्तावित गणितीय मॉडल पर एक राय मांगी गई थी। मॉडल पूरी तरह से प्रयोग के अनुरूप था, लेकिन फर्मी को इस पर संदेह था। उन्होंने पूछा कि इसमें कितने मुफ्त पैरामीटर बदले जा सकते हैं। "चार," उन्होंने उसे बताया। फर्मी ने जवाब दिया: "मुझे याद है कि कैसे मेरे दोस्त जॉनी वॉन न्यूमैन को यह कहना पसंद था कि चार मापदंडों के साथ आप एक हाथी को धक्का दे सकते हैं, और पांच के साथ आप उसे अपनी ट्रंक लहर बना सकते हैं।"

बेशक, इतिहास का अर्थ यह है कि बड़ी संख्या में मुक्त मापदंडों वाले मॉडल आश्चर्यजनक रूप से विस्तृत घटनाओं का वर्णन कर सकते हैं।यहां तक ​​कि अगर ऐसा मॉडल उपलब्ध डेटा के साथ अच्छी तरह से काम करता है, तो यह स्वचालित रूप से इसे एक अच्छा मॉडल नहीं बनाता है। इसका सिर्फ यह मतलब हो सकता है कि मॉडल को घटना के मुख्य विचार को प्रकट किए बिना किसी दिए गए आकार के लगभग किसी भी डेटा सेट का वर्णन करने की पर्याप्त स्वतंत्रता है। जब ऐसा होता है, तो मॉडल मौजूदा डेटा के साथ अच्छी तरह से काम करता है, लेकिन नई स्थिति को सामान्य नहीं कर सकता है। एक मॉडल का एक सच्चा परीक्षण इसकी उन स्थितियों में भविष्यवाणियां करने की क्षमता है जो इससे पहले नहीं हुई हैं।

फर्मी और वॉन न्यूमैन चार मापदंडों वाले मॉडल के बारे में संदिग्ध थे। MNIST अंकों के वर्गीकरण के लिए 30 छिपे हुए न्यूरॉन्स के साथ हमारे एनएस में लगभग 24,000 पैरामीटर हैं! ये काफी कुछ पैरामीटर हैं। 100 छिपे हुए न्यूरॉन्स के साथ हमारे एनएस में लगभग 80,000 पैरामीटर हैं, और इन मापदंडों के उन्नत गहरे एनएस में कभी-कभी लाखों या अरबों होते हैं। क्या हम उनके काम के परिणामों पर भरोसा कर सकते हैं?

आइए एक ऐसी स्थिति बनाकर इस समस्या को जटिल बनाते हैं जिसमें हमारा नेटवर्क इसके लिए एक नई स्थिति को खराब करता है। हम 30 छिपे हुए न्यूरॉन्स और 23,860 मापदंडों के साथ एनएस का उपयोग करेंगे। लेकिन हम सभी 50,000 MNIST छवियों के साथ नेटवर्क को प्रशिक्षित नहीं करेंगे। इसके बजाय, हम केवल पहले 1000 का उपयोग करते हैं। सीमित सेट का उपयोग करने से सामान्यीकरण समस्या अधिक स्पष्ट हो जाएगी। हम पहले की तरह अध्ययन करेंगे, क्रॉस-एन्ट्रापी के आधार पर लागत फ़ंक्शन का उपयोग करते हुए, speed = 0.5 की सीखने की गति और 10. के मिनी-पैकेट आकार के साथ। हालांकि, हम 400 युगों का अध्ययन करेंगे, जो पहले की तुलना में थोड़ा अधिक है, क्योंकि प्रशिक्षण के उदाहरण हैं हमारे पास बहुत कुछ नहीं है। चलो नेटवर्क 2 का उपयोग यह देखने के लिए करते हैं कि लागत फ़ंक्शन कैसे बदलता है:

 >>> import mnist_loader >>> training_data, validation_data, test_data = \ ... mnist_loader.load_data_wrapper() >>> import network2 >>> net = network2.Network([784, 30, 10], cost=network2.CrossEntropyCost) >>> net.large_weight_initializer() >>> net.SGD(training_data[:1000], 400, 10, 0.5, evaluation_data=test_data, ... monitor_evaluation_accuracy=True, monitor_training_cost=True) 

परिणामों का उपयोग करते हुए, हम नेटवर्क को प्रशिक्षित करते समय लागत में परिवर्तन का एक ग्राफ बना सकते हैं (ग्राफ़ ओवरफिटिंगडोम प्रोग्राम का उपयोग करके बनाया गया था):



यह उत्साहजनक लगता है, उम्मीद के मुताबिक लागत में एक चिकनी कमी आई है। कृपया ध्यान दें कि मैंने केवल 200 से 399 तक के युगों को दिखाया था। परिणामस्वरूप, हम एक बड़े पैमाने पर प्रशिक्षण के अंतिम चरणों को देखते हैं, जिस पर, जैसा कि हम बाद में देखेंगे, सभी सबसे दिलचस्प होते हैं।

अब देखते हैं कि सत्यापन डेटा पर वर्गीकरण सटीकता समय के साथ कैसे बदलती है:



फिर मैंने फिर से शेड्यूल बढ़ा दिया। पहले 200 युगों में, जो यहां दिखाई नहीं देते हैं, सटीकता लगभग 82% तक बढ़ जाती है। फिर प्रशिक्षण धीरे-धीरे धीमा हो जाता है। अंत में, 280 वें युग के आसपास, वर्गीकरण सटीकता में सुधार करना बंद हो जाता है। बाद के युगों में, 280 वें युग में प्राप्त सटीकता मूल्य के आसपास केवल छोटे स्टोचैस्टिक उतार-चढ़ाव देखे जाते हैं। इसकी तुलना पिछले चार्ट से करें, जहां प्रशिक्षण डेटा से जुड़ी लागत धीरे-धीरे कम हो रही है। यदि आप केवल इस लागत का अध्ययन करते हैं, तो ऐसा लगेगा कि मॉडल में सुधार हो रहा है। हालांकि, परीक्षण डेटा के साथ काम करने के परिणाम हमें बताते हैं कि यह सुधार केवल एक भ्रम है। जैसा कि मॉडल में फ़र्मी को पसंद नहीं था, 280 वें युग के बाद हमारे नेटवर्क का अध्ययन क्या है, अब डेटा सत्यापन के लिए सामान्यीकृत नहीं है। इसलिए, यह प्रशिक्षण उपयोगी साबित होता है। हम कहते हैं कि 280 वें युग के बाद, नेटवर्क पीछे हट रहा है,या ओवरफिटिंग।

आप सोच रहे होंगे कि क्या यह समस्या नहीं है कि मैं प्रशिक्षण डेटा के आधार पर लागत का अध्ययन कर रहा हूं, और सत्यापन डेटा के वर्गीकरण की सटीकता पर नहीं। दूसरे शब्दों में, शायद समस्या यह है कि हम सेब की तुलना संतरे से कर रहे हैं। यदि हम सत्यापन की लागत के साथ प्रशिक्षण डेटा की लागत की तुलना करते हैं, तो हम तुलनात्मक उपायों की तुलना क्या करेंगे? या शायद हम प्रशिक्षण और परीक्षण डेटा दोनों की वर्गीकरण सटीकता की तुलना कर सकते हैं? वास्तव में, समान घटना इस बात की परवाह किए बिना दिखाई देती है कि तुलना कैसे की जाती है। लेकिन विवरण बदल रहे हैं। उदाहरण के लिए, आइए सत्यापन डेटा का मूल्य देखें:



यह देखा जा सकता है कि सत्यापन डेटा की लागत में 15 वें युग तक सुधार होता है, और फिर पूरी तरह से बिगड़ना शुरू हो जाता है, हालांकि प्रशिक्षण डेटा की लागत में सुधार जारी है। यह एक प्रतिगामी मॉडल का एक और संकेत है। हालांकि, सवाल यह उठता है कि किस युग में हमें उस बिंदु पर विचार करना चाहिए, जिस पर प्रशिक्षण के बाद 15 या 280 से अधिक समय के लिए अभ्यास शुरू हो जाता है? व्यावहारिक दृष्टिकोण से, हम सत्यापन डेटा के वर्गीकरण की सटीकता में सुधार करने में अभी भी रुचि रखते हैं, और लागत वर्गीकरण की सटीकता का एक मध्यस्थ है। इसलिए, यह 280 के युग को एक बिंदु पर विचार करने के लिए समझ में आता है, जिसके बाद हमारे राष्ट्रीय असेंबली के प्रशिक्षण पर फिर से विचार करना शुरू हो जाता है।

प्रशिक्षण डेटा के वर्गीकरण की सटीकता में रिट्रेनिंग का एक और संकेत देखा जा सकता है:



सटीकता बढ़ रही है, 100% तक पहुंच रही है। यही है, हमारा नेटवर्क सभी 1000 प्रशिक्षण छवियों को सही ढंग से वर्गीकृत करता है! इस बीच, सत्यापन सटीकता केवल 82.27% तक बढ़ती है। यही है, हमारा नेटवर्क केवल प्रशिक्षण सेट की सुविधाओं का अध्ययन करता है, और संख्याओं को पहचानना नहीं सीखता है। ऐसा लगता है कि नेटवर्क केवल प्रशिक्षण सेट को याद रखता है, न कि परीक्षण सेट को सामान्य करने के लिए संख्याओं को अच्छी तरह से समझता है।

छंटनी राष्ट्रीय सभा की एक गंभीर समस्या है। यह आधुनिक एनएस के लिए विशेष रूप से सच है, जिसमें आमतौर पर वजन और विस्थापन की एक बड़ी मात्रा होती है। प्रभावी प्रशिक्षण के लिए, हमें यह निर्धारित करने के लिए एक तरीका चाहिए कि रिट्रेनिंग कब होती है ताकि रिट्रीट न हो। और हम रिट्रीटिंग के प्रभावों को कम करने में भी सक्षम होना चाहेंगे।

रिट्रेनिंग का पता लगाने का एक स्पष्ट तरीका ऊपर दिए गए दृष्टिकोण का उपयोग करना है, नेटवर्क प्रशिक्षण के दौरान सत्यापन डेटा के साथ काम करने की सटीकता की निगरानी करना है। यदि हम देखते हैं कि सत्यापन डेटा की सटीकता में अब सुधार नहीं हो रहा है, तो हमें प्रशिक्षण बंद कर देना चाहिए। बेशक, कड़ाई से बोलना, यह जरूरी नहीं कि रिट्रीटिंग का संकेत होगा। शायद परीक्षण और प्रशिक्षण डेटा के साथ काम करने की सटीकता एक ही समय में सुधार बंद हो जाएगी। फिर भी इस तरह की रणनीति लागू करने से पीछे हटने से बचा जा सकेगा।

और हम इस रणनीति के एक छोटे से बदलाव का उपयोग करेंगे। याद रखें कि जब हम MNIST में डेटा लोड करते हैं, तो हम उन्हें तीन सेटों में विभाजित करते हैं:

 >>> import mnist_loader >>> training_data, validation_data, test_data = \ ... mnist_loader.load_data_wrapper() 

अब तक हमने training_data और test_data का उपयोग किया है, और validation_data [पुष्टि] को अनदेखा किया है। Validation_data में 10,000 छवियां शामिल हैं, जो MNIST प्रशिक्षण सेट की 50,000 छवियों और सत्यापन सेट की 10,000 छवियों से भिन्न हैं। ओवरफिटिंग को रोकने के लिए test_data का उपयोग करने के बजाय, हम validation_data का उपयोग करेंगे। ऐसा करने के लिए, हम लगभग उसी रणनीति का उपयोग करेंगे जो कि test_data के लिए ऊपर वर्णित की गई थी। यही है, हम प्रत्येक युग के अंत में सत्यापन की वर्गीकरण सटीकता की गणना करेंगे। एक बार सत्यापन की वैधता_दाता भर जाने के बाद, हम सीखना बंद कर देंगे। इस रणनीति को एक शुरुआती पड़ाव कहा जाता है। बेशक, व्यवहार में, हम तुरंत यह पता लगाने में सक्षम नहीं होंगे कि सटीकता संतृप्त है। इसके बजाय, हम तब तक प्रशिक्षण जारी रखेंगे जब तक हम यह सुनिश्चित नहीं करते (और निर्णय लेते हैंजब आपको रुकने की आवश्यकता होती है, तो यह हमेशा आसान नहीं होता है, और आप इसके लिए अधिक या कम आक्रामक दृष्टिकोण का उपयोग कर सकते हैं)।

Test_data के बजाय पुनर्प्रयास को रोकने के लिए validation_data का उपयोग क्यों करें? यह हाइपरपरमेटर्स के लिए विभिन्न विकल्पों का मूल्यांकन करने के लिए सत्यापन_डाटा का उपयोग करने के लिए एक अधिक सामान्य रणनीति का हिस्सा है - सीखने के लिए युगों की संख्या, सीखने की गति, सबसे अच्छा नेटवर्क वास्तुकला, आदि। हम हाइपरपरमेटर्स के लिए अच्छे मूल्यों को खोजने और असाइन करने के लिए इन अनुमानों का उपयोग करते हैं। और हालांकि मैंने अभी तक इसका उल्लेख नहीं किया है, यह आंशिक रूप से इस वजह से था कि मैंने किताब में पहले के उदाहरणों में हाइपरपैरमीटर का विकल्प बनाया था।

बेशक, यह टिप्पणी इस सवाल का जवाब नहीं देती है कि हम ओवरफ़िटिंग को रोकने के लिए सत्यापन_डेटा का उपयोग क्यों करते हैं, और परीक्षण_डेटा का नहीं। यह बस एक और सामान्य प्रश्न के उत्तर को बदल देता है - हम हाइपरपरमेटर्स का चयन करने के लिए सत्यापन_डेटा का उपयोग क्यों करते हैं, और टेस्ट_डेटा का नहीं? इसे समझने के लिए, यह ध्यान रखें कि हाइपरपरमेटर्स चुनते समय, हमें सबसे अधिक संभावना उनके विभिन्न विकल्पों में से चुनने की होती है। यदि हम test_data से रेटिंग के आधार पर हाइपरपैरामीटर असाइन करते हैं, तो हम शायद इस डेटा को विशेष रूप से test_data के लिए बहुत अधिक दर्जी करेंगे। यही है, हम हाइपरपैरमीटर पा सकते हैं जो कि test_data से विशिष्ट डेटा की विशिष्ट विशेषताओं के अनुकूल हैं, हालांकि, हमारे नेटवर्क के संचालन को अन्य डेटा सेटों के लिए सामान्यीकृत नहीं किया जाएगा। हम मान्यकरण_डेटा का उपयोग करके हाइपरपैरामीटर का चयन करके इससे बचते हैं। और फिर, हमें जीपी की आवश्यकता है,हम test_data का उपयोग करके एक अंतिम सटीकता मूल्यांकन करते हैं। यह हमें विश्वास दिलाता है कि test_data के साथ हमारे परिणाम NS के सामान्यीकरण की डिग्री का सही माप हैं। दूसरे शब्दों में, सहायक डेटा एक ऐसा विशेष प्रशिक्षण डेटा है जो हमें अच्छा GP सीखने में मदद करता है। GPs का पता लगाने के लिए इस दृष्टिकोण को कभी-कभी अवधारण विधि कहा जाता है, क्योंकि validation_data को प्रशिक्षण-दाता से अलग "आयोजित" किया जाता है।

व्यवहार में, test_data पर काम की गुणवत्ता का मूल्यांकन करने के बाद भी, हम अपने दिमाग को बदलना चाहेंगे और एक अलग दृष्टिकोण की कोशिश करेंगे - शायद एक अलग नेटवर्क वास्तुकला - जिसमें जीपी के नए सेट की खोज शामिल होगी। इस मामले में, क्या कोई खतरा है कि हम अनावश्यक रूप से test_data के लिए अनुकूल होंगे? क्या हमें एक संभावित अनंत संख्या में डेटा सेट की आवश्यकता होगी ताकि हम सुनिश्चित कर सकें कि हमारे परिणाम अच्छी तरह से सामान्यीकृत हैं? सामान्य तौर पर, यह एक गहरी और जटिल समस्या है। लेकिन हमारे व्यावहारिक उद्देश्यों के लिए, हम इस बारे में बहुत ज्यादा चिंता नहीं करेंगे। हम केवल ऊपर बताए गए अनुसार प्रशिक्षण_धाटा, सत्यापन_दाता और परीक्षण_दाता पर आधारित एक सरल अवधारण पद्धति का उपयोग करके आगे के शोध में गोता लगाते हैं।

अब तक, हम 1000 प्रशिक्षण छवियों का उपयोग करके पुन: प्रयास करने पर विचार कर रहे हैं। यदि हम 50,000 छवियों के पूर्ण प्रशिक्षण सेट का उपयोग करते हैं तो क्या होगा? हम अन्य सभी मापदंडों को अपरिवर्तित छोड़ देंगे (30 छिपे हुए न्यूरॉन्स, सीखने की गति 0.5, मिनी-पैकेट आकार 10), लेकिन हम सभी 50,000 चित्रों का उपयोग करके 30 युगों का अध्ययन करेंगे। यहां एक ग्राफ है जो प्रशिक्षण डेटा और परीक्षण डेटा पर वर्गीकरण की सटीकता को दर्शाता है। ध्यान दें कि यहाँ मैंने सत्यापन डेटा के बजाय सत्यापन डेटा का उपयोग किया था ताकि पहले के ग्राफ़ के साथ परिणामों की तुलना करना आसान हो सके।



यह देखा जा सकता है कि परीक्षण और प्रशिक्षण डेटा पर सटीकता संकेतक 1000 प्रशिक्षण उदाहरणों का उपयोग करते समय एक दूसरे के करीब रहते हैं। विशेष रूप से, सबसे अच्छा वर्गीकरण सटीकता, 97.86%, सत्यापन डेटा के 95.33% से केवल 2.53% अधिक है। 17.73% के शुरुआती ब्रेक के साथ तुलना करें! रिट्रीटिंग हो रही है, लेकिन बहुत कम हो गई है। हमारा नेटवर्क सूचनाओं को बेहतर ढंग से संकलित करता है, प्रशिक्षण से लेकर परीक्षण डेटा तक। सामान्य तौर पर, रिट्रेनिंग को कम करने के सर्वोत्तम तरीकों में से एक प्रशिक्षण डेटा की मात्रा को बढ़ाना है। पर्याप्त प्रशिक्षण डेटा के साथ, यहां तक ​​कि एक बहुत बड़े नेटवर्क को पुनः प्राप्त करना मुश्किल है। दुर्भाग्य से, प्रशिक्षण डेटा प्राप्त करना महंगा और / या कठिन है, इसलिए यह विकल्प हमेशा व्यावहारिक नहीं होता है।

नियमितीकरण

प्रशिक्षण डेटा की मात्रा में वृद्धि करना रिट्रेनिंग को कम करने का एक तरीका है। क्या रिट्रीटिंग को कम करने के अन्य तरीके हैं? नेटवर्क आकार को कम करने के लिए एक संभावित दृष्टिकोण है। सच है, बड़े नेटवर्क में छोटे लोगों की तुलना में अधिक क्षमता होती है, इसलिए हम इस विकल्प का सहारा लेने से हिचकते हैं।

सौभाग्य से, ऐसी अन्य तकनीकें हैं जो रिट्रेनिंग को कम कर सकती हैं, यहां तक ​​कि जब हमने नेटवर्क और प्रशिक्षण डेटा का आकार तय किया है। उन्हें नियमितीकरण तकनीकों के रूप में जाना जाता है। इस अध्याय में, मैं सबसे लोकप्रिय तकनीकों में से एक का वर्णन करूंगा, जिसे कभी-कभी कमजोर वजन कहा जाता है, या एल 2 को नियमित करना। उनका विचार एक अतिरिक्त सदस्य को जोड़ना है जिसे लागत समारोह में नियमितीकरण सदस्य कहा जाता है। यहाँ नियमितीकरण के साथ क्रॉस-एन्ट्रापी है:

$$

$$C = -\frac{1}{n} \sum_{xj} \left[ y_j \ln a^L_j+(1-y_j) \ln (1-a^L_j)\right] + \frac{\lambda}{2n} \sum_w w^2 \tag{85}$$

पहला शब्द क्रॉस एन्ट्रॉपी के लिए एक सामान्य अभिव्यक्ति है। लेकिन हमने एक दूसरे को जोड़ा, अर्थात्, सभी नेटवर्क भार के वर्गों का योग। यह कारक λ / 2n द्वारा बढ़ाया जाता है, जहां λ> 0 नियमितीकरण पैरामीटर है, और n, हमेशा की तरह, प्रशिक्षण सेट का आकार है। हम चर्चा करेंगे कि λ कैसे चुनें। यह भी ध्यान देने योग्य है कि पूर्वाग्रह नियमितीकरण शब्द में शामिल नहीं हैं। इसके बारे में नीचे।

बेशक, अन्य लागत कार्यों को नियमित करना संभव है, उदाहरण के लिए, द्विघात। यह एक समान तरीके से किया जा सकता है:

$$

$$C = \frac{1}{2n} \sum_x \|y-a^L\|^2 + \frac{\lambda}{2n} \sum_w w^2 \tag{86}$$

दोनों ही मामलों में, हम नियमित रूप से लागत फ़ंक्शन लिख सकते हैं

$$

$$C = C_0 + \frac{\lambda}{2n} \sum_w w^2 \tag{87}$$

जहाँ C ₀ नियमितीकरण के बिना मूल लागत कार्य है।

यह सहज रूप से स्पष्ट है कि नियमितीकरण की बात यह है कि छोटे वजन को पसंद करने के लिए नेटवर्क को राजी करना है, अन्य सभी चीजें समान हैं। बड़े वजन केवल तभी संभव होंगे जब वे लागत समारोह के पहले भाग में सुधार करेंगे। दूसरे शब्दों में, नियमितीकरण छोटे वजन खोजने और प्रारंभिक लागत फ़ंक्शन को कम करने के बीच एक समझौता चुनने का एक तरीका है। यह महत्वपूर्ण है कि समझौता के ये दो तत्व λ के मूल्य पर निर्भर करते हैं: जब λ छोटा होता है, तो हम मूल लागत फ़ंक्शन को कम करना पसंद करते हैं, और जब λ बड़ा होता है, तो हम छोटे वजन पसंद करते हैं।

यह बिल्कुल स्पष्ट नहीं है कि इस तरह के एक समझौते का चुनाव मुकरने को कम करने में मदद क्यों करे! लेकिन यह पता चला है कि यह मदद करता है। हम यह पता लगाएंगे कि यह अगले भाग में क्यों मदद करता है। लेकिन पहले, आइए एक उदाहरण के साथ काम करते हैं जो दिखा रहा है कि नियमितीकरण रिट्रेनिंग को कम करता है।

एक उदाहरण का निर्माण करने के लिए, हमें सबसे पहले यह समझना होगा कि नियमित एनएस के लिए स्टॉचस्टिक ग्रेडिएंट वंश के साथ प्रशिक्षण एल्गोरिदम को कैसे लागू किया जाए। विशेष रूप से, हमें यह जानने की जरूरत है कि नेटवर्क में सभी भार और ऑफसेट के लिए आंशिक डेरिवेटिव, ∂C / ∂w और ∂C / web की गणना कैसे करें। समीकरण में आंशिक व्युत्पत्ति लेने के बाद (87) हमें मिलता है:

$$

$$\frac{\partial C}{\partial w} = \frac{\partial C_0}{\partial w} + \frac{\lambda}{n} w \tag{88}$$

$$

$$\frac{\partial C}{\partial b} = \frac{\partial C_0}{\partial b} \tag{89}$$

शब्द ∂C ₀ / ∂w और ∂C ₀ / bew की गणना ओपी के माध्यम से की जा सकती है, जैसा कि पिछले अध्याय में वर्णित है। हम देखते हैं कि नियमित लागत फ़ंक्शन के ग्रेडिएंट की गणना करना आसान है: आपको बस हमेशा की तरह ओपी का उपयोग करने की आवश्यकता है, और फिर सभी भार शब्दों के आंशिक व्युत्पन्न में λ / nw जोड़ें। विस्थापन के संबंध में आंशिक डेरिवेटिव नहीं बदलते हैं, इसलिए, विस्थापन के लिए ढाल वंश द्वारा सीखने का नियम सामान्य से अलग नहीं होता है:

$$

$$b \rightarrow b -\eta \frac{\partial C_0}{\partial b} \tag{90}$$

वजन के लिए प्रशिक्षण नियम में बदल जाता है:

$$

$$w \rightarrow w-\eta \frac{\partial C_0}{\partial w}-\frac{\eta \lambda}{n} w \tag{91}$$

$$

$$= \left(1-\frac{\eta \lambda}{n}\right) w -\eta \frac{\partial C_0}{\partial w} \tag{92}$$

सब कुछ सामान्य ढाल वंश नियम के समान है, सिवाय इसके कि हम पहली बार 1 - .λ / n के कारक द्वारा भार w को मापते हैं। इस स्केलिंग को कभी-कभी वजन घटाने कहा जाता है, क्योंकि यह वजन कम करता है। पहली नज़र में, ऐसा लगता है कि वज़न चिड़चिड़े रूप से शून्य हो गया है। लेकिन ऐसा नहीं है, क्योंकि दूसरे कार्यकाल में वजन में वृद्धि हो सकती है अगर यह अनियमित लागत फ़ंक्शन में कमी की ओर जाता है।

ठीक है, इस तरह से ढाल वंश कार्य करते हैं। स्टोकेस्टिक क्रमिक वंश के बारे में क्या? खैर, स्टोकेस्टिक ग्रेडिएंट वंश के अनियमित संस्करण के रूप में, हम examplesC ₀ / thew अनुमान लगा सकते हैं कि एम -प्रशिक्षण उदाहरणों के मिनी-पैकेज पर औसत के माध्यम से। इसलिए, स्टोचस्टिक ढाल वंश के लिए नियमित रूप से सीखने का नियम (समीकरण (20) देखें) में बदल जाता है:

$$

$$w \rightarrow \left(1-\frac{\eta \lambda}{n}\right) w -\frac{\eta}{m} \sum_x \frac{\partial C_x}{\partial w} \tag{93}$$

जहाँ योग लघु-पैकेज में x उदाहरण के प्रशिक्षण के लिए जाता है, और C _x प्रत्येक प्रशिक्षण उदाहरण के लिए अनियमित लागत है। वजन घटाने के कारक 1 - inλ / n के अपवाद के साथ स्टोचस्टिक ढाल वंश के सामान्य नियम में सब कुछ वैसा ही है। अंत में, तस्वीर को पूरा करने के लिए, मुझे ऑफसेट के लिए एक नियमित नियम लिखना चाहिए। स्वाभाविक रूप से, यह अनियमित मामले में बिल्कुल वैसा ही है (देखें समीकरण (21)):

$$

$$b \rightarrow b - \frac{\eta}{m} \sum_x \frac{\partial C_x}{\partial b} \tag{94}$$

जहां राशि मिनी-पैकेज में प्रशिक्षण उदाहरण x के लिए जाती है।

आइए देखें कि नियमितीकरण हमारे नेशनल असेंबली की प्रभावशीलता को कैसे बदलता है। हम 30 छिपे हुए न्यूरॉन्स के साथ एक नेटवर्क का उपयोग करेंगे, आकार 10 का एक मिनी-पैकेट, 0.5 की सीखने की गति और क्रॉस एन्ट्रोपी के साथ एक लागत फ़ंक्शन। हालाँकि, इस बार हम नियमितीकरण पैरामीटर λ = 0.1 का उपयोग करते हैं। कोड में, मैंने इस वेरिएबल लम्बडा को नाम दिया है, क्योंकि लैम्बडा शब्द हमारे विषय से संबंधित चीजों के लिए अजगर में आरक्षित है। मैंने सत्यापन_दाता के बजाय फिर से test_data का उपयोग किया। लेकिन मैंने test_data का उपयोग करने का निर्णय लिया, क्योंकि परिणामों की तुलना हमारे शुरुआती, अनियमित परिणामों से सीधे की जा सकती है। आप आसानी से कोड को बदल सकते हैं ताकि यह सत्यापन_डेटा का उपयोग करे और सुनिश्चित करें कि परिणाम समान हैं।

 >>> import mnist_loader >>> training_data, validation_data, test_data = \ ... mnist_loader.load_data_wrapper() >>> import network2 >>> net = network2.Network([784, 30, 10], cost=network2.CrossEntropyCost) >>> net.large_weight_initializer() >>> net.SGD(training_data[:1000], 400, 10, 0.5, ... evaluation_data=test_data, lmbda = 0.1, ... monitor_evaluation_cost=True, monitor_evaluation_accuracy=True, ... monitor_training_cost=True, monitor_training_accuracy=True) 

प्रशिक्षण डेटा की लागत लगातार कम हो रही है, जैसे कि शुरुआती मामले में, नियमितीकरण के बिना:



लेकिन इस बार, सभी 400 युगों में test_data पर सटीकता बढ़ रही है:



जाहिर है, नियमितीकरण ने रिट्रेनिंग को दबा दिया है। इसके अलावा, सटीकता में काफी वृद्धि हुई है, और नियमितीकरण के मामले में प्राप्त 82.27% शिखर के साथ तुलना में चोटी वर्गीकरण सटीकता 87.1% तक पहुंच जाती है। सामान्य तौर पर, हम लगभग 400 युगों के बाद अध्ययन जारी रखते हुए बेहतर परिणाम प्राप्त करते हैं। व्यावहारिक रूप से, नियमितीकरण हमारे नेटवर्क को बेहतर सामान्य ज्ञान बनाने के लिए लगता है, और रिट्रेनिंग के प्रभावों को काफी कम करता है।

यदि हम अपने कृत्रिम वातावरण को छोड़ देते हैं, तो क्या होता है, जो केवल 1,000 शिक्षण चित्रों का उपयोग करता है, और 50,000 छवियों के पूर्ण सेट पर लौटता है? बेशक, हम पहले ही देख चुके हैं कि 50,000 छवियों के पूर्ण सेट के साथ रिट्रेनिंग एक बहुत छोटी समस्या है। क्या नियमितीकरण परिणाम को बेहतर बनाने में मदद करता है? आइए हाइपरपैरमीटर के पिछले मानों को रखें - 30 युग, गति 0.5, मिनी-पैकेट आकार 10. हालांकि, हमें नियमितीकरण पैरामीटर को बदलने की आवश्यकता है। तथ्य यह है कि प्रशिक्षण सेट का आकार n 1000 से 50 000 तक उछल गया, और इससे वजन 1 - 1λ / n के कमजोर पड़ने वाला कारक बदल जाता है। यदि हम λ = 0.1 का उपयोग करना जारी रखते हैं, तो इसका मतलब यह होगा कि वज़न बहुत कम हो गया है, और परिणामस्वरूप, नियमितीकरण का प्रभाव कम हो जाता है। हम λ = 5.0 को स्वीकार करके इसके लिए क्षतिपूर्ति करते हैं।

ठीक है, चलो पहले वजन को फिर से बढ़ाकर अपने नेटवर्क को प्रशिक्षित करेंगे:

 >>> net.large_weight_initializer() >>> net.SGD(training_data, 30, 10, 0.5, ... evaluation_data=test_data, lmbda = 5.0, ... monitor_evaluation_accuracy=True, monitor_training_accuracy=True) 

हमें परिणाम मिलते हैं:



बहुत सारी सुखद चीजें। सबसे पहले, सत्यापन डेटा पर हमारी वर्गीकरण सटीकता बढ़ गई है, नियमितीकरण के बिना 95.49% से नियमितीकरण के साथ 96.49% तक। यह एक बड़ा सुधार है। दूसरे, यह देखा जा सकता है कि प्रशिक्षण और परीक्षण सेट पर काम के परिणामों के बीच की खाई पहले की तुलना में बहुत कम है, 1% से कम है। अंतर अभी भी सभ्य है, लेकिन हमने स्पष्ट रूप से रिट्रेनिंग को कम करने में महत्वपूर्ण प्रगति की है।

अंत में, 100 छिपे हुए न्यूरॉन्स और नियमितीकरण पैरामीटर और लैम्बडा = 5.0 का उपयोग करते समय हमें कौन सी वर्गीकरण सटीकता मिलती है। मैं रिट्रेनिंग का एक विस्तृत विश्लेषण नहीं दूंगा, यह सिर्फ मनोरंजन के लिए है, यह देखने के लिए कि हमारे नए ट्रिक्स के साथ कितनी सटीकता प्राप्त की जा सकती है: क्रॉस एंट्रोपी और एल 2 के नियमितीकरण के साथ एक लागत समारोह।

 >>> net = network2.Network([784, 100, 10], cost=network2.CrossEntropyCost) >>> net.large_weight_initializer() >>> net.SGD(training_data, 30, 10, 0.5, lmbda=5.0, ... evaluation_data=validation_data, ... monitor_evaluation_accuracy=True) 

अंतिम परिणाम सहायक डेटा पर 97.92% की वर्गीकरण सटीकता है। 30 छिपे हुए न्यूरॉन्स के साथ मामले की तुलना में एक बड़ी छलांग। आप थोड़ा और ठीक कर सकते हैं, s = 0.1 और λ = 5.0 के साथ 60 युगों के लिए प्रक्रिया शुरू करें और 98% की बाधा को पार करें, सहायक डेटा पर 98.04 की सटीकता तक पहुंचें। कोड की 152 लाइनों के लिए बुरा नहीं है!

मैंने नियमितीकरण को रीट्रेनिंग को कम करने और वर्गीकरण सटीकता को बढ़ाने के तरीके के रूप में वर्णित किया। लेकिन ये केवल इसके फायदे नहीं हैं। जाहिर है, कई बार हमारे नेटवर्क MNIST को लॉन्च करने की कोशिश करने के बाद, हर बार वज़न बदलते हुए, मैंने पाया कि नियमितीकरण के बिना कभी-कभी लॉन्च होता है "अटक गया", जाहिर है, लागत समारोह के स्थानीय न्यूनतम में गिर रहा है। नतीजतन, कभी-कभी अलग-अलग लॉन्च ने बहुत अलग परिणाम उत्पन्न किए। और नियमितीकरण, इसके विपरीत, आपको बहुत आसान प्रतिलिपि प्रस्तुत करने योग्य परिणाम प्राप्त करने की अनुमति देता है।

ऐसा क्यों है? स्वाभाविक रूप से, जब लागत फ़ंक्शन का नियमितीकरण नहीं होता है, तो वजन के वेक्टर की लंबाई सबसे अधिक बढ़ने की संभावना होगी, अन्य सभी चीजें समान होंगी। समय के साथ, यह वजन के एक बहुत बड़े वेक्टर को जन्म दे सकता है। और इस वजह से, तराजू का वेक्टर फंस सकता है, लगभग एक ही दिशा में दिखा रहा है, क्योंकि ढाल वंश के कारण परिवर्तन वेक्टर की एक बड़ी लंबाई के साथ दिशा में केवल छोटे बदलाव करते हैं। मेरा मानना ​​है कि इस घटना के कारण, हमारे प्रशिक्षण एल्गोरिदम के लिए वजन के स्थान का सही ढंग से अध्ययन करना बहुत मुश्किल है, और इसलिए लागत फ़ंक्शन का एक अच्छा न्यूनतम खोजना मुश्किल है।