तंत्रिका नेटवर्क और गहन सीखने, अध्याय 3, भाग 3: कैसे तंत्रिका नेटवर्क हाइपरपरमेटर्स चुनने के लिए?

अब तक, मैंने यह नहीं बताया है कि मैं हाइपरपरमेटर्स के मूल्यों को कैसे चुनता हूं - सीखने की दर I, नियमितीकरण पैरामीटर λ, और इसी तरह। मैंने सिर्फ अच्छा काम करने का मान दिया। व्यवहार में, जब आप किसी समस्या पर हमला करने के लिए एक तंत्रिका नेटवर्क का उपयोग करते हैं, तो अच्छे हाइपरपरमेटर्स ढूंढना मुश्किल हो सकता है। उदाहरण के लिए, कल्पना करें कि हमें केवल MNIST समस्या के बारे में बताया गया था, और हमने इस पर काम करना शुरू कर दिया था, न कि उपयुक्त हाइपरपैरमीटर के मूल्यों के बारे में कुछ भी जानना। मान लें कि हम संयोग से भाग्यशाली थे, और पहले प्रयोगों में हमने कई हाइपरपैरेटर्स को चुना जैसा कि हमने पहले ही इस अध्याय में किया है: 30 छिपे हुए न्यूरॉन्स, 10 का एक मिनी-पैकेट आकार, 30 युगों के लिए प्रशिक्षण और क्रॉस एन्ट्रॉपी का उपयोग। हालाँकि, हमने सीखने की दर 10.0 = 10.0 और नियमितीकरण पैरामीटर λ = 1000.0 को चुना। और यहाँ मैंने इस तरह के रन के साथ देखा है:

>>> import mnist_loader >>> training_data, validation_data, test_data = \ ... mnist_loader.load_data_wrapper() >>> import network2 >>> net = network2.Network([784, 30, 10]) >>> net.SGD(training_data, 30, 10, 10.0, lmbda = 1000.0, ... evaluation_data=validation_data, monitor_evaluation_accuracy=True) Epoch 0 training complete Accuracy on evaluation data: 1030 / 10000 Epoch 1 training complete Accuracy on evaluation data: 990 / 10000 Epoch 2 training complete Accuracy on evaluation data: 1009 / 10000 ... Epoch 27 training complete Accuracy on evaluation data: 1009 / 10000 Epoch 28 training complete Accuracy on evaluation data: 983 / 10000 Epoch 29 training complete Accuracy on evaluation data: 967 / 10000 

हमारा वर्गीकरण यादृच्छिक नमूने से बेहतर काम नहीं करता है! हमारा नेटवर्क एक यादृच्छिक शोर जनरेटर के रूप में काम करता है!

"ठीक है, यह तय करना आसान है," आप कह सकते हैं, "बस सीखने की गति और नियमितीकरण जैसे हाइपरपरमेटर्स को कम करें।" दुर्भाग्य से, एक प्राथमिकता आपके पास इस बारे में जानकारी नहीं है कि इन हाइपरपैरामीटरों को आपके द्वारा समायोजित करने की क्या आवश्यकता है। शायद मुख्य समस्या यह है कि हमारे 30 छिपे हुए न्यूरॉन्स कभी भी काम नहीं करेंगे, भले ही अन्य हाइपरपामेटर्स का चयन कैसे किया जाए? शायद हमें कम से कम 100 छिपे हुए न्यूरॉन्स की आवश्यकता है? या 300? या बहुत सारी छिपी हुई परतें? या आउटपुट कोडिंग के लिए एक अलग दृष्टिकोण? हो सकता है कि हमारा नेटवर्क सीख रहा हो, लेकिन हमें इसे और अधिक प्रशिक्षित करने की आवश्यकता है? हो सकता है कि मिनी पैकेट का आकार बहुत छोटा हो? हो सकता है कि अगर हम मूल्य के द्विघात समारोह में लौटते हैं तो हम बेहतर कर सकते हैं? हो सकता है कि हम वज़न को कम करने के लिए एक अलग दृष्टिकोण की कोशिश करें? वगैरह वगैरह। हाइपरपरमेटर्स के स्थान में यह खो जाना आसान है। और यह वास्तव में बहुत असुविधा ला सकता है यदि आपका नेटवर्क बहुत बड़ा है, या भारी मात्रा में प्रशिक्षण डेटा का उपयोग करता है, और आप परिणाम प्राप्त किए बिना इसे घंटों, दिनों या हफ्तों के लिए प्रशिक्षित कर सकते हैं। ऐसी स्थिति में आपका आत्मविश्वास गुजरने लगता है। शायद तंत्रिका नेटवर्क आपकी समस्या को हल करने के लिए गलत दृष्टिकोण थे? शायद आप छोड़ दें और मधुमक्खी पालन करें?

इस खंड में, मैं कुछ हेयुरिस्टिक दृष्टिकोणों की व्याख्या करूंगा, जिनका उपयोग आप हाइपरपैरामीटर को तंत्रिका नेटवर्क में कॉन्फ़िगर करने के लिए कर सकते हैं। लक्ष्य आपको एक वर्कफ़्लो को काम करने में मदद करना है जो आपको हाइपरपैरामीटर को अच्छी तरह से कॉन्फ़िगर करने की अनुमति देता है। बेशक, मैं हाइपरपरमेटर ऑप्टिमाइज़ेशन के पूरे विषय को कवर नहीं कर सकता। यह एक बहुत बड़ा क्षेत्र है, और यह एक समस्या नहीं है जिसे पूरी तरह से हल किया जा सकता है, या इसे हल करने के लिए सही रणनीतियों पर सामान्य सहमति है। हमेशा अपने तंत्रिका नेटवर्क से अतिरिक्त परिणाम निचोड़ने के लिए कुछ अन्य चाल की कोशिश करने का अवसर होता है। लेकिन इस खंड में मौजूद आंकड़े आपको एक प्रारंभिक बिंदु देना चाहिए।

सामान्य रणनीति

एक नई समस्या पर हमला करने के लिए तंत्रिका नेटवर्क का उपयोग करते समय, पहली कठिनाई नेटवर्क से गैर-तुच्छ परिणाम प्राप्त करना है, अर्थात, एक यादृच्छिक संभावना से अधिक है। यह आश्चर्यजनक रूप से कठिन हो सकता है, खासकर जब आप कार्यों के एक नए वर्ग के साथ सामना कर रहे हैं। आइए कुछ रणनीतियों को देखें जो इस तरह की कठिनाई के लिए उपयोग की जा सकती हैं।

उदाहरण के लिए, मान लीजिए कि आप MNIST कार्य पर हमला करने वाले पहले व्यक्ति हैं। आप बहुत उत्साह के साथ शुरू करते हैं, लेकिन आपके पहले नेटवर्क की पूर्ण विफलता थोड़ा हतोत्साहित करने वाली है, जैसा कि ऊपर दिए गए उदाहरण में वर्णित है। फिर आपको भागों में समस्या को अलग करने की आवश्यकता है। आपको शून्य और लोगों की छवियों को छोड़कर सभी प्रशिक्षण और सहायक छवियों से छुटकारा पाने की आवश्यकता है। फिर 1 से 0 को अलग करने के लिए नेटवर्क को प्रशिक्षित करने का प्रयास करें। यह कार्य न केवल अनिवार्य रूप से सभी दस अंकों को अलग करने से आसान है, बल्कि प्रशिक्षण डेटा की मात्रा को 80% तक कम कर देता है, 5 बार सीखने की गति बढ़ जाती है। यह आपको बहुत तेज़ी से प्रयोगों का संचालन करने की अनुमति देता है, और आपको एक अच्छा नेटवर्क बनाने के लिए जल्दी से समझने का अवसर देता है।

नेटवर्क को न्यूनतम आकार तक कम करके प्रयोगों को और तेज किया जा सकता है जो सार्थक रूप से प्रशिक्षित होने की संभावना है। अगर आपको लगता है कि नेटवर्क [784, 10] एक यादृच्छिक नमूने से बेहतर MNIST अंकों को वर्गीकृत करने में सक्षम होने की संभावना है, तो इसके साथ प्रयोग करना शुरू करें। यह प्रशिक्षण [784, 30, 10] की तुलना में बहुत तेज होगा, और आप इसे बाद में विकसित कर सकते हैं।

ट्रैकिंग की आवृत्ति बढ़ाकर प्रयोगों का एक और त्वरण प्राप्त किया जा सकता है। Network2.py में, हम प्रत्येक युग के अंत में कार्य की गुणवत्ता को ट्रैक करते हैं। नेटवर्क के सीखने की गुणवत्ता पर प्रतिक्रिया प्राप्त करने से पहले, नेटवर्क पर the, ,४, ३०, १०] पढ़ते समय, ५०,००० छवियों को प्रति युग में संसाधित करना, हमें लंबे समय तक इंतजार करना होगा - मेरे लैपटॉप पर प्रति सेकंड लगभग १० सेकंड। बेशक, दस सेकंड इतना लंबा नहीं है, लेकिन अगर आप कई दर्जनों विभिन्न हाइपरपामेटर्स की कोशिश करना चाहते हैं, तो यह गुस्सा करना शुरू कर देता है, और यदि आप सैकड़ों या हजारों विकल्पों का प्रयास करना चाहते हैं, तो यह सिर्फ विनाश करता है। पुष्टि सटीकता को अधिक बार ट्रैक करके प्रतिक्रिया प्राप्त की जा सकती है, उदाहरण के लिए, प्रत्येक 1000 प्रशिक्षण चित्र। इसके अलावा, 10,000 पुष्टिकरण चित्रों के पूर्ण सेट का उपयोग करने के बजाय, हम केवल 100 पुष्टिकरण छवियों का उपयोग करके बहुत तेज़ी से अनुमान लगा सकते हैं। मुख्य बात यह है कि नेटवर्क वास्तव में सीखने के लिए पर्याप्त छवियां देखता है, और प्रभावशीलता का एक अच्छा पर्याप्त अनुमान प्राप्त करने के लिए। बेशक, हमारा network2.py अभी तक ऐसी ट्रैकिंग प्रदान नहीं करता है। लेकिन उदाहरण के लिए इस प्रभाव को प्राप्त करने के लिए बैसाखी के रूप में, हम पहले 1000 एमएनआईएसटी छवियों के लिए अपने प्रशिक्षण डेटा को क्रॉप करते हैं। आइए देखें कि क्या होता है (कोड की सादगी के लिए, मैंने केवल छवियों 0 और 1 को छोड़ने के विचार का उपयोग नहीं किया - यह थोड़ा और प्रयास के साथ भी महसूस किया जा सकता है)।

 >>> net = network2.Network([784, 10]) >>> net.SGD(training_data[:1000], 30, 10, 10.0, lmbda = 1000.0, \ ... evaluation_data=validation_data[:100], \ ... monitor_evaluation_accuracy=True) Epoch 0 training complete Accuracy on evaluation data: 10 / 100 Epoch 1 training complete Accuracy on evaluation data: 10 / 100 Epoch 2 training complete Accuracy on evaluation data: 10 / 100 ... 

हमें अभी भी शुद्ध शोर मिलता है, लेकिन हमारे पास एक बड़ा फायदा है: प्रतिक्रिया एक सेकंड के अंशों में अपडेट की जाती है, और हर दस सेकंड में नहीं। इसका मतलब यह है कि आप हाइपरपरमेटर्स के चयन के साथ बहुत तेजी से प्रयोग कर सकते हैं, या यहां तक ​​कि कई अलग-अलग हाइपरपैरमीटर के साथ लगभग एक साथ प्रयोग कर सकते हैं।

उपरोक्त उदाहरण में, मैंने पहले की तरह λ का मूल्य 1000.0 के बराबर छोड़ दिया। लेकिन चूंकि हमने प्रशिक्षण के उदाहरणों की संख्या को बदल दिया है, इसलिए हमें λ को बदलने की आवश्यकता है ताकि भार का कमजोर होना समान हो। इसका मतलब है कि हम 20.0 तक λ को बदलते हैं। इस स्थिति में, निम्नलिखित बदल जाएगा:

 >>> net = network2.Network([784, 10]) >>> net.SGD(training_data[:1000], 30, 10, 10.0, lmbda = 20.0, \ ... evaluation_data=validation_data[:100], \ ... monitor_evaluation_accuracy=True) Epoch 0 training complete Accuracy on evaluation data: 12 / 100 Epoch 1 training complete Accuracy on evaluation data: 14 / 100 Epoch 2 training complete Accuracy on evaluation data: 25 / 100 Epoch 3 training complete Accuracy on evaluation data: 18 / 100 ... 

अहा! हमारे पास एक संकेत है। विशेष रूप से अच्छा नहीं है, लेकिन वहाँ है। इसे पहले से ही एक शुरुआती बिंदु के रूप में लिया जा सकता है, और आगे के सुधार प्राप्त करने के लिए हाइपरपैरामीटर को बदल सकते हैं। मान लीजिए हम तय करते हैं कि हमें सीखने की गति बढ़ाने की आवश्यकता है (जैसा कि आप शायद समझ गए, हमने गलत तरीके से फैसला किया, इस कारण से कि हम बाद में चर्चा करेंगे, लेकिन आइए अब इसके लिए ऐसा करने की कोशिश करें)। हमारे अनुमान का परीक्षण करने के लिए, हम our 100.0 पर मुड़ते हैं:

 >>> net = network2.Network([784, 10]) >>> net.SGD(training_data[:1000], 30, 10, 100.0, lmbda = 20.0, \ ... evaluation_data=validation_data[:100], \ ... monitor_evaluation_accuracy=True) Epoch 0 training complete Accuracy on evaluation data: 10 / 100 Epoch 1 training complete Accuracy on evaluation data: 10 / 100 Epoch 2 training complete Accuracy on evaluation data: 10 / 100 Epoch 3 training complete Accuracy on evaluation data: 10 / 100 ... 

सब बुरा है! जाहिर है, हमारा अनुमान गलत था, और समस्या सीखने की गति के बहुत कम मूल्य में नहीं थी। हम 1.0 के एक छोटे से मान को कसने की कोशिश करते हैं:

 >>> net = network2.Network([784, 10]) >>> net.SGD(training_data[:1000], 30, 10, 1.0, lmbda = 20.0, \ ... evaluation_data=validation_data[:100], \ ... monitor_evaluation_accuracy=True) Epoch 0 training complete Accuracy on evaluation data: 62 / 100 Epoch 1 training complete Accuracy on evaluation data: 42 / 100 Epoch 2 training complete Accuracy on evaluation data: 43 / 100 Epoch 3 training complete Accuracy on evaluation data: 61 / 100 ... 

यह बेहतर है! और इसलिए हम आगे भी जारी रख सकते हैं, प्रत्येक हाइपरपरमीटर को घुमा सकते हैं, और धीरे-धीरे दक्षता में सुधार कर सकते हैं। स्थिति का अध्ययन करने और the के लिए एक बेहतर मूल्य खोजने के बाद, हम λ के लिए एक अच्छे मूल्य की खोज के लिए आगे बढ़ते हैं। फिर हम एक अधिक जटिल वास्तुकला के साथ एक प्रयोग करेंगे, उदाहरण के लिए, 10 छिपे हुए न्यूरॉन्स के नेटवर्क के साथ। फिर, हम फिर से we और λ के मापदंडों को ठीक करते हैं। फिर हम नेटवर्क को 20 छिपे हुए न्यूरॉन्स तक बढ़ाएंगे। हाइपरपरमेटर्स को थोड़ा ट्विक करें। और इसी तरह, हमारे समर्थन डेटा के हिस्से का उपयोग करके प्रत्येक चरण में प्रभावशीलता का मूल्यांकन, और इन अनुमानों का उपयोग करके सभी सर्वश्रेष्ठ हाइपरपैरमीटर का चयन करें। सुधार की प्रक्रिया में, ट्यूनिंग हाइपरपामेटर्स के प्रभाव को देखने के लिए अधिक से अधिक समय लगता है, इसलिए हम धीरे-धीरे ट्रैकिंग आवृत्ति को कम कर सकते हैं।

एक समग्र रणनीति के रूप में, यह दृष्टिकोण आशाजनक है। हालाँकि, मैं हाइपरपैरामीटर की खोज में उस पहले कदम पर लौटना चाहता हूं जो नेटवर्क को कम से कम किसी तरह सीखने की अनुमति देता है। वास्तव में, उपरोक्त उदाहरण में भी, स्थिति बहुत आशावादी थी। एक नेटवर्क के साथ काम करना जो कुछ भी नहीं सीखता है वह बेहद परेशान कर सकता है। आप कई दिनों के लिए हाइपरपरमेटर्स को समायोजित कर सकते हैं, और सार्थक उत्तर प्राप्त नहीं कर सकते हैं। इसलिए, मैं एक बार फिर जोर देना चाहूंगा कि शुरुआती चरणों में आपको यह सुनिश्चित करने की आवश्यकता है कि आप प्रयोगों से त्वरित प्रतिक्रिया प्राप्त कर सकते हैं। सहज रूप से, ऐसा लग सकता है कि समस्या और वास्तुकला को सरल बनाना आपको धीमा कर देगा। वास्तव में, यह प्रक्रिया को गति देता है, क्योंकि आप एक नेटवर्क को सार्थक संकेत के साथ बहुत तेजी से पा सकते हैं। इस तरह के संकेत प्राप्त करने के बाद, आप अक्सर हाइपरपरमेटर्स ट्यूनिंग करते समय त्वरित सुधार प्राप्त करने में सक्षम होंगे। जैसा कि कई जीवन स्थितियों में, प्रक्रिया शुरू करना सबसे कठिन है।

ठीक है, यह एक सामान्य रणनीति है। अब हाइपरपरमेटर्स को निर्धारित करने के लिए विशिष्ट सिफारिशों पर एक नज़र डालते हैं। मैं सीखने की गति learning, नियमितीकरण पैरामीटर L2 λ, और मिनी-पैकेट के आकार पर ध्यान केंद्रित करूंगा। हालाँकि, अन्य हाइपरपैरमीटर पर कई टिप्पणियाँ लागू होंगी, जिनमें नेटवर्क आर्किटेक्चर से जुड़े लोग, नियमितीकरण के अन्य रूप और कुछ हाइपरपैरामीटर शामिल हैं, जिन्हें हम बाद में किताब में जानेंगे, उदाहरण के लिए, गति गुणांक।

सीखने की गति

मान लीजिए कि हमने तीन एमएनआईएसटी नेटवर्क क्रमशः तीन अलग-अलग सीखने की गति, 25 = 0.025, launched = 0.25, और। = 2.5 के साथ लॉन्च किए। हम हाइपरपैरमीटर के बाकी हिस्सों को छोड़ देंगे क्योंकि वे पिछले वर्गों में थे - 30 युग, मिनी-पैकेट का आकार 10, λ = 5.0 है। हम सभी 50,000 प्रशिक्षण छवियों का उपयोग करके भी लौटेंगे। यहाँ एक ग्राफ है जो प्रशिक्षण की लागत के व्यवहार को दिखाता है (multiple_eta.py प्रोग्राम द्वारा बनाया गया है):



Smoothly = 0.025 पर, लागत अंतिम युग तक आसानी से घट जाती है। Ses = 0.25 के साथ, लागत शुरू में कम हो जाती है, लेकिन 20 युगों के बाद इसे संतृप्त किया जाता है, इसलिए अधिकांश परिवर्तन छोटे हो जाते हैं और, जाहिर है, यादृच्छिक उतार-चढ़ाव। The = 2.5 के साथ, लागत शुरू से ही बहुत भिन्न होती है। इन उतार-चढ़ावों के कारण को समझने के लिए, हम याद करते हैं कि स्टोकेस्टिक ग्रेडिएंट वंश को धीरे-धीरे हमें लागत समारोह की घाटी में कम करना चाहिए:



यह चित्र सहज रूप से कल्पना करने में मदद करता है कि क्या हो रहा है, लेकिन एक पूर्ण और व्यापक स्पष्टीकरण नहीं है। अधिक सटीक, लेकिन संक्षेप में, लागत को कम करने के तरीके को समझने के लिए ग्रेडिएंट वंश लागत फ़ंक्शन के लिए पहले-क्रम सन्निकटन का उपयोग करता है। बड़े members के लिए, उच्च आदेश लागत फ़ंक्शन के सदस्य अधिक महत्वपूर्ण हो जाते हैं, और वे क्रमिक वंश को तोड़कर व्यवहार पर हावी हो सकते हैं। कॉस्ट फ़ंक्शन के मिनिमा और स्थानीय मिनीमा के पास पहुंचने पर यह विशेष रूप से संभावना है, क्योंकि ऐसे बिंदुओं के बगल में ढाल छोटा हो जाता है, जिससे उच्च आदेश के सदस्यों के लिए हावी होना आसान हो जाता है।

हालांकि, अगर η बहुत बड़ा है, तो चरण इतने बड़े होंगे कि वे एक न्यूनतम कूद सकते हैं, जिसके कारण एल्गोरिथ्म घाटी से ऊपर चढ़ जाएगा। संभवतः यह वही है जो कीमत ate = 2.5 पर दोलन करता है। Choice = 0.25 का विकल्प इस तथ्य की ओर जाता है कि प्रारंभिक चरण वास्तव में हमें न्यूनतम लागत फ़ंक्शन की ओर ले जाते हैं, और केवल जब हम इसे प्राप्त करते हैं तो हम कूदने के साथ कठिनाइयों का अनुभव करना शुरू करते हैं। और जब हम 0.0 = 0.025 चुनते हैं, तो पहले 30 युगों के दौरान हमें ऐसी कठिनाइयाँ नहीं होती हैं। बेशक, another के इतने छोटे मूल्य का चयन एक और कठिनाई पैदा करता है - अर्थात्, यह स्टोकेस्टिक क्रमिक वंश को धीमा कर देता है। सबसे अच्छा तरीका η = 0.25 से शुरू करना होगा, 20 युग सीखना होगा, और फिर 0.0 = 0.025 पर जाना होगा। बाद में हम इस तरह के एक चर सीखने की दर पर चर्चा करेंगे। इस बीच, आइए हम सीखने की गति के लिए एक उपयुक्त मूल्य खोजने के सवाल पर ध्यान केंद्रित करें।

इसे ध्यान में रखते हुए, हम निम्नानुसार we चुन सकते हैं। सबसे पहले, हम थ्रेशोल्ड मान का मूल्यांकन करते हैं, जिस पर प्रशिक्षण डेटा की लागत तुरंत कम होने लगती है, लेकिन इसमें उतार-चढ़ाव नहीं होता है और न ही बढ़ता है। इस अनुमान का सटीक होना आवश्यक नहीं है। आदेश का अनुमान by = 0.01 से शुरू किया जा सकता है। यदि पहले कुछ युगों में लागत कम हो जाती है, तो यह η = 0.1, फिर 1.0, और इसी तरह की कोशिश करने के लायक है, जब तक कि आप एक मूल्य नहीं पाते हैं, जिस पर मूल्य में उतार-चढ़ाव या वृद्धि होती है। और इसके विपरीत, यदि मूल्य s = 0.01 के साथ पहले युगों में उतार-चढ़ाव या बढ़ जाता है, तो, = 0.001, 0.00 = 0.0001 का प्रयास करें, जब तक कि आप उस मूल्य को नहीं पा लेते हैं जिस पर पहले कुछ चॉच में लागत कम हो जाती है। यह प्रक्रिया आपको थ्रेशोल्ड मान the का आदेश देगी। यदि आप चाहें, तो आप η के लिए उच्चतम मूल्य चुनकर अपने आकलन को परिष्कृत कर सकते हैं, जिस पर पहले युगों में लागत कम हो जाती है, उदाहरण के लिए, η = 0.5 या η = 0.2 (अल्ट्रा-सटीक यहाँ की आवश्यकता नहीं है)। यह हमें सीमा मूल्य us का अनुमान देता है।

The का वास्तविक मूल्य, जाहिर है, चयनित सीमा से अधिक नहीं होना चाहिए। वास्तव में, कई युगों के लिए उपयोगी बने रहने के लिए, आप थ्रेशोल्ड से दो गुना छोटे मूल्य का बेहतर उपयोग करेंगे। इस तरह का एक विकल्प आमतौर पर आपको अपने सीखने को धीमा किए बिना कई युगों को सीखने की अनुमति देगा।

एमएनआईएसटी डेटा के मामले में, इस रणनीति का पालन करने पर of 0.1 की सीमा का अनुमान होगा। कुछ शोधन के बाद, हमें मूल्य ref = 0.5 मिलता है। उपरोक्त नुस्खा के बाद, हमें अपनी सीखने की गति के लिए 0. = 0.25 का उपयोग करना चाहिए। लेकिन वास्तव में, मैंने पाया कि, = 0.5 ने 30 युगों के लिए अच्छी तरह से काम किया, इसलिए मैं इसे कम करने के बारे में चिंतित नहीं था।

यह सब बहुत सीधा लगता है। हालांकि, select चयन करने के लिए प्रशिक्षण की लागत का उपयोग करके जो मैंने पहले कहा था, उसके विपरीत लगता है - कि हम हाइपरपरमेटर्स चुनते हैं, चयनित पुष्टिकरण डेटा का उपयोग करके नेटवर्क की प्रभावशीलता का मूल्यांकन करते हैं। वास्तव में, हम नियमितीकरण हाइपरपैरामीटर, मिनी-पैकेट के आकार और इस तरह के नेटवर्क मापदंडों को परतों और छिपे हुए न्यूरॉन्स की संख्या, और इसी तरह का चयन करने के लिए पुष्टि की सटीकता का उपयोग करेंगे। हम सीखने की गति के साथ चीजों को अलग ढंग से क्यों करते हैं? ईमानदारी से, यह पसंद मेरी व्यक्तिगत सौंदर्य वरीयताओं के कारण है, और शायद पक्षपातपूर्ण है। तर्क यह है कि अन्य हाइपरपामेटर्स को परीक्षण सेट पर अंतिम वर्गीकरण सटीकता में सुधार करना चाहिए, इसलिए यह पुष्टि की सटीकता के आधार पर उन्हें चुनने के लिए समझ में आता है। हालांकि, सीखने की दर केवल अप्रत्यक्ष रूप से अंतिम वर्गीकरण सटीकता को प्रभावित करती है। इसका मुख्य लक्ष्य ग्रेडिएंट डिसेंट के स्टेप साइज को नियंत्रित करना है, और बहुत बड़े स्टेप साइज को पहचानने के लिए प्रशिक्षण की लागत को सबसे अच्छे तरीके से ट्रैक करना है। लेकिन फिर भी यह व्यक्तिगत सौंदर्य पसंद है। प्रशिक्षण के शुरुआती चरणों में, प्रशिक्षण की लागत आमतौर पर केवल तभी घटती है जब पुष्टि की सटीकता बढ़ जाती है, इसलिए व्यवहार में यह मायने नहीं रखना चाहिए कि किन मानदंडों का उपयोग करना है।

प्रशिक्षण युग की संख्या निर्धारित करने के लिए एक शुरुआती पड़ाव का उपयोग करना

जैसा कि हमने इस अध्याय में उल्लेख किया है, एक प्रारंभिक पड़ाव का मतलब है कि प्रत्येक युग के अंत में, हमें सहायक डेटा पर वर्गीकरण की सटीकता की गणना करने की आवश्यकता है। जब इसमें सुधार होना बंद हो जाता है, तो हम काम करना बंद कर देते हैं। नतीजतन, युगों की संख्या निर्धारित करना एक सरल मामला बन जाता है। विशेष रूप से, इसका मतलब है कि हमें विशेष रूप से यह पता लगाने की आवश्यकता नहीं है कि युगों की संख्या अन्य हाइपरपामेटर्स पर कैसे निर्भर करती है। ऐसा अपने आप होता है। इसके अलावा, एक शुरुआती स्टॉप भी स्वचालित रूप से हमें पीछे हटने से रोकता है। यह, ज़ाहिर है, अच्छा है, हालांकि प्रयोगों के शुरुआती चरणों में शुरुआती रोक को बंद करने के लिए उपयोगी हो सकता है ताकि आप रिट्रेनिंग के संकेत देख सकें और नियमितीकरण के दृष्टिकोण को ठीक करने के लिए उनका उपयोग कर सकें।

आरओ को लागू करने के लिए, हमें विशेष रूप से वर्णन करने की आवश्यकता है कि "वर्गीकरण सटीकता में सुधार को रोकना" का क्या मतलब है। जैसा कि हमने देखा, सटीकता बहुत दूर तक जा सकती है और समग्र प्रवृत्ति में सुधार होने पर भी जम सकती है। यदि हम पहली बार रुकते हैं, जब सटीकता कम हो जाती है, तो हम लगभग निश्चित रूप से आगे के सुधारों तक नहीं पहुंच पाएंगे। सबसे अच्छा दृष्टिकोण सीखने को रोकना है यदि सबसे अच्छा वर्गीकरण सटीकता लंबे समय तक सुधार नहीं करता है। उदाहरण के लिए मान लीजिए कि हम MNIST में लगे हुए हैं। तब हम प्रक्रिया को रोकने का फैसला कर सकते हैं यदि वर्गीकरण की सटीकता पिछले दस युगों में सुधार नहीं हुई है। यह सुनिश्चित करता है कि हम प्रशिक्षण में विफलता के कारण बहुत जल्दी रुक नहीं जाते हैं, लेकिन हम किसी भी सुधार के लिए हमेशा इंतजार नहीं करेंगे।

यह "दस युगों में सुधार नहीं" नियम प्रारंभिक MNIST अध्ययन के लिए अच्छी तरह से अनुकूल है। हालांकि, नेटवर्क कभी-कभी एक निश्चित वर्गीकरण सटीकता के पास एक पठार तक पहुंच सकते हैं, वहां कुछ समय के लिए रहते हैं, और फिर फिर से सुधार करना शुरू करते हैं। यदि आपको बहुत अच्छा प्रदर्शन प्राप्त करने की आवश्यकता है, तो "दस युगों में सुधार नहीं" नियम इसके लिए बहुत आक्रामक हो सकता है। इसलिए, मैं प्राथमिक प्रयोगों के लिए "दस युगों के लिए कोई सुधार नहीं" नियम का उपयोग करने की सलाह देता हूं, और धीरे-धीरे नरम नियमों को अपनाता हूं जब आप अपने नेटवर्क के व्यवहार को बेहतर ढंग से समझना शुरू करते हैं: "बीस युगों के लिए सुधार के बिना", "पचास युगों के लिए सुधार के बिना", और इसी तरह। पर। बेशक, यह हमें अनुकूलन के लिए एक और हाइपरपैरमीटर देता है! लेकिन व्यवहार में, यह हाइपरपरमेटर आमतौर पर अच्छे परिणामों के लिए ट्यून करना आसान है। और एमएनआईएसटी के अलावा अन्य कार्यों के लिए, "दस युगों में सुधार नहीं" नियम बहुत आक्रामक हो सकता है, या पर्याप्त आक्रामक नहीं हो सकता है, किसी विशेष कार्य के विवरण के आधार पर।हालांकि, थोड़ा प्रयोग करने के बाद, एक उपयुक्त प्रारंभिक स्टॉप रणनीति खोजने के लिए आमतौर पर काफी आसान है।

हमने अभी तक एमएनआईएसटी के साथ अपने प्रयोगों में शुरुआती रोक का उपयोग नहीं किया है। यह इस तथ्य के कारण है कि हमने सीखने के लिए विभिन्न दृष्टिकोणों की कई तुलना की। ऐसी तुलनाओं के लिए, सभी मामलों में समान संख्या में युगों का उपयोग करना उपयोगी है। हालाँकि, यह प्रोग्राम में RO को प्रारंभ करने के लिए network2.py को बदलने के लायक है।

कार्य

• Network2.py को संशोधित करें ताकि PO "n युगों के लिए कोई परिवर्तन नहीं" नियम के अनुसार दिखाई दे, जहां n एक विन्यास योग्य पैरामीटर है।
• "एन युगों में अपरिवर्तित" के अलावा एक शुरुआती स्टॉप नियम के बारे में सोचें। आदर्श रूप से, शासन को उच्च पुष्टि के साथ सटीकता प्राप्त करने और काफी कम प्रशिक्षण समय के बीच एक समझौता करना चाहिए। Network2.py में एक नियम जोड़ें, और सत्यापन सटीकता और "10 युगों में कोई परिवर्तन नहीं" नियम के साथ प्रशिक्षण युग की संख्या की तुलना में तीन प्रयोग चलाएं।

लर्निंग स्पीड चेंज प्लान

जबकि हमने सीखने की गति को स्थिर रखा। हालांकि, इसे संशोधित करने के लिए अक्सर उपयोगी होता है। प्रशिक्षण प्रक्रिया के शुरुआती चरणों में, भार को पूरी तरह से गलत सौंपा जाने की संभावना है। इसलिए, उच्च प्रशिक्षण दर का उपयोग करना बेहतर होगा, जिससे वजन तेजी से बदल जाएगा। फिर आप तराजू के महीन समायोजन करने के लिए प्रशिक्षण की गति को कम कर सकते हैं।

हम सीखने की गति को बदलने की योजना की रूपरेखा कैसे बनाते हैं? यहां आप कई दृष्टिकोण लागू कर सकते हैं। एक प्राकृतिक विकल्प आरओ के समान मूल विचार का उपयोग करना है। हम सीखने की गति को स्थिर रखते हैं जब तक कि पुष्टि की सटीकता बिगड़ना शुरू नहीं हो जाती। फिर हम एक निश्चित राशि से सीओ को कम करते हैं, कहते हैं, दो या दस बार। हम इसे कई बार दोहराते हैं जब तक कि सीओ प्रारंभिक एक की तुलना में सीओ 1024 (या 1000) गुना कम हो। और प्रशिक्षण समाप्त करें।

सीखने की गति को बदलने की एक योजना दक्षता में सुधार कर सकती है और एक योजना को चुनने के लिए भारी अवसर भी खोलती है। और यह सिरदर्द हो सकता है - आप हमेशा के लिए योजना के अनुकूलन के लिए खर्च कर सकते हैं। पहले प्रयोगों के लिए, मैं CO के एकल, निरंतर मान का उपयोग करने का सुझाव दूंगा। यह आपको एक अच्छा पहला सन्निकटन देगा। बाद में, यदि आप नेटवर्क से सर्वश्रेष्ठ दक्षता को निचोड़ना चाहते हैं, तो यह सीखने की गति को बदलने की योजना के साथ प्रयोग करने लायक है जैसा कि आपने इसे बताया था। 2010 का एक काफी आसान पढ़ा जाने वाला वैज्ञानिक कार्य MNIST पर हमला करते समय परिवर्तनशील सीखने की गति के लाभों को प्रदर्शित करता है।

व्यायाम

• Network2.py को संशोधित करें ताकि यह सीखने की गति को बदलने के लिए निम्नलिखित योजना को लागू करता है: सीआर को हर बार पुष्टि करें कि पुष्टि की सटीकता "10 युगों में कोई परिवर्तन नहीं" नियम को संतुष्ट करती है, और जब सीखने की गति प्रारंभिक 1/128 से गिरती है, तो सीखना बंद कर दें।

नियमितीकरण पैरामीटर λ

मैं सभी (λ = 0,0) पर नियमितीकरण के साथ शुरू करने की सलाह देता हूं, और। के मूल्य को निर्धारित करता हूं, जैसा कि ऊपर बताया गया है। Η के चयनित मूल्य का उपयोग करके, हम λ के अच्छे मूल्य का चयन करने के लिए सहायक डेटा का उपयोग कर सकते हैं। Λ = 1.0 से शुरू करें (मुझे इस तरह के विकल्प के पक्ष में अच्छा तर्क नहीं है), और फिर डेटा की पुष्टि करने के साथ काम करने में दक्षता बढ़ाने के लिए इसे 10 गुना बढ़ा या घटा दें। परिमाण का सही क्रम मिलने के बाद, हम λ के मूल्य को और अधिक सटीक रूप से ट्यून कर सकते हैं। इसके बाद, अनुकूलन। पर फिर से लौटना आवश्यक है।

व्यायाम

• , , λ η. , λ? , η?

यदि आप इस खंड से सिफारिशों का उपयोग करते हैं, तो आप देखेंगे कि और λ के चयनित मान हमेशा उन लोगों के अनुरूप नहीं होते हैं जो पहले उपयोग करते थे। यह सिर्फ इतना है कि पुस्तक में पाठ सीमाएँ हैं, जो कभी-कभी हाइपरपरमेटर्स को अनुकूलित करने के लिए अव्यवहारिक हो जाती हैं। विभिन्न प्रशिक्षण दृष्टिकोणों की सभी तुलनाओं के बारे में सोचें, जिन पर हम काम कर रहे हैं - द्विघात लागत कार्य की तुलना करना और भार को पार करने के पुराने और नए तरीकों को पार करना, नियमितीकरण के साथ और बिना नियमित रूप से चलना, और इसी तरह। इन तुलनाओं को सार्थक बनाने के लिए, मैंने कोशिश की कि हाइपरपरमेटर्स को तुलनात्मक दृष्टिकोणों के बीच न बदलें (या उन्हें सही ढंग से मापें)। बेशक, सीखने के लिए सभी अलग-अलग दृष्टिकोणों के लिए एक ही हाइपरपैरेटर्स के इष्टतम होने का कोई कारण नहीं है, इसलिए हाइपरपरमेटर्स जो मैं उपयोग करता हूं वह एक समझौता का परिणाम था।

एक विकल्प के रूप में, मैं अधिकतम सीखने के लिए प्रत्येक दृष्टिकोण के लिए सभी हाइपर मापदंडों को अनुकूलित करने का प्रयास कर सकता हूं। यह एक बेहतर और अधिक ईमानदार दृष्टिकोण होगा, क्योंकि हम सीखने के लिए प्रत्येक दृष्टिकोण से सभी सर्वश्रेष्ठ लेंगे। हालाँकि, हमने दर्जनों तुलनाएँ कीं, और व्यवहार में यह बहुत अधिक महंगा होगा। इसलिए, मैंने अच्छा पर्याप्त (लेकिन जरूरी नहीं कि इष्टतम) हाइपरपरमेटर विकल्पों का उपयोग करने के लिए समझौता करने का फैसला किया।

मिनी पैक का आकार

मिनी-पैकेज का आकार कैसे चुनें? इस प्रश्न का उत्तर देने के लिए, पहले मान लें कि हम ऑनलाइन प्रशिक्षण में लगे हुए हैं, अर्थात हम आकार 1 के मिनी-पैकेज का उपयोग करते हैं।

ऑनलाइन सीखने के साथ स्पष्ट समस्या यह है कि एक एकल प्रशिक्षण उदाहरण से युक्त मिनी-पैकेज का उपयोग करने से ग्रेडिएंट का आकलन करने में गंभीर त्रुटियां हो सकती हैं। लेकिन वास्तव में, ये त्रुटियां इतनी गंभीर समस्या पेश नहीं करेंगी। कारण यह है कि व्यक्तिगत ढाल का अनुमान अत्यधिक सटीक नहीं है। हमें बस एक पर्याप्त सटीक अनुमान प्राप्त करने की आवश्यकता है ताकि हमारी लागत फ़ंक्शन कम हो जाए। यह ऐसा है मानो आप उत्तरी चुंबकीय ध्रुव पर जाने की कोशिश कर रहे हैं, लेकिन आपके पास एक अविश्वसनीय कम्पास होगा, जिसमें प्रत्येक माप 10-20 डिग्री होगी। यदि आप कम्पास की अक्सर जांच करते हैं, और औसतन यह सही दिशा का संकेत देगा, तो आप अंततः उत्तरी चुंबकीय ध्रुव पर जा पाएंगे।

इस तर्क को देखते हुए, ऐसा लगता है कि हमें ऑनलाइन शिक्षण का उपयोग करना चाहिए। लेकिन वास्तव में स्थिति कुछ अधिक जटिल है। अंतिम अध्याय के कार्य में, मैंने बताया कि मिनी-पैकेज में सभी उदाहरणों के लिए ग्रेडिएंट अपडेट की गणना करने के लिए, आप लूप के बजाय एक ही समय में मैट्रिक्स तकनीकों का उपयोग कर सकते हैं। आपके हार्डवेयर और रैखिक बीजगणित पुस्तकालय के विवरण के आधार पर, 100 से अधिक उदाहरणों के लिए एक चक्र में एक मिनी-पैकेट के लिए ग्रेडिएंट अनुमान की गणना करने की तुलना में 100 के मिनी-पैकेट के लिए एक अनुमान की गणना करने के लिए बहुत तेज़ हो सकता है। उदाहरण के लिए, यह केवल ५० गुना धीमा है, और १०० नहीं

। यह पहली बार ऐसा लगता है कि इससे हमें ज्यादा मदद नहीं मिली है। 100 के एक मिनी-पैकेट आकार के साथ, वजन के लिए प्रशिक्षण नियम दिखता है:

$$

$$w \rightarrow w' = w-\eta \frac{1}{100} \sum_x \nabla C_x \tag{100}$$

जहां प्रशिक्षण मिनी-पैकेज में प्रशिक्षण के उदाहरणों पर जाता है। से तुलना करें

$$

$$w \rightarrow w' = w-\eta \nabla C_x \tag{101}$$

ऑनलाइन सीखने के लिए। यहां तक ​​कि अगर मिनी-पैकेज को अपडेट करने में 50 गुना अधिक समय लगता है, तो भी ऑनलाइन प्रशिक्षण अभी भी सबसे अच्छा विकल्प है, क्योंकि हम अधिक बार अपडेट किए जाएंगे। लेकिन, मान लीजिए, कि मिनी-पैकेज के मामले में, हमने सीखने की गति को 100 गुना बढ़ा दिया, फिर अपडेट नियम बदल गया:

$$

$$w \rightarrow w' = w-\eta \sum_x \nabla C_x \tag{102}$$

यह with सीखने की गति के साथ ऑनलाइन सीखने के 100 अलग-अलग चरणों के समान है। हालाँकि, ऑनलाइन सीखने में एक कदम केवल 50 गुना अधिक समय लगता है। बेशक, वास्तव में यह ऑनलाइन सीखने का बिल्कुल 100 स्तर नहीं है, क्योंकि मिनी-पैकेज में सभी xC _x का मूल्यांकन ऑनलाइन मामले में होने वाले संचयी सीखने के विपरीत, वजन के एक ही सेट के लिए किया जाता है। और फिर भी ऐसा लगता है कि बड़े मिनी-पैकेज का उपयोग करने से प्रक्रिया में तेजी आएगी।

इन सभी कारकों को देखते हुए, सबसे अच्छा मिनी-पैक आकार चुनना एक समझौता है। बहुत छोटा चुनें और फास्ट हार्डवेयर के लिए अनुकूलित अच्छे मैट्रिक्स पुस्तकालयों का पूरा लाभ न लें। बहुत बड़ा चुनें, और अक्सर पर्याप्त वजन का अद्यतन नहीं करेंगे। आपको एक समझौता मूल्य चुनने की आवश्यकता है जो सीखने की गति को अधिकतम करता है। सौभाग्य से, मिनी-पैकेट आकार का विकल्प जिस पर गति अधिकतम होती है, वह अन्य हाइपरपैरेटर्स (सामान्य वास्तुकला को छोड़कर) से अपेक्षाकृत स्वतंत्र है, इसलिए, एक अच्छा मिनी-पैकेट आकार खोजने के लिए, उन्हें अनुकूलित करना आवश्यक नहीं है। इसलिए, यह अन्य हाइपरपैरेटरों के लिए स्वीकार्य (जरूरी नहीं कि इष्टतम) मूल्यों का उपयोग करने के लिए पर्याप्त होगा, और फिर ऊपर बताए अनुसार, मिनी-पैकेट के कई अलग-अलग आकारों को स्केल करने की कोशिश करें।पुष्टि बनाम समय की सटीकता का एक ग्राफ बनाएँ (वास्तविक बीता हुआ समय, युग नहीं!), और एक मिनी-पैकेट आकार चुनें जो सबसे तेज़ प्रदर्शन सुधार देता है। चयनित मिनी-पैकेट आकार के साथ, आप अन्य हाइपरपामेटर्स को अनुकूलित करने के लिए आगे बढ़ सकते हैं।

बेशक, जैसा कि आपको पहले से ही कोई संदेह नहीं था, हमारे काम में मैंने ऐसा अनुकूलन नहीं किया। नेशनल असेंबली के हमारे कार्यान्वयन में, मिनी-पैकेज को अपडेट करने के लिए एक त्वरित दृष्टिकोण का उपयोग बिल्कुल नहीं किया जाता है। मैंने केवल मिनी-पैकेट आकार 10 का उपयोग लगभग सभी उदाहरणों में टिप्पणी या व्याख्या किए बिना किया। सामान्य तौर पर, हम मिनी-पैकेज के आकार को कम करके सीखने में तेजी ला सकते हैं। मैंने ऐसा नहीं किया, विशेष रूप से, क्योंकि मेरे प्रारंभिक प्रयोगों ने सुझाव दिया कि त्वरण मामूली होगा। लेकिन व्यावहारिक कार्यान्वयन में, हम निश्चित रूप से मिनी-पैकेज को अद्यतन करने के लिए सबसे तेज़ दृष्टिकोण को लागू करना चाहते हैं, और समग्र आकार को अधिकतम करने के लिए उनके आकार को अनुकूलित करने का प्रयास करते हैं।

स्वचालित तकनीक

मैंने इन हेयुरिस्टिक दृष्टिकोणों को कुछ के रूप में वर्णित किया है जिन्हें हाथ से घुमाया जाना आवश्यक है। एनएस कैसे काम करता है, इसका अंदाजा लगाने के लिए मैनुअल ऑप्टिमाइजेशन एक अच्छा तरीका है। हालांकि, और, संयोग से, यह आश्चर्य की बात नहीं है कि इस परियोजना के स्वचालन पर पहले से ही बहुत काम किया गया है । एक सामान्य तकनीक एक ग्रिड खोज है जो हाइपरपरमेटर्स के स्थान पर व्यवस्थित रूप से एक ग्रिड को स्थानांतरित करती है। इस तकनीक की उपलब्धियों और सीमाओं का अवलोकन (साथ ही आसानी से कार्यान्वित विकल्पों पर सिफारिशें) 2012 में पाया जा सकता है । कई परिष्कृत तकनीकों का प्रस्ताव किया गया है। मैं उन सभी की समीक्षा नहीं करूंगा, लेकिन मैं हाइपरपरमेटर्स के बायेसियन अनुकूलन का उपयोग करके, 2012 के होनहार काम को नोट करना चाहता हूं । काम से कोड सभी के लिए खुला है , और कुछ सफलता के साथ अन्य शोधकर्ताओं द्वारा उपयोग किया गया था।

संक्षेप में प्रस्तुत करना

मेरे द्वारा वर्णित अभ्यास के नियमों का उपयोग करते हुए, आपको अपने पीएस से बहुत संभव परिणाम नहीं मिलेंगे। लेकिन वे आपको आगे के सुधार के लिए एक अच्छा प्रारंभिक बिंदु और नींव प्रदान करने की संभावना रखते हैं। विशेष रूप से, मैंने मूल रूप से हाइपरपरमेटर्स का स्वतंत्र रूप से वर्णन किया था। व्यवहार में, उनके बीच एक संबंध है। आप can के साथ प्रयोग कर सकते हैं, यह तय कर सकते हैं कि आपको सही मूल्य मिल गया है, फिर λ का अनुकूलन करना शुरू करें, और पाएं कि यह आपके ates अनुकूलन का उल्लंघन करता है। व्यवहार में, विभिन्न दिशाओं में आगे बढ़ना उपयोगी होता है, धीरे-धीरे अच्छे मूल्यों के करीब पहुंचता है। इन सबसे ऊपर, यह ध्यान रखें कि मेरे द्वारा बताए गए अनुमानी दृष्टिकोण अभ्यास के सरल नियम हैं, लेकिन पत्थर में नक्काशीदार कुछ नहीं। आपको उन संकेतों की तलाश करने की आवश्यकता है जो कुछ काम नहीं कर रहे हैं और प्रयोग करने की इच्छा रखते हैं। विशेष रूप सेअपने तंत्रिका नेटवर्क के व्यवहार की सावधानीपूर्वक निगरानी करें, विशेष रूप से पुष्टि की सटीकता।

हाइपरपरमेटर्स की पसंद की जटिलता इस तथ्य से जटिल है कि उनकी पसंद का व्यावहारिक ज्ञान कई शोध कार्यों और कार्यक्रमों में फैला हुआ है, और अक्सर केवल व्यक्तिगत चिकित्सकों के सिर में होता है। क्या करना है (अक्सर एक दूसरे के साथ परस्पर विरोधी) के विवरण के साथ काम की एक बड़ी मात्रा है। हालांकि, कई विशेष रूप से उपयोगी कार्य हैं जो इस ज्ञान के एक बड़े हिस्से को संश्लेषित और उजागर करते हैं। में 2012 से यहोशू बेंजी नेशनल असेंबली के लिए बैक-प्रसार ढाल वंश और प्रशिक्षण का उपयोग, नेशनल असेंबली और गहरी सहित पर व्यावहारिक सलाह देता है। बेंजियो कई विवरणों का अधिक विस्तार से वर्णन करता है। हाइपरपरेटर्स के लिए एक व्यवस्थित खोज सहित मुझे से। एक और अच्छा काम है काम।1998, यन्ना लेकुना और अन्य। दोनों काम बेहद उपयोगी 2012 की पुस्तक में दिखाई देते हैं, जिसमें नेशनल असेंबली में अक्सर उपयोग किए जाने वाले कई ट्रिक्स शामिल हैं: " तंत्रिका नेटवर्क: शिल्प चाल ।" पुस्तक महंगी है, लेकिन इसके कई लेख इंटरनेट पर उनके लेखकों द्वारा पोस्ट किए गए थे, और उन्हें खोज इंजन में पाया जा सकता है।

इन लेखों से, और विशेष रूप से हमारे अपने प्रयोगों से, एक बात स्पष्ट हो जाती है: हाइपरपरमेटर्स को अनुकूलित करने की समस्या को पूरी तरह से हल नहीं किया जा सकता है। हमेशा एक और चाल है कि आप दक्षता में सुधार करने की कोशिश कर सकते हैं। लेखकों का कहना है कि एक पुस्तक समाप्त नहीं की जा सकती है, लेकिन केवल गिराई जा सकती है। एनएस ऑप्टिमाइज़ेशन के लिए भी यही सच है: हाइपरपैरेटर्स का स्थान इतना बड़ा है कि ऑप्टिमाइज़ेशन पूरा नहीं किया जा सकता है, लेकिन केवल एनएस को वंशजों को छोड़कर रोका जा सकता है। तो आपका लक्ष्य एक ऐसा वर्कफ़्लो विकसित करना होगा जो आपको एक अच्छे अनुकूलन को जल्दी से करने की अनुमति देता है, जबकि आवश्यक होने पर आपको अधिक विस्तृत अनुकूलन विकल्पों का प्रयास करने का अवसर छोड़ देता है।

हाइपरपरमेटर्स के चयन के साथ कठिनाइयां कुछ लोगों को शिकायत करती हैं कि अन्य एमओ तकनीकों की तुलना में एनएस को बहुत अधिक प्रयास की आवश्यकता होती है। मैंने कई तरह की शिकायतें सुनी हैं जैसे: "हाँ, एक अच्छी तरह से तैयार एनएस किसी समस्या को हल करते समय सबसे अच्छी दक्षता दे सकता है। लेकिन दूसरी तरफ, मैं एक यादृच्छिक वन [या एसवीएम, या किसी अन्य आपकी पसंदीदा तकनीक] की कोशिश कर सकता हूं, और यह सिर्फ काम करता है। मेरे पास यह जानने का समय नहीं है कि कौन सा NA मेरे लिए सही है। ” बेशक, व्यावहारिक दृष्टिकोण से, एक दोस्त के तहत आसानी से उपयोग की जाने वाली तकनीकों का होना अच्छा है। यह विशेष रूप से अच्छा है जब आप बस एक कार्य के साथ काम करना शुरू कर रहे हैं, और यह अभी भी स्पष्ट नहीं है कि एमओ इसे हल करने में मदद कर सकता है या नहीं। दूसरी ओर, यदि आपके लिए इष्टतम परिणाम प्राप्त करना महत्वपूर्ण है, तो आपको कई दृष्टिकोणों को आज़माने की आवश्यकता हो सकती है जिनमें अधिक विशिष्ट ज्ञान की आवश्यकता होती है। यह बहुत अच्छा होगायदि एमओ हमेशा आसान होता है, लेकिन कोई कारण नहीं है कि यह एक प्राथमिक तुच्छ होना चाहिए।

अन्य तकनीकें

इस अध्याय में विकसित प्रत्येक तकनीक अपने आप में मूल्यवान है, लेकिन यह एकमात्र कारण नहीं है जो मैंने उनका वर्णन किया है। एनए के क्षेत्र में उत्पन्न होने वाली कुछ समस्याओं के साथ खुद को परिचित करना अधिक महत्वपूर्ण है, और एक विश्लेषण शैली के साथ जो उन्हें दूर करने में मदद कर सकती है। एक तरह से हम एनएस के बारे में सोचना सीख रहे हैं। इस अध्याय के शेष भाग में, मैं संक्षेप में अन्य तकनीकों के एक सेट का वर्णन करूंगा। उनका वर्णन पिछले वाले की तरह गहरा नहीं होगा, लेकिन उन्हें एनए के क्षेत्र में विभिन्न तकनीकों के बारे में कुछ संवेदनाओं को व्यक्त करना चाहिए।

स्टोकेस्टिक क्रमिक वंश की भिन्नता

बैकप्रोपेगैनेशन के माध्यम से स्टोकेस्टिक ग्रेडिएंट वंश ने एमएनआईएसटी से हस्तलिखित संख्याओं को वर्गीकृत करने की समस्या पर हमले के दौरान हमारी अच्छी तरह से सेवा की। हालांकि, लागत समारोह के अनुकूलन के लिए कई अन्य दृष्टिकोण हैं, और कभी-कभी वे मिनी-पैकेज के साथ स्टोचैस्टिक ग्रेडिएंट वंश से बेहतर दक्षता दिखाते हैं। इस खंड में, मैं संक्षेप में दो ऐसे दृष्टिकोणों का वर्णन करता हूं, हेस्सियन और संवेग।

हेस्सियन

शुरू करने के लिए, चलो नेशनल असेंबली को अलग रखें। इसके बजाय, हम बस कई वेरिएबल्स की लागत फ़ंक्शन C, w = w1, w2, ..., यानी C = C (w) को कम करने की अमूर्त समस्या पर विचार करते हैं। टेलर की प्रमेय द्वारा , बिंदु w पर लागत समारोह का अनुमान लगाया जा सकता है:

$$

$$C(w+\Delta w) = C(w) + \sum_j \frac{\partial C}{\partial w_j} \Delta w_j \nonumber \\ + \frac{1}{2} \sum_{jk} \Delta w_j \frac{\partial^2 C}{\partial w_j \partial w_k} \Delta w_k + \ldots \tag{103}$$

हम इसे और अधिक कॉम्पैक्ट रूप से फिर से लिख सकते हैं

$$

$$C(w+\Delta w) = C(w) + \nabla C \cdot \Delta w + \frac{1}{2} \Delta w^T H \Delta w + \ldots \tag{104}$$

जहाँ HC साधारण ढाल वेक्टर है, और H, Hessian मैट्रिक्स के रूप में जाना जाता मैट्रिक्स है , जहाँ jk में ∂ ² C / jw _j kw _{k होता है} । मान लीजिए कि हम सूत्र में दीर्घवृत्त के पीछे छुपकर उच्च-क्रम की शर्तों को छोड़ कर C को अनुमानित करते हैं:

$$

$$C(w+\Delta w) \approx C(w) + \nabla C \cdot \Delta w + \frac{1}{2} \Delta w^T H \Delta w \tag{105}$$

बीजगणित का उपयोग करते हुए, यह दिखाया जा सकता है कि दाईं ओर की अभिव्यक्ति का चयन करके कम से कम किया जा सकता है:

$$

$$\Delta w = -H^{-1} \nabla C \tag{106}$$

सख्ती से बोलना, इसके लिए सिर्फ एक न्यूनतम होना चाहिए, और केवल एक चरम नहीं, हमें यह मानना ​​चाहिए कि हेस्सियन मैट्रिक्स अधिक निश्चित सकारात्मक है। सहज रूप से, इसका मतलब है कि फ़ंक्शन सी एक घाटी की तरह है, न कि पहाड़ या काठी।

यदि (105) लागत फ़ंक्शन के लिए एक अच्छा अनुमान है, तो यह अपेक्षित है कि बिंदु w से बिंदु w + Hw = w - H - 1 shouldC तक संक्रमण लागत समारोह को काफी कम कर दे। यह एक संभावित लागत न्यूनतम एल्गोरिथ्म प्रदान करता है:

• शुरुआती बिंदु w चुनें।
• नए बिंदु डब्ल्यू, डब्ल्यू 'के लिए अद्यतन = डब्ल्यू-एच ^-1 ∇C, हेस्सियन एच गणना की और ∇C w कर रहे हैं जिसमें।
• w' , w′′=w′−H′ ⁻¹ ∇′C, H ∇C w'.
• ...

व्यवहार में, (105) केवल एक सन्निकटन है, और छोटे कदम उठाना बेहतर है। हम इसे dow = ∇H - 1 ,C द्वारा लगातार अपडेट करते हुए करेंगे, जहां learning सीखने की गति है।

लागत समारोह को कम करने के इस दृष्टिकोण को हेसियन अनुकूलन के रूप में जाना जाता है। सैद्धांतिक और आनुभविक परिणाम हैं जो दिखाते हैं कि हेसियन विधियां एक मानक ढाल वंश की तुलना में कम चरणों में न्यूनतम में परिवर्तित होती हैं। विशेष रूप से, लागत समारोह में दूसरे क्रम के परिवर्तनों की जानकारी शामिल करके, हेसियन दृष्टिकोण में क्रमिक वंश में सामना किए गए कई विकृति से बचने के लिए संभव है। इसके अलावा, बैकप्रॉपैगैशन एल्गोरिथ्म के संस्करण हैं जो हेसियन की गणना के लिए उपयोग किए जा सकते हैं।

यदि हेसियन अनुकूलन बहुत अच्छा है, तो हम अपने एनएस में इसका उपयोग क्यों नहीं करते हैं? दुर्भाग्य से, हालांकि इसमें कई वांछनीय गुण हैं, एक बहुत ही अवांछनीय है: व्यवहार में लाना बहुत मुश्किल है। समस्या का एक हिस्सा हेसियन मैट्रिक्स का विशाल आकार है। मान लीजिए कि हमारे पास 10 ⁷ वज़न और ऑफ़सेट के साथ एक एनएस है। फिर इसी हेसियन मैट्रिक्स में 10 ⁷ × 10 ⁷ = 10 ¹⁴ तत्व होंगे। बहुत सारे! नतीजतन, गणना करने के लिए एच ^-1 ∇C प्राप्त में अभ्यास बहुत मुश्किल है। लेकिन इसका मतलब यह नहीं है कि उसके बारे में जानना बेकार है। कई ढाल वंश विकल्प हेसियन अनुकूलन से प्रेरित हैं, वे बस अत्यधिक बड़े मेट्रिसेस की समस्या से बचते हैं। आइए ऐसी ही एक तकनीक पर एक नज़र डालते हैं, धीरे-धीरे उतरते हुए।

आवेग आधारित ढाल वंश

सहज रूप से, हेसियन अनुकूलन का लाभ यह है कि इसमें न केवल ग्रेडिएंट के बारे में जानकारी शामिल है, बल्कि इसके परिवर्तन के बारे में भी जानकारी शामिल है। आवेग-आधारित ढाल वंश एक समान अंतर्ज्ञान पर आधारित है, लेकिन दूसरे व्युत्पन्न से बड़े मैट्रिक्स से बचा जाता है। आवेग तकनीक को समझने के लिए, हमारी पहली ढाल मूल तस्वीर को याद करें, जिसमें हमने एक घाटी के नीचे लुढ़कती हुई गेंद की जांच की थी। फिर हमने देखा कि ढाल वंश, इसके नाम के विपरीत, केवल नीचे गिरने वाली एक गेंद जैसा दिखता है। पल्स तकनीक दो स्थानों पर ढाल वंश को बदल देती है, जो इसे एक भौतिक चित्र की तरह बनाती है। पहले, वह उन मापदंडों के लिए "गति" की अवधारणा का परिचय देती है जिन्हें हम अनुकूलित करने की कोशिश कर रहे हैं। ग्रेडिएंट गति को बदलने की कोशिश कर रहा है, न कि "स्थान" को सीधे, भौतिक बलों की गति को बदलने के समान।और केवल अप्रत्यक्ष रूप से स्थान को प्रभावित करते हैं। दूसरे, आवेग विधि एक प्रकार का घर्षण शब्द है जो धीरे-धीरे गति को कम करता है।

आइए अधिक गणितीय रूप से सटीक परिभाषा दें। हम वेग चर v = v1, v2, ..., प्रत्येक संगत चर w _j (तंत्रिका नेटवर्क में, इन चर स्वाभाविक रूप से सभी वजन और विस्थापन शामिल हैं) के लिए एक परिचय । फिर हम ग्रेडिएंट डिसेंट अपडेट नियम w → w w = w - .C को बदलते हैं

$$

$$v \rightarrow v' = \mu v - \eta \nabla C \tag{107}$$

$$

$$w \rightarrow w' = w+v' \tag{108}$$

समीकरणों में, μ एक हाइपरपरेट है जो सिस्टम के ब्रेकिंग या घर्षण की मात्रा को नियंत्रित करता है। समीकरणों के अर्थ को समझने के लिए, उस मामले पर विचार करना सबसे पहले उपयोगी है जिसमें μ = 1, अर्थात्, जब कोई घर्षण न हो। इस मामले में, समीकरणों के अध्ययन से पता चलता है कि अब "बल" theC गति v को बदलता है, और गति परिवर्तन w की दर को नियंत्रित करती है। सहज रूप से, इसमें क्रमिक सदस्यों को लगातार जोड़कर गति प्राप्त की जा सकती है। इसका मतलब यह है कि अगर प्रशिक्षण के कई चरणों के दौरान ढाल लगभग एक दिशा में चलती है, तो हम इस दिशा में गति की पर्याप्त उच्च गति प्राप्त कर सकते हैं। उदाहरण के लिए, नीचे की ओर बढ़ने पर क्या होता है:



ढलान के नीचे प्रत्येक कदम के साथ, गति बढ़ जाती है, और हम तेजी से और तेजी से घाटी के नीचे की ओर बढ़ते हैं। यह गति तकनीक को मानक ढाल वंश की तुलना में बहुत तेजी से चलाने की अनुमति देता है। बेशक, समस्या यह है कि घाटी के निचले हिस्से तक पहुँच कर, हम इसके माध्यम से खिसक जाएंगे। या, अगर ढाल बहुत जल्दी बदल जाती है, तो हो सकता है कि हम विपरीत दिशा में आगे बढ़ रहे हों। यह हाइपरपरमीटर μ (107) को शुरू करने का बिंदु है। मैंने पहले कहा था कि μ सिस्टम में घर्षण की मात्रा को नियंत्रित करता है; अधिक सटीक रूप से, घर्षण की मात्रा की कल्पना 1-μ के रूप में की जानी चाहिए। जब μ = 1, जैसा कि हमने देखा, कोई घर्षण नहीं है, और गति पूरी तरह से ढाल .C द्वारा निर्धारित की जाती है। और इसके विपरीत, जब μ = 0, बहुत अधिक घर्षण होता है, कोई गति प्राप्त नहीं होती है, और समीकरण (107) और (108) सामान्य ढाल वंश समीकरणों में कम हो जाते हैं, w → w w = w - .C। व्यवहार में,0 और 1 के बीच के अंतराल में μ के मूल्य का उपयोग करने से हमें न्यूनतम फिसलने के खतरे के बिना गति प्राप्त करने की क्षमता का लाभ मिल सकता है। हम μ के लिए लंबित पुष्टिकरण डेटा का उपयोग करके using के लिए ऐसा मान चुन सकते हैं, जैसे हमने value और λ के लिए मानों को चुना।

अब तक मैंने हाइपरपरमीटर μ के नामकरण से परहेज किया है। तथ्य यह है कि μ के लिए मानक नाम खराब रूप से चुना गया था: इसे गति गुणांक कहा जाता है। यह भ्रामक हो सकता है क्योंकि μ भौतिकी से गति की अवधारणा की तरह बिल्कुल नहीं है। यह बहुत अधिक दृढ़ता से घर्षण से जुड़ा हुआ है। हालाँकि, "गति गुणांक" शब्द का व्यापक रूप से उपयोग किया जाता है, इसलिए हम इसका उपयोग करना जारी रखेंगे।

आवेग तकनीक की एक अच्छी विशेषता यह है कि इस तकनीक को इसमें शामिल करने के लिए ढाल वंश के कार्यान्वयन को बदलने के लिए लगभग कुछ भी करने की आवश्यकता नहीं है। हम अभी भी पहले की तरह ग्रेडिएंट्स की गणना करने के लिए वापस प्रचार का उपयोग कर सकते हैं, और स्टोचस्टली चुने हुए मिनीपैक की जांच करने जैसे विचारों का उपयोग कर सकते हैं। इस मामले में, हम क्रमिक परिवर्तनों के बारे में जानकारी का उपयोग करके हेसियन अनुकूलन के कुछ लाभ प्राप्त कर सकते हैं। हालांकि, यह सब खामियों के बिना होता है, और केवल मामूली कोड में बदलाव होता है। व्यवहार में, आवेग तकनीक का व्यापक रूप से उपयोग किया जाता है और अक्सर सीखने में तेजी लाने में मदद करता है।

अभ्यास

• यदि हम पल्स तकनीक में μ> 1 का उपयोग करते हैं तो क्या गलत होगा?
• अगर हम पल्स तकनीक में μ <0 का उपयोग करते हैं तो क्या गलत होगा?

कार्य

• Network2.py में गति-आधारित स्टोकेस्टिक क्रमिक वंश जोड़ें।

लागत कार्य को कम करने के लिए अन्य दृष्टिकोण

लागत समारोह को कम करने के लिए कई अन्य दृष्टिकोण विकसित किए गए हैं, और सर्वोत्तम दृष्टिकोण पर कोई समझौता नहीं किया गया है। तंत्रिका नेटवर्क के विषय में गहराई से जाना, यह अन्य तकनीकों में तल्लीन करने के लिए उपयोगी है, यह समझने के लिए कि वे कैसे काम करते हैं, उनकी ताकत और कमजोरियां क्या हैं, और उन्हें अभ्यास में कैसे डालना है। मेरे द्वारा पहले बताए गए काम में , कई ऐसी तकनीकों को पेश किया जाता है और तुलना की जाती है, जिसमें युग्मित ढाल वंश और बीएफजीएस विधि शामिल है (और स्मृति प्रतिबंध, या एल-बीएफजीएस के साथ निकट संबंधित बीएफजीएस विधि का अध्ययन भी करते हैं )। एक और तकनीक जिसने हाल ही में आशाजनक परिणाम दिखाए हैं ।, यह नास्टरोव की त्वरित गति है, पल्स तकनीक में सुधार। हालांकि, सरल ढाल वंश कई कार्यों के लिए अच्छी तरह से काम करता है, खासकर जब गति का उपयोग करते हैं, इसलिए हम पुस्तक के अंत तक स्टोकेस्टिक ढाल वंश से चिपक जाएंगे।

कृत्रिम न्यूरॉन के अन्य मॉडल

अब तक, हमने सिग्मॉइड न्यूरॉन्स का उपयोग करके अपना एनएस बनाया है। सिद्धांत रूप में, सिग्मॉइड न्यूरॉन्स पर निर्मित एनएस किसी भी फ़ंक्शन की गणना कर सकता है। लेकिन व्यवहार में, अन्य न्यूरॉन मॉडल पर निर्मित नेटवर्क कभी-कभी सिग्मोइड से आगे होते हैं। एप्लिकेशन के आधार पर, ऐसे वैकल्पिक मॉडल के आधार पर नेटवर्क तेजी से सीख सकते हैं, सत्यापन डेटा को बेहतर कर सकते हैं, या दोनों कर सकते हैं। मुझे कुछ सामान्य रूप से उपयोग किए गए विकल्पों का विचार देने के लिए न्यूरॉन्स के वैकल्पिक मॉडल के एक जोड़े का उल्लेख करें।

शायद सबसे सरल बदलाव एक हाइपरबोलिक स्पर्शरेखा के साथ एक सिग्मॉइड फ़ंक्शन की जगह एक टंग न्यूरॉन होगा। इनपुट x के साथ एक स्पर्श न्यूरॉन का उत्पादन, भार w का एक वेक्टर और एक ऑफसेट बी के रूप में निर्दिष्ट किया गया है

$$

$$\tanh(w \cdot x+b) \tag{109}$$

जहां तन स्वाभाविक रूप से अतिशयोक्तिपूर्ण स्पर्शरेखा है । यह पता चला है कि वह सिग्मायॉइड न्यूरॉन के साथ बहुत निकटता से जुड़ा हुआ है। इसे देखने के लिए, याद रखें कि तन को परिभाषित किया गया है

$$

$$\tanh(z) \equiv \frac{e^z-e^{-z}}{e^z+e^{-z}} \tag{110}$$

थोड़ा बीजगणित का उपयोग करके, यह देखना आसान है

$$

$$\sigma(z) = \frac{1+\tanh(z/2)}{2} \tag{111}$$

वह यह है कि तन्हा सिग्माइड को स्केल कर रहा है। रेखीय रूप से, आप यह भी देख सकते हैं कि तान फंक्शन का सिग्मॉइड के समान आकार होता है:



टैंग न्यूरॉन्स और सिग्मॉइड न्यूरॉन्स के बीच एक अंतर यह है कि पहले का उत्पादन -1 से 1 तक फैलता है, और 0 से 1 तक नहीं। कि जब स्पर्श न्यूरॉन्स के आधार पर एक नेटवर्क बनाने, आप अपने आउटपुट को सामान्य करने की आवश्यकता हो सकती है (और, अनुप्रयोग के विवरण के आधार पर, शायद इनपुट) सिग्मॉइड नेटवर्क की तुलना में थोड़ा अलग।

सिग्मॉइड वाले की तरह, तांग न्यूरॉन्स, सिद्धांत रूप में, किसी भी फ़ंक्शन (हालांकि कुछ ट्रिक्स हैं) की गणना कर सकते हैं, -1 से 1 तक के इनपुट को चिह्नित कर रहे हैं। इसके अलावा, बैक प्रोपगेशन और स्टोचैस्टिक ग्रेडिएंट डीसेंट के विचार केवल तांग पर लागू करने के लिए आसान हैं -नुरॉन्स, साथ ही सिग्मॉइड।

व्यायाम

• समीकरण (111) साबित करो।

नेटवर्क, टैंग या सिग्मॉइड में किस प्रकार के न्यूरॉन का उपयोग किया जाना चाहिए? जवाब, इसे हल्के ढंग से रखने के लिए, स्पष्ट नहीं है! हालांकि, देखते हैं सैद्धांतिक तर्क और कुछ अनुभवजन्य साक्ष्य है कि तांग न्यूरॉन्स कभी कभी बेहतर काम करते हैं। आइए संक्षेप में तांग न्यूरॉन्स के पक्ष में एक सैद्धांतिक तर्क के माध्यम से जाते हैं। मान लीजिए कि हम सिग्माइड न्यूरॉन्स का उपयोग करते हैं, और नेटवर्क पर सभी सक्रियण सकारात्मक होंगे। परत नं। L + 1 में न्यूरॉन नं। जे के लिए शामिल भार w ^{l + 1} _jk पर विचार करें । बैक प्रचार नियम (BP4) हमें बताते हैं कि संबद्ध ढाल एक है ^एल _{कश्मीर} डेल्टा ^{एल + 1,} _जे । चूंकि सक्रियता सकारात्मक है, इस ढाल का चिन्ह sign ^{l + 1} _{j के समान होगा}। इसका मतलब है कि अगर डेल्टा ^{एल + 1,} _जे सकारात्मक है, तो सभी w का वजन ^{एल + 1} _जेके ढाल वंश के समय में कमी होगी, और अगर डेल्टा ^{एल + 1,} _जे नकारात्मक, तो सभी w का वजन है ^{एल + 1} _जेकेधीरे-धीरे वंश के दौरान वृद्धि होगी। दूसरे शब्दों में, एक ही न्यूरॉन से जुड़े सभी वजन एक साथ बढ़ेंगे या घटेंगे। और यह एक समस्या है, क्योंकि आपको दूसरों को कम करते समय कुछ वजन बढ़ाने की आवश्यकता हो सकती है। लेकिन यह केवल तभी हो सकता है जब कुछ इनपुट सक्रियणों के अलग-अलग संकेत हों। यह एक और सक्रियण फ़ंक्शन के साथ सिग्मॉइड को बदलने की आवश्यकता का सुझाव देता है, उदाहरण के लिए, हाइपरबोलिक स्पर्शरेखा, जो सक्रियण को सकारात्मक और नकारात्मक दोनों की अनुमति देता है। वास्तव में, चूंकि तान शून्य के संबंध में सममित है, तन्ह (=z) = htanh (z), कोई यह उम्मीद कर सकता है कि, मोटे तौर पर, छिपी हुई परतों में सक्रियता सकारात्मक और नकारात्मक के बीच समान रूप से वितरित की जाएगी। यह सुनिश्चित करने में मदद करेगा कि तराजू के अपडेट में एक दिशा या किसी अन्य में कोई व्यवस्थित पूर्वाग्रह नहीं है।

इस तर्क पर कितनी गंभीरता से विचार किया जाना चाहिए? आखिरकार, यह हेयुरिस्टिक है, सख्त सबूत नहीं देता है कि टंग न्यूरॉन सिग्माइड से बेहतर हैं। शायद सिग्मॉइड न्यूरॉन्स में कुछ गुण होते हैं जो इस समस्या की भरपाई करते हैं? दरअसल, कई मामलों में, सिंघमाइड की तुलना में कम से कम कोई लाभ नहीं हुआ। दुर्भाग्य से, हमारे पास यह जांचने के लिए सरल और जल्दी से लागू किए गए तरीके नहीं हैं कि किस प्रकार का न्यूरॉन तेजी से सीखेगा या किसी विशेष मामले के लिए सामान्यीकरण में अधिक प्रभावी साबित होगा।

सिग्मायॉइड न्यूरॉन का एक अन्य प्रकार एक रेक्टिफाइड लीनियर न्यूरॉन, या रेक्टिफाइड लीनियर यूनिट, रेएलयू है। इनपुट x के साथ आउटपुट ReLU, भार w और ऑफसेट b का वेक्टर निम्नानुसार निर्दिष्ट है:

$$

$$\max(0, w \cdot x+b) \tag{112}$$

रेखांकन सीधे कार्य अधिकतम (0, z) इस तरह दिखता है:



ऐसे न्यूरॉन्स, स्पष्ट रूप से, सिग्मॉइड और टंग न्यूरॉन्स दोनों से बहुत अलग हैं। हालांकि, वे समान हैं कि उनका उपयोग किसी भी फ़ंक्शन की गणना करने के लिए भी किया जा सकता है, और उन्हें वापस प्रसार और स्टोचस्टिक ग्रेडिएंट वंश का उपयोग करके प्रशिक्षित किया जा सकता है।

मुझे सिग्मॉइड या टेंग न्यूरॉन्स के बजाय रेएलयू का उपयोग कब करना चाहिए? छवि मान्यता ( 1 , 2 , 3 , 4) पर हाल के कार्यों में) ReLU का उपयोग करने के गंभीर फायदे लगभग पूरे नेटवर्क में पाए गए। हालांकि, स्पर्श न्यूरॉन्स के साथ, हमारे पास अभी तक वास्तव में गहरी समझ नहीं है कि वास्तव में कौन सा ReLUs बेहतर होगा, और क्यों। कुछ समस्याओं के बारे में कुछ विचार करने के लिए, याद रखें कि सैग्मॉयड न्यूरॉन्स संतृप्त होने पर सीखना बंद कर देते हैं, अर्थात, जब आउटपुट 0 या 1 के करीब होता है। जैसा कि हमने इस अध्याय में कई बार देखा है, समस्या यह है कि reduce 'के सदस्य धीरे-धीरे कम हो जाते हैं। यह सीखने को धीमा कर देता है। तांग न्यूरॉन्स संतृप्ति में समान कठिनाइयों से पीड़ित हैं। इसी समय, ReLU पर भारित इनपुट में वृद्धि कभी भी इसे संतृप्त नहीं करेगी, इसलिए, प्रशिक्षण में एक समान मंदी नहीं आएगी। दूसरी ओर, जब ReLU पर भारित इनपुट ऋणात्मक होता है, तो ढाल गायब हो जाता है और न्यूरॉन बिल्कुल सीखना बंद कर देता है।यह कई समस्याओं का सिर्फ एक जोड़ा है जो यह समझने के लिए गैर-तुच्छ बनाता है कि ReLUs कब और कैसे सिग्मॉइड या टेंग न्यूरॉन्स से बेहतर व्यवहार करते हैं।

मैंने अनिश्चितता की एक तस्वीर चित्रित की, इस बात पर जोर देते हुए कि हमारे पास अभी तक सक्रियण कार्यों की पसंद का ठोस सिद्धांत नहीं है। वास्तव में, यह समस्या मेरे द्वारा वर्णित से भी अधिक जटिल है, क्योंकि असीम रूप से कई संभावित सक्रियण कार्य हैं। कौन सा हमें सबसे तेजी से सीखने वाला नेटवर्क देगा? जो परीक्षणों में सबसे बड़ी सटीकता देगा? मुझे आश्चर्य है कि इन मुद्दों का कितना गहरा और व्यवस्थित अध्ययन किया गया है। आदर्श रूप से, हमारे पास एक सिद्धांत होना चाहिए जो हमें विस्तार से बताता है कि हमारे सक्रियण कार्यों को कैसे चुनना (और संभवतः मक्खी पर बदलना) है। दूसरी ओर, हमें एक पूर्ण सिद्धांत की कमी से नहीं रोका जाना चाहिए! हमारे पास पहले से ही शक्तिशाली उपकरण हैं, और उनकी मदद से हम महत्वपूर्ण प्रगति हासिल कर सकते हैं। पुस्तक के अंत तक मैं सिग्माइड न्यूरॉन्स का उपयोग मुख्य रूप से करूंगा,चूंकि वे अच्छी तरह से काम करते हैं और नेशनल असेंबली से संबंधित प्रमुख विचारों के ठोस चित्र देते हैं। लेकिन ध्यान रखें कि समान विचारों को अन्य न्यूरॉन्स पर लागू किया जा सकता है, और इन विकल्पों के अपने फायदे हैं।

: , , ? ?

: , . , . . : , , ?

—

एक बार क्वांटम यांत्रिकी की बुनियादी बातों पर एक सम्मेलन में, मैंने देखा कि एक अजीब भाषण की आदत क्या लगती है: रिपोर्ट के अंत में, दर्शकों के सवाल अक्सर वाक्यांश के साथ शुरू होते हैं: "मुझे वास्तव में आपकी बात पसंद है, लेकिन ..." क्वांटम फंडामेंटल मेरे सामान्य क्षेत्र नहीं हैं, और मैंने सवाल पूछने की इस शैली पर ध्यान आकर्षित किया क्योंकि अन्य वैज्ञानिक सम्मेलनों में मैं व्यावहारिक रूप से नहीं मिला था ताकि प्रश्नकर्ता वक्ता के दृष्टिकोण के लिए सहानुभूति दिखा सके। उस समय, मैंने फैसला किया कि इस तरह के सवालों की व्यापकता ने संकेत दिया है कि क्वांटम फंडामेंटल में प्रगति काफी हद तक हासिल की गई थी, और यह कि लोग अभी गति हासिल करना शुरू कर रहे थे। बाद में मुझे महसूस हुआ कि यह आकलन बहुत कठोर था। वक्ताओं ने कुछ सबसे कठिन समस्याओं से जूझते हुए सामना किया जो मानव मन का सामना करते हैं। स्वाभाविक रूप से, प्रगति धीमी थी!हालाँकि, इस क्षेत्र के बारे में लोगों की सोच की खबर सुनने में अभी भी मूल्य था, भले ही उनके पास कुछ भी न हो।

इस पुस्तक में आपने "मैं बहुत प्रभावित हूँ" वाक्यांश के समान "नर्वस टिक" देखा होगा। हमारे पास क्या है, यह समझाने के लिए, मैंने अक्सर "अनुमानी" या "मोटे तौर पर बोलने" जैसे शब्दों का सहारा लिया, इसके बाद एक घटना का विवरण दिया। ये कहानियाँ विश्वसनीय हैं, लेकिन अनुभवजन्य साक्ष्य अक्सर काफी सतही थे। यदि आप शोध साहित्य का अध्ययन करते हैं, तो आप देखेंगे कि इस तरह की कहानियां तंत्रिका नेटवर्क पर कई शोध पत्रों में दिखाई देती हैं, अक्सर कम संख्या में सहायक साक्ष्य की कंपनी में। हम इस तरह की कहानियों से कैसे संबंधित हैं?

विज्ञान के कई क्षेत्रों में - विशेष रूप से जहां साधारण घटनाओं पर विचार किया जाता है - कोई बहुत सामान्य परिकल्पना के बहुत ही सख्त और विश्वसनीय सबूत पा सकता है। लेकिन नेशनल असेंबली में बड़ी संख्या में पैरामीटर और हाइपरपरमेटर्स हैं, और उनके बीच बेहद जटिल संबंध हैं। ऐसी अविश्वसनीय रूप से जटिल प्रणालियों में, विश्वसनीय सामान्य बयान करना अविश्वसनीय रूप से कठिन है। एनएस की अपनी संपूर्णता में, क्वांटम नींव की तरह, मानव मन की सीमाओं का परीक्षण करता है। अक्सर हमें एक सामान्य कथन के कई विशिष्ट विशेष मामलों के पक्ष में या उसके खिलाफ सबूतों के साथ खदेड़ना पड़ता है। परिणामस्वरूप, इन साक्ष्यों को कभी-कभी बदलने या छोड़ने की आवश्यकता होती है, क्योंकि नए साक्ष्य सामने आते हैं।

इस स्थिति के दृष्टिकोणों में से एक यह विचार करना है कि एनएस के बारे में कोई भी अनुमानी कहानी एक निश्चित चुनौती है। उदाहरण के लिए, मेरे द्वारा बताए गए स्पष्टीकरण पर विचार करें कि 2012 के काम से अपवाद (ड्रॉपआउट) क्यों काम करता है।: "यह तकनीक न्यूरॉन्स के जटिल संयुक्त अनुकूलन को कम करती है, क्योंकि एक न्यूरॉन कुछ पड़ोसियों की उपस्थिति पर भरोसा नहीं कर सकता है। अंत में, उसे और अधिक विश्वसनीय लक्षण सीखने होंगे जो कि न्यूरॉन्स के कई अलग-अलग यादृच्छिक सबसेट के साथ मिलकर काम करने में उपयोगी हो सकते हैं। ” एक समृद्ध और उत्तेजक बयान, जिसके आधार पर आप एक संपूर्ण शोध कार्यक्रम बना सकते हैं, जिसमें आपको यह पता लगाने की आवश्यकता होगी कि क्या सच है, कहां गलत है, और क्या स्पष्ट करने और बदलने की जरूरत है। और अब वास्तव में अपवादों (और इसके कई रूपों) का अध्ययन करने वाले शोधकर्ताओं का एक पूरा उद्योग है, यह समझने की कोशिश कर रहा है कि यह कैसे काम करता है और इसकी क्या सीमाएँ हैं। इसलिए यह कई अन्य दृष्टिकोणों के साथ है, जिन पर हमने चर्चा की। उनमें से प्रत्येक न केवल एक संभावित व्याख्या है,लेकिन यह भी अनुसंधान के लिए एक चुनौती है और एक अधिक विस्तृत समझ है।

बेशक, किसी भी व्यक्ति के पास इतना समय नहीं होगा कि वह इन सभी व्याख्यात्मक स्पष्टीकरणों की गहराई से जाँच-पड़ताल कर सके। एनएस शोधकर्ताओं के पूरे समुदाय को सबूतों के आधार पर एनएस प्रशिक्षण के वास्तव में शक्तिशाली सिद्धांत विकसित करने में दशकों लगेंगे। इसका मतलब यह है कि यह हेक्सिस्टिक स्पष्टीकरण को शिथिलता के रूप में खारिज करने और सबूत की कमी के लायक है? नहीं! हमें एक ऐसा उत्तराधिकारी चाहिए जो हमारी सोच को प्रेरित करे। यह महान भौगोलिक खोजों के युग के समान है: प्रारंभिक विद्वानों ने अक्सर मान्यताओं के आधार पर कार्य किया (और बनाई गई खोजें) जो कि एक गंभीर तरीके से गलत थे। बाद में, हमने अपने भौगोलिक ज्ञान की भरपाई करते हुए इन त्रुटियों को ठीक किया। जब आप कुछ खराब समझते हैं - जैसा कि शोधकर्ताओं ने भूगोल को समझा है, और जैसा कि हम आज एनएस को समझते हैं - यह साहसपूर्वक अज्ञात रूप से करने के लिए अधिक महत्वपूर्ण है,अपने तर्क के हर कदम पर सही तरीके से जांचे जाने से। इसलिए, आपको इन कहानियों को एनएस पर प्रतिबिंबित करने, उनकी सीमाओं के बारे में स्वस्थ जागरूकता बनाए रखने और प्रत्येक मामले में साक्ष्य की विश्वसनीयता की सावधानीपूर्वक निगरानी करने के लिए उपयोगी निर्देशों के रूप में विचार करना चाहिए। दूसरे शब्दों में, हमें वास्तविक तथ्यों को प्रकट करने के लिए प्रेरणा और प्रेरणा के लिए अच्छी कहानियों की आवश्यकता है, और पूरी तरह से छानबीन करनी चाहिए।