पेश है बैकप्रॉपैजैशन मेथड

सभी को नमस्कार! नए साल की छुट्टियां समाप्त हो गई हैं, जिसका मतलब है कि हम फिर से आपके साथ उपयोगी सामग्री साझा करने के लिए तैयार हैं। इस लेख का एक अनुवाद "डेवलपर्स के लिए एल्गोरिदम" पाठ्यक्रम पर एक नई धारा के प्रक्षेपण की प्रत्याशा में तैयार किया गया था।

चलो चलते हैं!

---

त्रुटि का पीछे प्रसार विधि शायद एक तंत्रिका नेटवर्क का सबसे मौलिक घटक है। यह पहली बार 1960 के दशक में वर्णित किया गया था और लगभग 30 साल बाद इसे रुमेलहार्ट, हिंटन और विलियम्स ने "बैक- प्रोपगेटिंग त्रुटियों द्वारा लर्निंग अभ्यावेदन" नामक एक लेख में लोकप्रिय बनाया।

विधि का उपयोग तथाकथित श्रृंखला नियम (एक जटिल कार्य के भेदभाव के नियम) का उपयोग करके एक तंत्रिका नेटवर्क को प्रभावी ढंग से प्रशिक्षित करने के लिए किया जाता है। सीधे शब्दों में कहें, नेटवर्क के माध्यम से प्रत्येक गुजरने के बाद, वापस प्रसार विपरीत दिशा में एक पास करता है और मॉडल मापदंडों (वजन और विस्थापन) को समायोजित करता है।

इस लेख में, मैं एक सरल 4-लेयर न्यूरल नेटवर्क को सीखने और अनुकूलित करने की प्रक्रिया को गणितीय दृष्टिकोण से विस्तार से विचार करना चाहूंगा। मेरा मानना ​​है कि यह पाठक को यह समझने में मदद करेगा कि बैकप्रॉपैगेशन कैसे काम करता है, साथ ही साथ इसके महत्व का एहसास करता है।

एक तंत्रिका नेटवर्क मॉडल को परिभाषित करना

चार-लेयर न्यूरल नेटवर्क में इनपुट लेयर में चार न्यूरॉन्स, छिपे लेयर्स में चार न्यूरॉन्स और आउटपुट लेयर में 1 न्यूरॉन होते हैं।


चार-परत तंत्रिका नेटवर्क की एक सरल छवि।

इनपुट परत

चित्रा में, बैंगनी न्यूरॉन्स इनपुट का प्रतिनिधित्व करते हैं। वे साधारण स्केलर मात्रा या अधिक जटिल हो सकते हैं - वैक्टर या बहुआयामी मैट्रीस।


इनपुट्स xi का वर्णन समीकरण।

सक्रियण (ए) का पहला सेट इनपुट मूल्यों के बराबर है। सक्रियण फ़ंक्शन को लागू करने के बाद "सक्रियण" एक न्यूरॉन का मूल्य है। अधिक जानकारी के लिए नीचे देखें।

छिपी हुई परतें

छिपे हुए न्यूरॉन्स (हरे रंग की आकृति में) के अंतिम मानों की गणना z ^{l के} उपयोग से की जाती है - लेयर I और I I में लेयर भारित इनपुट्स। लेयर्स 2 और 3 के लिए, समीकरण निम्नानुसार होंगे:

L = 2 के लिए:



L = 3 के लिए:



डब्ल्यू ² और डब्ल्यू ³ परतों 2 और 3 पर भार हैं, और बी ² और बी ³ इन परतों पर ऑफसेट हैं।

सक्रियण फ़ंक्शन f का उपयोग करके ² और ³ की गणना की जाती है। उदाहरण के लिए, यह फ़ंक्शन f गैर-रेखीय है (जैसे सिग्मॉइड , ReLU और हाइपरबोलिक स्पर्शरेखा ) और नेटवर्क को डेटा में जटिल पैटर्न का अध्ययन करने की अनुमति देता है। हम इस बात पर ध्यान नहीं देंगे कि सक्रियण कैसे कार्य करता है, लेकिन यदि आप रुचि रखते हैं, तो मैं इस अद्भुत लेख को पढ़ने की सलाह देता हूं।

यदि आप बारीकी से देखते हैं, तो आप देखेंगे कि सभी x, z ² , a ² , z ³ , a ³ , W ¹ , W ² , b ¹ और b ^{2 के} पास चार-परत तंत्रिका नेटवर्क के आंकड़े में दिखाए गए ग्राहक नहीं हैं। तथ्य यह है कि हमने परतों द्वारा समूहीकृत मैट्रिसेस में सभी पैरामीटर मानों को जोड़ दिया। यह तंत्रिका नेटवर्क के साथ काम करने का एक मानक तरीका है, और यह काफी आरामदायक है। हालांकि, मैं समीकरणों से गुजरूंगा ताकि कोई भ्रम न हो।

एक उदाहरण के रूप में लेयर 2 और इसके मापदंडों को लेते हैं। एक ही ऑपरेशन तंत्रिका नेटवर्क की किसी भी परत पर लागू किया जा सकता है।
डब्ल्यू ¹ आयाम (एन, एम) के वजन का मैट्रिक्स है, जहां एन आउटपुट न्यूरॉन्स (अगली परत में न्यूरॉन्स) की संख्या है, और एम इनपुट न्यूरॉन्स (पिछली परत में न्यूरॉन्स) की संख्या है। हमारे मामले में, एन = 2 और एम = 4 ।



यहां, किसी भी भार के सबस्क्रिप्ट में पहली संख्या अगली परत में न्यूरॉन इंडेक्स से मेल खाती है (हमारे मामले में, यह दूसरी छिपी हुई परत है), और दूसरी संख्या पिछली परत में न्यूरॉन इंडेक्स से मेल खाती है (हमारे मामले में, यह इनपुट परत है)।

x आयाम का इनपुट वेक्टर ( m , 1) है, जहाँ m इनपुट न्यूरॉन्स की संख्या है। हमारे मामले में, एम = 4।



बी ¹ आयाम ( एन , 1) का विस्थापन वेक्टर है, जहां एन वर्तमान परत में न्यूरॉन्स की संख्या है। हमारे मामले में, एन = 2।



Z ² के समीकरण के बाद ^, हम समीकरण ^{2 2} को प्राप्त करने के लिए W ¹ , x और b ¹ की उपरोक्त परिभाषाओं का उपयोग कर सकते हैं:



अब ऊपर दिए गए तंत्रिका नेटवर्क के चित्रण को ध्यान से देखें:



जैसा कि आप देख सकते हैं, z ² को z ₁ ² और z ₂ ^{2 के} संदर्भ में व्यक्त किया जा सकता है, जहाँ z ₁ ² और z ₂ ² प्रत्येक इनपुट मान x ⁱ के उत्पादों का योग हैं जो संबंधित भार W _ij ^{1 हैं} ।

यह z ^{2 के} लिए समान समीकरण की ओर जाता है और यह साबित करता है कि मैट्रिक्स का प्रतिनिधित्व z ² , ² , z ³ और ³ सही है।

आउटपुट परत

तंत्रिका नेटवर्क का अंतिम भाग आउटपुट परत है, जो अनुमानित मूल्य देता है। हमारे सरल उदाहरण में, इसे नीले रंग में एक एकल न्यूरॉन के रूप में प्रस्तुत किया गया है और इसकी गणना इस प्रकार की गई है:



फिर से, हम समीकरण को सरल बनाने के लिए मैट्रिक्स प्रतिनिधित्व का उपयोग करते हैं। अंतर्निहित तर्क को समझने के लिए आप उपरोक्त विधियों का उपयोग कर सकते हैं।

प्रत्यक्ष वितरण और मूल्यांकन

उपरोक्त समीकरण तंत्रिका नेटवर्क के माध्यम से एक सीधा वितरण बनाते हैं। यहाँ एक त्वरित अवलोकन है:



(1) - इनपुट लेयर
(२) - पहली छिपी परत में न्यूरॉन का मान
(3) - पहली छिपी हुई परत पर सक्रियण मान
(4) - दूसरी छिपी परत में न्यूरॉन का मान
(5) - दूसरे छिपे हुए स्तर पर सक्रियण मान
(6) - आउटपुट लेयर

प्रत्यक्ष पास में अंतिम चरण अपेक्षित आउटपुट मान y के सापेक्ष अनुमानित आउटपुट मान का मूल्यांकन करना है।

आउटपुट y प्रशिक्षण डेटा सेट (x, y) का हिस्सा है, जहां x इनपुट है (जैसा कि हम पिछले अनुभाग से याद करते हैं)।

S और y के बीच का अनुमान नुकसान फ़ंक्शन के माध्यम से होता है। यह मानक त्रुटि या अधिक जटिल के रूप में क्रॉस एन्ट्रॉपी के रूप में सरल हो सकता है।

हम इस हार फ़ंक्शन को C कहते हैं और इसे निम्नानुसार दर्शाते हैं:



जहां लागत मानक त्रुटि, क्रॉस एन्ट्रापी, या किसी अन्य नुकसान फ़ंक्शन के बराबर हो सकती है।

C के मान के आधार पर, मॉडल को पता है कि y के अपेक्षित आउटपुट मान को प्राप्त करने के लिए उसके मापदंडों को कितना समायोजित करना होगा। यह बैकप्रोपैजेशन विधि का उपयोग करके होता है।

ग्रेडियरों की त्रुटि और गणना का प्रसार

1989 के लेख के आधार पर, बैकप्रॉपैजैशन विधि:

नेटवर्क के वास्तविक आउटपुट वेक्टर और वांछित आउटपुट वेक्टर के बीच अंतर को मापने के लिए नेटवर्क में कनेक्शन के वजन को लगातार समायोजित करता है ।
और
... यह उपयोगी नए कार्यों को बनाने के लिए संभव बनाता है जो पहले और सरल तरीकों से बैकप्रोपैजेशन को अलग करते हैं ...

दूसरे शब्दों में, नेटवर्क के वज़न और ऑफसेट को समायोजित करके नुकसान के कार्य को कम करने के उद्देश्य से बैक प्रचार है। समायोजन की डिग्री इन मापदंडों के संबंध में हानि समारोह के ग्रेडिएंट द्वारा निर्धारित की जाती है।

एक सवाल उठता है: ग्रेडिएंट्स की गणना क्यों करें ?

इस प्रश्न का उत्तर देने के लिए, हमें सबसे पहले कंप्यूटिंग की कुछ अवधारणाओं को संशोधित करना होगा:

X पर फ़ंक्शन C (x ¹ , x ² , ..., x ^m ) की ढाल x के संबंध में C के आंशिक व्युत्पन्न का वेक्टर है ।



फंक्शन C की व्युत्पत्ति अपने लॉजिक x ( इनपुट वैल्यू ) में बदलाव के सापेक्ष फंक्शन (आउटपुट वैल्यू) के मूल्य में बदलाव के प्रति संवेदनशीलता को दर्शाती है। दूसरे शब्दों में, व्युत्पन्न हमें बताता है कि सी किस दिशा में बढ़ रहा है।

ग्रेडिएंट दिखाता है कि सी को कम करने के लिए पैरामीटर x (सकारात्मक या नकारात्मक दिशा में) को बदलना कितना आवश्यक है।

इन ग्रेडिएंट्स की गणना एक चेन नियम नामक विधि का उपयोग करके की जाती है।
एक भार (w ^jk ) _{l के लिए,} ढाल है:



(१) चैन नियम
(2) परिभाषा के अनुसार, मी प्रति l - 1 परत में न्यूरॉन्स की संख्या है
(३) व्युत्पन्न गणना
(४) अंतिम मूल्य
समीकरणों के समान सेट को (b ^j ) _{l पर} लागू किया जा सकता है :



(१) चैन नियम
(२) व्युत्पन्न गणना
(३) अंतिम मूल्य
दोनों समीकरणों में सामान्य भाग को अक्सर "स्थानीय ढाल" कहा जाता है और इसे निम्नानुसार व्यक्त किया जाता है:



एक "स्थानीय ढाल" आसानी से एक श्रृंखला नियम का उपयोग करके निर्धारित किया जा सकता है। मैं अब इस प्रक्रिया को चित्रित नहीं करूंगा।

ग्राहक मॉडल मापदंडों का अनुकूलन करने की अनुमति देते हैं:

स्टॉप मानदंड पूरा होने तक, निम्न कार्य किया जाता है:



वज़न और ऑफ़सेट को अनुकूलित करने के लिए एल्गोरिदम (इसे ढाल वंश भी कहा जाता है)

• W और b के प्रारंभिक मान बेतरतीब ढंग से चुने गए हैं।
• एप्सिलॉन (ई) सीखने की गति है। यह ढाल के प्रभाव को निर्धारित करता है।
• डब्ल्यू और बी वज़न और ऑफ़सेट के मैट्रिक्स अभ्यावेदन हैं।
• डब्ल्यू या बी के संबंध में सी के व्युत्पन्न की गणना व्यक्तिगत भार या ऑफसेट के साथ सी के आंशिक डेरिवेटिव का उपयोग करके की जा सकती है।
• जैसे ही नुकसान फ़ंक्शन कम हो जाता है, समाप्ति की स्थिति संतुष्ट हो जाती है।

मैं इस खंड के अंतिम भाग को एक सरल उदाहरण के लिए समर्पित करना चाहता हूं जिसमें हम एक वजन (डब्ल्यू ²² ) _{2 के} संबंध में ढाल सी की गणना करते हैं।

आइए, पूर्वोक्त तंत्रिका नेटवर्क के नीचे ज़ूम करें:



एक तंत्रिका नेटवर्क में बैकप्रोपेगेंशन का दृश्य प्रतिनिधित्व
भार (w ²² ) ₂ जुड़ता है ( ² a ² ) और (z ² ) ₂ , इसलिए ढाल की गणना के लिए (z ² ) ₃ और (a ² ) ₃ पर श्रृंखला नियम लागू करने की आवश्यकता होती है:



सी के व्युत्पन्न के अंतिम मूल्य की गणना ( ² ए) ₃ से फ़ंक्शन सी के ज्ञान की आवश्यकता होती है क्योंकि सी पर निर्भर करता है ( ² ) ₃ , व्युत्पन्न की गणना सरल होनी चाहिए।

मुझे उम्मीद है कि यह उदाहरण ग्रेडिएंट्स की गणना के पीछे गणित पर कुछ प्रकाश डालने में कामयाब रहा है। यदि आप अधिक जानना चाहते हैं, तो मैं अत्यधिक अनुशंसा करता हूं कि आप लेखों की स्टैनफोर्ड एनएलपी श्रृंखला की जांच करें, जहां रिचर्ड सोचर बैकप्रॉपैजेशन के लिए 4 महान स्पष्टीकरण प्रदान करता है।

टिप्पणी का समापन

इस अनुच्छेद में, मैंने विस्तार से बताया कि कैसे गणितीय तरीकों का उपयोग करके हुड के तहत एक त्रुटि का प्रसार होता है जैसे कि ग्रेडिएंट्स, श्रृंखला नियम, आदि की गणना। इस एल्गोरिथ्म के तंत्र को जानने से तंत्रिका नेटवर्क के आपके ज्ञान को मजबूत किया जाएगा और अधिक जटिल मॉडल के साथ काम करते समय आपको सहज महसूस करने की अनुमति मिलेगी। आपकी गहरी शिक्षा यात्रा पर शुभकामनाएँ!

वह सब है। हम सभी को "सेगमेंट्स ट्री: सिंपल एंड फास्ट" थीम पर एक मुफ्त वेबिनार में आमंत्रित करते हैं।