😲 👨‍👦 🔹 ओह न्यूटन का यह तरीका 🧒🏿 👩🏽‍💻 👧🏿

संख्यात्मक अनुकूलन विधियों के बारे में बहुत कुछ लिखा गया है। यह समझने योग्य है, विशेष रूप से हाल ही में गहरे तंत्रिका नेटवर्क द्वारा प्रदर्शित सफलताओं की पृष्ठभूमि के खिलाफ। और यह बहुत खुशी की बात है कि कम से कम कुछ उत्साही लोगों को न केवल इस बात में दिलचस्पी है कि इन नेटवर्कों पर अपने तंत्रिका नेटवर्क को कैसे बम बनाया जाए, जिसने इन इंटरनेट में लोकप्रियता हासिल की है, बल्कि यह भी कि यह कैसे और क्यों काम करता है। हालाँकि, मुझे हाल ही में यह नोट करना पड़ा कि न्यूरल नेटवर्क के प्रशिक्षण से संबंधित मुद्दों को प्रस्तुत करने में (और न केवल प्रशिक्षण के साथ, और न केवल नेटवर्क), हैबर सहित, अधिक से अधिक बार "प्रसिद्ध" बयानों को अग्रेषित करने के लिए उपयोग किया जाता है, जिसकी वैधता इसे हल्के ढंग से, संदिग्ध बनाने के लिए। इस तरह के संदिग्ध बयानों के बीच:

दूसरे और अधिक आदेशों के तरीके प्रशिक्षण तंत्रिका नेटवर्क के कार्यों में अच्छी तरह से काम नहीं करते हैं। क्योंकि वह
न्यूटन विधि को हेसियन मैट्रिक्स (दूसरे डेरिवेटिव) की सकारात्मक निश्चितता की आवश्यकता है और इसलिए यह अच्छी तरह से काम नहीं करता है।
लीवेनबर्ग-मार्क्वार्ड विधि ढाल मूल और न्यूटन विधि के बीच एक समझौता है और आम तौर पर अनुमानवादी है।

आदि इस सूची को जारी रखने के लिए, व्यापार में उतरना बेहतर है। इस पोस्ट में हम दूसरे कथन पर विचार करेंगे, क्योंकि मैं केवल उनसे कम से कम दो बार हैबे में मिला था। मैं न्यूटन विधि के विषय में केवल पहले प्रश्न पर ही विचार करूंगा, क्योंकि यह अधिक व्यापक है। तीसरे और बाकी को बेहतर समय तक छोड़ दिया जाएगा।

हमारे ध्यान का ध्यान बिना शर्त अनुकूलन का कार्य होगा $"f (x) \ rightarrow \ min"$ जहाँ $"x = (x_ {1}, x_ {2}, \ dots)"$ - सदिश स्थान का एक बिंदु, या बस - एक सदिश। स्वाभाविक रूप से, यह कार्य हल करना आसान है, जितना अधिक हम इसके बारे में जानते हैं 'एफ'

। यह आमतौर पर प्रत्येक तर्क के संबंध में भिन्न माना जाता है $"x_ {k}"$ , और हमारे गंदे कामों के लिए जितनी बार आवश्यक हो। यह सर्वविदित है कि एक बिंदु पर उसके लिए एक आवश्यक शर्त है $"x ^ {*}"$ न्यूनतम पहुंच गया है, फ़ंक्शन के ग्रेडिएंट की समानता है $"बिगट्रींगल्डाउन च (x ^ {*})"$ इस बिंदु पर शून्य। यहाँ से हम तुरंत निम्नलिखित न्यूनतम विधि प्राप्त करते हैं:

समीकरण हल करें "बिगट्रींगल्डाउन f (x) = 0"

।

इसे हल्के ढंग से रखने का कार्य आसान नहीं है। निश्चित रूप से मूल से आसान नहीं है। हालाँकि, इस बिंदु पर, हम तुरंत न्यूनतम समस्या और गैर-समीकरणों की एक प्रणाली को हल करने की समस्या के बीच संबंध को नोट कर सकते हैं। लेवेनबर्ग-मार्क्वार्ड विधि (जब हम इसे प्राप्त करते हैं) पर विचार करने पर यह कनेक्शन हमारे पास वापस आ जाएगा। इस बीच, याद रखें (या पता करें) कि nonlinear समीकरणों के सिस्टम को हल करने के लिए सबसे अधिक इस्तेमाल की जाने वाली विधियों में से एक न्यूटन की विधि है। इसमें इस तथ्य को समाहित किया गया है कि समीकरण को हल करना "एफ (एक्स) = 0"

हम कुछ प्रारंभिक सन्निकटन से शुरू करते हैं $"x_ {0}"$ एक अनुक्रम बनाएँ

$"x_ {i + 1} = x_ {i} -H ^ {- 1} (x_ {i}) F (x_ {i})"$ - न्यूटन की स्पष्ट विधि

या

$"{शुरू {केस} H (x_ {i}) p_ {i} = - F (x_ {i}) \\ x_ {i + 1} = x_ {i} + p_ {i} \ end {केस}"$ - न्यूटन की निहित विधि

जहाँ "एच"

- मैट्रिक्स एक फ़ंक्शन के आंशिक डेरिवेटिव से बना है 'एफ'

। स्वाभाविक रूप से, सामान्य मामले में, जब अरेखीय समीकरणों की प्रणाली केवल संवेदनाओं में हमें दी जाती है, तो मैट्रिक्स से कुछ की आवश्यकता होती है "एच"

हम हकदार नहीं हैं। मामले में जब समीकरण किसी फ़ंक्शन के लिए न्यूनतम स्थिति है, तो हम यह बता सकते हैं कि मैट्रिक्स "एच"

सममित। लेकिन अब और नहीं।

नेलिनियर समीकरणों के सिस्टम को हल करने के लिए न्यूटन की विधि का अच्छी तरह से अध्ययन किया गया है। और यहाँ बात है - इसके अभिसरण के लिए मैट्रिक्स की सकारात्मक निश्चितता की आवश्यकता नहीं है "एच"

। हाँ, और आवश्यकता नहीं हो सकती - अन्यथा वह बेकार होता। इसके बजाय, ऐसी अन्य शर्तें हैं जो इस पद्धति के स्थानीय अभिसरण को सुनिश्चित करती हैं और जिसे हम यहां नहीं मानेंगे, विशेष साहित्य (या टिप्पणी में) में रुचि रखने वाले लोगों को भेज रहे हैं। हमें वह कथन 2 गलत लगता है।

तो?

हाँ और नहीं। शब्द में यहाँ घात शब्द से पहले स्थानीय अभिसरण है। इसका अर्थ है कि प्रारंभिक सन्निकटन $"x_ {0}"$ समाधान के लिए "पास पर्याप्त" होना चाहिए, अन्यथा प्रत्येक कदम पर हम आगे और आगे इसे से हटा दिया जाएगा। क्या करें? मैं इस विवरण में नहीं जाऊंगा कि सामान्य रूप के गैर-रेखीय समीकरणों की प्रणालियों के लिए यह समस्या कैसे हल होती है। इसके बजाय, हमारे अनुकूलन कार्य पर वापस जाएं। कथन 2 की पहली गलती वास्तव में यह है कि आमतौर पर अनुकूलन समस्याओं में न्यूटन विधि की बात करते हुए, इसका अर्थ है कि इसका संशोधन - नम न्यूटन विधि, जिसमें नियम के अनुसार सन्निकटन का क्रम निर्मित होता है।

$"x_ {i + 1} = x_ {i} - \ Alpha_ {i} H ^ {- 1} (x_ {i}) F (x_ {i})"$ - न्यूटन की स्पष्ट नम विधि

$"" शुरू {मामलों} H (x_ {i}) p_ {i} = - F (x_ {i}) \\ x_ {i + 1} = x_ {i} + \ Alpha_ {i} p_ {i}} अंत {मामलों} "$ - न्यूटन की निहित नम विधि

यहाँ अनुक्रम है $"\ {\ अल्फ़ा_ {i} \}"$ विधि का एक पैरामीटर है और इसका निर्माण एक अलग कार्य है। न्यूनतम समस्याओं में, चुनने पर प्राकृतिक $"# अल्फा_ {i}"$ एक आवश्यकता होगी कि, प्रत्येक पुनरावृत्ति पर, फ़ंक्शन च का मूल्य घटता है, अर्थात। $"f (x_ {i + 1}) & lt; f (x_ {i})"$ । एक तार्किक प्रश्न उठता है: क्या ऐसा (सकारात्मक) है $"# अल्फा_ {i}"$ ? और अगर इस प्रश्न का उत्तर सकारात्मक है, तो $"p_ {i}"$ वंश की दिशा कहा जाता है। तब प्रश्न को इस तरह से प्रस्तुत किया जा सकता है:
न्यूटन की विधि द्वारा अवरोह की दिशा किस दिशा में उत्पन्न होती है?
और इसका जवाब देने के लिए आपको दूसरी तरफ से न्यूनतमकरण की समस्या को देखना होगा।

उतर की विधियाँ

कम से कम समस्या के लिए, यह दृष्टिकोण काफी स्वाभाविक लगता है: कुछ मनमाने बिंदु से शुरू, हम किसी तरह से दिशा p चुनते हैं और इस दिशा में एक कदम उठाते हैं $"\ _ p"$ । अगर $"एफ (एक्स + \ अल्फा पी) और लेफ्टिनेंट; एफ (एक्स)"$ तो ले लो $"x + \ अल्फा पी"$ एक नए शुरुआती बिंदु के रूप में और प्रक्रिया को दोहराएं। यदि दिशा को मनमाने ढंग से चुना जाता है, तो ऐसी विधि को कभी-कभी यादृच्छिक चलना विधि कहा जाता है। यूनिट बेस वैक्टर को एक दिशा के रूप में लेना संभव है - अर्थात, केवल एक समन्वय में एक कदम उठाने के लिए, इस विधि को निर्देशांक वंश विधि कहा जाता है। कहने की जरूरत नहीं है, वे अप्रभावी हैं? इस दृष्टिकोण को अच्छी तरह से काम करने के लिए, हमें कुछ अतिरिक्त गारंटी की आवश्यकता है। ऐसा करने के लिए, हम एक सहायक फ़ंक्शन का परिचय देते हैं "जी (पी) = एफ (एक्स + पी)"

। मुझे लगता है कि यह स्पष्ट है कि कम से कम 'एफ'

पूरी तरह से न्यूनतम करने के बराबर है "जी"

। अगर

तब अलग-अलग "जी"

के रूप में प्रतिनिधित्व किया जा सकता है

$"g (p) = f (x) + \ bigtriangledown f ^ {T} (x) p + o (\ समानांतर p \ समानांतर ^ {2})"$

और अगर "कुल मिलाकर समानांतर पी"

तब काफी छोटा था $"g (p) \ लगभग \ bar {g} (p) = f (x) + \ bigtriangledown f ^ {T} (x) p"$ । अब हम न्यूनतमकरण समस्या को बदलने का प्रयास कर सकते हैं "जी (पी)"

इसके सन्निकटन (या मॉडल ) को कम करने का कार्य "यू बार {जी} (पी)"

। वैसे, मॉडल के उपयोग के आधार पर सभी विधियां "यू बार {जी} (पी)"

ढाल कहा जाता है। लेकिन मुसीबत यह है, "यू बार {जी}"

एक रैखिक कार्य है और इसलिए, इसकी कोई न्यूनतम सीमा नहीं है। इस समस्या को हल करने के लिए, हम उस चरण की लंबाई पर प्रतिबंध जोड़ते हैं जिसे हम लेना चाहते हैं। इस मामले में, यह पूरी तरह से प्राकृतिक आवश्यकता है - क्योंकि हमारा मॉडल कम या ज्यादा सही ढंग से केवल एक छोटे से पड़ोस में उद्देश्य समारोह का वर्णन करता है। नतीजतन, हम सशर्त अनुकूलन की एक अतिरिक्त समस्या प्राप्त करते हैं:

$\\\ bar {g} (p) = f (x) + \ bigtriangledown f ^ {T} (x) p \ rightarrow \ min \\ \ समानांतर p \ समानांतर_ {2} = \ Delta$

इस कार्य का एक स्पष्ट समाधान है: $"p = - \ beta \ bigtriangledown f (x)"$ जहाँ

- बाधा की पूर्ति का कारक। फिर वंश पद्धति के पुनरावृत्तियों ने रूप ले लिया

$"x_ {i + 1} = x_ {i} - \ Beta \ bigtriangledown f (x_ {{}}"$ ।

जिसमें हम प्रसिद्ध ढाल वंश विधि सीखते हैं। पैरामीटर

, जिसे आमतौर पर वंश की गति कहा जाता है, ने अब एक समझने योग्य अर्थ प्राप्त कर लिया है, और इसका मूल्य इस शर्त से निर्धारित होता है कि नया बिंदु किसी दिए गए त्रिज्या के एक क्षेत्र पर स्थित है, जो पुराने बिंदु के चारों ओर परिचालित है।

उद्देश्य फ़ंक्शन के निर्मित मॉडल के गुणों के आधार पर, हम तर्क दे सकते हैं कि ऐसा है "" #

भले ही बहुत छोटा हो, चाहे तो $"यू बार {जी} (पी) & lt; \ बार {जी} (0)"$ तो "जी (पी) और लेफ्टिनेंट; जी (0)"

। यह उल्लेखनीय है कि इस मामले में हम जिस दिशा में आगे बढ़ेंगे वह इस क्षेत्र के त्रिज्या के आकार पर निर्भर नहीं करता है। फिर हम निम्नलिखित तरीकों में से एक चुन सकते हैं:

किसी विधि के अनुसार मूल्य का चयन करें ।
उचित मूल्य चुनने का कार्य निर्धारित करें उद्देश्य समारोह के मूल्य में कमी प्रदान करते हैं।

पहला दृष्टिकोण ट्रस्ट क्षेत्र के तरीकों के लिए विशिष्ट है , दूसरा तथाकथित की सहायक समस्या के निर्माण की ओर जाता है रैखिक खोज (LineSearch) । इस विशेष मामले में, इन दृष्टिकोणों के बीच अंतर छोटे हैं और हम उन पर विचार नहीं करेंगे। इसके बजाय, निम्नलिखित पर ध्यान दें:

क्यों, वास्तव में, क्या हम एक ऑफसेट की तलाश कर रहे हैं गोलाकार पर बिल्कुल झूठ?

वास्तव में, हम इस प्रतिबंध को अच्छी तरह से आवश्यकता के साथ बदल सकते हैं, उदाहरण के लिए, यह क्यू घन की सतह से संबंधित है, अर्थात। $"कुल समानांतर p \ समानांतर _ {\ infty} = \ Delta"$ (इस मामले में, यह बहुत उचित नहीं है, लेकिन क्यों नहीं), या कुछ अण्डाकार सतह? यह पहले से ही काफी तर्कसंगत लगता है, अगर हम उन समस्याओं को याद करते हैं जो कि गुलाल कार्यों को कम करते समय उत्पन्न होती हैं। समस्या का सार यह है कि कुछ समन्वय रेखाओं के साथ फ़ंक्शन दूसरों की तुलना में बहुत तेजी से बदलता है। इस वजह से, हमें लगता है कि अगर वेतन वृद्धि क्षेत्र से संबंधित होनी चाहिए, तो मात्रा "" #

जिस पर "वंश" प्रदान किया जाता है वह बहुत छोटा होना चाहिए। और यह इस तथ्य की ओर जाता है कि न्यूनतम प्राप्त करने के लिए बहुत बड़ी संख्या में चरणों की आवश्यकता होगी। लेकिन अगर इसके बजाय हम एक पड़ोस के रूप में एक उपयुक्त दीर्घवृत्त लेते हैं, तो यह समस्या जादुई रूप से शून्य हो जाएगी।

इस शर्त के अनुसार कि अण्डाकार सतह के बिंदु किस प्रकार के हैं, के रूप में लिखा जा सकता है $"\ n समानांतर p \ समानांतर_ {B} = \ sqrt {p ^ {T} Bp} = \ Delta"$ जहाँ 'बी'

कुछ सकारात्मक निश्चित मैट्रिक्स है, जिसे मीट्रिक भी कहा जाता है। नोर्मा $"समानांतर / cdot \ समानांतर \ {B}"$ मैट्रिक्स द्वारा प्रेरित अण्डाकार मानदंड कहा जाता है 'बी'

। यह किस प्रकार का मैट्रिक्स है और इसे कहां से प्राप्त करना है - हम बाद में विचार करेंगे, और अब हम एक नए कार्य पर आते हैं।

$\\\ bar {g} (p) = f (x) + \ bigtriangledown f ^ {T} (x) p \ rightarrow \ min \\ \ dfrac {1} {2} \ समानांतर p \ समानांतर \ "B} ^ ^ {2} = \ Delta$

आदर्श का वर्ग और 1/2 कारक पूरी तरह से सुविधा के लिए यहां हैं, ताकि जड़ों के साथ गड़बड़ न हो। लैगरेंज गुणक विधि को लागू करने से, हम बिना शर्त अनुकूलन की बाध्य समस्या प्राप्त करते हैं

$f (x) + \ bigtriangledown f ^ {T} (x) p + dfrac {\ lambda} {2} p ^ {T} Bp- \ lambda \ Delta \ rightarrow \ min$

इसके लिए न्यूनतम एक आवश्यक शर्त है

$\ bigtriangledown f (x) + \ lambda Bp = 0$ , या $"बी \ लेफ्ट (\ lambda p \ right) = - \ bigtriangledown f (x)"$ कहाँ से

$p = - \ dfrac {1} {\ _ lambda} B ^ {- 1} \ bigtriangledown f (x) = \ dfrac {1} {\ lambda} \ bar {p}$

$\\ \ _ dfrac {1} {\ lambda ^ {2}} \ left (B ^ {- 1} \ bigtriangledown f (x) \ right) ^ {T} B \ left (B ^ {- 1} / bigtriangledown f (x) \ सही) = \ dfrac {1} {\ lambda ^ {2}} \ bigtriangledown f (x) ^ {T} B ^ {- 1} BB ^ {- 1} \ bigtriangledown f (x) = \ \ = \ dfrac {1} {\ lambda ^ {2}} \ bigtriangledown f (x) ^ {T} B ^ {- 1} \ bigtriangledown f (x) = \ Delta$

$\ lambda = \ sqrt {\ dfrac {1} {\ Delta} \ bigtriangledown f (x) ^ {T} B ^ {- 1} \ bigtriangledown f (x)}> 0$

फिर से हम देखते हैं कि दिशा $"यू बार {p} = - B ^ {- 1} \ bigtriangledown f (x)"$ , जिसमें हम आगे बढ़ेंगे, मूल्य पर निर्भर नहीं करता है "" #

- केवल मैट्रिक्स से 'बी'

। और फिर, हम या तो उठा सकते हैं "" #

यह गणना करने की आवश्यकता से भरा है "लाम्बा"

और स्पष्ट मैट्रिक्स उलटा 'बी'

, या एक उपयुक्त पूर्वाग्रह खोजने की सहायक समस्या को हल करें $"x_ {i + 1} = x_ {i} + \ बीटा \ बार {p} _ {i}"$ । जैसे "लैम्ब्डा और gt; 0"

इस सहायक समस्या का समाधान मौजूद है।

तो यह मैट्रिक्स बी के लिए क्या होना चाहिए? हम खुद को सट्टा विचारों तक सीमित रखते हैं। यदि उद्देश्य कार्य 'एफ'

- द्विघात, अर्थात् इसका रूप है $"f (x) = a + b ^ {T} x + x ^ {T} Hx"$ जहाँ "एच"

सकारात्मक निश्चित, यह स्पष्ट है कि मैट्रिक्स की भूमिका के लिए सबसे अच्छा उम्मीदवार 'बी'

हेसियन है

, क्योंकि इस मामले में हमारे द्वारा निर्मित वंश विधि का एक चलना आवश्यक है। यदि H पॉजिटिव निश्चित नहीं है, तो यह एक मीट्रिक नहीं हो सकता है, और इसके साथ निर्मित पुनरावृत्तियाँ नम न्यूटन विधि की पुनरावृत्तियों हैं, लेकिन वे वंश विधि के पुनरावृत्तियों नहीं हैं। अंत में, हम एक कठोर उत्तर दे सकते हैं

प्रश्न: क्या न्यूटन पद्धति में हेसियन मैट्रिक्स का सकारात्मक निश्चित होना आवश्यक है?
उत्तर: नहीं, यह मानक या नम न्यूटन की विधि में आवश्यक नहीं है। लेकिन अगर यह शर्त पूरी हो जाती है, तो नम न्यूटन विधि एक मूल विधि है और इसमें वैश्विक संपत्ति है, न कि केवल उच्च प्रसार।

एक दृष्टांत के रूप में, आइए देखें कि क्रमिक वंश और न्यूटन के तरीकों का उपयोग करके जाने-माने रोसेनब्रोक फ़ंक्शन को कम करते समय विश्वास क्षेत्र कैसे दिखते हैं, और क्षेत्रों का आकार प्रक्रिया के अभिसरण को कैसे प्रभावित करता है।

यह कैसे वंश विधि एक गोलाकार आत्मविश्वास क्षेत्र के साथ व्यवहार करता है, यह भी एक ढाल वंश है। सब कुछ एक पाठ्यपुस्तक की तरह है - हम एक घाटी में फंस गए हैं।

और यह हमें मिलता है यदि विश्वास क्षेत्र में हेसियन मैट्रिक्स द्वारा परिभाषित एक दीर्घवृत्त का आकार है। यह नम न्यूटन पद्धति के पुनरावृत्ति से अधिक कुछ नहीं है।

केवल अगर हेसियन मैट्रिक्स सकारात्मक नहीं है तो क्या करना है इसका सवाल अनसुलझा रह गया। कई विकल्प हैं। पहला स्कोर करना है। शायद आप भाग्यशाली हैं और न्यूटन के पुनरावृत्तियों इस संपत्ति के बिना अभिसरण होंगे। यह काफी वास्तविक है, विशेष रूप से न्यूनतमकरण प्रक्रिया के अंतिम चरणों में, जब आप पहले से ही एक समाधान के लिए काफी करीब हैं। इस मामले में, मानक न्यूटन विधि के पुनरावृत्तियों को वंश के लिए स्वीकार्य पड़ोस की खोज के साथ परेशान किए बिना उपयोग किया जा सकता है। या के मामले में नम न्यूटन विधि की पुनरावृत्तियों का उपयोग करें "" बीटा = 0 "

, वह यह है कि मामले में, जब प्राप्त की गई दिशा वंश की दिशा नहीं है, तो इसे बदल दें, कहें, एक विरोधी ढाल के लिए। बस स्पष्ट रूप से जांचने की ज़रूरत नहीं है कि सिल्वेस्टर मानदंड के अनुसार हेस्सियन सकारात्मक निश्चित है , जैसा कि यहां किया गया था !!! । यह बेकार और व्यर्थ है।
अधिक सूक्ष्म विधियों में हेसियन मैट्रिक्स के करीब एक अर्थ में, एक मैट्रिक्स का निर्माण शामिल है, लेकिन सकारात्मक निश्चितता की संपत्ति रखने, विशेष रूप से, eigenvalues को सही करके। एक अलग विषय अर्ध-न्यूटोनियन तरीके, या चर मीट्रिक तरीके हैं, जो मैट्रिक्स बी की सकारात्मक निश्चितता की गारंटी देते हैं और दूसरे डेरिवेटिव की गणना की आवश्यकता नहीं होती है। सामान्य तौर पर, इन मुद्दों की एक विस्तृत चर्चा इस लेख के दायरे से परे है।

हां, और इस तरह, यह कहा गया है कि हेसियन की सकारात्मकता के साथ न्यूटन नम विधि एक ढाल विधि है । साथ ही अर्ध-न्यूटोनियन तरीके। और कई अन्य, दिशा और कदम के आकार की एक अलग पसंद के आधार पर। इसलिए ढाल शब्दावली के साथ न्यूटन विधि के विपरीत गलत है।

संक्षेप में देना

न्यूटन विधि, जिसे अक्सर स्मरण विधि के बारे में चर्चा करते समय याद किया जाता है, आमतौर पर न्यूटन विधि इसके शास्त्रीय अर्थ में नहीं होती है, लेकिन उद्देश्य फ़ंक्शन के हेसियन द्वारा निर्दिष्ट मीट्रिक के साथ वंश विधि है। और हाँ, यह विश्व स्तर पर परिवर्तित होता है यदि हेसियन हर जगह सकारात्मक निश्चित है। यह केवल उत्तल कार्यों के लिए ही संभव है, जो हम चाहते हैं की तुलना में व्यवहार में बहुत कम आम हैं, इसलिए सामान्य मामले में, उपयुक्त संशोधनों के बिना, न्यूटन विधि का आवेदन (हम सामूहिक से दूर नहीं होगा और इसे कॉल करना जारी रखेंगे जो सही परिणाम की गारंटी नहीं देता है। तंत्रिका नेटवर्क सीखना, यहां तक कि उथले वाले, आमतौर पर कई स्थानीय मिनीमा के साथ गैर-उत्तल अनुकूलन समस्याओं की ओर जाता है। और यहाँ एक नया घात है। न्यूटन की विधि आमतौर पर (यदि अभिसरण होती है) शीघ्रता से परिवर्तित होती है। मेरा मतलब बहुत तेज है। और यह, अजीब तरह से पर्याप्त है, खराब है, क्योंकि हम कई पुनरावृत्तियों में एक स्थानीय न्यूनतम पर आते हैं। और यह जटिल इलाके वाले कार्यों के लिए वैश्विक एक से बहुत अधिक खराब हो सकता है। रैखिक खोज के साथ धीरे-धीरे वंशज बहुत अधिक धीरे-धीरे परिवर्तित होता है, लेकिन उद्देश्य फ़ंक्शन की लकीरों को "छोड़ना" करने की अधिक संभावना है, जो न्यूनतमकरण के शुरुआती चरणों में बहुत महत्वपूर्ण है। यदि आपने पहले से ही उद्देश्य फ़ंक्शन के मूल्य को अच्छी तरह से कम कर दिया है, और ढाल वंश के अभिसरण में काफी धीमा हो गया है, तो मीट्रिक में बदलाव से प्रक्रिया में तेजी आ सकती है, लेकिन यह अंतिम चरणों के लिए है।

बेशक, यह तर्क सार्वभौमिक नहीं है, निर्विवाद नहीं है और कुछ मामलों में गलत भी है। साथ ही यह कथन कि ढाल की विधियाँ सीखने की समस्याओं में सबसे अच्छा काम करती हैं।

ओह न्यूटन का यह तरीका

उतर की विधियाँ

संक्षेप में देना

More articles: