मशीन लर्निंग पर सारांश। गणितीय विश्लेषण। धीरे-धीरे उतरना

गणितीय विश्लेषण को याद करें

कार्य निरंतरता और व्युत्पन्न

चलो $$$E \ subseteq \ mathbb {R}$ । $$$एक$ सेट की सीमा बिंदु है $$$ई$ (Ie $$$a, E, \ forall \ varepsilon> 0 \ space \ space | (a - \ varepsilon, a + \ varepsilon) \ cap E = \ infty$ ) $$$f \ colon E \ to \ mathbb {R}$ ।

परिभाषा 1 (काऊची फ़ंक्शन सीमा):

समारोह $$$f \ colon E \ to \ mathbb {R}$ के लिए प्रतिबद्ध है $$$ए$ पर $$$x$ करने की मांग कर रहा है $$$एक$ अगर

$$

$$\ forall \ varepsilon> 0 \ space \ space \ मौजूद \ delta> 0 \ space \ space \ forall x \ E में E \ space \ space (0 <| x- a | <\ delta \ Rightarrow। f) (x) - | ए | <\ _ varepsilon)।$$

पदनाम: $$$\ lim \ limit_ {E \ ni x \ to a} f (x) = A$ ।

परिभाषा 2:

1. अंतराल $$$अब$ कहा जाता है $$$] a, b [\ space: = \ {x \ in \ mathbb {R} | <x <b \}$ ;
2. बिंदु अंतराल $$$x \ in \ mathbb {R}$ इस बिंदु का पड़ोस कहा जाता है।
3. एक बिंदु का एक छिद्रित पड़ोस उस बिंदु का पड़ोस है जहां से इस बिंदु को स्वयं बाहर रखा गया है।

पदनाम:

1. $$$V (x)$ या $$$यू (x)$ - एक बिंदु का पड़ोस $$$x$ ;
2. $$$\ ओवरसेट {\ circ} {U} (x)$ - एक बिंदु के पंचर पड़ोस $$$x$ ;
3. $$$U_E (x): = E \ cap U (x), \\ \ overset {\ circ} {U} _E (x): = E \ cap \ overset {\ circ} {U} (x)$

परिभाषा 3 (पड़ोस के माध्यम से फ़ंक्शन सीमा):

$$

$$\ lim \ limit_ {E \ ni x \ _ a} f (x) = A: = \ forall V_R (A) \ space \ मौजूद \ overset {\ circ} {U} _E (a) \ space \ space ( f (\ ओवरसेट {\ circ) {U} _E (a)) \ subset V_R (A)) $$$

परिभाषाएँ 1 और 3 बराबर हैं।

परिभाषा 4 (एक बिंदु पर एक समारोह की निरंतरता):

1. $$$f \ colon E \ to \ mathbb {R}$ में निरंतर $$$a: E में =$

   $$

   $$= \ forall V (f (a)) \ space \ space \ मौजूद U_E (a) \ space \ space (f (U_E (a)) \ subset V (f (a)));$$
2. $$$f \ colon E \ to \ mathbb {R}$ में निरंतर $$$a: E में =$

   $$

   $$\ forall \ varepsilon> 0 \ space \ space \ मौजूद \ delta> 0 \ space \ space \ forall x \ E \ space \ space (| xa | <\ delta \ Rightarrow | f (x) -f) (a) में। | <\ _ varepsilon)।$$

परिभाषाएँ 3 और 4 बताती हैं कि
( $$$f \ colon E \ to \ mathbb {R}$ में निरंतर $$ जहाँ $$$एक$ - सीमा बिंदु $$$ई$ ) $$$\ _ लेफ्टीकारो$
$$$\ Leftrightarrow (\ lim \ limit_ {E \ ni x \ to a} f (x) = f (a))$

परिभाषा 5:

समारोह $$$f \ colon E \ to \ mathbb {R}$ सेट पर निरंतर बुलाया जाता है $$$ई$ यदि यह सेट के प्रत्येक बिंदु पर निरंतर है $$$ई$ ।

परिभाषा 6:

1. समारोह $$$f \ colon E \ to \ mathbb {R}$ सेट पर परिभाषित किया गया $$$E \ subset \ mathbb {R}$ बिंदु पर विभेदक कहा जाता है $$ सेट के लिए सीमित $$$ई$ अगर वेतन वृद्धि के संबंध में ऐसा कोई रेखीय मौजूद है $$$एक्स-ए$ तर्क समारोह $$$A \ cdot (x-a)$ [कार्य अंतर $$$च$ बिंदु पर $$$एक$ ] वह वेतन वृद्धि $$$f (x) -f (a)$ कार्यों $$$च$ के रूप में प्रतिनिधित्व किया

   $$

   $$f (x) -f (a) = A \ _ cdot (x-a) + o (x-a) \ quad के लिए \ space x \ a, \ space x \ में E.$$
2. मूल्य
   

   $$

   $$f '(a) = \ lim \ limit_ {E \ ni x \ to a} \ frac {f (x) -f (a)} {x-a}$$
   
   व्युत्पन्न कार्य कहा जाता है $$$च$ बिंदु पर $$$एक$ ।

भी

$$

$$f '(x) = \ lim _ {\ substack {h \ to 0 \\ x + h, x \ _ in}}} \ frac {f (x + h) -f (x)} {h} $$$

परिभाषा 7:

1. बिंदु $$$x_0 \ E में \ सब्सेट \ mathbb {R}$ को स्थानीय अधिकतम (न्यूनतम) का बिंदु कहा जाता है, और इसमें फ़ंक्शन के मूल्य को फ़ंक्शन का स्थानीय अधिकतम (न्यूनतम) कहा जाता है $$$f \ colon E \ to \ mathbb {R}$ अगर $$$\ U_E (x_0) $ मौजूद ह$ :

   $$

2. स्थानीय अधिकतम और न्यूनतम के बिंदुओं को स्थानीय चरम सीमा के बिंदु कहा जाता है, और उनमें फ़ंक्शन के मूल्यों को फ़ंक्शन के स्थानीय एक्स्ट्रेमा कहा जाता है ।
3. बिंदु $$ चरम समारोह $$$f \ colon E \ to \ mathbb {R}$ एक आंतरिक चरम बिंदु कहा जाता है अगर $$$x_0$ सेट के लिए सीमा बिंदु है $$$E _- = \ {x \ _ in E | x <x_0 \}$ , और सेट के लिए $$$E _ + = \ {x \ _ E में | x> x_0 \}$ ।

लेम्मा 1 (त्वचा)

यदि कार्य $$$f \ colon E \ to \ mathbb {R}$ आंतरिक चरम के बिंदु पर भिन्न $$ , तो इस बिंदु पर इसका व्युत्पन्न शून्य है: $$$f '(x_0) = 0$ ।

प्रस्ताव 1 (रोल प्रमेय):
यदि कार्य $$$f \ colon [a, b] \ to \ mathbb {R}$ एक खंड पर निरंतर $$$[ए, बी]$ अंतराल में भिन्न $$$] ए, बी [$ और $$$च (ए) = एफ (बी)$ फिर एक बिंदु है $$$\ xi \ in] ए, बी [$ ऐसा है $$$f '(\ xi) = 0$ ।

प्रमेय 1 (लंबरे परिमित वृद्धि प्रमेय):

यदि कार्य $$$f \ colon [a, b] \ to \ mathbb {R}$ एक खंड पर निरंतर $$$[ए, बी]$ और अंतराल में अलग $$$] ए, बी [$ फिर एक बिंदु है $$$\ xi \ in] ए, बी [$ ऐसा है

$$

$$f (b) -f (a) = f '(\ xi) (b-a)$$

कोरोलरी 1 (एक फ़ंक्शन की एकरसता का संकेत):
यदि किसी अंतराल पर फ़ंक्शन का व्युत्पन्न गैर-ऋणात्मक (धनात्मक) होता है, तो इस अंतराल में फ़ंक्शन घटता (बढ़ता) नहीं है।

कोरोलरी 2 (फ़ंक्शन के कब्ज के लिए मानदंड):
एक कट पर लगातार $$$[ए, बी]$ एक फ़ंक्शन स्थिर नहीं है अगर और केवल अगर इसका व्युत्पन्न अंतराल में किसी भी बिंदु पर शून्य है $$$[ए, बी]$ (या कम से कम अंतराल पर $$$] ए, बी [$ )।

कई चर के एक समारोह के आंशिक व्युत्पन्न

के माध्यम से $$$\ mathbb {R} ^ m$ सेट को निरूपित करें:

$$

$$\ mathbb {R} ^ m = \ underbrace {\ mathbb {R} \ टाइम्स \ mathbb {R} \ टाइम्स \ cdots \ टाइम्स \ mathbb {R}} _ m = \ {(\omeome_1), omega_2, ... , \ omega_m), \ space \ omega_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, m} \} $$$

परिभाषा 8:

समारोह $$$f \ colon E \ to \ mathbb {R}$ सेट पर परिभाषित किया गया $$$E \ subset \ mathbb {R} ^ m$ बिंदु पर विभेदक कहा जाता है $$ सेट के लिए सीमित $$$ई$ अगर

$$

$$f (x + h) -f (x) = L (x) h + अल्फा (x; h), \ qquad (1)$$

जहाँ $$$L (x) \ colon \ mathbb {R} ^ m \ to \ mathbb {R}$ - सम्मान के साथ रैखिक $$$ज$ समारोह [समारोह अंतर $$$च$ बिंदु पर $$$x$ (चिह्नित किए गए। $$$df (x)$ या $$$f ’(x)$ )], और $$$\ अल्फा (एक्स; एच) = ओ (एच)$ पर $$$h \ _ से 0, x + h \ _ E $ मे$ ।

संबंध (1) को फिर से लिखा जा सकता है:

$$

$$f (x + h) -f (x) = f '(x) h + \ Alpha (x; h)$$

या

$$

$$\ bigtriangleup f (x; h; = df (x) h + \ Alpha (x; h))$$

यदि हम बिंदु के समन्वय रिकॉर्ड पर जाते हैं $$$x = (x ^ 1, ..., x ^ m)$ , वेक्टर $$$h = (h ^ 1, ..., h ^ m)$ और रैखिक कार्य $$$L (x) h = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m$ , तो समानता (1) इस तरह दिखती है

$$

$$f (x ^ 1 + h ^ 1, ..., x ^ m + h ^ m) -f (x ^ 1, ..., x ^ m) = \\ = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m + o (h) \ quad के लिए \ space \ space h \ को 0, \ qquad (2)$$

जहाँ $$$a_1 (x), ..., a_m (x)$ - बिंदु के साथ जुड़ा हुआ है $$$x$ वास्तविक संख्या। आपको इन नंबरों को खोजने की आवश्यकता है।

हम निरूपित करते हैं

$$

$$h_i = h ^ अर्थात_i = 0 \ cdot e_1 + ... + 0 \ cdot e_ {i-1} + h ^ i \ cdot e_i + 0 \ cdot e_ {i + 1} + ... + \ _ cdot e_m,$$

जहाँ $$$\ {e_1, ..., e_m \}$ - आधार में $$$\ mathbb {R} ^ m$ ।

पर $$$ज = h_i$ (2) से हम प्राप्त करते हैं

$$

$$f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1}, ..., x ^ m) -f (x ^ 1) ..., x ^ i, ..., x ^ m) = \\ = a_i (x) h ^ i + o (h ^ i) \ quad के लिए \ space \ space h ^ i \ से 0. \ qquad (३)$$

(3) से हम प्राप्त करते हैं

$$

$$a_i (x) = \ lim_ {h_i \ _ 0} \ frac {f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1} , .., x ^ m) -f (x ^ 1, ..., x ^ i, ..., x ^ m)} {h ^ i}। \ qquad (4)$$

परिभाषा 9:
सीमा (4) को फ़ंक्शन का आंशिक व्युत्पन्न कहा जाता है $$$च (x)$ बिंदु पर $$$x = (x ^ 1, ..., x ^ m)$ चर द्वारा $$$x ^ i$ । यह निर्दिष्ट है:

$$

$$\ frac {\ आंशिक f} {\ आंशिक x ^ i} (x), \ quad \ आंशिक_if (x), \ quad f '_ {x ^ i} (x)। $$$

उदाहरण 1:

$$

$$f (u, v) = u ^ 3 + v ^ 2 \ sin u, \\ \ आंशिक_1f (u, v) = \ frac {\ आंशिक f} {\ आंशिक u} (u, v) = 3u ^ 2 + v ^ 2 \ cos u, \\ \ part_2 f (u, v) = \ frac {\ आंशिक f} {\ आंशिक v} (u, v) = 2v \ sin u $$$

धीरे-धीरे उतरना

चलो $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ जहाँ $$$\ mathbb {R} ^ n = \ underbrace {\ mathbb {R} \ टाइम्स \ mathbb {R} \ टाइम्स \ cdots \ times \ mathbb {R}} _ n = \ {(\ _ta_1) \ _ theta_2, ... , \ theta_n), \ space \ theta_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, n} \}$ ।

परिभाषा 10:

ग्रेडिएंट फंक्शन $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ वेक्टर कहा जाता है, $$$मैं$ जिसका तत्व बराबर है $$$\ frac {\ आंशिक f} {\ आंशिक \ theta_i}$ :

$$

$$\ bigtriangledown _ {\ theta} f = \ left (\ start {array} {c} \ frac {\ आंशिक f} {\ आंशिक \ theta_1} \\\ frac {\ आंशिक f} {\ आंशिक \ _ta_2} \\ \ vdots \\\ frac {\ आंशिक f} {\ आंशिक \ theta_n} \ end {सरणी} \ right), \ quad \ थीटा = (\ theta_1, \ theta_2, ..., \ theta_n) $$$

ग्रेडिएंट वह दिशा है जिसमें फ़ंक्शन सबसे तेजी से बढ़ता है। इसका मतलब यह है कि जिस दिशा में यह सबसे तेजी से घटता है वह दिशा ढाल के विपरीत है, अर्थात्। $$$- \ bigtriangledown _ {\ theta} f$ ।

ग्रेडिएंट डिसेंट विधि का उद्देश्य एक फ़ंक्शन के चरम (न्यूनतम) बिंदु की खोज करना है।

द्वारा निरूपित करें $$$\ theta ^ {(t)}$ चरण में समारोह पैरामीटर वेक्टर $$$टी$ । पैरामीटर अद्यतन वेक्टर कदम में $$$टी$ :

$$

$$u ^ {(t)} = - \ eta \ bigtriangledown _ {\ theta} f (\ theta ^ {(t-1)}), \ quad \ theta ^ {(t)} = \ theta {} (t-) 1)} + u ^ {(t)}$$

उपरोक्त सूत्र में, पैरामीटर $$$\ eta$ क्या सीखने की गति है जो हम ढाल ढाल की दिशा में कदम आकार को नियंत्रित करते हैं। विशेष रूप से, दो विरोधी समस्याएं उत्पन्न हो सकती हैं:

• यदि चरण बहुत छोटे हैं, तो प्रशिक्षण बहुत लंबा होगा, और सड़क के साथ एक छोटे से असफल स्थानीय न्यूनतम में फंसने की संभावना बढ़ जाती है (नीचे दी गई तस्वीर में पहली छवि);
• यदि वे बहुत बड़े हैं, तो आप अंतहीन न्यूनतम वांछित आगे और पीछे कूद सकते हैं, लेकिन कभी भी न्यूनतम बिंदु (नीचे की तस्वीर में तीसरी छवि) तक नहीं पहुंच सकते हैं।

एक उदाहरण:
सबसे सरल मामले में ढाल मूल विधि के उदाहरण पर विचार करें ( $$$n = 1$ )। वह है $$$f \ colon \ mathbb {R} \ to \ mathbb {R}$ ।
चलो $$$f (x) = x ^ 2, \ quad \ theta ^ {(0)} = 3, \ quad \ eta = 1$ । तब:

$$

$$\ frac {\ आंशिक f} {\ आंशिक x} (x) = 2x \ Quad \ Rightarrow \ quad \ bigtriangledown f_ \ theta (x) = 2x; \\ \ थीटा ^ {(1)} = \ थीटा ^ {(0)} - 1 \ cdot f_ \ theta (\ थीटा ^ {(0)}) = 3 - 6 = -3; \\ \ थीटा ^ {(2)} = \ थीटा ^ {(1)} - 1 \ cdot f_ \ theta (\ theta ^ {(1)}) = - 3 + 6 = 3 = \ theta ^ {(0) )}$$

मामले में जब $$$\ eta = 1$ स्थिति ऊपर की तस्वीर की तीसरी छवि के रूप में है। हम लगातार चरम बिंदु पर कूदते हैं।
चलो $$$\ eta = 0.8$ । तब:

$$

$$\ theta ^ {(1)} = \ थीटा ^ {(0)} - 0.8 \ गुना f_ \ theta (\ थीटा ^ {(0)}) = 3 - 0.8 \ times6 = 3 - 4.8 = -1.8; \\ \ थीटा ^ {(2)} = \ थीटा ^ {(1)} - 0.8 \ गुना f_ \ थीटा (\ थीटा ^ {(1)}) = - 1.8 + 0.8 \ गुना3.6 = -1.8 + 2.88 = 1.08; \\ \ थीटा ^ {(3)} = \ थीटा ^ {(2)} - 0.8 \ गुना f_ \ theta (\ थीटा ^ {(2)}) = 1.08 - 0.8 \ times2.16 = 1.08 - 1.7% = - 0.648; \\ \ थीटा ^ {(4)} = \ थीटा ^ {(3)} - 0.8 \ गुना f_ \ theta (\ थीटा ^ {(3)}) = - 0.648 + 0.8 \ गुना1.296 = -0-648 + 1.0368 = 0.3888; \\ \ थीटा ^ {(5)} = \ थीटा ^ {(4)} - 0.8 \ गुना f_ \ theta (\ थीटा ^ {(4)}) = 0.3888 - 0.8 \ गुना0.7776 = 0.3888-62208 =। -.२३,३२८; ( = \\ = 0.139968।$$

यह देखा जाता है कि पुनरावृत्ति से हम चरम बिंदु पर पहुंच रहे हैं।
चलो $$$\ eta = 0.5$ । तब:

$$

$$\ थीटा ^ {(1)} = \ थीटा ^ {(0)} - 0.5 \ गुना f_ \ theta (\ theta ^ {(0)}) = 3 - 0.5 \ गुना 6 = 3 - 3 = 0; \\ \ थीटा ^ {(2)} = \ थीटा ^ {(1)} - 0.5 \ गुना f_ \ थीटा (\ थीटा ^ {(1)}) = 0 - 0.5 \ गुना 0 = 0.$$

1 कदम में चरम बिंदु पाया गया।

प्रयुक्त साहित्य की सूची:

• “गणितीय विश्लेषण। भाग 1 ”, वी.ए. ज़ोरिच, मॉस्को, 1997;
• “गहरी सीख। तंत्रिका नेटवर्क की दुनिया में विसर्जन ”, एस। निकुलेंको, ए। कादुरिन, ई। अरखंजेल्स्काया, पीटर, 2018।