Synopsis zum maschinellen Lernen. Mathematische Analyse. Gefälle Abstieg

Erinnern Sie sich an die mathematische Analyse

Funktionskontinuität und Ableitung

Lassen $$$E \ subseteq \ mathbb {R}$ , $$$a$ Ist der Grenzpunkt der Menge $$$E$ (d.h. $$$a \ in E, \ forall \ varepsilon> 0 \ space \ space | (a - \ varepsilon, a + \ varepsilon) \ cap E | = \ infty$ ), $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ .

Definition 1 (Cauchy-Funktionsgrenze):

Funktion $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ verpflichtet zu $$$A$ bei $$$x$ suchen zu $$$a$ wenn

$$

$$\ forall \ varepsilon> 0 \ space \ space \ existiert \ delta> 0 \ space \ space \ forall x \ in E \ space \ space (0 <| x-a | <\ delta \ Rightarrow | f (x) - A | <\ varepsilon).$$

Bezeichnung: $$$\ lim \ limit_ {E \ ni x \ bis a} f (x) = A$ .

Definition 2:

1. Intervall $$$ab$ Set genannt $$$] a, b [\ space: = \ {x \ in \ mathbb {R} | a <x <b \}$ ;
2. Punktintervall $$$x \ in \ mathbb {R}$ wird die Nachbarschaft dieses Punktes genannt.
3. Eine punktierte Nachbarschaft eines Punktes ist eine Nachbarschaft eines Punktes, von dem dieser Punkt selbst ausgeschlossen ist.

Bezeichnung:

1. $$$V (x)$ oder $$$U (x)$ - Nachbarschaft eines Punktes $$$x$ ;
2. $$$\ overset {\ circ} {U} (x)$ - punktierte Nachbarschaft eines Punktes $$$x$ ;
3. $$$U_E (x): = E \ cap U (x), \\ \ overset {\ circ} {U} _E (x): = E \ cap \ overset {\ circ} {U} (x)$

Definition 3 (Funktionsbegrenzung durch Nachbarschaften):

$$

$$\ lim \ limit_ {E \ ni x \ zu a} f (x) = A: = \ für alle V_R (A) \ space \ existiert \ overset {\ circ} {U} _E (a) \ space \ space ( f (\ overset {\ circ} {U} _E (a)) \ subset V_R (A)).$$

Die Definitionen 1 und 3 sind äquivalent.

Definition 4 (Kontinuität einer Funktion an einem Punkt):

1. $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ kontinuierlich in $$$a \ in E: =$

   $$

   $$= \ forall V (f (a)) \ space \ space \ existiert U_E (a) \ space \ space (f (U_E (a)) \ Teilmenge V (f (a)));$$
2. $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ kontinuierlich in $$$a \ in E: =$

   $$

   $$\ forall \ varepsilon> 0 \ space \ space \ existiert \ delta> 0 \ space \ space \ forall x \ in E \ space \ space (| xa | <\ delta \ Rightarrow | f (x) -f (a) | <\ varepsilon).$$

Die Definitionen 3 und 4 zeigen das
( $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ kontinuierlich in $$$a \ in E$ wo $$$a$ - Grenzpunkt $$$E$ ) $$$\ Leftrightarrow$
$$$\ Leftrightarrow (\ lim \ limit_ {E \ ni x \ bis a} f (x) = f (a)).$

Definition 5:

Funktion $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ am Set als kontinuierlich bezeichnet $$$E$ wenn es an jedem Punkt des Satzes kontinuierlich ist $$$E$ .

Definition 6:

1. Funktion $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ am Set definiert $$$E \ subset \ mathbb {R}$ wird an der Stelle als differenzierbar bezeichnet $$$a \ in E$ Begrenzung für das Set $$$E$ wenn es eine solche Linearität in Bezug auf das Inkrement gibt $$$x-a$ Argumentfunktion $$$A \ cdot (x-a)$ [Funktionsdifferential $$$f$ an der Stelle $$$a$ ] dieses Inkrement $$$f (x) -f (a)$ die Funktionen $$$f$ dargestellt als

   $$

   $$f (x) -f (a) = A \ cdot (x-a) + o (x-a) \ quad für \ Raum x \ zu a, \ Raum x \ in E.$$
2. Wert
   

   $$

   $$f '(a) = \ lim \ limit_ {E \ ni x \ zu a} \ frac {f (x) -f (a)} {x-a}$$
   
   Ableitungsfunktion genannt $$$f$ an der Stelle $$$a$ .

Auch

$$

$$f '(x) = \ lim _ {\ Teilstapel {h \ bis 0 \\ x + h, x \ in E}} \ frac {f (x + h) -f (x)} {h}.$$

Definition 7:

1. Punkt $$$x_0 \ in E \ subset \ mathbb {R}$ wird als Punkt des lokalen Maximums (Minimums) bezeichnet , und der Wert der darin enthaltenen Funktion wird als lokales Maximum (Minimum) der Funktion bezeichnet $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ wenn $$$\ existiert U_E (x_0)$ :

   $$

   $$\ forall x \ in U_E (x_0) \ Leerzeichen \ Leerzeichen f (x) \ leq f (x_0) (jeweils f (x) \ geq f (x_0)).$$
2. Die Punkte des lokalen Maximums und Minimums werden als Punkte des lokalen Extremums bezeichnet , und die Werte der Funktion in ihnen werden als lokale Extrema der Funktion bezeichnet .
3. Punkt $$$x_0 \ in E$ Extremumfunktion $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ ein interner Extremumpunkt genannt , wenn $$$x_0$ ist der Grenzpunkt für die Menge $$$E _- = \ {x \ in E | x <x_0 \}$ und für das Set $$$E _ + = \ {x \ in E | x> x_0 \}$ .

Lemma 1 (Fermat):

Wenn die Funktion $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ am Punkt des inneren Extremums differenzierbar $$$x_0 \ in E$ , dann ist seine Ableitung an diesem Punkt Null: $$$f '(x_0) = 0$ .

Satz 1 (Satz von Roll):
Wenn die Funktion $$$f \ Doppelpunkt [a, b] \ bis \ mathbb {R}$ kontinuierlich auf einem Segment $$$[a, b]$ im Intervall differenzierbar $$$] a, b [$ und $$$f (a) = f (b)$ dann gibt es einen Punkt $$$\ xi \ in] a, b [$ so dass $$$f '(\ xi) = 0$ .

Satz 1 (Lagrange-Satz mit endlichem Inkrement):

Wenn die Funktion $$$f \ Doppelpunkt [a, b] \ bis \ mathbb {R}$ kontinuierlich auf einem Segment $$$[a, b]$ und im Intervall differenzierbar $$$] a, b [$ dann gibt es einen Punkt $$$\ xi \ in] a, b [$ so dass

$$

$$f (b) -f (a) = f '(\ xi) (b-a).$$

Folgerung 1 (ein Zeichen der Monotonie einer Funktion):
Wenn zu irgendeinem Zeitpunkt eines Intervalls die Ableitung der Funktion nicht negativ (positiv) ist, nimmt die Funktion in diesem Intervall nicht ab (zu).

Folgerung 2 (Kriterium für die Konstanz der Funktion):
Kontinuierlich auf einem Schnitt $$$[a, b]$ Eine Funktion ist nicht genau dann konstant, wenn ihre Ableitung zu einem beliebigen Zeitpunkt im Intervall Null ist $$$[a, b]$ (oder zumindest das Intervall $$$] a, b [$ )

Partielle Ableitung einer Funktion vieler Variablen

Durch $$$\ mathbb {R} ^ m$ bezeichnen die Menge:

$$

$$\ mathbb {R} ^ m = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ m = \ {(\ omega_1, \ omega_2, ... , \ omega_m), \ space \ omega_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, m} \}.$$

Definition 8:

Funktion $$$f \ Doppelpunkt E \ bis \ mathbb {R}$ am Set definiert $$$E \ subset \ mathbb {R} ^ m$ wird an der Stelle als differenzierbar bezeichnet $$$x \ in E$ Begrenzung für das Set $$$E$ wenn

$$

$$f (x + h) - f (x) = L (x) h + \ alpha (x; h), \ qquad (1)$$

wo $$$L (x) \ Doppelpunkt \ mathbb {R} ^ m \ bis \ mathbb {R}$ - linear in Bezug auf $$$h$ Funktion [Funktionsdifferential $$$f$ an der Stelle $$$x$ (Referenz $$$df (x)$ oder $$$f '(x)$ )] und $$$\ alpha (x; h) = o (h)$ bei $$$h \ bis 0, x + h \ in E$ .

Beziehung (1) kann wie folgt umgeschrieben werden:

$$

$$f (x + h) - f (x) = f '(x) h + \ alpha (x; h)$$

oder

$$

$$\ bigtriangleup f (x; h) = df (x) h + \ alpha (x; h).$$

Wenn wir zum Koordinatendatensatz des Punktes gehen $$$x = (x ^ 1, ..., x ^ m)$ , Vektor $$$h = (h ^ 1, ..., h ^ m)$ und lineare Funktionen $$$L (x) h = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m$ dann sieht Gleichheit (1) so aus

$$

$$f (x ^ 1 + h ^ 1, ..., x ^ m + h ^ m) -f (x ^ 1, ..., x ^ m) = \\ = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m + o (h) \ quad für \ space \ space h \ bis 0, \ qquad (2)$$

wo $$$a_1 (x), ..., a_m (x)$ - mit Punkt verbunden $$$x$ reelle Zahlen. Sie müssen diese Nummern finden.

Wir bezeichnen

$$

$$h_i = h ^ ie_i = 0 \ cdot e_1 + ... + 0 \ cdot e_ {i-1} + h ^ i \ cdot e_i + 0 \ cdot e_ {i + 1} + ... + 0 \ cdot e_m,$$

wo $$$\ {e_1, ..., e_m \}$ - Basis in $$$\ mathbb {R} ^ m$ .

Bei $$$h = h_i$ aus (2) erhalten wir

$$

$$f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1}, ..., x ^ m) -f (x ^ 1, ..., x ^ i, ..., x ^ m) = \\ = a_i (x) h ^ i + o (h ^ i) \ quad für \ space \ space h ^ i \ bis 0. \ qquad (3)$$

Aus (3) erhalten wir

$$

$$a_i (x) = \ lim_ {h_i \ bis 0} \ frac {f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1} , .., x ^ m) -f (x ^ 1, ..., x ^ i, ..., x ^ m)} {h ^ i}. \ qquad (4)$$

Definition 9:
Die Grenze (4) wird als partielle Ableitung der Funktion bezeichnet $$$f (x)$ an der Stelle $$$x = (x ^ 1, ..., x ^ m)$ nach Variablen $$$x ^ i$ . Es ist bezeichnet:

$$

$$\ frac {\ partielle f} {\ partielle x ^ i} (x), \ quad \ partielle_if (x), \ quad f '_ {x ^ i} (x).$$

Beispiel 1:

$$

$$f (u, v) = u ^ 3 + v ^ 2 \ sin u, \\ \ partielle_1f (u, v) = \ frac {\ partielle f} {\ partielle u} (u, v) = 3u ^ 2 + v ^ 2 \ cos u, \\ \ partielle_2 f (u, v) = \ frac {\ partielle f} {\ partielle v} (u, v) = 2v \ sin u.$$

Gefälle

Lassen $$$f \ Doppelpunkt \ mathbb {R} ^ n \ bis \ mathbb {R}$ wo $$$\ mathbb {R} ^ n = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ n = \ {(\ theta_1, \ theta_2, ... , \ theta_n), \ space \ theta_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, n} \}$ .

Definition 10:

Verlaufsfunktion $$$f \ Doppelpunkt \ mathbb {R} ^ n \ bis \ mathbb {R}$ ein Vektor genannt, $$$i$ dessen Element ist gleich $$$\ frac {\ partielle f} {\ partielle \ theta_i}$ :

$$

$$\ bigtriangledown _ {\ theta} f = \ left (\ begin {array} {c} \ frac {\ partielle f} {\ partielle \ theta_1} \\\ frac {\ partielle f} {\ partielle \ theta_2} \\ \ vdots \\\ frac {\ partiell f} {\ partiell \ theta_n} \ end {array} \ rechts), \ quad \ theta = (\ theta_1, \ theta_2, ..., \ theta_n).$$

Gradient ist die Richtung, in der die Funktion am schnellsten zunimmt. Dies bedeutet, dass die Richtung, in der es am schnellsten abnimmt, die dem Gradienten entgegengesetzte Richtung ist, d.h. $$$- \ bigtriangledown _ {\ theta} f$ .

Das Ziel der Gradientenabstiegsmethode ist die Suche nach dem äußersten (minimalen) Punkt einer Funktion.

Bezeichnen mit $$$\ theta ^ {(t)}$ Funktionsparametervektor in Schritt $$$t$ . Parameteraktualisierungsvektor in Schritt $$$t$ :

$$

$$u ^ {(t)} = - \ eta \ bigtriangledown _ {\ theta} f (\ theta ^ {(t-1)}), \ quad \ theta ^ {(t)} = \ theta ^ {(t- 1)} + u ^ {(t)}.$$

In der obigen Formel der Parameter $$$\ eta$ Ist die Lerngeschwindigkeit , die die Schrittgröße steuert, die wir in Richtung der Gradientensteigung nehmen. Insbesondere können zwei gegensätzliche Probleme auftreten:

• Wenn die Schritte zu klein sind, ist das Training zu lang und die Wahrscheinlichkeit, in einem kleinen erfolglosen lokalen Minimum entlang der Straße stecken zu bleiben, steigt (das erste Bild im Bild unten).
• Wenn sie zu groß sind, können Sie endlos über das gewünschte Minimum hin und her springen, aber niemals den tiefsten Punkt erreichen (das dritte Bild im Bild unten).

Ein Beispiel:
Betrachten Sie im einfachsten Fall das Beispiel der Gradientenabstiegsmethode ( $$$n = 1$ ) Also $$$f \ Doppelpunkt \ mathbb {R} \ bis \ mathbb {R}$ .
Lassen $$$f (x) = x ^ 2, \ quad \ theta ^ {(0)} = 3, \ quad \ eta = 1$ . Dann:

$$

$$\ frac {\ partielles f} {\ partielles x} (x) = 2x \ quad \ rechter Pfeil \ quad \ bigtriangledown f_ \ theta (x) = 2x; \\ \ theta ^ {(1)} = \ theta ^ {(0)} - 1 \ cdot f_ \ theta (\ theta ^ {(0)}) = 3 - 6 = -3; \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 1 \ cdot f_ \ theta (\ theta ^ {(1)}) = - 3 + 6 = 3 = \ theta ^ {(0 )}.$$

In dem Fall, wenn $$$\ eta = 1$ ist die Situation wie im dritten Bild des obigen Bildes. Wir springen ständig über den Extrempunkt.
Lassen $$$\ eta = 0,8$ . Dann:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0,8 \ mal f_ \ theta (\ theta ^ {(0)}) = 3 - 0,8 \ mal 6 = 3 - 4,8 = -1,8; \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 0,8 \ mal f_ \ theta (\ theta ^ {(1)}) = - 1,8 + 0,8 \ mal 3,6 = -1,8 + 2,88 = 1,08; \\ \ theta ^ {(3)} = \ theta ^ {(2)} - 0,8 \ mal f_ \ theta (\ theta ^ {(2)}) = 1,08 - 0,8 \ mal 2,16 = 1,08 - 1,728 = - 0,648; \\ \ theta ^ {(4)} = \ theta ^ {(3)} - 0,8 \ mal f_ \ theta (\ theta ^ {(3)}) = - 0,648 + 0,8 \ mal 1,296 = -0,648 + 1,0368 = 0,3888; \\ \ theta ^ {(5)} = \ theta ^ {(4)} - 0,8 \ mal f_ \ theta (\ theta ^ {(4)}) = 0,3888 - 0,8 \ mal 0,7776 = 0,3888 - 0,62208 = -0,23328; \\ \ theta ^ {(6)} = \ theta ^ {(5)} - 0,8 \ mal f_ \ theta (\ theta ^ {(5)}) = - 0,23328 + 0,8 \ mal 0,46656 = -0,23328 + 0,373248 = \\ = 0,139968.$$

Es ist zu sehen, dass wir uns iterativ dem Punkt des Extremums nähern.
Lassen $$$\ eta = 0,5$ . Dann:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0,5 \ mal f_ \ theta (\ theta ^ {(0)}) = 3 - 0,5 \ mal 6 = 3 - 3 = 0; \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 0,5 \ mal f_ \ theta (\ theta ^ {(1)}) = 0 - 0,5 \ mal 0 = 0.$$

Der Extrempunkt wurde in 1 Schritt gefunden.

Liste der verwendeten Literatur:

• „Mathematische Analyse. Teil 1 ", V.A. Zorich, Moskau, 1997;
• „Tiefes Lernen. Eintauchen in die Welt der neuronalen Netze “, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.