Sinopsis del aprendizaje automático. Análisis matemático Descenso de gradiente

Recordemos el análisis matemático

Función Continuidad y Derivada

Dejar $$$E \ subseteq \ mathbb {R}$ , $$$a$ Es el punto límite del conjunto. $$$E$ (es decir $$$a \ en E, \ forall \ varepsilon> 0 \ space \ space | (a - \ varepsilon, a + \ varepsilon) \ cap E | = \ infty$ ), $$$f \ colon E \ to \ mathbb {R}$ .

Definición 1 (límite de la función Cauchy):

Función $$$f \ colon E \ to \ mathbb {R}$ comprometido con $$$A$ a las $$$x$ buscando $$$a$ si

$$

$$\ forall \ varepsilon> 0 \ space \ space \ exist \ delta> 0 \ space \ space \ forall x \ en E \ space \ space (0 <| x- a | <\ delta \ Rightarrow | f (x) - A | <\ varepsilon).$$

Designación: $$$\ lim \ limits_ {E \ ni x \ to a} f (x) = A$ .

Definición 2:

1. Intervalo $$$ab$ conjunto llamado $$$] a, b [\ space: = \ {x \ in \ mathbb {R} | a <x <b \}$ ;
2. Intervalo de punto $$$x \ in \ mathbb {R}$ Se llama el barrio de este punto.
3. Una vecindad perforada de un punto es una vecindad de un punto del cual este punto está excluido.

Designación:

1. $$$V (x)$ o $$$U (x)$ - vecindad de un punto $$$x$ ;
2. $$$\ overset {\ circ} {U} (x)$ - barrio pinchado de un punto $$$x$ ;
3. $$$U_E (x): = E \ cap U (x), \\ \ overset {\ circ} {U} _E (x): = E \ cap \ overset {\ circ} {U} (x)$

Definición 3 (límite de función a través de barrios):

$$

$$\ lim \ limits_ {E \ ni x \ to a} f (x) = A: = \ forall V_R (A) \ space \ exist \ overset {\ circ} {U} _E (a) \ space \ space ( f (\ overset {\ circ} {U} _E (a)) \ subset V_R (A)).$$

Las definiciones 1 y 3 son equivalentes.

Definición 4 (continuidad de una función en un punto):

1. $$$f \ colon E \ to \ mathbb {R}$ continuo en $$$a \ en E: =$

   $$

   $$= \ forall V (f (a)) \ space \ space \ existe U_E (a) \ space \ space (f (U_E (a)) \ subconjunto V (f (a)));$$
2. $$$f \ colon E \ to \ mathbb {R}$ continuo en $$$a \ en E: =$

   $$

   $$\ forall \ varepsilon> 0 \ space \ space \ exist \ delta> 0 \ space \ space \ forall x \ en E \ space \ space (| xa | <\ delta \ Rightarrow | f (x) -f (a) | <\ varepsilon).$$

Las definiciones 3 y 4 muestran que
( $$$f \ colon E \ to \ mathbb {R}$ continuo en $$$a \ en E$ donde $$$a$ - punto límite $$$E$ ) $$$\ Leftrightarrow$
$$$\ Leftrightarrow (\ lim \ limits_ {E \ ni x \ to a} f (x) = f (a)).$

Definición 5:

Función $$$f \ colon E \ to \ mathbb {R}$ llamado continuo en el set $$$E$ si es continuo en cada punto del conjunto $$$E$ .

Definición 6:

1. Función $$$f \ colon E \ to \ mathbb {R}$ definido en el conjunto $$$E \ subconjunto \ mathbb {R}$ se llama diferenciable en el punto $$$a \ en E$ limitando para el conjunto $$$E$ si existe tal lineal con respecto al incremento $$$x-a$ función de argumento $$$A \ cdot (x-a)$ [función diferencial $$$f$ en el punto $$$a$ ] ese incremento $$$f (x) -f (a)$ las funciones $$$f$ representado como

   $$

   $$f (x) -f (a) = A \ cdot (x-a) + o (x-a) \ quad for \ space x \ to a, \ space x \ en E.$$
2. Valor
   

   $$

   $$f '(a) = \ lim \ limits_ {E \ ni x \ a a} \ frac {f (x) -f (a)} {x-a}$$
   
   llamada función derivada $$$f$ en el punto $$$a$ .

También

$$

$$f '(x) = \ lim _ {\ substack {h \ a 0 \\ x + h, x \ in E}} \ frac {f (x + h) -f (x)} {h}.$$

Definición 7:

1. Punto $$$x_0 \ en E \ subconjunto \ mathbb {R}$ se llama punto de máximo local (mínimo) , y el valor de la función en él se llama máximo local (mínimo) de la función $$$f \ colon E \ to \ mathbb {R}$ si $$$\ existe U_E (x_0)$ :

   $$

   $$\ forall x \ en U_E (x_0) \ space \ space f (x) \ leq f (x_0) (respectivamente, f (x) \ geq f (x_0)).$$
2. Los puntos de máximo y mínimo local se denominan puntos de extremo local , y los valores de la función en ellos se denominan extremos locales de la función .
3. Punto $$$x_0 \ en E$ función extrema $$$f \ colon E \ to \ mathbb {R}$ llamado un punto extremo interno si $$$x_0$ es el punto límite en cuanto al conjunto $$$E _- = \ {x \ en E | x <x_0 \}$ y para el conjunto $$$E _ + = \ {x \ en E | x> x_0 \}$ .

Lema 1 (Fermat):

Si la función $$$f \ colon E \ to \ mathbb {R}$ diferenciable en el punto del extremo interno $$$x_0 \ en E$ , entonces su derivada en este punto es cero: $$$f '(x_0) = 0$ .

Proposición 1 (teorema de Roll):
Si la función $$$f \ colon [a, b] \ to \ mathbb {R}$ continuo en un segmento $$$[a, b]$ diferenciable en el intervalo $$$] a, b [$ y $$$f (a) = f (b)$ entonces hay un punto $$$\ xi \ in] a, b [$ tal que $$$f '(\ xi) = 0$ .

Teorema 1 (teorema de incremento finito de Lagrange):

Si la función $$$f \ colon [a, b] \ to \ mathbb {R}$ continuo en un segmento $$$[a, b]$ y diferenciable en el intervalo $$$] a, b [$ entonces hay un punto $$$\ xi \ in] a, b [$ tal que

$$

$$f (b) -f (a) = f '(\ xi) (b-a).$$

Corolario 1 (un signo de monotonicidad de una función):
Si en cualquier punto de un intervalo la derivada de la función no es negativa (positiva), entonces la función no disminuye (aumenta) en este intervalo.

Corolario 2 (criterio para la constancia de la función):
Continuo en un corte $$$[a, b]$ una función no es constante si y solo si su derivada es cero en cualquier punto del intervalo $$$[a, b]$ (o al menos el intervalo $$$] a, b [$ )

Derivada parcial de una función de muchas variables.

A través de $$$\ mathbb {R} ^ m$ denotar el conjunto:

$$

$$\ mathbb {R} ^ m = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ m = \ {(\ omega_1, \ omega_2, ... , \ omega_m), \ space \ omega_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, m} \}.$$

Definición 8:

Función $$$f \ colon E \ to \ mathbb {R}$ definido en el conjunto $$$E \ subconjunto \ mathbb {R} ^ m$ se llama diferenciable en el punto $$$x \ en E$ limitando para el conjunto $$$E$ si

$$

$$f (x + h) -f (x) = L (x) h + \ alpha (x; h), \ qquad (1)$$

donde $$$L (x) \ colon \ mathbb {R} ^ m \ to \ mathbb {R}$ - lineal con respecto a $$$h$ función [función diferencial $$$f$ en el punto $$$x$ (referencia $$$df (x)$ o $$$f '(x)$ )], y $$$\ alpha (x; h) = o (h)$ a las $$$h \ a 0, x + h \ en E$ .

La relación (1) se puede reescribir de la siguiente manera:

$$

$$f (x + h) -f (x) = f '(x) h + \ alpha (x; h)$$

o

$$

$$\ bigtriangleupup f (x; h) = df (x) h + \ alpha (x; h).$$

Si vamos al registro de coordenadas del punto $$$x = (x ^ 1, ..., x ^ m)$ vector $$$h = (h ^ 1, ..., h ^ m)$ y funciones lineales $$$L (x) h = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m$ , entonces la igualdad (1) se ve así

$$

$$f (x ^ 1 + h ^ 1, ..., x ^ m + h ^ m) -f (x ^ 1, ..., x ^ m) = \\ = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m + o (h) \ quad for \ space \ space h \ to 0, \ qquad (2)$$

donde $$$a_1 (x), ..., a_m (x)$ - asociado con el punto $$$x$ Números reales. Necesitas encontrar estos números.

Denotamos

$$

$$h_i = h ^ ie_i = 0 \ cdot e_1 + ... + 0 \ cdot e_ {i-1} + h ^ i \ cdot e_i + 0 \ cdot e_ {i + 1} + ... + 0 \ cdot e_m,$$

donde $$$\ {e_1, ..., e_m \}$ - base en $$$\ mathbb {R} ^ m$ .

En $$$h = h_i$ de (2) obtenemos

$$

$$f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1}, ..., x ^ m) -f (x ^ 1, ..., x ^ i, ..., x ^ m) = \\ = a_i (x) h ^ i + o (h ^ i) \ quad for \ space \ space h ^ i \ a 0. \ qquad (3)$$

De (3) obtenemos

$$

$$a_i (x) = \ lim_ {h_i \ a 0} \ frac {f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1} , .., x ^ m) -f (x ^ 1, ..., x ^ i, ..., x ^ m)} {h ^ i}. \ qquad (4)$$

Definición 9:
El límite (4) se denomina derivada parcial de la función. $$$f (x)$ en el punto $$$x = (x ^ 1, ..., x ^ m)$ por variable $$$x ^ i$ . Se designa:

$$

$$\ frac {\ partial f} {\ partial x ^ i} (x), \ quad \ partial_if (x), \ quad f '_ {x ^ i} (x).$$

Ejemplo 1:

$$

$$f (u, v) = u ^ 3 + v ^ 2 \ sin u, \\ \ partial_1f (u, v) = \ frac {\ partial f} {\ partial u} (u, v) = 3u ^ 2 + v ^ 2 \ cos u, \\ \ partial_2 f (u, v) = \ frac {\ partial f} {\ partial v} (u, v) = 2v \ sin u.$$

Descenso de gradiente

Dejar $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ donde $$$\ mathbb {R} ^ n = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ n = \ {(\ theta_1, \ theta_2, ... , \ theta_n), \ space \ theta_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, n} \}$ .

Definición 10:

Función de gradiente $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ llamado un vector, $$$i$ cuyo elemento es igual a $$$\ frac {\ partial f} {\ partial \ theta_i}$ :

$$

$$\ bigtriangledown _ {\ theta} f = \ left (\ begin {array} {c} \ frac {\ partial f} {\ partial \ theta_1} \\\ frac {\ partial f} {\ partial \ theta_2} \\ \ vdots \\\ frac {\ partial f} {\ partial \ theta_n} \ end {array} \ right), \ quad \ theta = (\ theta_1, \ theta_2, ..., \ theta_n).$$

Gradiente es la dirección en la que la función aumenta más rápidamente. Esto significa que la dirección en la que disminuye más rápidamente es la dirección opuesta al gradiente, es decir $$$- \ bigtriangledown _ {\ theta} f$ .

El objetivo del método de descenso de gradiente es encontrar el punto extremo (mínimo) de la función.

Denote por $$$\ theta ^ {(t)}$ vector de parámetros de función en el paso $$$t$ . Vector de actualización de parámetros en el paso $$$t$ :

$$

$$u ^ {(t)} = - \ eta \ bigtriangledown _ {\ theta} f (\ theta ^ {(t-1)}), \ quad \ theta ^ {(t)} = \ theta ^ {(t- 1)} + u ^ {(t)}.$$

En la fórmula anterior, el parámetro $$$\ eta$ Es la velocidad de aprendizaje que controla el tamaño del paso que tomamos en la dirección de la pendiente del gradiente. En particular, pueden surgir dos problemas opuestos:

• si los pasos son demasiado pequeños, el entrenamiento será demasiado largo y la probabilidad de quedar atrapado en un pequeño mínimo local sin éxito a lo largo del camino aumenta (la primera imagen en la imagen a continuación);
• si son demasiado grandes, puede saltar sin cesar sobre el mínimo deseado de un lado a otro, pero nunca alcanzar el punto más bajo (la tercera imagen en la imagen a continuación).

Un ejemplo:
Considere el ejemplo del método de descenso de gradiente en el caso más simple ( $$$n = 1$ ) Eso es $$$f \ colon \ mathbb {R} \ to \ mathbb {R}$ .
Dejar $$$f (x) = x ^ 2, \ quad \ theta ^ {(0)} = 3, \ quad \ eta = 1$ . Entonces:

$$

$$\ frac {\ partial f} {\ partial x} (x) = 2x \ quad \ Rightarrow \ quad \ bigtriangledown f_ \ theta (x) = 2x; \\ \ theta ^ {(1)} = \ theta ^ {(0)} - 1 \ cdot f_ \ theta (\ theta ^ {(0)}) = 3 - 6 = -3; \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 1 \ cdot f_ \ theta (\ theta ^ {(1)}) = - 3 + 6 = 3 = \ theta ^ {(0 )}.$$

En el caso cuando $$$\ eta = 1$ , la situación es como en la tercera imagen de la imagen de arriba. Saltamos constantemente sobre el punto extremo.
Dejar $$$\ eta = 0.8$ . Entonces:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0.8 \ veces f_ \ theta (\ theta ^ {(0)}) = 3 - 0.8 \ times6 = 3 - 4.8 = -1.8; \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 0.8 \ times f_ \ theta (\ theta ^ {(1)}) = - 1.8 + 0.8 \ times3.6 = -1.8 + 2.88 = 1.08; \\ \ theta ^ {(3)} = \ theta ^ {(2)} - 0.8 \ times f_ \ theta (\ theta ^ {(2)}) = 1.08 - 0.8 \ times2.16 = 1.08 - 1.728 = - 0.648; \\ \ theta ^ {(4)} = \ theta ^ {(3)} - 0.8 \ veces f_ \ theta (\ theta ^ {(3)}) = - 0.648 + 0.8 \ times1.296 = -0.648 + 1.0368 = 0.3888; \\ \ theta ^ {(5)} = \ theta ^ {(4)} - 0.8 \ times f_ \ theta (\ theta ^ {(4)}) = 0.3888 - 0.8 \ times0.7776 = 0.3888 - .62208 = -0,23328; \\ \ theta ^ {(6)} = \ theta ^ {(5)} - 0.8 \ veces f_ \ theta (\ theta ^ {(5)}) = - 0.23328 + 0.8 \ times0.46656 = -0.23328 + 0.373248 = \\ = 0.139968.$$

Se ve que iterativamente nos estamos acercando al extremo del extremo.
Dejar $$$\ eta = 0.5$ . Entonces:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0.5 \ veces f_ \ theta (\ theta ^ {(0)}) = 3 - 0.5 \ times6 = 3 - 3 = 0; \\ \ theta ^ {(2)} = \ theta ^ {(1)} - 0.5 \ veces f_ \ theta (\ theta ^ {(1)}) = 0 - 0.5 \ times0 = 0.$$

El punto extremo se encontró en 1 paso.

Lista de literatura utilizada:

• “Análisis matemático. Parte 1 ", V.A. Zorich, Moscú, 1997;
• “Aprendizaje profundo. Inmersión en el mundo de las redes neuronales ”, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.