Sinopse sobre Machine Learning. Análise matemática. Descida de gradiente

Lembre-se da análise matemática

Função Continuidade e Derivada

Vamos $$$E \ subseteq \ mathbb {R}$ , $$$a$ É o ponto limite do conjunto $$$E$ (ou seja, $$$a \ em E, \ forall \ varepsilon> 0 \ space \ space | (a - \ varepsilon, a + \ varepsilon) \ cap E | = \ infty$ ), $$$f \ colon E \ to \ mathbb {R}$ .

Definição 1 (limite da função Cauchy):

Função $$$f \ colon E \ to \ mathbb {R}$ comprometido com $$$A$ às $$$x$ procurando $$$a$ se

$$

$$\ forall \ varepsilon> 0 \ espaço \ espaço \ existe \ delta> 0 \ espaço \ espaço \ forall x \ em E \ espaço \ espaço (0 <| x- a | <\ delta \ Rightarrow | f (x) - A | <\ varepsilon).$$

Designação: $$$\ lim \ limits_ {E \ ni x \ para a} f (x) = A$ .

Definição 2:

1. Intervalo $$$ab$ chamado conjunto $$$] a, b [\ espaço: = \ {x \ in \ mathbb {R} | a <x <b \}$ ;
2. Intervalo de pontos $$$x \ in \ mathbb {R}$ é chamado de vizinhança deste ponto.
3. Uma vizinhança perfurada de um ponto é uma vizinhança de um ponto do qual esse ponto em si é excluído.

Designação:

1. $$$V (x)$ ou $$$U (x)$ - vizinhança de um ponto $$$x$ ;
2. $$$\ overset {\ circ} {U} (x)$ - vizinhança perfurada de um ponto $$$x$ ;
3. $$$U_E (x): = E \ cap U (x), \\ \ overset {\ circ} {U} _E (x): = E \ cap \ overset {\ circ} {U} (x)$

Definição 3 (limite de função entre bairros):

$$

$$\ lim \ limits_ {E \ ni x \ para a} f (x) = A: = \ for V_R (A) \ espaço \ existe \ overset {\ circ} {U} _E (a) \ space \ space ( f (\ overset {\ circ} {U} _E (a)) \ subconjunto V_R (A)).$$

As definições 1 e 3 são equivalentes.

Definição 4 (continuidade de uma função em um ponto):

1. $$$f \ colon E \ to \ mathbb {R}$ contínuo em $$$a \ em E: =$

   $$

   $$= \ forall V (f (a)) \ space \ space \ existe U_E (a) \ space \ space (f (U_E (a)) \ subconjunto V (f (a)));$$
2. $$$f \ colon E \ to \ mathbb {R}$ contínuo em $$$a \ em E: =$

   $$

   $$\ forall \ varepsilon> 0 \ espaço \ espaço \ existe \ delta> 0 \ espaço \ espaço \ forall x \ em E \ espaço \ espaço (| xa | <\ delta \ Rightarrow | f (x) -f (a) | <\ varepsilon).$$

As definições 3 e 4 mostram que
( $$$f \ colon E \ to \ mathbb {R}$ contínuo em $$$a \ em E$ onde $$$a$ - ponto limite $$$E$ ) $$$\ Leftrightarrow$
$$$\ Leftrightarrow (\ lim \ limits_ {E \ ni x \ para a} f (x) = f (a)).$

Definição 5:

Função $$$f \ colon E \ to \ mathbb {R}$ chamado contínuo no aparelho $$$E$ se for contínuo em cada ponto do conjunto $$$E$ .

Definição 6:

1. Função $$$f \ colon E \ to \ mathbb {R}$ definido no conjunto $$$E \ subset \ mathbb {R}$ é chamado diferenciável no ponto $$$a \ em E$ limitando para o conjunto $$$E$ se existe um linear em relação ao incremento $$$x-a$ função de argumento $$$A \ cdot (x-a)$ [ diferencial de função $$$f$ no ponto $$$a$ ] esse incremento $$$f (x) -f (a)$ as funções $$$f$ representado como

   $$

   $$f (x) -f (a) = A \ cdot (x-a) + o (x-a) \ quad para \ espaço x \ para a, \ espaço x \ em E$$
2. Valor
   

   $$

   $$f '(a) = \ lim \ limits_ {E \ ni x \ para a} \ frac {f (x) -f (a)} {x-a}$$
   
   chamada função derivada $$$f$ no ponto $$$a$ .

Também

$$

$$f '(x) = \ lim _ {\ substack {h \ a 0 \\ x + h, x \ in E}} \ frac {f (x + h) -f (x)} {h}.$$

Definição 7:

1. Ponto $$$x_0 \ no E \ subconjunto \ mathbb {R}$ é chamado ponto máximo local (mínimo) e o valor da função é chamado máximo local (mínimo) da função $$$f \ colon E \ to \ mathbb {R}$ se $$$\ existe U_E (x_0)$ :

   $$

   $$\ forall x \ in U_E (x_0) \ space \ space f (x) \ leq f (x_0) (respectivamente, f (x) \ geq f (x_0))$$
2. Os pontos máximo e mínimo locais são chamados pontos extremos locais e os valores da função neles são chamados extremos locais da função .
3. Ponto $$$x_0 \ em E$ função extrema $$$f \ colon E \ to \ mathbb {R}$ chamado ponto extremo interno se $$$x_0$ é o ponto limite como para o conjunto $$$E _- = \ {x \ em E | x <x_0 \}$ e para o conjunto $$$E _ + = \ {x \ em E | x> x_0 \}$ .

Lema 1 (Fermat):

Se a função $$$f \ colon E \ to \ mathbb {R}$ diferenciável no ponto do extremo interno $$$x_0 \ em E$ , então sua derivada neste momento é zero: $$$f '(x_0) = 0$ .

Proposição 1 (teorema de Roll):
Se a função $$$f \ colon [a, b] \ to \ mathbb {R}$ contínuo em um segmento $$$[a, b]$ diferenciável no intervalo $$$] a, b [$ e $$$f (a) = f (b)$ então há um ponto $$$\ xi \ in] a, b [$ tal que $$$f '(\ xi) = 0$ .

Teorema 1 (teorema do incremento finito de Lagrange):

Se a função $$$f \ colon [a, b] \ to \ mathbb {R}$ contínuo em um segmento $$$[a, b]$ e diferenciável no intervalo $$$] a, b [$ então há um ponto $$$\ xi \ in] a, b [$ tal que

$$

$$f (b) -f (a) = f '(\ xi) (b-a)$$

Corolário 1 (um sinal de monotonicidade de uma função):
Se em qualquer ponto de um intervalo a derivada da função não for negativa (positiva), a função não diminui (aumenta) nesse intervalo.

Corolário 2 (critério para a constância da função):
Contínuo em um corte $$$[a, b]$ uma função não é constante se e somente se sua derivada for zero em qualquer ponto do intervalo $$$[a, b]$ (ou pelo menos o intervalo $$$] a, b [$ )

Derivada parcial de uma função de muitas variáveis

Através de $$$\ mathbb {R} ^ m$ denotar o conjunto:

$$

$$\ mathbb {R} ^ m = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ m = \ {(\ omega_1, \ omega_2, ... , \ omega_m), \ space \ omega_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, m} \}.$$

Definição 8:

Função $$$f \ colon E \ to \ mathbb {R}$ definido no conjunto $$$E \ subconjunto \ mathbb {R} ^ m$ é chamado diferenciável no ponto $$$x \ em E$ limitando para o conjunto $$$E$ se

$$

$$f (x + h) -f (x) = L (x) h + \ alpha (x; h), \ qquad (1)$$

onde $$$L (x) \ colon \ mathbb {R} ^ m \ to \ mathbb {R}$ - linear em relação a $$$h$ função [ diferencial de função $$$f$ no ponto $$$x$ (referência $$$df (x)$ ou $$$f '(x)$ )] e $$$\ alpha (x; h) = o (h)$ às $$$h \ a 0, x + h \ em E$ .

A relação (1) pode ser reescrita da seguinte maneira:

$$

$$f (x + h) -f (x) = f '(x) h + \ alpha (x; h)$$

ou

$$

$$\ bigtriangleup f (x; h) = df (x) h + \ alpha (x; h).$$

Se formos para o registro de coordenadas do ponto $$$x = (x ^ 1, ..., x ^ m)$ vetor $$$h = (h ^ 1, ..., h ^ m)$ e funções lineares $$$L (x) h = a_1 (x) h ^ 1 + ... + a_m (x) h ^ m$ , então a igualdade (1) fica assim

$$

onde $$$a_1 (x), ..., a_m (x)$ - associado ao ponto $$$x$ números reais. Você precisa encontrar esses números.

Nós denotamos

$$

$$h_i = h ^ ie_i = 0 \ cdot e_1 + ... + 0 \ cdot e_ {i-1} + h ^ i \ cdot e_i + 0 \ cdot e_ {i + 1} + ... + 0 \ cdot e_m,$$

onde $$$\ {e_1, ..., e_m \}$ - base em $$$\ mathbb {R} ^ m$ .

At $$$h = h_i$ de (2) obtemos

$$

$$f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1}, ..., x ^ m) -f (x ^ 1, ..., x ^ i, ..., x ^ m) = \\ = a_i (x) h ^ i + o (h ^ i) \ quad para \ espaço \ espaço h ^ i \ a 0. \ qquad (3)$$

De (3) obtemos

$$

$$a_i (x) = \ lim_ {h_i \ to 0} \ frac {f (x ^ 1, ..., x ^ {i-1}, x ^ i + h ^ i, x ^ {i + 1} , .., x ^ m) -f (x ^ 1, ..., x ^ i, ..., x ^ m)} {h ^ i}. \ qquad (4)$$

Definição 9:
O limite (4) é chamado derivada parcial da função $$$f (x)$ no ponto $$$x = (x ^ 1, ..., x ^ m)$ por variável $$$x ^ i$ . Está designado:

$$

$$\ frac {\ parcial f} {\ parcial x ^ i} (x), \ quad \ parcial_if (x), \ quad f '_ {x ^ i} (x).$$

Exemplo 1:

$$

$$f (u, v) = u ^ 3 + v ^ 2 \ sen u, \\ \ parcial_1f (u, v) = \ frac {\ parcial f} {\ parcial u} (u, v) = 3u ^ 2 + v ^ 2 \ cos u, \\ \ parcial_2 f (u, v) = \ frac {\ parcial f} {\ parcial v} (u, v) = 2v \ sin u.$$

Descida de gradiente

Vamos $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ onde $$$\ mathbb {R} ^ n = \ underbrace {\ mathbb {R} \ times \ mathbb {R} \ times \ cdots \ times \ mathbb {R}} _ n = \ {(\ theta_1, \ theta_2, ... , \ theta_n), \ space \ theta_i \ in \ mathbb {R} \ space \ forall i \ in \ overline {1, n} \}$ .

Definição 10:

Função Gradiente $$$f \ colon \ mathbb {R} ^ n \ to \ mathbb {R}$ chamado vetor $$$i$ cujo elemento é igual a $$$\ frac {\ parcial f} {\ parcial \ theta_i}$ :

$$

$$\ bigtriangledown _ {\ theta} f = \ left (\ begin {array} {c} \ frac {\ parcial f} {\ parcial \ theta_1} \\\ frac {\ parcial f} {\ parcial \ theta_2} \\ \ vdots \\\ frac {\ parcial f} {\ parcial \ theta_n} \ end {array} \ right), \ quad \ theta = (\ theta_1, \ theta_2, ..., \ theta_n).$$

Gradiente é a direção na qual a função aumenta mais rapidamente. Isso significa que a direção em que diminui mais rapidamente é a direção oposta ao gradiente, ou seja, $$$- \ bigtriangledown _ {\ theta} f$ .

O objetivo do método de descida de gradiente é procurar o ponto extremo (mínimo) de uma função.

Denotar por $$$\ theta ^ {(t)}$ vetor de parâmetro de função na etapa $$$t$ . Vetor de atualização de parâmetro na etapa $$$t$ :

$$

$$u ^ {(t)} = - \ eta \ bigtriangledown _ {\ theta} f (\ theta ^ {(t-1)}), \ quad \ theta ^ {(t)} = \ theta ^ {(t- 1)} + u ^ {(t)}.$$

Na fórmula acima, o parâmetro $$$\ eta$ É a velocidade de aprendizado que controla o tamanho da etapa que damos na direção da inclinação do gradiente. Em particular, dois problemas opostos podem surgir:

• se os passos forem muito pequenos, o treinamento será muito longo e aumentará a probabilidade de ficar preso em um mínimo local pequeno e sem êxito ao longo da estrada (a primeira imagem na figura abaixo);
• se forem muito grandes, você poderá pular sem parar o mínimo desejado, mas nunca atingir o ponto mais baixo (a terceira imagem na figura abaixo).

Um exemplo:
Considere o exemplo do método de descida de gradiente no caso mais simples ( $$$n = 1$ ) Isso é $$$f \ colon \ mathbb {R} \ para \ mathbb {R}$ .
Vamos $$$f (x) = x ^ 2, \ quad \ theta ^ {(0)} = 3, \ quad \ eta = 1$ . Então:

$$

$$\ frac {\ parcial f} {\ parcial x} (x) = 2x \ quad \ Rightarrow \ quad \ bigtriangledown f_ \ theta (x) = 2x; \\ theta ^ {(1)} = \ theta ^ {(0)} - 1 \ cdot f_ \ theta (\ theta ^ {(0)}) = 3-6 = -3; \\ theta ^ {(2)} = \ theta ^ {(1)} - 1 \ cdot f_ \ theta (\ theta ^ {(1)}) = - 3 + 6 = 3 = \ theta ^ {(0 )}.$$

No caso em que $$$\ eta = 1$ , a situação é como na terceira imagem da imagem acima. Saltamos constantemente sobre o ponto extremo.
Vamos $$$\ eta = 0,8$ . Então:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0,8 \ vezes f_ \ theta (\ theta ^ {(0)}) = 3 - 0,8 \ times6 = 3-4,8 = -1,8; \\ theta ^ {(2)} = \ theta ^ {(1)} - 0,8 \ vezes f_ \ theta (\ theta ^ {(1)}) = - 1,8 + 0,8 \ times3,6 = -1,8 + 2,88 = 1,08; \\ theta ^ {(3)} = \ theta ^ {(2)} - 0,8 \ times f_ \ theta (\ theta ^ {(2)}) = 1,08 - 0,8 \ times2,16 = 1,08 - 1,728 = - 0,648; \\ theta ^ {(4)} = \ theta ^ {(3)} - 0,8 \ times f_ \ theta (\ theta ^ {(3)}) = - 0,648 + 0,8 \ times1,296 = -0,648 + 1,0368 = 0,3888; \\ theta ^ {(5)} = \ theta ^ {(4)} - 0,8 \ vezes f_ \ theta (\ theta ^ {(4)}) = 0,3888 - 0,8 \ times0,7776 = 0,3888 - 0,62208 = -0,23328; \\ theta ^ {(6)} = \ theta ^ {(5)} - 0,8 \ vezes f_ \ theta (\ theta ^ {(5)}) = - 0,23328 + 0,8 \ times0.46656 = -0,23328 + 0,373248 = \\ = 0,139968.$$

É visto que, iterativamente, estamos nos aproximando do ponto extremo.
Vamos $$$\ eta = 0,5$ . Então:

$$

$$\ theta ^ {(1)} = \ theta ^ {(0)} - 0,5 \ vezes f_ \ theta (\ theta ^ {(0)}) = 3 - 0,5 \ times6 = 3 - 3 = 0; \\ theta ^ {(2)} = \ theta ^ {(1)} - 0,5 \ vezes f_ \ theta (\ theta ^ {(1)}) = 0 - 0,5 \ times0 = 0$$

O ponto extremo foi encontrado em 1 passo.

Lista de literatura usada:

• “Análise matemática. Parte 1 ", V.A. Zorich, Moscou, 1997;
• “Aprendizagem profunda. Imersão no mundo das redes neurais ”, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.