Sinopse sobre Machine Learning. Estatística matemática. Método de máxima verossimilhança

Lembre-se de algumas definições de estatística matemática.

Seja dado um espaço de probabilidade $$$(\ Omega, \ Sigma, P)$ .

Definição 1:

Variável aleatória $$$\ xi = \ xi (w)$ tomando valores no conjunto $$$S$ c $\ sigma$ -algebra de subconjuntos $$$\ Phi$ chamou qualquer $$$(\ Sigma, \ Phi)$ função mensurável $$$\ xi \ colon \ Omega \ para S$ isso é $$$\ forall A \ subseteq S, A \ in \ Phi$ a condição é satisfeita $$$\ xi ^ {- 1} (A) = \ {\ omega \ in \ Omega \ space \ colon \ space \ xi (w) \ em A \} \ in \ Sigma$ .

Definição 2:

O espaço da amostra é o espaço de todos os valores possíveis da observação ou amostra, juntamente com $$$\ sigma$ -algebra de subconjuntos mensuráveis ​​deste espaço.
Designação: $$$(B, \ mathscr {B})$ .

Definido no espaço de probabilidade $$$(\ Omega, \ Sigma, P)$ variáveis ​​aleatórias $$$\ xi, \ eta, \ ldots \ colon \ Omega \ para B$ desovar no espaço $$$(B, \ mathscr {B})$ medidas probabilísticas $$$P_ \ xi \ {C \} = P \ {\ xi \ em C \}, P_ \ eta \ {C \} = P \ {\ eta \ em C \}, \ ldots$ Em um espaço de amostra, não é determinada uma medida de probabilidade, mas uma família finita ou infinita de medidas de probabilidade.

Em problemas de estatística matemática , uma família de medidas de probabilidade é conhecida. $$$\ {P_ \ theta, \ space \ theta \ in \ Theta \}$ definido no espaço de amostragem e é necessário que a amostra determine qual das medidas probabilísticas dessa família corresponde à amostra.

Definição 3:

Um modelo estatístico é um agregado que consiste em um espaço de amostra e uma família de medidas de probabilidade definidas nele.

Designação: $$$(B, \ mathscr {B}, \ mathscr {P})$ onde $$$\ mathscr {P} = \ {P_ \ theta, \ espaço \ theta \ em \ Theta \}$ .

Vamos $$$B = \ mathbb {R} ^ n$ e $$$(\ mathbb {R} ^ n, \ mathscr {B})$ - espaço seletivo.

Amostragem $$$X = (x_1, \ ldots, x_n)$ pode ser considerado como uma combinação $$$n$ números reais. Atribua a cada elemento da amostra uma probabilidade igual a $$$\ frac {1} {n}$ .

Vamos

$$

$$I_x (B) = \ begin {cases} 1, \ quad x \ in B \\ 0, \ quad x \ not \ in B \ end {cases}$$

Definição 4:

Uma distribuição empírica construída a partir da amostra X é uma medida de probabilidade $$$P_n ^ *$ :

$$

$$P_n ^ * (B) = \ frac {1} {n} \ sum_ {k = 1} ^ nI_ {x_k} (B)$$

Isso é $$$P_n ^ * (B)$ - a proporção do número de elementos de amostra que pertencem $$$B$ , para o número total de itens de amostra: $$$P_n ^ * (B) = \ frac {\ nu_n (B)} {n}, \ espaço \ nu_n (B) = \ soma \ limites_ {k = 1} ^ nI (x_k \ em B), \ space B \ in \ mathscr {B}$ .

Definição 5:

Ordem do momento seletivo $$$k$ chamado

$$

$$\ hat {m} ^ * _ k = \ hat {m} ^ * _ k (X) = \ frac {1} {n} \ sum_ {j = 1} ^ nx_j ^ k$$

$$$\ hat {m} _1 ^ * = \ overline {X} = \ frac {1} {n} \ sum \ limits_ {j = 1} ^ n x_j$ - média da amostra .

Definição 6:

Momento de ordem central seletivo $$$k$ é determinado pela igualdade

$$

$$\ hat {m} _k ^ {* (0)} = \ hat {m} _k ^ {* (0)} (X) = \ frac {1} {n} \ sum_ {j = 1} ^ n ( x_j - \ overline {X}) ^ k$$

$$$S ^ 2 = S ^ 2 (X) = \ hat {m} _2 ^ {* (0)} = \ frac {1} {n} \ sum \ limits_ {j = 1} ^ n (x_j - \ overline {X}) ^ 2$ - variação da amostra .

No aprendizado de máquina, muitas tarefas são aprender a selecionar um parâmetro dos dados disponíveis $$$\ theta$ que melhor descreve esses dados. Nas estatísticas matemáticas, o método de máxima verossimilhança é frequentemente usado para resolver um problema semelhante.

Na vida real, a distribuição de erros geralmente tem uma distribuição normal. Para alguma justificativa, declaramos o teorema do limite central .

Teorema 1 (CLT):

Se variáveis ​​aleatórias $$$\ xi_1, \ ldots, \ xi_n$ - expectativa matemática independente, igualmente distribuída $$$M (\ xi_i) = a$ variação $$$D (\ xi_i) = \ sigma ^ 2 \ in (0, + \ infty) \ space \ forall i \ in \ overline {1, n}$ então

$$

$$\ lim \ limits_ {n \ to \ infty} P \ {\ frac {\ xi_1 + \ xi_2 + \ ldots + \ xi_n - na} {\ sigma \ sqrt {n}} \ leq x \} = F (x) = \ frac {1} {\ sqrt {2 \ pi}} \ int \ limits _ {- \ infty} ^ xe ^ {- u ^ 2/2} du.$$

Abaixo, formulamos o método da máxima verossimilhança e consideramos seu funcionamento como um exemplo de uma família de distribuições normais.

Método de máxima verossimilhança

Deixe um modelo estatístico $$$(B, \ mathscr {B}, \ mathscr {P} = \ {P_ \ theta, \ espaço \ theta \ em \ Theta \})$ duas condições são atendidas:

• se $$$\ theta_1 \ not = \ theta_2$ então $$$P _ {\ theta_1} \ not = P _ {\ theta_2}$ ;
• existe essa medida $$$\ mu$ em $$$(B, \ mathscr {B})$ relativamente ao qual, para qualquer medida $$$P_ \ theta$ , $$$\ theta \ in \ Theta$ , existe uma densidade $$$f_ \ theta (x) = \ frac {dP_ \ theta (x)} {d \ mu} (x)$ isso é $$$\ forall C \ in \ mathscr {B} \ quad P_ \ theta (C) = \ int \ limits_Cf_ \ theta (x) \ mu (dx)$ .

Definição 7:

Avaliação da máxima verossimilhança (OMP) $$$\ hat {\ theta}$ parâmetro $$$\ theta$ chamado empiricamente construído $$$P ^ * _ n$ correspondente à amostra $$$X = (x_1, \ ldots, x_n)$ valor $$$\ theta \ in \ Theta$ em que $$$\ max \ limits _ {\ theta \ in \ Theta} \ int \ ln f_ \ theta (x) P_n ^ * (dx) = \ max \ limits _ {\ theta \ in \ Theta} \ frac {1} {n} \ sum \ limits_ {i = 1} ^ n \ ln f_ \ theta (x).$

Definição 8:

Função $$$\ Lambda_ \ theta (X) = \ prod \ limits_ {i = 1} ^ n f_ \ theta (x_i)$ em função de $$$\ theta$ é chamada de função de probabilidade e a função $$$L (X, \ theta) = \ soma \ limites_ {i = 1} ^ n \ ln f_ \ theta (x_i)$ - função de probabilidade logarítmica .

Essas funções atingem o pico nos mesmos valores. $$$\ theta$ desde $$$\ ln x$ - função crescente monótona .

Um exemplo:

$$$\ mathscr {P} = \ {N (a, \ sigma ^ 2) \ space | \ space a \ in \ mathbb {R}, \ space \ sigma \ in (0, + \ infty) \}$ - família de distribuições normais com densidades $$$\ phi_ {a, \ sigma ^ 2} (x) = \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} (xa ) ^ 2 \}$ . Por amostra $$$X = (x_1, \ ldots, x_n)$

$$

$$\ Lambda_ {a, \ sigma} (X) = \ frac {1} {(2 \ pi) ^ {\ frac {n} {2}} \ sigma ^ n} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ {i = 1} ^ n (x_j-a) ^ 2 \};$$

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ { i = 1} ^ n (x_i-a) ^ 2;$$

$$

$$\ frac {\ L parcial} {\ parcial a} = \ frac {1} {\ sigma ^ 2} \ soma \ limites_ {i = 1} ^ n (x_i-a), \ quad \ frac {\ L parcial } {\ parcial \ sigma} = - \ frac {n} {\ sigma} + \ frac {1} {\ sigma ^ 3} \ sum \ limits_ {i = 1} ^ n (x_i-a) ^ 2;$$

$$

$$\ frac {\ parcial L} {\ parcial a} = 0 \ quad \ Rightarrow \ quad \ sum \ limits_ {i = 1} ^ nx_i - na = 0 \ quad \ Rightarrow \ quad \ frac {1} {n} \ sum \ limits_ {i = 1} ^ nx_i = \ overline {X} = \ hat {a};$$

$$

$$\ frac {\ parcial L} {\ parcial \ sigma} = 0 \ quad \ Rightarrow \ quad \ frac {n} {\ sigma} = \ frac {1} {\ sigma ^ 3} \ sum \ limits_ {i = 1} ^ n (x_i - a) ^ 2 \ quad \ Rightarrow \ quad \ hat {\ sigma} = \ sqrt {\ frac {1} {n} \ sum \ limits_ {i = 1} ^ n (x_i - \ overline {X}) ^ 2} = \ sqrt {S ^ 2}.$$

Estimativas de expectativa e variância matemática foram obtidas.

Se você olhar atentamente para a fórmula

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ { i = 1} ^ n (x_i-a) ^ 2$$

podemos concluir que a função $$$L (X, (a, \ sigma))$ assume seu valor máximo quando $$$\ soma \ limites_ {i = 1} ^ n (x_i-a) ^ 2$ é mínimo. Em problemas de aprendizado de máquina, o método dos mínimos quadrados é frequentemente usado, no qual a soma dos desvios quadrados dos valores previstos e dos valores reais é minimizada.

Lista de literatura usada:

• Notas de aula sobre estatística matemática, autor desconhecido;
• “Aprendizagem profunda. Imersão no mundo das redes neurais ”, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.