Sinopsis del aprendizaje automático. Estadística matemática. Método de máxima verosimilitud

Recordemos algunas definiciones de estadística matemática.

Deje que se dé un espacio de probabilidad $$$(\ Omega, \ Sigma, P)$ .

Definición 1:

Variable aleatoria $$$\ xi = \ xi (w)$ tomando valores en el conjunto $$$S$ c $\ sigma$ -álgebra de subconjuntos $$$\ Phi$ llamado cualquiera $$$(\ Sigma, \ Phi)$ función medible $$$\ xi \ colon \ Omega \ a S$ eso es $$$\ forall A \ subseteq S, A \ in \ Phi$ la condición está satisfecha $$$\ xi ^ {- 1} (A) = \ {\ omega \ in \ Omega \ space \ colon \ space \ xi (w) \ in A \} \ in \ Sigma$ .

Definición 2:

El espacio muestral es el espacio de todos los valores posibles de la observación o muestra junto con $$$\ sigma$ -álgebra de subconjuntos medibles de este espacio.
Designación: $$$(B, \ mathscr {B})$ .

Definido en espacio de probabilidad $$$(\ Omega, \ Sigma, P)$ variables aleatorias $$$\ xi, \ eta, \ ldots \ colon \ Omega \ a B$ desovar en el espacio $$$(B, \ mathscr {B})$ medidas probabilísticas $$$P_ \ xi \ {C \} = P \ {\ xi \ en C \}, P_ \ eta \ {C \} = P \ {\ eta \ en C \}, \ ldots$ En un espacio muestral, no se determina una medida de probabilidad, sino una familia de medidas de probabilidad finita o infinita.

En problemas de estadística matemática , se conoce una familia de medidas de probabilidad . $$$\ {P_ \ theta, \ space \ theta \ in \ Theta \}$ definido en el espacio de muestreo, y se requiere de la muestra para determinar cuál de las medidas probabilísticas de esta familia corresponde a la muestra.

Definición 3:

Un modelo estadístico es un agregado que consiste en un espacio muestral y una familia de medidas de probabilidad definidas en él.

Designación: $$$(B, \ mathscr {B}, \ mathscr {P})$ donde $$$\ mathscr {P} = \ {P_ \ theta, \ space \ theta \ in \ Theta \}$ .

Dejar $$$B = \ mathbb {R} ^ n$ y $$$(\ mathbb {R} ^ n, \ mathscr {B})$ - espacio selectivo.

Muestreo $$$X = (x_1, \ ldots, x_n)$ puede considerarse como una combinación $$$n$ Números reales. Asigne a cada elemento de la muestra una probabilidad igual a $$$\ frac {1} {n}$ .

Dejar

$$

$$I_x (B) = \ begin {cases} 1, \ quad x \ en B \\ 0, \ quad x \ not \ en B \ end {cases}$$

Definición 4:

Una distribución empírica construida a partir de la muestra X es una medida de probabilidad $$$P_n ^ *$ :

$$

$$P_n ^ * (B) = \ frac {1} {n} \ sum_ {k = 1} ^ nI_ {x_k} (B)$$

Eso es $$$P_n ^ * (B)$ - la proporción del número de elementos de muestra que pertenecen $$$B$ , al número total de elementos de muestra: $$$P_n ^ * (B) = \ frac {\ nu_n (B)} {n}, \ space \ nu_n (B) = \ sum \ limits_ {k = 1} ^ nI (x_k \ in B), \ space B \ in \ mathscr {B}$ .

Definición 5:

Orden de momento selectivo $$$k$ llamado

$$

$$\ hat {m} ^ * _ k = \ hat {m} ^ * _ k (X) = \ frac {1} {n} \ sum_ {j = 1} ^ nx_j ^ k$$

$$$\ hat {m} _1 ^ * = \ overline {X} = \ frac {1} {n} \ sum \ limits_ {j = 1} ^ n x_j$ - muestra media .

Definición 6:

Momento central selectivo de orden $$$k$ está determinado por la igualdad

$$

$$\ hat {m} _k ^ {* (0)} = \ hat {m} _k ^ {* (0)} (X) = \ frac {1} {n} \ sum_ {j = 1} ^ n ( x_j - \ overline {X}) ^ k$$

$$$S ^ 2 = S ^ 2 (X) = \ hat {m} _2 ^ {* (0)} = \ frac {1} {n} \ sum \ limits_ {j = 1} ^ n (x_j - \ overline {X}) ^ 2$ - varianza muestral .

En el aprendizaje automático, muchas tareas son aprender a seleccionar un parámetro de los datos disponibles. $$$\ theta$ cuál describe mejor estos datos. En estadística matemática, el método de máxima verosimilitud se usa a menudo para resolver un problema similar.

En la vida real, la distribución de errores a menudo tiene una distribución normal. Para alguna justificación, establecemos el teorema del límite central .

Teorema 1 (CLT):

Si variables aleatorias $$$\ xi_1, \ ldots, \ xi_n$ - expectativa matemática independiente, igualmente distribuida $$$M (\ xi_i) = a$ varianza $$$D (\ xi_i) = \ sigma ^ 2 \ in (0, + \ infty) \ space \ forall i \ in \ overline {1, n}$ entonces

$$

$$\ lim \ limits_ {n \ to \ infty} P \ {\ frac {\ xi_1 + \ xi_2 + \ ldots + \ xi_n - na} {\ sigma \ sqrt {n}} \ leq x \} = F (x) = \ frac {1} {\ sqrt {2 \ pi}} \ int \ limits _ {- \ infty} ^ xe ^ {- u ^ 2/2} du.$$

A continuación, formulamos el método de máxima verosimilitud y consideramos su funcionamiento como un ejemplo de una familia de distribuciones normales.

Método de máxima verosimilitud

Dejar un modelo estadístico $$$(B, \ mathscr {B}, \ mathscr {P} = \ {P_ \ theta, \ space \ theta \ in \ Theta \})$ Se cumplen dos condiciones:

• si $$$\ theta_1 \ not = \ theta_2$ entonces $$$P _ {\ theta_1} \ not = P _ {\ theta_2}$ ;
• hay tal medida $$$\ mu$ en $$$(B, \ mathscr {B})$ respecto de cual para cualquier medida $$$P_ \ theta$ , $$$\ theta \ in \ Theta$ , hay una densidad $$$f_ \ theta (x) = \ frac {dP_ \ theta (x)} {d \ mu} (x)$ eso es $$$\ forall C \ in \ mathscr {B} \ quad P_ \ theta (C) = \ int \ limits_Cf_ \ theta (x) \ mu (dx)$ .

Definición 7:

Evaluación de máxima verosimilitud (OMP) $$$\ hat {\ theta}$ parámetro $$$\ theta$ llamado empíricamente construido $$$P ^ * _ n$ correspondiente a la muestra $$$X = (x_1, \ ldots, x_n)$ valor $$$\ theta \ in \ Theta$ en que $$$\ max \ limits _ {\ theta \ in \ Theta} \ int \ ln f_ \ theta (x) P_n ^ * (dx) = \ max \ limits _ {\ theta \ in \ Theta} \ frac {1} {n} \ sum \ limits_ {i = 1} ^ n \ ln f_ \ theta (x).$

Definición 8:

Función $$$\ Lambda_ \ theta (X) = \ prod \ limits_ {i = 1} ^ n f_ \ theta (x_i)$ en función de $$$\ theta$ se llama función de verosimilitud y la función $$$L (X, \ theta) = \ sum \ limits_ {i = 1} ^ n \ ln f_ \ theta (x_i)$ - función de probabilidad logarítmica .

Estas funciones alcanzan su punto máximo en los mismos valores. $$$\ theta$ desde $$$\ ln x$ - Función monótona creciente.

Un ejemplo:

$$$\ mathscr {P} = \ {N (a, \ sigma ^ 2) \ space | \ space a \ in \ mathbb {R}, \ space \ sigma \ in (0, + \ infty) \}$ - familia de distribuciones normales con densidades $$$\ phi_ {a, \ sigma ^ 2} (x) = \ frac {1} {\ sigma \ sqrt {2 \ pi}} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} (xa ) ^ 2 \}$ . Por muestra $$$X = (x_1, \ ldots, x_n)$

$$

$$\ Lambda_ {a, \ sigma} (X) = \ frac {1} {(2 \ pi) ^ {\ frac {n} {2}} \ sigma ^ n} \ exp \ {- \ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ {i = 1} ^ n (x_j-a) ^ 2 \};$$

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ { i = 1} ^ n (x_i-a) ^ 2;$$

$$

$$\ frac {\ partial L} {\ partial a} = \ frac {1} {\ sigma ^ 2} \ sum \ limits_ {i = 1} ^ n (x_i-a), \ quad \ frac {\ partial L } {\ partial \ sigma} = - \ frac {n} {\ sigma} + \ frac {1} {\ sigma ^ 3} \ sum \ limits_ {i = 1} ^ n (x_i-a) ^ 2;$$

$$

$$\ frac {\ partial L} {\ partial a} = 0 \ quad \ Rightarrow \ quad \ sum \ limits_ {i = 1} ^ nx_i - na = 0 \ quad \ Rightarrow \ quad \ frac {1} {n} \ sum \ limits_ {i = 1} ^ nx_i = \ overline {X} = \ hat {a};$$

$$

$$\ frac {\ partial L} {\ partial \ sigma} = 0 \ quad \ Rightarrow \ quad \ frac {n} {\ sigma} = \ frac {1} {\ sigma ^ 3} \ sum \ limits_ {i = 1} ^ n (x_i - a) ^ 2 \ quad \ Rightarrow \ quad \ hat {\ sigma} = \ sqrt {\ frac {1} {n} \ sum \ limits_ {i = 1} ^ n (x_i - \ overline {X}) ^ 2} = \ sqrt {S ^ 2}.$$

Se obtuvieron estimaciones para la expectativa matemática y la varianza.

Si miras detenidamente la fórmula

$$

$$L (X, (a, \ sigma)) = - \ frac {n} {2} \ ln2 \ pi - n \ ln \ sigma - \ frac {1} {2 \ sigma ^ 2} \ sum \ limits_ { i = 1} ^ n (x_i-a) ^ 2$$

podemos concluir que la función $$$L (X, (a, \ sigma))$ asume su valor máximo cuando $$$\ sum \ limits_ {i = 1} ^ n (x_i-a) ^ 2$ es mínimo En los problemas de aprendizaje automático, a menudo se usa el método de mínimos cuadrados , en el que se minimiza la suma de las desviaciones al cuadrado de los valores pronosticados de los verdaderos.

Lista de literatura utilizada:

• Apuntes de estadística matemática, autor desconocido;
• “Aprendizaje profundo. Inmersión en el mundo de las redes neuronales ”, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.