Sinopsis del aprendizaje automático. Teoría de la probabilidad. Fórmula de Bayes



Teoría de la probabilidad. Fórmula de Bayes


Deje que se realice un experimento.

w1,...,wN - eventos elementales (resultados elementales de un experimento).
\ Omega = \ {w_i \} _ {i = 1} ^ N\ Omega = \ {w_i \} _ {i = 1} ^ N - el espacio de eventos elementales (el conjunto de todos los resultados elementales posibles del experimento).

Definición 1:

Establecer sistema  Sigma se llama álgebra sigma si se cumplen las siguientes propiedades:

  1.  Omega in Sigma;
  2. A in Sigma Rightarrow overlineA in Sigma;
  3. A1,A2,... in Sigma Rightarrow bigcup limits i=1inftyAi in Sigma.

De las propiedades 1 y 2 de la Definición 1 se deduce que  emptyset in Sigma . De las propiedades 2 y 3 de la Definición 1 se deduce que  bigcap limits i=1inftyAi in Sigma space( porque Ai in Sigma RightarrowSt.3 overlineAi in Sigma RightarrowSt.3 bigcup limits i=1infty overlineAi in Sigma Rightarrowsv.2 Rightarrowsv.2 overline bigcup limits i=1infty overlineAi in Sigma Rightarrow bigcap limits i=1inftyAi in Sigma).

Definición 2:

  • A - evento  forallA in Sigma;
  • P colon Sigma a mathbbR - medida probabilística (probabilidad) si:
    1. P( Sigma)=1;
    2.  forallA in Sigma space spaceP(A) geqslant0;
    3. \ {A_i \} _ {i = 1} ^ \ infty, \ space A_i \ in \ Sigma, \ space A_i \ cap A_j = \ emptyset\ {A_i \} _ {i = 1} ^ \ infty, \ space A_i \ in \ Sigma, \ space A_i \ cap A_j = \ emptyset a las i not=j RightarrowP( bigcup limits i=1inftyAi)= sum limits i=1inftyP(Ai).

Propiedades de probabilidad:

  1. P(A) leqslant1;
  2. P(A)=1P( overlineA);
  3. P( conjuntovacío)=0;
  4. A subseteqB RightarrowP(A) leqslantP(B);
  5. P(A cupB)=P(A)+P(B)P(A capB);
  6. \ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P (\ bigcup \ limits_ {i = 1} ^ N A_i) = \ sum \ limits_ {i = 1} ^ NP ( A_i) - \ sum \ limits_ {i <j} P (A_i \ cap A_j) + \ sum \ limits_ {i <j <k} P (A_i \ cap A_j \ cap A_k) -... + \\ + ( -1) ^ {n-1} P (A_1 \ cap A_2 \ cap ... \ cap A_n);
  7. \ forall \ {A_i \} _ {i = 1} ^ \ infty \ colon (A_ {i + 1} \ subseteq A_i, \ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset) \ space \ space \ space \ lim \ limits_ {i \ to \ infty} P (A_i) = 0.

Definición 3:

( Omega, Sigma,P) - espacio de probabilidad .

Definición 4:

 forallA,B in Sigma:P(B)>0
 qquadP(A|B)= fracP(AB)P(B) - probabilidad condicional de un evento A sujeto al evento B .

Definición 5:

Dejar para \ {A_i \} _ {i = 1} ^ N donde  foralli in overline1,NAi in Sigma se ejecuta  foralli,j in overline1,N spaceAi capAj= emptyset y  bigcup limitsNi=1Ai= Omega . Entonces \ {A_i \} _ {i = 1} ^ N llamado una partición del espacio de eventos elementales.

Teorema 1 (fórmula de probabilidad total):

\ {A_i \} _ {i = 1} ^ N - partición del espacio de eventos elementales,  foralli in overline1,N spaceP(Ai)>0 .
Entonces  forallB in Sigma quadP(B)= sum limitsNi=1P(B|Ai)P(Ai) .

Teorema 2 (fórmula de Bayes):

\ {A_i \} _ {i = 1} ^ N - partición del espacio de eventos elementales,  foralli in overline1,N spaceP(Ai)>0 .

Entonces  forallB in Sigma colonP(B)>0 quadP(Ai|B)= fracP(B|Ai)P(Ai) sum limitsNi=1P(B|Ai)P(Ai)= fracP(B|Ai)P(Ai)P(B) .

Usando la fórmula de Bayes, podemos sobreestimar las probabilidades a priori ( P(Ai) ) basado en observaciones ( P(B|Ai) ) y obtener una comprensión completamente nueva de la realidad.

Un ejemplo :

Suponga que hay una prueba que se aplica a una persona individualmente y determina: ¿está infectado con el virus "X" o no? Suponemos que la prueba fue exitosa si dio el veredicto correcto para una persona en particular. Se sabe que esta prueba tiene una probabilidad de éxito de 0.95, y 0.05 es la probabilidad de ambos errores del primer tipo (falso positivo, es decir, la prueba aprobó un veredicto positivo, y la persona está sana), y errores del segundo tipo (falso negativo, es decir la prueba pasó un veredicto negativo y la persona está enferma). Para mayor claridad, un veredicto positivo = prueba "dijo" que una persona está infectada con un virus. También se sabe que el 1% de la población está infectada con este virus. Deje que una persona obtenga un veredicto positivo de la prueba. ¿Qué posibilidades hay de que esté realmente enfermo?

Denotar: t - resultado de la prueba, d - la presencia del virus. Luego, de acuerdo con la fórmula de probabilidad total:

P(t=1)=P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0).

Por el teorema de Bayes:

P(d=1|t=1)= fracP(t=1|d=1)P(d=1)P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)== frac0.95 times0.010.95 times0.01+0.05 times0.99=0.16

Resulta que la probabilidad de infectarse con el virus "X" bajo la condición de un veredicto positivo es de 0.16. ¿Por qué tal resultado? Inicialmente, una persona con una probabilidad de 0.01 está infectada con el virus "X" e incluso con una probabilidad de 0.05 la prueba fallará. Es decir, en el caso de que solo el 1% de la población esté infectada con este virus, la probabilidad de un error de prueba de 0.05 tiene un impacto significativo en la probabilidad de que una persona esté realmente enferma, siempre que la prueba dé un resultado positivo.

Lista de literatura utilizada:


  • “Fundamentos de la teoría de la probabilidad. Libro de texto ", M.E. Zhukovsky, I.V. Rodionov, Instituto de Física y Tecnología de Moscú, MOSCÚ, 2015;
  • “Aprendizaje profundo. Inmersión en el mundo de las redes neuronales ”, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.

Source: https://habr.com/ru/post/474368/


All Articles