Sinopse sobre Machine Learning. Teoria da probabilidade. Fórmula de Bayes



Teoria da probabilidade. Fórmula de Bayes


Deixe algum experimento ser conduzido.

w1,...,wN - eventos elementares (resultados elementares de um experimento).
\ Omega = \ {w_i \} _ {i = 1} ^ N\ Omega = \ {w_i \} _ {i = 1} ^ N - o espaço dos eventos elementares (o conjunto de todos os possíveis resultados elementares do experimento).

Definição 1:

Definir sistema  Sigma é chamado álgebra sigma se as seguintes propriedades forem atendidas:

  1.  Omega in Sigma;
  2. A in Sigma Rightarrow overlineA in Sigma;
  3. A1,A2,... in Sigma Rightarrow bigcup limits i=1inftyAi in Sigma.

Das propriedades 1 e 2 da Definição 1 , segue-se que  emptyset in Sigma . Das propriedades 2 e 3 da Definição 1 , segue-se que  bigcap limits i=1inftyAi in Sigma space( porque Ai in Sigma RightarrowSt.3 overlineAi in Sigma RightarrowSt.3 bigcup limits i=1infty overlineAi in Sigma Rightarrowsv.2 Rightarrowsv.2 overline bigcup limits i=1infty overlineAi in Sigma Rightarrow bigcap limits i=1inftyAi in Sigma).

Definição 2:

  • A - evento  forallA in Sigma;
  • P colon Sigma to mathbbR - medida probabilística (probabilidade) se:
    1. P( Sigma)=1;
    2.  forallA in Sigma space spaceP(A) geqslant0;
    3. \ {A_i \} _ {i = 1} ^ \ infty, \ space A_i \ in \ Sigma, \ space A_i \ cap A_j = \ emptyset\ {A_i \} _ {i = 1} ^ \ infty, \ space A_i \ in \ Sigma, \ space A_i \ cap A_j = \ emptyset às i not=j RightarrowP( bigcup limits i=1inftyAi)= sum limits i=1inftyP(Ai).

Propriedades de probabilidade:

  1. P(A) leqslant1;
  2. P(A)=1P( overlineA);
  3. P( emptyset)=0;
  4. A subseteqB RightarrowP(A) leqslantP(B);
  5. P(A xícaraB)=P(A)+P(B)P(A capB);
  6. \ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P (\ bigcup \ limits_ {i = 1} ^ N A_i) = \ sum \ limits_ {i = 1} ^ NP ( A_i) - \ sum \ limits_ {i <j} P (A_i \ cap A_j) + \ sum \ limits_ {i <j <k} P (A_i \ cap A_j \ cap A_k) -... + \\ + ( -1) ^ {n-1} P (A_1 \ cap A_2 \ cap ... \ cap A_n);
  7. \ forall \ {A_i \} _ {i = 1} ^ \ infty \ colon (A_ {i + 1} \ subseteq A_i, \ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset) \ espaço \ espaço \ espaço \ lim \ limites_ {i \ to \ infty} P (A_i) = 0.

Definição 3:

( Omega, Sigma,P) - espaço de probabilidade .

Definição 4:

 forallA,B in Sigma:P(B)>0
 qquadP(A|B)= fracP(AB)P(B) - probabilidade condicional de um evento A sujeito ao evento B .

Definição 5:

Deixe para \ {A_i \} _ {i = 1} ^ N onde  foralli in overline1,NAi in Sigma é executado  foralli,j in overline1,N espaçoAi capAj= emptyset e  bigcup limitsNi=1Ai= Omega . Então \ {A_i \} _ {i = 1} ^ N chamado de partição do espaço de eventos elementares.

Teorema 1 (fórmula de probabilidade total):

\ {A_i \} _ {i = 1} ^ N - partição do espaço de eventos elementares,  foralli in overline1,N espaçoP(Ai)>0 .
Então  forallB in Sigma quadP(B)= sum limitsNi=1P(B|Ai)P(Ai) .

Teorema 2 (fórmula de Bayes):

\ {A_i \} _ {i = 1} ^ N - partição do espaço de eventos elementares,  foralli in overline1,N espaçoP(Ai)>0 .

Então  forallB in Sigma colonP(B)>0 quadP(Ai|B)= fracP(B|Ai)P(Ai) soma limitesNi=1P(B|Ai)P(Ai)= fracP(B|Ai)P(Ai)P(B) .

Usando a fórmula de Bayes, podemos superestimar as probabilidades a priori ( P(Ai) ) com base em observações ( P(B|Ai) ) e obtenha uma nova compreensão da realidade.

Um exemplo :

Suponha que exista um teste aplicado a uma pessoa individualmente e determine: ele está infectado com o vírus "X" ou não? Assumimos que o teste foi bem-sucedido se forneceu o veredicto correto para uma pessoa em particular. Sabe-se que esse teste tem uma probabilidade de sucesso de 0,95 e 0,05 é a probabilidade de ambos os erros do primeiro tipo (falso positivo, ou seja, o teste passou por um veredicto positivo e a pessoa é saudável) e erros do segundo tipo (falso negativo, ou seja, o teste passou por um veredicto negativo e a pessoa está doente). Para maior clareza, um veredicto positivo = teste "disse" que uma pessoa está infectada com um vírus. Sabe-se também que 1% da população está infectada com esse vírus. Deixe uma pessoa obter um veredicto positivo do teste. Qual a probabilidade de ele estar realmente doente?

Denotar: t - resultado do teste d - a presença do vírus. Então, de acordo com a fórmula para probabilidade total:

P(t=1)=P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0).

Pelo teorema de Bayes:

P(d=1|t=1)= fracP(t=1|d=1)P(d=1)P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)== frac0,95 times0,010,95 times0,01+0,05 times0,99=0,16

Acontece que a probabilidade de estar infectado com o vírus “X” sob a condição de um veredicto de teste positivo é de 0,16. Por que tal resultado? Inicialmente, uma pessoa com uma probabilidade de 0,01 está infectada com o vírus “X” e mesmo com uma probabilidade de 0,05, o teste falhará. Ou seja, no caso em que apenas 1% da população está infectada com esse vírus, a probabilidade de um erro de teste de 0,05 tem um impacto significativo na probabilidade de uma pessoa estar realmente doente, desde que o teste dê um resultado positivo.

Lista de literatura usada:


  • “Fundamentos da teoria das probabilidades. Textbook ", M.E. Zhukovsky, I.V. Rodionov, Instituto de Física e Tecnologia de Moscou, Moscou, 2015;
  • “Aprendizagem profunda. Imersão no mundo das redes neurais ”, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.

Source: https://habr.com/ru/post/pt474368/


All Articles