Synopsis sur l'apprentissage automatique. Théorie des probabilités. Formule Bayes



Théorie des probabilités. Formule Bayes


Qu'une expérience soit menée.

w1,...,wN - événements élémentaires (résultats élémentaires d'une expérience).
\ Omega = \ {w_i \} _ {i = 1} ^ N\ Omega = \ {w_i \} _ {i = 1} ^ N - l' espace des événements élémentaires (l'ensemble de tous les résultats élémentaires possibles de l'expérience).

Définition 1:

Définir le système  Sigma est appelée algèbre sigma si les propriétés suivantes sont satisfaites:

  1.  Omega in Sigma;
  2. A in Sigma Rightarrow overlineA in Sigma;
  3. A1,A2,... in Sigma Rightarrow bigcup limits i=1inftyAi in Sigma.

Des propriétés 1 et 2 de la définition 1, il s'ensuit que  emptyset in Sigma . Des propriétés 2 et 3 de la définition 1, il s'ensuit que  bigcap limits i=1inftyAi in Sigma space( parce que Ai in Sigma RightarrowSt.3 overlineAi in Sigma RightarrowSt.3 bigcup limits i=1infty overlineAi in Sigma Rightarrowsv.2 Rightarrowsv.2 overline bigcup limits i=1infty overlineAi in Sigma Rightarrow bigcap limits i=1inftyAi in Sigma).

Définition 2:

  • A - événement  forallA in Sigma;
  • P colon Sigma to mathbbR - mesure probabiliste (probabilité) si:
    1. P( Sigma)=1;
    2.  forallA in Sigma space spaceP(A) geqslant0;
    3. \ {A_i \} _ {i = 1} ^ \ infty, \ space A_i \ in \ Sigma, \ space A_i \ cap A_j = \ emptyset\ {A_i \} _ {i = 1} ^ \ infty, \ space A_i \ in \ Sigma, \ space A_i \ cap A_j = \ emptyset à i not=j RightarrowP( bigcup limits i=1inftyAi)= sum limits i=1inftyP(Ai).

Propriétés de probabilité:

  1. P(A) leqslant1;
  2. P(A)=1P( overlineA);
  3. P( emptyset)=0;
  4. A subseteqB RightarrowP(A) leqslantP(B);
  5. P(A cupB)=P(A)+P(B)P(A capB);
  6. \ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P (\ bigcup \ limits_ {i = 1} ^ N A_i) = \ sum \ limits_ {i = 1} ^ NP ( A_i) - \ sum \ limits_ {i <j} P (A_i \ cap A_j) + \ sum \ limits_ {i <j <k} P (A_i \ cap A_j \ cap A_k) -... + \\ + ( -1) ^ {n-1} P (A_1 \ cap A_2 \ cap ... \ cap A_n);\ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P (\ bigcup \ limits_ {i = 1} ^ N A_i) = \ sum \ limits_ {i = 1} ^ NP ( A_i) - \ sum \ limits_ {i <j} P (A_i \ cap A_j) + \ sum \ limits_ {i <j <k} P (A_i \ cap A_j \ cap A_k) -... + \\ + ( -1) ^ {n-1} P (A_1 \ cap A_2 \ cap ... \ cap A_n);
  7. \ forall \ {A_i \} _ {i = 1} ^ \ infty \ colon (A_ {i + 1} \ subseteq A_i, \ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset) \ espace \ espace \ espace \ lim \ limites_ {i \ à \ infty} P (A_i) = 0.\ forall \ {A_i \} _ {i = 1} ^ \ infty \ colon (A_ {i + 1} \ subseteq A_i, \ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset) \ espace \ espace \ espace \ lim \ limites_ {i \ à \ infty} P (A_i) = 0.

Définition 3:

( Omega, Sigma,P) - espace de probabilité .

Définition 4:

 forallA,B in Sigma:P(B)>0
 qquadP(A|B)= fracP(AB)P(B) - probabilité conditionnelle d'un événement A sous réserve de l'événement B .

Définition 5:

Soit pour \ {A_i \} _ {i = 1} ^ N\ {A_i \} _ {i = 1} ^ N foralli in overline1,NAi in Sigma est exécuté  foralli,j in overline1,N spaceAi capAj= emptyset et  bigcup limitsNi=1Ai= Omega . Alors \ {A_i \} _ {i = 1} ^ N\ {A_i \} _ {i = 1} ^ N appelé une partition de l' espace des événements élémentaires.

Théorème 1 (formule de probabilité totale):

\ {A_i \} _ {i = 1} ^ N\ {A_i \} _ {i = 1} ^ N - partition de l'espace des événements élémentaires,  foralli in overline1,N espaceP(Ai)>0 .
Alors  forallB in Sigma quadP(B)= sum limitsNi=1P(B|Ai)P(Ai) .

Théorème 2 (formule de Bayes):

\ {A_i \} _ {i = 1} ^ N - partition de l'espace des événements élémentaires,  foralli in overline1,N espaceP(Ai)>0 .

Alors  forallB in Sigma colonP(B)>0 quadP(Ai|B)= fracP(B|Ai)P(Ai) sum limitsNi=1P(B|Ai)P(Ai)= fracP(B|Ai)P(Ai)P(B) .

En utilisant la formule de Bayes, nous pouvons surestimer les probabilités a priori ( P(Ai) ) sur la base d'observations ( P(B|Ai) ), et acquérir une toute nouvelle compréhension de la réalité.

Un exemple :

Supposons qu'un test soit appliqué à une personne individuellement et détermine: est-elle infectée par le virus "X" ou non? Nous supposons que le test a réussi s'il a rendu le verdict correct pour une personne en particulier. Il est connu que ce test a une probabilité de succès de 0,95 et 0,05 est la probabilité à la fois des erreurs du premier type (faux positif, c'est-à-dire que le test a passé un verdict positif et que la personne est en bonne santé) et des erreurs du deuxième type (faux négatif, c'est-à-dire le test a passé un verdict négatif et la personne est malade). Pour plus de clarté, un verdict positif = test "dit" qu'une personne est infectée par un virus. On sait également que 1% de la population est infectée par ce virus. Laissez une personne obtenir un verdict positif du test. Quelle est la probabilité qu'il soit vraiment malade?

Dénote: t - résultat du test, d - la présence du virus. Ensuite selon la formule de probabilité totale:

P(t=1)=P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0).

Par le théorème de Bayes:

P(d=1|t=1)= fracP(t=1|d=1)P(d=1)P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)== frac0.95 times0.010.95 times0.01+0.05 times0.99=0.16

Il s'avère que la probabilité d'être infecté par le virus «X» sous condition d'un verdict de test positif est de 0,16. Pourquoi un tel résultat? Initialement, une personne avec une probabilité de 0,01 est infectée par le virus «X» et même avec une probabilité de 0,05, le test échouera. Autrement dit, dans le cas où seulement 1% de la population est infectée par ce virus, la probabilité d'une erreur de test de 0,05 a un impact significatif sur la probabilité qu'une personne soit vraiment malade, à condition que le test donne un résultat positif.

Liste de la littérature utilisée:


  • «Fondements de la théorie des probabilités. Manuel ", M.E. Joukovski, I.V. Rodionov, Institut de physique et de technologie de Moscou, MOSCOU, 2015;
  • «Apprentissage profond. Immersion dans le monde des réseaux de neurones », S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.

Source: https://habr.com/ru/post/fr474368/


All Articles