Synopsis zum maschinellen Lernen. Wahrscheinlichkeitstheorie. Bayes-Formel



Wahrscheinlichkeitstheorie. Bayes-Formel


Lassen Sie ein Experiment durchgeführt werden.

w1,...,wN - Elementare Ereignisse (elementare Ergebnisse eines Experiments).
\ Omega = \ {w_i \} _ {i = 1} ^ N\ Omega = \ {w_i \} _ {i = 1} ^ N - der Raum der Elementarereignisse (die Menge aller möglichen Elementarergebnisse des Experiments).

Definition 1:

System einstellen  Sigma wird als Sigma-Algebra bezeichnet, wenn die folgenden Eigenschaften erfüllt sind:

  1.  Omega in Sigma;
  2. A in Sigma Rightarrow overlineA in Sigma;
  3. A1,A2,... in Sigma Rightarrow bigcup limit i=1inftyAi in Sigma.

Aus den Eigenschaften 1 und 2 von Definition 1 folgt das  Emptyset in Sigma . Aus den Eigenschaften 2 und 3 von Definition 1 folgt daraus  bigcap limit i=1inftyAi in Sigma space( weil Ai in Sigma RightarrowSt.3 OverlineAi in Sigma RightarrowSt.3 Bigcup Limits i=1Infty OverlineAi in Sigma Rightarrowsv.2 Rightarrowsv.2 Overline Bigcup Limits i=1Infty OverlineAi in Sigma Rightarrow Bigcap Limits i=1inftyAi in Sigma).

Definition 2:

  • A - Veranstaltung  forallA in Sigma;
  • P Doppelpunkt Sigma bis mathbbR - Wahrscheinlichkeitsmaß (Wahrscheinlichkeit), wenn:
    1. P( Sigma)=1;
    2.  forallA in Sigma space spaceP(A) geqslant0;
    3. \ {A_i \} _ {i = 1} ^ \ infty, \ Leerzeichen A_i \ in \ Sigma, \ Leerzeichen A_i \ cap A_j = \ Emptyset\ {A_i \} _ {i = 1} ^ \ infty, \ Leerzeichen A_i \ in \ Sigma, \ Leerzeichen A_i \ cap A_j = \ Emptyset bei i not=j RightarrowP( bigcup limit i=1inftyAi)= sum limit i=1inftyP(Ai).

Wahrscheinlichkeitseigenschaften:

  1. P(A) leqslant1;
  2. P(A)=1P( overlineA);
  3. P( Emptyset)=0;
  4. A subseteqB RightarrowP(A) leqslantP(B);
  5. P(A TasseB)=P(A)+P(B)P(A KappeB);
  6. \ forall \ {A_i \} _ {i = 1} ^ N \\ \ Raum \ Raum P (\ bigcup \ Grenzen_ {i = 1} ^ N A_i) = \ Summe \ Grenzen_ {i = 1} ^ NP ( A_i) - \ Summe \ Grenzen_ {i <j} P (A_i \ Kappe A_j) + \ Summe \ Grenzen_ {i <j <k} P (A_i \ Kappe A_j \ Kappe A_k) -... + \\ + ( -1) ^ {n-1} P (A_1 \ cap A_2 \ cap ... \ cap A_n);\ forall \ {A_i \} _ {i = 1} ^ N \\ \ Raum \ Raum P (\ bigcup \ Grenzen_ {i = 1} ^ N A_i) = \ Summe \ Grenzen_ {i = 1} ^ NP ( A_i) - \ Summe \ Grenzen_ {i <j} P (A_i \ Kappe A_j) + \ Summe \ Grenzen_ {i <j <k} P (A_i \ Kappe A_j \ Kappe A_k) -... + \\ + ( -1) ^ {n-1} P (A_1 \ cap A_2 \ cap ... \ cap A_n);
  7. \ forall \ {A_i \} _ {i = 1} ^ \ infty \ Doppelpunkt (A_ {i + 1} \ subseteq A_i, \ space \ bigcap \ limit_ {i = 1} ^ \ infty A_i = \ Emptyset) \ Leerzeichen \ Leerzeichen \ Leerzeichen \ Limits_ {i \ bis \ Infty} P (A_i) = 0.\ forall \ {A_i \} _ {i = 1} ^ \ infty \ Doppelpunkt (A_ {i + 1} \ subseteq A_i, \ space \ bigcap \ limit_ {i = 1} ^ \ infty A_i = \ Emptyset) \ Leerzeichen \ Leerzeichen \ Leerzeichen \ Limits_ {i \ bis \ Infty} P (A_i) = 0.

Definition 3:

( Omega, Sigma,P) - Wahrscheinlichkeitsraum .

Definition 4:

 füralleA,B in Sigma:P(B)>0
 qquadP(A|B)= fracP(AB)P(B) - bedingte Wahrscheinlichkeit eines Ereignisses A vorbehaltlich der Veranstaltung B .

Definition 5:

Lassen Sie für \ {A_i \} _ {i = 1} ^ N wo  foralli in overline1,NAi in Sigma ausgeführt wird  foralli,j in overline1,N LeerzeichenAi capAj= Emptyset und  bigcup limitNi=1Ai= Omega . Dann \ {A_i \} _ {i = 1} ^ N eine Partition des Raumes der Elementarereignisse genannt.

Satz 1 (Gesamtwahrscheinlichkeitsformel):

\ {A_i \} _ {i = 1} ^ N - Aufteilung des Raumes elementarer Ereignisse,  foralli in overline1,N LeerzeichenP(Ai)>0 .
Dann  füralleB in Sigma QuadP(B)= Summe GrenzenNi=1P(B|Ai)P(Ai) .

Satz 2 (Bayes-Formel):

\ {A_i \} _ {i = 1} ^ N - Aufteilung des Raumes elementarer Ereignisse,  foralli in overline1,N LeerzeichenP(Ai)>0 .

Dann  forallB in Sigma DoppelpunktP(B)>0 quadP(Ai|B)= fracP(B|Ai)P(Ai) sum limitNi=1P(B|Ai)P(Ai)= fracP(B|Ai)P(Ai)P(B) .

Mit der Bayes-Formel können wir die a priori-Wahrscheinlichkeiten überschätzen ( P(Ai) ) basierend auf Beobachtungen ( P(B|Ai) ) und ein ganz neues Verständnis der Realität bekommen.

Ein Beispiel :

Angenommen, es gibt einen Test, der individuell auf eine Person angewendet wird und feststellt: Ist sie mit dem "X" -Virus infiziert oder nicht? Wir gehen davon aus, dass der Test erfolgreich war, wenn er das richtige Urteil für eine bestimmte Person lieferte. Es ist bekannt, dass dieser Test eine Erfolgswahrscheinlichkeit von 0,95 hat, und 0,05 ist die Wahrscheinlichkeit sowohl für Fehler der ersten Art (falsch positiv, d. H. Der Test hat ein positives Urteil gefällt, und die Person ist gesund) als auch für Fehler der zweiten Art (falsch negativ, d. H. Der Test hat ein negatives Urteil gefällt und die Person ist krank. Aus Gründen der Klarheit „sagte“ ein positives Urteil = Test, dass eine Person mit einem Virus infiziert ist. Es ist auch bekannt, dass 1% der Bevölkerung mit diesem Virus infiziert ist. Lassen Sie eine Person ein positives Urteil über den Test erhalten. Wie wahrscheinlich ist er wirklich krank?

Bezeichnen: t - Testergebnis, d - das Vorhandensein des Virus. Dann nach der Formel für die Gesamtwahrscheinlichkeit

P(t=1)=P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0).

Nach dem Bayes-Theorem:

P(d=1|t=1)= fracP(t=1|d=1)P(d=1)P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)== frac0,95 times0,010,95 times0,01+0,05 times0,99=0,16

Es stellt sich heraus, dass die Wahrscheinlichkeit einer Infektion mit dem „X“ -Virus unter der Bedingung eines positiven Testurteils 0,16 beträgt. Warum so ein Ergebnis? Zunächst ist eine Person mit einer Wahrscheinlichkeit von 0,01 mit dem „X“ -Virus infiziert, und selbst mit einer Wahrscheinlichkeit von 0,05 schlägt der Test fehl. Das heißt, wenn nur 1% der Bevölkerung mit diesem Virus infiziert ist, hat die Wahrscheinlichkeit eines Testfehlers von 0,05 einen signifikanten Einfluss auf die Wahrscheinlichkeit, dass eine Person wirklich krank ist, vorausgesetzt, der Test liefert ein positives Ergebnis.

Liste der verwendeten Literatur:


  • „Grundlagen der Wahrscheinlichkeitstheorie. Lehrbuch ", M.E. Zhukovsky, I.V. Rodionov, Moskauer Institut für Physik und Technologie, MOSKAU, 2015;
  • „Tiefes Lernen. Eintauchen in die Welt der neuronalen Netze “, S. Nikulenko, A. Kadurin, E. Arkhangelskaya, PETER, 2018.

Source: https://habr.com/ru/post/de474368/


All Articles