机器学习简介。 概率论。 贝叶斯公式



概率论。 贝叶斯公式


让我们进行一些实验。

w1...wN - 基本事件 (实验的基本结果)。
\ Omega = \ {w_i \} _ {i = 1} ^ N\ Omega = \ {w_i \} _ {i = 1} ^ N - 基本事件空间 (实验所有可能的基本结果的集合)。

定义1:

设置系统 \西西 如果满足以下属性,则称为sigma代数

  1.  Omega in Sigma;
  2. A in Sigma Rightarrow overlineA in Sigma;
  3. A1A2... in Sigma Rightarrow bigcup limits i=1inftyAi in Sigma

定义1的属性1和2可以得出:  emptyset in Sigma 。 从定义1的属性2和3可以得出:  bigcap limits i=1inftyAi in Sigma space 因为 Ai in Sigma RightarrowSt.3\上线Ai in Sigma RightarrowSt.3 bigcup limits i=1infty overlineAi in Sigma RightarrowSt.2 RightarrowSt.2\上线 bigcup limits i=1infty overlineAi in Sigma Rightarrow bigcap limits i=1inftyAi in Sigma线线

定义2:

  • - 事件  forallA in Sigma;
  • P\冒 Sigma\到 mathbbR -在以下情况下的概率测度 (概率):
    1. P Sigma=1;
    2.  forallA in Sigma space spacePA geqslant0;
    3. \ {A_i \} _ {i = 1} ^ \ infty,\ space A_i \ in \ Sigma,\ space A_i \ cap A_j = \ emptyset\ {A_i \} _ {i = 1} ^ \ infty,\ space A_i \ in \ Sigma,\ space A_i \ cap A_j = \ emptyseti not=j RightarrowP bigcup limits i=1inftyAi= sum limits i=1inftyPAi

概率属性:

  1. PA leqslant1;
  2. PA=1P\上线A;线
  3. P emptyset=0;
  4. A subseteqB RightarrowPA leqslantPB;
  5. PA\杯B=PA+PBPA\盖B;
  6. \ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P(\ bigcup \ limits_ {i = 1} ^ N A_i)= \ sum \ limits_ {i = 1} ^ NP( A_i)-\ sum \ limits_ {i <j} P(A_i \ cap A_j)+ \ sum \ limits_ {i <j <k} P(A_i \ cap A_j \ cap A_k)-... + \\ +( -1)^ {n-1} P(A_1 \ cap A_2 \ cap ... \ cap A_n);\ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P(\ bigcup \ limits_ {i = 1} ^ N A_i)= \ sum \ limits_ {i = 1} ^ NP( A_i)-\ sum \ limits_ {i <j} P(A_i \ cap A_j)+ \ sum \ limits_ {i <j <k} P(A_i \ cap A_j \ cap A_k)-... + \\ +( -1)^ {n-1} P(A_1 \ cap A_2 \ cap ... \ cap A_n);
  7. \ forall \ {A_i \} _ {i = 1} ^ \ infty \冒号(A_ {i + 1} \ subseteq A_i,\ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset)\ space \ space \ space \ lim \ limits_ {i \ to \ infty} P(A_i)= 0\ forall \ {A_i \} _ {i = 1} ^ \ infty \冒号(A_ {i + 1} \ subseteq A_i,\ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset)\ space \ space \ space \ lim \ limits_ {i \ to \ infty} P(A_i)= 0

定义3:

 Omega SigmaP 概率空间

定义4:

 forallAB in SigmaPB>0
 qquadPA|B= fracPABPB -事件的条件概率 受事件影响 B

定义5:

\ {A_i \} _ {i = 1} ^ N 在哪里  foralli in\上1NAi in Sigma 被执行  forallij in\上线1N\空Ai capAj= emptyset bigcup limitsNi=1Ai= Omega 。 然后 \ {A_i \} _ {i = 1} ^ N 称为基本事件空间的分区

定理1(总概率公式):

\ {A_i \} _ {i = 1} ^ N -基本事件空间的划分,  foralli \上线1N\空PAi>0
然后  forallB in Sigma quadPB= sum limitsNi=1PB|AiPAi

定理2(贝叶斯公式):

\ {A_i \} _ {i = 1} ^ N -基本事件空间的划分,  foralli \上线1N\空PAi>0

然后  forallB in Sigma\冒PB>0 QuadPAi|B= fracPB|AiPAi sum limitsNi=1PB|AiPAi= fracPB|AiPAiPB

使用贝叶斯公式,我们可以高估先验概率( PAi )基于观察( PB|Ai ),并对现实有了全新的认识。

一个例子

假设有一个测试可单独应用于一个人并确定:他是否感染了“ X”病毒? 我们假设测试为特定人员提供了正确的判断,则该测试成功。 已知该测试的成功概率为0.95,0.05是第一种错误(假阳性,即该测试通过了肯定的判定,并且该人是健康的)和第二种错误(假阴性,即。测试通过了否定判决,并且该人病了。 为了清楚起见,一个肯定的判断=“测试”说一个人感染了病毒。 还已知有1%的人口感染了该病毒。 让某人对测试做出正面评价。 他真正生病的可能性有多大?

表示: t -测试结果, d -病毒的存在。 然后,根据总概率公式:

Pt=1=Pt=1|d=1Pd=1+Pt=1|d=0Pd=0

根据贝叶斯定理:

Pd=1|t=1= fracPt=1|d=1Pd=1Pt=1|d=1Pd=1+Pt=1|d=0Pd=0==\压0.95 times0.010.95 times0.01+0.05 times0.99=0.16

事实证明,在测试结果呈阳性的情况下,被“ X”病毒感染的可能性为0.16。 为什么会这样呢? 最初,概率为0.01的人感染了“ X”病毒,即使概率为0.05,测试也将失败。 也就是说,在只有1%的人群感染这种病毒的情况下,如果测试结果为阳性,则测试错误0.05的概率对一个人真正生病的可能性有重大影响。

二手文献清单:


  • “概率论基础。 教科书 朱可夫斯基 Rodionov,莫斯科物理技术研究所,莫斯科,2015;
  • “深度学习。 沉浸在神经网络世界中”,S。Nikulenko,A。Kadurin,E。Arkhangelskaya,PETER,2018年。

Source: https://habr.com/ru/post/zh-CN474368/


All Articles