机器学习简介。 概率论。 贝叶斯公式



概率论。 贝叶斯公式


让我们进行一些实验。

w1,...,wN,, - 基本事件 (实验的基本结果)。
\ Omega = \ {w_i \} _ {i = 1} ^ N\ Omega = \ {w_i \} _ {i = 1} ^ N - 基本事件的空间 (实验所有可能的基本结果的集合)。

定义1:

设置系统 \西格玛西格玛 如果满足以下属性,则称为sigma代数 :

  1.  Omega in Sigma;
  2. A in Sigma Rightarrow overlineA in Sigma;
  3. A1,A2,... in Sigma Rightarrow bigcup limits i=1inftyAi in Sigma,,

从定义1的属性1和2可以得出:  emptyset in Sigma 。 从定义1的属性2和3可以得出:  bigcap limits i=1inftyAi in Sigma space(( 因为 Ai in Sigma RightarrowSt.3\上线Ai in Sigma RightarrowSt.3 bigcup limits i=1infty overlineAi in Sigma RightarrowSt.2 RightarrowSt.2\上线 bigcup limits i=1infty overlineAi in Sigma Rightarrow bigcap limits i=1inftyAi in Sigma)上线上线)

定义2:

  • - 事件  forallA in Sigma;
  • P\冒号 Sigma\到 mathbbR冒号到 -在以下情况下的概率测度 (概率):
    1. P( Sigma)=1;()
    2.  forallA in Sigma space spaceP(A) geqslant0;()
    3. \ {A_i \} _ {i = 1} ^ \ infty,\ space A_i \ in \ Sigma,\ space A_i \ cap A_j = \ emptyset\ {A_i \} _ {i = 1} ^ \ infty,\ space A_i \ in \ Sigma,\ space A_i \ cap A_j = \ emptyset 在 i not=j RightarrowP( bigcup limits i=1inftyAi)= sum limits i=1inftyP(Ai)()()

概率属性:

  1. P(A) leqslant1;()
  2. P(A)=1−P(\上线A);()(上线)
  3. P( emptyset)=0;()
  4. A subseteqB RightarrowP(A) leqslantP(B);()()
  5. P(A\杯子B)=P(A)+P(B)−P(A\盖子B);(杯子)()()(盖子)
  6. \ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P(\ bigcup \ limits_ {i = 1} ^ N A_i)= \ sum \ limits_ {i = 1} ^ NP( A_i)-\ sum \ limits_ {i <j} P(A_i \ cap A_j)+ \ sum \ limits_ {i <j <k} P(A_i \ cap A_j \ cap A_k)-... + \\ +( -1)^ {n-1} P(A_1 \ cap A_2 \ cap ... \ cap A_n);\ forall \ {A_i \} _ {i = 1} ^ N \\ \ space \ space P(\ bigcup \ limits_ {i = 1} ^ N A_i)= \ sum \ limits_ {i = 1} ^ NP( A_i)-\ sum \ limits_ {i <j} P(A_i \ cap A_j)+ \ sum \ limits_ {i <j <k} P(A_i \ cap A_j \ cap A_k)-... + \\ +( -1)^ {n-1} P(A_1 \ cap A_2 \ cap ... \ cap A_n);
  7. \ forall \ {A_i \} _ {i = 1} ^ \ infty \冒号(A_ {i + 1} \ subseteq A_i,\ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset)\ space \ space \ space \ lim \ limits_ {i \ to \ infty} P(A_i)= 0\ forall \ {A_i \} _ {i = 1} ^ \ infty \冒号(A_ {i + 1} \ subseteq A_i,\ space \ bigcap \ limits_ {i = 1} ^ \ infty A_i = \ emptyset)\ space \ space \ space \ lim \ limits_ {i \ to \ infty} P(A_i)= 0

定义3:

( Omega, Sigma,P)(,,) 概率空间 。

定义4:

 forallA,B in Sigma:P(B)>0,:()
 qquadP(A|B)= fracP(AB)P(B)()()() -事件的条件概率 受事件影响 B 。

定义5:

让 \ {A_i \} _ {i = 1} ^ N 在哪里  foralli in\上标1,NAi in Sigma 被执行  foralli,j in\上划线1,N\空格Ai capAj= emptyset 和  bigcup limitsNi=1Ai= Omega 。 然后 \ {A_i \} _ {i = 1} ^ N 称为基本事件空间的分区 。

定理1(总概率公式):

\ {A_i \} _ {i = 1} ^ N -基本事件空间的划分,  foralli \上划线1,N\空格P(Ai)>0 。
然后  forallB in Sigma quadP(B)= sum limitsNi=1P(B|Ai)P(Ai) 。

定理2(贝叶斯公式):

\ {A_i \} _ {i = 1} ^ N -基本事件空间的划分,  foralli \上划线1,N\空格P(Ai)>0 。

然后  forallB in Sigma\冒号P(B)>0 QuadP(Ai|B)= fracP(B|Ai)P(Ai) sum limitsNi=1P(B|Ai)P(Ai)= fracP(B|Ai)P(Ai)P(B) 。

使用贝叶斯公式,我们可以高估先验概率( P(Ai) )基于观察( P(B|Ai) ),并对现实有了全新的认识。

一个例子 :

假设有一个测试可单独应用于一个人并确定:他是否感染了“ X”病毒? 我们假设测试为特定人员提供了正确的判断,则该测试成功。 已知该测试的成功概率为0.95,0.05是第一种错误(假阳性,即该测试通过了肯定的判定,并且该人是健康的)和第二种错误(假阴性,即。测试通过了否定判决,并且该人病了。 为了清楚起见,一个肯定的判断=“测试”说一个人感染了病毒。 还已知有1%的人口感染了该病毒。 让某人对测试做出正面评价。 他真正生病的可能性有多大?

表示: t -测试结果, d -病毒的存在。 然后,根据总概率公式:

P(t=1)=P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)

根据贝叶斯定理:

P(d=1|t=1)= fracP(t=1|d=1)P(d=1)P(t=1|d=1)P(d=1)+P(t=1|d=0)P(d=0)==\压裂0.95 times0.010.95 times0.01+0.05 times0.99=0.16

事实证明,在测试结果呈阳性的情况下,被“ X”病毒感染的可能性为0.16。 为什么会这样呢? 最初,概率为0.01的人感染了“ X”病毒,即使概率为0.05,测试也将失败。 也就是说,在只有1%的人群感染这种病毒的情况下,如果测试结果为阳性,则测试错误0.05的概率对一个人真正生病的可能性有重大影响。

二手文献清单:


  • “概率论基础。 教科书 朱可夫斯基 Rodionov,莫斯科物理技术研究所,莫斯科,2015;
  • “深度学习。 沉浸在神经网络世界中”,S。Nikulenko,A。Kadurin,E。Arkhangelskaya,PETER,2018年。

Source: https://habr.com/ru/post/zh-CN474368/


All Articles