贝叶斯定理被称为创造新知识的有力方法,但也可以用于宣传迷信和伪科学。

贝叶斯定理变得如此流行,甚至在电视节目《大爆炸理论》中也得到了展示。 但是,就像任何工具一样,它可能是有好处的,也有可能是有害的。
我不知道我什么时候第一次听说她。 但实际上,仅在过去十年中,我的学生中有几位最大的书呆子开始宣传她作为生活中的神奇向导,我才开始对她产生兴趣。
学生的谈话让我感到困惑,维基百科和其他站点上的定理解释也是如此-它们要么完全愚蠢,要么过于复杂。 我认为贝叶斯是一时的流行,因此进行深入的研究是没有意义的。 但是现在,贝叶斯热已经变得太烦人了,不容忽视。
根据《纽约时报》的报道,贝叶斯统计数据“渗透到了从物理到癌症研究,从生态到心理学的各个领域。” 物理学家提出了量子力学的贝叶斯解释以及弦论和多元论的贝叶斯防御。 哲学家认为,整个科学可以看作是一个贝叶斯过程,并且与
卡尔·波普尔所推广的
可证伪性方法相比,贝叶斯可以更好地将科学与伪科学区分开。
包括Google的机器人开发人员在内的人工智能研究人员正在使用贝叶斯软件来帮助机器识别模式并做出决策。 贝叶斯定理的流行历史的作者莎朗•贝茨•麦克格雷恩(Sharon Bertsch McGrayne)说,贝叶斯程序是“对电子邮件和垃圾邮件进行分类,评估医疗风险和国家安全,解密DNA等”。 在Edge.org上,物理学家约翰·马特(John Mater)担心贝叶斯机器会变得如此聪明以至于将他们挤出了人群。
认知科学家认为,贝叶斯算法在感知,反映和决策时会在我们的大脑中发挥作用。 11月,学者和哲学家在纽约大学召开的名为“贝叶斯的大脑起作用了吗?”的会议上研究了这种可能性。
狂热主义者坚持认为,如果更多的人采用贝叶斯的思维方法(而不是无意识的贝叶斯工作,而据说贝叶斯的工作会进入大脑),世界将会变得更好。 AI理论家Elizer Yudkovsky在“贝叶斯定理的直观解释”一文中谈到了贝叶斯崇拜:
“为什么数学概念引起了学生们如此奇怪的热情? 所谓什么 席卷了各个科学领域的“贝叶斯革命”,宣称甚至吸收了特殊的实验方法吗? 贝叶斯追随者知道什么秘密? 他们看到了什么光? 您很快就会发现。 很快您将成为我们的一员。” 尤德科夫斯基在开玩笑。 还是不行
由于所有这些炒作,我一劳永逸地与贝叶斯打交道。 我在互联网上从Yudkovsky,维基百科,哲学家Curtis Brown和计算机科学家Oscar Bonill和Kalid Azad的著作中找到了关于定理的最好解释。 现在,我将主要为我自己尝试解释该定理的本质。
贝叶斯定理,以18世纪长老会牧师托马斯·贝叶斯[
正确的转录-贝叶斯
/大约。 佩雷夫 ]是一种基于可用证据(观察,数据,信息)计算信念(假设,陈述,建议)有效性的方法。 最简单的版本是:
原始信念+新证据=新的,改进的信念
如果更多,则:用新证据证明某信念为真的概率等于没有这些证据时该信念为真的概率,乘以在信念为真的情况下该证据为真的概率,再除以该证据为真的概率,无论信念的真相。 好吗
一个简单的数学公式如下所示:
P(B | E)= P(B)* P(E | B)/ P(E)
其中P是概率,B是信念,E是证据。 P(B)是B为真的概率,P(E)是E为真的概率。 在真相E的情况下,P(B | E)是概率B;在真相B的情况下,P(E | B)是概率E。
为了演示这些公式是如何工作的,经常使用一个带有医学测试的示例。 假设您接受了癌症测试,该癌症在您年龄的1%的人群中出现。 如果测试是100%可靠的,则您不需要贝叶斯定理就可以了解阳性结果的含义-而是以这种情况为例。
要计算P(B | E)的值,需要将数据放在等式的右侧。 P(B),则在测试前患癌的可能性为1%或0.01。 P(E)也是,测试结果为阳性的可能性。 由于它们在分子和分母中,因此它们减少了,并且P(B | E)= P(E | B)= 1仍然存在如果测试结果为阳性,则说明您患有癌症,反之亦然。
在现实世界中,测试可靠性很少达到100%。 假设您的测试是99%可靠。 也就是说,每100名癌症患者中有99名得到阳性结果,而每100名健康患者中有99名得到阴性结果。 而且它将仍然是一个令人难以置信的可靠测试。 问题:如果您的测试呈阳性,您患癌症的可能性是多少?
现在,贝叶斯定理显示了所有的力量。 大多数人会发现答案是99%或类似的值。 毕竟,测试是如此可靠,对吗? 但是正确的答案是-只有50%。
将数据粘贴到方程式的右侧以找出原因。 P(B)仍为0.01。 P(E | B),在发生癌症的情况下获得阳性检测的概率为0.99。 P(B)* P(E | B)= 0.01 * 0.99 = 0.0099。 这很可能使您获得阳性测试以表明您生病了。
分母P(E)呢? 有一个小把戏。 P(E)-无论您是否生病,获得阳性测试的可能性。 换句话说,它包括假阳性和真阳性。
要计算误报的可能性,您需要将误报的数量(1%或0.01)乘以没有癌症的人的百分比-0.99。 原来是0.0099。 是的,您以99%的准确度进行的出色测试会产生与真实错误一样多的错误肯定。
完成计算。 要获得P(E),请加上正负假阳性,得到0.0198,除以0.0099,然后得到0.5。 因此,对于P(B | E),如果您的癌症呈阳性,则您患癌症的可能性为50%。
如果您再次通过测试,则可以大幅度降低不确定性,因为您的癌症P(B)的概率已经是50%而不是1。如果第二项测试也是阳性,那么根据贝叶斯定理,您的癌症的概率将是99%,或0.99。 如该示例所示,重复定理可以给出非常准确的答案。
但是,如果测试的可靠性为90%,这还算不错的话,即使两次获得阳性结果,您罹患癌症的机会仍然不到50%。
包括医生在内的大多数人都难以理解这种机会分布,这解释了癌症和其他疾病的诊断和治疗方法过多。 这个例子表明贝叶斯主义是正确的:如果更多的人-甚至更多的患者和医生-接受贝叶斯逻辑,世界将会变得更好。
另一方面,贝叶斯定理只是将常识汇编成代码。 正如尤德科夫斯基在其培训材料的结尾处写道:“至此,贝叶斯定理可能看起来完全显而易见并且类似于重言式,而不是令人惊讶和新颖。 在这种情况下,此介绍已达到其目标。”
回到癌症的例子:贝叶斯定理说,在阳性检测结果的情况下患癌症的概率等于得到真实阳性结果的概率除以所有阳性结果(真与假)的概率。 通常,提防误报。
这是我对该原则的概括:您的信念的可信度取决于您的信念对事实的解释有多强烈。 用于解释事实的选项越多,您的个人信念就越不可靠。 从我的角度来看,这是定理的本质。
“替代解释”可能包含很多内容。 您的事实可能是错误的,可以通过使用不正确的工具,不正确的分析,获得期望结果的趋势甚至是虚假的工具获得。 您的事实可能是准确的,但许多其他信念或假设可能会解释它们。
换句话说,贝叶斯定理中没有魔术。 这全都归结为一个事实,即您的信念与支持它们的证据一样真实。 如果有充分的证据,则该定理将产生有效的结果。 如果证据一般,那么该定理将无济于事。 入口处有垃圾,出口处有垃圾。
该定理的问题可能始于P(B)的值,P(B)是有关您的信念概率的初始假设,通常被称为先验概率。 在上面的示例中,我们的美丽先验概率为0.01。 在现实世界中,专家们争论如何诊断和解释癌症。 您的先验概率很可能包含一个范围,而不是一个数字。
在许多情况下,先验概率的估计仅基于推测,并允许主观因素潜入计算中。 可以猜测,某物存在的可能性(与同一癌症不同)仅仅是零,例如弦,多重宇宙,通货膨胀或上帝。 您可能会提到怀疑信念的怀疑证据。 在这种情况下,贝叶斯定理可以宣传伪科学和迷信以及常识。
该定理包含一个警告:如果您不谨慎地寻找证据的替代解释,那么证据只会证实您已经相信的东西。 科学家常常忽略了这一点,这解释了为什么如此大量的科学陈述是不正确的。 贝叶斯主义者认为,他们的方法可以帮助科学家克服寻找支持其信仰并产生更可靠结果的事实的趋势,但我对此表示怀疑。
正如我提到的,一些弦论和多元宇宙理论爱好者使用贝叶斯分析。 怎么了 因为发烧友已经厌倦了弦理论和多元宇宙论是不可证伪的,因此是不科学的。 贝叶斯定理使他们可以更好地阐述这些理论。 在这些情况下,该定理不会消除偏见,反而会放任自流。
据《纽约时报》(New York Times)从事科普话题的记者费耶·弗兰姆(Faye Flam)所说,贝叶斯统计数据“无法使我们脱离不良科学。” 贝叶斯定理是通用的,可以用于任何目的。 贝叶斯著名统计学专家唐纳德·鲁宾(Donald Rubin)曾担任烟草公司的顾问,从事与吸烟有关的疾病相关的诉讼。
但是我很欣赏贝叶斯定理。 它使我想起了进化论,这在重言式看来似乎很简单或令人沮丧,取决于观点,并且以同样的方式激励人们进行任何胡说八道和令人惊奇的发现。
也许是因为我的大脑按照贝叶斯理论运作,所以对这个定理的寓言开始在任何地方都可以看到。 在我的Kindle上浏览Edgar Allan Poe收集的作品时,我碰到了《 Arthur Gordon Pym历险记》中的以下句子:“由于我们的成瘾或偏见,即使是最明显的事情,我们也无法汲取教训”
。 乔治·帕夫洛维奇·兹洛宾 ]。
在注册贝叶斯支持者之前,请记住这一点。