可能在本文中,对于许多人来说,不会有新颖性。 可能其他人会说这在现实生活中不会发生。 但是,不是四月一号,而是这里写的所有东西都是我或周围人们发生的纯洁事实。 也许上述某些内容会让您重新考虑周围的现象。
如果我们正式地处理这些故事,我们可以说它们都是由于人们没有考虑第二种错误而产生的。 在哈德(Habr)的四分之一熟悉的尤德科夫斯基(Yudkovsky),此错误通常称为“
确认失真” 。

这是什么 简而言之-“一个人正在寻找对他的模型的确认,而不是对它的驳斥。” 更好地解释的唯一机会是示例,示例,示例和经验。 这是产生“这里有些问题”的感觉的唯一方法。
在我看来,这则短篇小说将使您从完全不同的角度来看待第二种错误。 从他们如何进入我们的生活的角度来看,它们几乎影响每个决定。 它们帮助我们利用周围的技术造神。 在机器学习中,我每天都遇到这种情况。
引言
我将从科学老师的故事开始。
一次,在联盟时代,召开了几个设计局理事会会议。 其中一个科学博士是设计局其中一个大部门的负责人,他提出了一种通过雷达寻找飞行物体的新方法。 同时,发现的准确性几乎是完美的,比现有算法高出几个数量级。
它基于一些棘手的分形数学。 董事会中没有人能从报告/随附文件中了解她。 提出该算法的人提出了越来越多的论点,即所有雷达都应转换为该算法。 他的名声已经确立。 每个人都感受到了收获。 但是没有人能理解数学中的错误所在。
经过一个小时的讨论,理事会上只有一位研究生偶然地到达那里,接替了他的老板,他决定问:“如果没有物体,那么被错误检测的可能性是多少?” 他不懂数学,但清楚地感觉到自己无法将精度提高一个数量级。
每个人都保持沉默。 每个人都可以肯定地证明了这种琐碎的事情。 但是为数学辩护的医生脸色苍白,看上去很ha,只能说“我们忘了看……”。
人们,甚至是聪明有头衔的人,都首先寻求对其理论的证实。 他们对它越有信心,就可以跟他们开玩笑。
自我感觉
如果文章继续下去,那么将没有图片! 但是我知道,关于哈布雷的文章只是为了获得最佳照片而打开!
关于这个话题有很多。 他们确认,在自然层面上,信任最简单的解决方案的功能是我们固有的。 你们所有人都看过他们很多次了。 而且,可能无需解释:

经典的
黄色 (蓝色?)连衣裙。
Necker Cube ,没有他我该怎么办
向左/向右旋转这些幻象的奇特之处在于它们具有双重解释。 大脑仅在解决问题的一种观点上循环。 并且忽略了其他观点。 只是告诉我,您可以同时记住两个视图!
就像一种宗教,可以解释现象的本质。 就像星座一样,什么都没有,但是一个人寻求确认。 通常,您无法确定什么是智能系统,以及如何将其与现实进行比较。 不信?
第二个例子,关于骗子
好吧,你对这个
项目怎么样? 使用Neurosky评估孩子的才能? 任何熟悉技术的人都知道这是一种连接。 Neurosky嘈杂的证词几乎无法区分弹吉他和读书。

更不用说儿童的所有事情都复杂了100倍。 孩子们很麻烦,会产生很大的噪音。 并且,当然,开发人员不会提供有关算法和统计意义的任何证据。 它将奏效-这将是一项突破。 但这只是一种接线方式。
在
发表有关NeuroSky的
文章后,有五个人在邮件/ PM中给我写了类似的想法。 有人疯了,有人愤世嫉俗地暗示:“好吧,你来做这个系统,因为它无论如何都会显示出一些东西,经过培训,它无法完全废话”。 以我引用更高的站点为例。
为什么不算星座呢?
为什么在这里? 好吧,有一个办公室负责布线。 好吧,
有科学学家。 毕竟,这并不庞大!
但是,在我看来,不是一对。 这些东西充斥着日常生活。 科技每天都在产生它们。 文本下方将提供一些大家都非常了解的示例性示例(
在阅读之前,您是否有时间记得? )。 在评论中,您可以携带自己的评论。
在这种情况下,对我而言,关键在于它表明许多人都想相信技术/方法论。 当不了解它的人相信时,这是一回事。 其次是创作者的自我欺骗。 不幸的是,第二个进展正在进行。
例三,每天
在我看来,故事不应该重复,每个故事都应该从另一面展现人性。 因此,我将转到另一侧。
车号!
什么?? 第二种错误是什么! 什么样的魔术?
他们在这里显得很酷。 这就是您的意思,汽车的数量是多少:


是“ M”还是“ H”? 是“ 71”还是“ 21”区域?
而且,尽管如此,人们仍基于这种计划的单一图像,开始评估系统的质量。 你为什么这么认为? 通常是因为一个人看到了这种车的数量。 他很难承认在这张照片中他可能有不同的解释。
出于对最近决定的了解,意识崩溃了。 我举了最有说服力的示例,但是如果突然变得有趣,
这里将采取更多步骤。
要说服他这个数字可能不同,通常几乎是不可能的。 说“这是包含在算法错误的百分比中”更容易。
当使用图像和识别系统时,这是一个非常常见的意识陷阱。 人正在等待现成的解决方案。 而所有其他决定都是错误的。 路径并不有趣。 只有结果是有趣的。 一个月几次,我必须解释说,在有噪声的帧上工作不需要经过训练的算法。
我不敢想像一些公司如何提供
这样的计划。 即使拍摄得很好,也很难找到眼镜/手套并追踪其主人。 即使您不是一个算法,而是一个有生命的人。

同时,技术企业的工程师并不是那些接受哲学任务询问的人,“是否有可能从该视频中了解一个人是否戴安全眼镜”。
然而,许多人认为不可读的数字也得到了很好的认可。 并且分辨率可以提高数百倍。 在哈伯杂志上,有
一篇关于该主题的精彩
文章 。 有时他们很生气,事实并非如此。 汽车魔术不起作用;)
示例四,或者您如何处于震中
我给了三个不同的选择。 一切都可以用以下标准来回答:“哦,这就是无能的人。” 或者:“人们误会了,不会与之相伴的。”
但是,这样的错误比您想象的要普遍得多。 一旦我们处理模棱两可的决策,并且在可能出现3-4个结果的情况下,就无法评估我们的能力水平。 即使您是一个非常酷的工程师。
我将向您介绍一个史诗般的故事,内容涉及专家在从汽车中发现神时如何犯错误(或不犯错误)。
一旦他们写信给我,要求安排对一些医学检查的认可进行咨询。 在电话中,我不太了解经理对应识别的内容的解释。 而且,据他说,此案涉及某种“全新”方法。 因此,我们同意与开发它的医生会面(对于医生来说Skype太复杂了)。
第二天,经过两个小时的会面,我的大脑开始沸腾。 我不明白与谁交谈了两个小时。 绝对的骗子,未来的诺贝尔奖获得者或疯狂的人。
几名医生组成的小组发明了一种万能药,可以发现数十种甚至数百种疾病。 通过尿液,血液,眼泪和唾液。
方法是相同的:“将液体与试剂(一种或两种相同)混合,看看其如何干燥和破裂”。 诊断是根据裂纹的外观,整体的颜色,干燥的液滴上晶体的生长,偏振光下的一切情况做出的。

我必须说,尿液中的第一部分是有充分根据的。
在接下来的几天中,当我试图挖掘有关该主题的信息并采访了医生时-他们证实,其中许多是在现实中发生的严重扭曲的标准测试。 尽管书中约有三分之一的位置令人怀疑地摇了摇头。
但是第二部分是血液,是精神错乱的产物。
Theranos在那里! 只是没有必要向那里的美国人分配45亿美元,而是分配给这些同志。
研究人员告诉我,如何通过滴血在早期阶段就可以传播癌症。 只需使用显微镜,即可从任何实验室滴几滴试剂(如果有记忆,那就是白蛋白)。 他们还讲述了如何在临床实践中成功地将这些方法应用于医疗中心的患者(原文如此!)。 以下是他们检测到的内容的简短列表:

(可点击)在我对证据基础的某些令人敬畏的外观和疑问中,他们告诉了我数百篇文献,以及俄罗斯的两个部门正在研究和开发这种技术。 为这个主题辩护的十几位候选人和科学博士。 在分手中,他们介绍了两本有关该主题的书籍,其中一些院士写了前言:

这是真的吗? 我不知道 我意识到我对化学和生物学的运作方式缺乏了解。 不了解如何查找此信息。 并以正式理由。 好吧,是的。 有很多医生和相关文章。 它们都没有被高水平引用在同行评审的国际期刊上。 有学者谈论该方法的成功。 但是,对不起,他们是RAMS的院士。 没有一篇批评文章,只有报道成功的文章(2016年使用Google google,此后可能会出现一些新情况)。
不,当然,我找到了伪科学委员会主席及其一些代表的电子邮件。 然后他写了有关它的所有内容……我没有得到答案:)
和亲自。 我了解这些人对此深信不疑。 该死的,俄罗斯医学不是您可以在这种骗局上做些什么的地方。 您需要真正相信自己的业务。
但是我知道,根据它们进行测量的基础以及存在的参数,至少有一半的内容值得怀疑。 但是有些东西真的可以工作。
那个工作,感谢上帝,我没有去。 也许是因为我说过,为了自动识别某物,您必须首先收集一个大的碱基并用独立的标记确认它是否存在。 也许事实是由于官僚主义的形式。
谁在这里? 谁提出一个理论并相信它的医生? 还是我从她看来发疯的那一边? 我不知道 如果医生弄错了,那么这就是一个经典的错误,“缺乏反驳论证”。 也许我 然后几乎是相同的:)
但是从那时起,我有两本史诗书籍和一个幻影故事。
还有一些关于医生的例子...
你知道的 医生通常是一个肥沃的话题。 当您尝试通过神经网络识别某些事物时,您会不断遇到。 我进行了大量的放射学检查:透视,乳房X线照片,交谈和看CT,看到不同的牙齿。
几乎每个地方(在不同程度上)都存在一个相同的问题:不同的医生以不同的方式阅读图片。 您要求两位医生记录图片中的病理-他们的相交面积为20%至30%。 他们每个人都对自己的决定充满信心,表现出明确的界限。
证明他的回答是正确的。 同样,问题是一个人在脑海中建立了一个好的模型,将其投影到图像上,然后搜索确认。 但是很多时候-这是错误的答案。 还是不可靠。
不幸的是,在过去的几个世纪中,医学不是更多地基于“通过统计证明每一步”,而是基于“对每一步的逻辑解释”。 它在心理学上坐得很深。 在我看来,有时候顺势疗法医生和治疗师的工作原理是相同的。 有一套基本的态度和信念。 没有分析,结果从何而来。 没有意识到您可以信任的东西。 最有可能的是,治疗师的态度更加接近现实。 但是在全球范围内,任何一方都不能证明使用这些方案。 甚至两个人都可以任命有效醇或送去喝益母草。
一次,我被要求咨询外科医生。部门负责人,具有30年实践经验的著名专家。 叔叔告诉我,如何根据问卷调查级别“出生日期,第一个月的日期,孩子的数量..”以100%的准确性在30个问题中预测何时会患上乳腺癌。 好吧,那当然是荒谬的。 但他建议向所有患者填写此调查表,并据此得出结论。
我们每天被愚弄的例子
需要更多吗?。想要每个人都知道的东西吗? 好吧,乘坐大家都害怕的那辆可怕的大车。
测谎仪 。 什么,您仍然相信它有效吗? 链接指向维基百科。 仔细观察批评。 为什么它不起作用以及有什么确定性。 仍然有许多人使用它们。 你为什么不是汽车神?
不同的公司经常写信给我,提供人脸识别功能。 当我要求他们说自己的底数是多少时,他们感到非常生气。 他们说他们有一个最好的生理学家开发的很酷的模型。
尤其令人印象深刻的是一家在莫斯科市中心设有别致办公室的公司。
NDA绝对不足,并对其技术的优势感到疯狂……从那时起,已经过去了将近五年。 从那时起,该公司甚至在Habré上拥有自己的博客。 仅在这里,这些产品与谎言识别没有任何关系,它们解决了许多平凡的任务(据我所知,它们使用了相同的改进,这很好)。
有趣的是,后来发现不仅是我给他们寄来的,而且还有其他参与机器视觉开发的公司。 也许这使他们能够重新考虑自己在做什么-并开始做生意^ _ ^
最后,我禁不住链接到几天前门户网站Superjob的
公告 。 我想为他们提供另一种100%可靠的方法来了解有关候选人的更多信息。
也许是时候得出一些结论了吗? 我为自己做出的结论-仅在完全验证输入数据和方法之后才能开始并进行任何工作。
在开放统计研究/对算法的访问中显示对方法的验证之前,请不要信任任何人。
我相信这些结论并不理想。 他们不适合医学。 最有可能没有经过验证的阿司匹林研究。 几千年来,人们知道柳树皮提取物有助于降低温度。 为什么要研究这个?
并总结研究结果并了解信任与信任的通用策略。 检查-我不能。
但是,如果您开始怀疑“是否有可能相信这种方法”,那么本文已经可以实现其目标。
PS
免责声明我故意不提及人的名字/公司的名字,至少在某些情况下,人们会诚实地犯错。 否则我会在哪里弄错。 也许,根据文本中的内容,可以计算出许多内容或使用google。 我想请您不要在评论中发布它。 所有需要它的人-自己做/可以在PM中提出。
在许多情况下,我可能不知道解决方案的详细信息,因此我认为没有必要为某些人打上烙印。 但是在我看来,重要的是要在这些例子上表明我们与现代世界的互动会产生许多人的意识错误。