Eliezer Shlomo Yudkovsky是一位美国人工智能专家，他研究技术奇异性问题，并倡导创建友好AI。 在非学术界，他以《少了错误》（Less Wrong）的主持而著称的《哈利·波特与理性方法》迷小说的著者而闻名。聪明的人总是为我感到惊讶，他们相信那些对我来说很荒谬的事情。 例如，遗传学家和美国国立卫生研究院院长弗朗西斯·柯林斯（Francis Collins）相信耶稣从死里复活。 AI理论家Eliezer Yudkowsky相信汽车……但是更好的是我自己给他讲。 2008年，我在Bloggingheads.tv上对他进行了采访，但没有带来什么好处，因为我认为他是
Ray Kurzweil的奇点大师的追随者。 但是尤德科夫斯基没有跟随任何人，也从未上过大学。 他是顽固的，原始的人类智力理论家。 他的作品（例如，一篇帮助我理解贝叶斯定理的文章或给人以理解的错觉的贝叶斯定理）散发出自学成才的傲慢，自学成才的锐利并未受到正规教育的磨砺-但这是他魅力的一部分。 即使惹恼了您，尤德科夫斯基也很有趣，新鲜，挑衅。 有关他的传记的详细信息，请参阅他的个人网站或他参加的机器智能研究所的网站。 并以他的妻子Briena的评论形式，以加分的形式阅读了本采访。
霍根 ：在聚会上被问到你做什么时，你会回答什么？
尤德科夫斯基 ：取决于事件。 “我是决策理论方面的专家”，或者是“机器智能研究所的联合创始人”，或者，如果这是另一类型的聚会，那么我在谈论我的艺术作品。
X：您最喜欢的AI电影是什么？为什么？
于：电影中
的 AI是非常标准的。 正如预期的那样，
Ex Machina已经几乎是该规则的例外。
X：大学公用事业被高估了吗？
于：鉴于终止它的社会要求，如果它的用途被低估，我会感到惊讶。 据我所知，没有理由不相信经济学家相信大学已成为“名牌产品”，而增加学生贷款的企图只是增加了大学的成本和学生债务的负担。
X：你为什么写小说故事？
于：如果您改写
Wondermark漫画：“起初我没有尝试，但是没有用。”
此外，严肃的文学作品传达知识，而小说则传达经验。 如果您想了解
贝叶斯公式的证明，我可以使用图表。 如果您想感受使用贝叶斯逻辑的感觉，我需要写一个故事，讲述人物的故事。
X：你有什么宗教信仰吗？
于：不。 当您犯了一个错误时，您需要避免陷入防御的诱惑，尝试从某种角度出发，至少从某种角度来说您是正确的。 说“ Oh”要明智得多：“哦，”承认您甚至一点都不对，要吞下整个苦药，继续生活。 这就是人类与宗教的关系。
X：如果您成为“世界之王”，那么待办事项最重要的是什么？
于：我曾经写道：“对自由主义者的考验是这样的：想象你已经获得了权力； 首先，您对您接受的法律或您废除的法律有什么看法？” 我不是100％的自由主义者，因为并非我所有的愿望清单都体现在废除法律和放宽限制方面。 但是我想像我将如何打造一个这样的世界，在这个世界上，一些失业者可以为您提供上班的机会，每行驶20分钟即可获得5美元，因此他不会有任何不好的事情。 他将不必失去失业保险，注册业务许可证，失去医疗保险，接受审计，要求律师证明其工作符合劳动保护局的规定等。 他只会多付5美元。
我会尝试回到一种状态，在这种状态下，雇用员工就像1900年一样简单。 也许现在在某些安全措施上有某种意义，但我会尝试创建一种不会使人受到约束并且不会由于人简单地返回经济而产生文件的安全措施。
我会尝试做很长一段时间以来，聪明的经济学家一直在喊的一切事情，而没有哪个国家会这样做。 用消费税和房地产税代替投资税和所得税。 用负工资税代替最低工资。 制定针对中央银行名义GDP的政策，并停止支持“太大而不能破产”的结构。 要求在专利诉讼期间，败诉方应支付律师费[
英国的规则-与美国法律相反，根据该法律，当事各方均不承担自己的费用-大约为。 佩雷夫 ]，并将版权期限恢复为28年。 清除建造房屋的障碍。 复制新加坡的健康保险。 爱沙尼亚的电子政务。 由负责公开记录决策的特定人员代替委员会和复杂的决策流程。 为管理国家进行各种选择的受控实验，并考虑其结果。 我可以在清单上待几个小时。
在两亿年后，所有这些可能都无关紧要。 但是，当我试图弄清楚我们将如何使用人工智能时，经济繁荣带来的名义资产可以做得很好。 显而易见的事情是，在岛上某个地方的曼哈顿项目，其付款是基于最大的对冲基金之间的竞争而进行的，人们可以在其中探索通用人工智能的问题，而无需公布其工作结果就自动走向世界的尽头。 而且，除非我们接受我具有神奇的能力或根本上不可逆的模式，否则我看不到我会接受的任何法律将如何在一个计算机无处不在的星球上极大地延迟AI的应用。
但是所有这些仍然可以被认为是不可能的思想实验，并且在现实生活中，这种实验的可能性为零。
X：贝叶斯定理有什么好处？
于：例如，她很深。 因此，这样的问题很难简单回答。
我可以回答贝叶斯定理可以称为认知热力学第二定律。 如果您得出某种假设的概率是99％，无论是超市中牛奶的存在还是全球变暖的人为原因，那么您就具有足够好的先验概率和相当可靠的证据。 这不是法规要求，而是法律。 正如汽车在不驱散熵的情况下无法驾驶的情况下一样，即使没有在过程中直接使用贝叶斯结构，也无法获得良好的世界形象。
我个人认为，贝叶斯可以为我们提供的主要内容是规则的存在，这些规则决定了思维方式是否可以标记现实。 摩尔门教徒被告知，他们通过内心强烈的灼烧感认识摩尔门经的真理。 保守地接受摩尔门经的
先验概率为十亿分之一。 然后，我们评估《摩尔门经》不正确的可能性，并且有人告诉他应该预料到这一点后，他的内心会产生灼痛感。 如果您了解贝叶斯公式，我们将立即意识到，证明的低概率与他们正在尝试借助其证明的假设的低概率无法比拟。 您甚至不需要想出特定的数字就可以了解它们不会收敛-正如Philip Tetlock在他的“
超级预测因子”研究中发现的那样，他们通常知道贝叶斯公式，但很少给出特定的数字。 从某种意义上说，如果您了解某种数学可以准确地确定证明的强度并了解它是否足以克服假设的低概率，那么就很难欺骗您。 您不能只是发明某些东西并相信它，因为它不能那样工作。
X：贝叶斯脑假说是否打动您？
于：我认为一些争论这个话题的人谈论的是不同的事情。 询问大脑是否是贝叶斯算法就像询问本田雅阁是否
由卡诺热机提供动力 。 如果一个人说：“每辆车都是一个热力学过程，需要燃料并耗散杂散的热量，”另一个人听到：“如果您建立一个卡诺循环图并显示其力学原理，他必须同意它看起来像本田雅阁的内饰。 ”，那么激烈的辩论是不可避免的。
有些人会很高兴地打开内燃机，找到其中的气缸，然后说：“我敢肯定，他们将热量转化为压力，并帮助汽车向前行驶！” 他们是对的，但是其他人会说：“您正在关注更大一组汽车零件中的唯一组成部分。 催化转化器也非常重要，它不在您的卡诺循环图中。 有时，空调对我们有用，其工作原理与您所说的热机完全相反。”
如果我对那些对您不屑一顾的人说：“您显然不熟悉现代汽车，那么您就会感到惊讶。 您需要整套不同的方法来制造电动机，例如蜡烛和催化转化器，而不仅仅是您的热力学过程，”它们错过了关键的抽象层次。
但是，如果您想知道大脑是否可以被视为字面上的贝叶斯，而不是执行认知功能的设备（我们可以使用贝叶斯方法来理解其性质），那么我可以回答您的问题：“当然可以。” 这个“引擎”中可能有几个贝叶斯“气缸”，但是非常像安全带和空调一样奇怪。 但是这些添加不会改变这样一个事实，即为了根据感官证据正确识别苹果，需要做一些事情，可以将其解释为归纳的结果，可以理解苹果的概念，并根据区分苹果与非苹果的证据进行更新。
X：可能太理性了吗？
于：您可以进入所谓的 “不良理性之谷。” 如果在此之前您在几件事上不理性，彼此平衡，那么如果您变得理性，则您可能会变得比以前更糟。 变得越理性，如果您为应用技能选择了错误的方向，就会越糟。
但是我不建议您过多地照顾这样的机会。 我认为，谈论非理性可能多么愚蠢的人是白痴。 很难提出一个现实的，并非牵强的生活情境，在这种情况下您可以决定变得不理性，而结果仍然是您所不知道的。 在现实生活中，最好告诉自己真相而不是聪明。
贝叶斯思想的理想代表可能与有趣而有趣的生活格格不入。 但这显然不是我们自毁倾向的大问题。
X：您对奇点的看法与库兹韦尔有何不同？
于：•我认为摩尔定律不能应用于人工智能。 AI是软件问题。
•我认为机器与人的合并不会出现第一个超人类的智慧。 自汽车问世以来已经有一百多年了，我们现在正试图制造出用于骑马的外骨骼，而普通汽车仍然更快。
•我认为第一个强大的AI不会基于神经生物学的算法，就像飞机不是基于鸟类一样。
•我认为，纳米技术，信息技术和生物技术的合并是不可能，不可避免，定义明确或必要的。
•我认为从1930年到1970年的变化要比从1970年到2010年的变化多。
•我认为在发达国家，生产力停滞不前。
•我认为，将摩尔定律推论到技术进步上，据推测，预测到人工智能出现后，所有比人类更聪明的事物都是一件很奇怪的事情。 更智能的AI会破坏您的所有图形。
•一些分析人士，例如
伊尔卡·图奥米（Illka Tuomi） ，认为摩尔定律在2000年代初就违反了。 不确定我可以反对。
•我感兴趣的唯一技术门槛是AI获得改进的能力。 我们没有一个时间表可以达到这个阈值，目前尚不清楚它会是什么（尽管它不应该大大超过一个人的水平，因为一个人了解计算机科学），所以无法预测他的进攻。
•我认为这种进展的结果默认情况下不会很好。 我认为可以做得很好，但是需要认真研究，关键人物对此并不感兴趣。 告诉人们我们处在自然和美好的时光中将是一个谎言。
•我认为“奇异性”已成为一个带有很多不兼容的含义和细节的手提箱词，因此我不再使用它。
X：您有可能成为超智能机器人吗？
于：概率联结定律说P（A＆B）<= P（A）。 同时发生事件A和B的概率小于发生一个事件A的概率。在人们认为两个事件A和B的P（A＆B）> P（A）的实验中，出现“合
取错误 ”-例如， 1982年，国际预测大会的专家将“俄罗斯入侵波兰和与苏联的外交关系破裂”这一事件的可能性分配给了另一组“与苏联的外交关系破裂”的可能性。 同样，另一个小组给“加利福尼亚州的地震导致洪水导致数千名受害者”这一事件分配了更大的可能性，而“北美某处发生了成千上万个受害者的洪水”这一事件的可能性更高。 尽管在故事中添加其他详细信息显然使它的可能性降低，但使它更可信。 对我来说，理解这一事实，就像是严重未来主义的“
驴桥 ”，即您仔细权衡每个假设并找出是否可以独立于所有其他假设来支持这一澄清，而您构成了一个奇妙的事实之间的区别和一个充满活力的故事。
我在回答问题时就是这么说的：“您为什么要为此添加诸如机器人的改进？ 我不想成为一个机器人。” 有必要仔细地为语句编织其他细节。
X：您有永生的机会吗？
于：从字面上看？ 文字不朽是很难实现的。 为了寿命超过几万亿年，您需要重新考虑不断扩展的宇宙的预期命运。 要比
googolpleks寿命更长，有必要使我们对物理定律的基础犯错，而不仅仅是在细节上犯错。
即使某些不寻常的推理被证明是正确的，并且我们的宇宙可以生成子宇宙，但这不会使我们永生。 要想生存更多年的Googleplex而不重复自己，您将需要比Google拥有更多元素的计算机，而这样的计算机将不适合
Hubble领域 。
googolpleks并非无限。 用马丁·加德纳（Martin Gardner）的话来说，
格雷厄姆的数字仍然很小，因为大多数最终数字都比他大得多。 如果您想不知所措，请阅读有关
快速增长的层次结构的信息 ，并且无限远将更长。 只有非常奇怪而又令人恐惧的人类理论，才能让您活得足够长，以观看运行时间最长，具有数百个州的图灵机的停车。
但是，我认为从情感的角度来看，我并不想长寿到足以看到游戏“
寻找海狸硬汉 ”中的百分位数。 我可以以某种方式同情自己，他已经生活了一百年。 在未来的一百年里，我将对未来充满同情。 也许在这个顺序的某个地方，会有某个人面临结束其生存的前景，他对此可能会感到很难过。 但是我不确定我能想象这个人。 “我想再住一天。 明天我也想住另一天。 因此，我想永远活着，通过对正整数的归纳证明。” 甚至我对在物理上可能存在的宇宙中长寿的渴望也是一种归纳法产生的抽象。 我无法想象自己在一万亿年后。
X：我将奇异性描述为逃避现实和伪科学的幻想，使我们分散了气候变化，战争，不平等和其他严重问题的注意力。我为什么错了？Yu：因为您正在尝试通过心理分析来预测经验事实。它永远都行不通。假设我们活着看到了AI的出现，它已经足够聪明，可以像人类一样完成改善AI的工作。他可以调整自己，编程，发明新算法。改善。接下来会发生什么-它会变得更加智能，看到更多的改进机会，并迅速达到很高的水平？还是会发生什么特别的事情？, () , *, > 1, , . ,
« ». (), , , . , ? , - , , .
. – , . , , .
– , « » , , , , . – . , , , , , .
, : « , , , , , , ? ?»
, , , , . , , , – . , , , .. 等
有人争论说，算法越复杂，需要的调整就越多，而我们的智能成为该过程的一种限制。但是，这与人类智力的人类学记录不同。对大脑调整和突变的投资可增强认知能力。我们知道，因为遗传学告诉我们，统计响应较小的突变在进化过程中并不固定。而且，人类不需要比黑猩猩大得多的大脑。约翰·冯·诺伊曼（John von Neumann）的头也不比普通人的头大。, , , 300 , . , , ? , , . , .
, , « », , , . , , , , , , , , .
:
. , , -, . ,
，因此所有相当高级的AI都不错。在这样的世界中，没有人需要机器学习研究所的所有工作和所有后顾之忧。而且浪费了几个蚊帐，最好将它们交给抗击疟疾的基金。您还可以想象一个世界，在这个世界中，您与疟疾作斗争，与碳排放斗争并保持在适当的水平，或者使用地球工程解决方案来抵消已经犯下的错误。事实证明，所有这些都是无用的，因为文明无法解决AI道德问题-并且所有在网络的帮助下从疟疾中拯救出来的儿童都只能长大，因此纳米机器会在梦中杀死他们。我认为，尝试进行合理慈善的人们会同意，我们不希望生活在任何这些世界中。唯一的问题是哪一个更有可能。理性的中心原则是不要拒绝对地精的信仰，因为它是愚蠢的而不是有声望的；而不是对地精的信仰，是因为它既健康又美丽。合理性的中心原则是，可观察的符号和逻辑结论将帮助我们选择这两个世界之一。, , – . , – . , , , , , . , – , , , . , , , 30 , 30 .
: ?
布里耶那（Brijena）：如果有人问我是否相信奇点，我会扬起眉毛，问他们是否相信自动卡车。这是一个奇怪的问题。我不知道第一批自动卡车将会是多少，或者它们将花费多少时间来替换现有的货物运输系统。我并不是相信机器人卡车，而是自信地预测，无人驾驶运输将在人们的参与下取代现代运输，因为如果没有真正奇怪的事情发生，我们将朝着这个方向发展。出于同样的原因，我自信地预测到智能的爆炸式增长。在“奇异性”一词的其他含义中，我不太确定。Yu： Brijena给了她答案，却没有看到我的答案。只是我们彼此很适合。X： , , ?
: , , , . , , , , . – , , .
: ? - ?
:想一想广阔的可能性空间，一个巨大的多维领域。这是思想类型的空间，是所有可能的认知算法的集合。想象一下，在球体底部的某个地方有一个小圆点，表示所有曾经生活过的人。这是一个小问题，因为所有人的大脑，大脑皮层，小脑，丘脑等都大致相同。有些人与其他人不一样，因此它可能是一个尖峰，但峰值与该点本身的比例相同。不管您的神经性如何，您都不会使用其他皮质算法。问“超级智能需要什么”是错误的问题。超级智慧并不是生活在河对岸且具有异国风情的人的奇怪部落。 AI只是人类微小点之外的所有可能性的名称。拥有足够的知识，您可以进入机会的空间，离开那里的AI，其愿望可以被愿望清单用人类语言描述，但这不是因为它将成为这些异国超人的自然愿望清单，而是因为您将思维方式的一部分与世隔绝。– , , , , , , , , , « » « », , , , , , , .
, , , , .
但是我不认为赖特兄弟应该在他们的活动开始之初就这样做。那是没有道理的。解决渗透思想空间并从中提取不希望将我们分解为备用原子的AI的问题似乎更为合理。X：我想认为，超聪明的生物会宣称非暴力，因为他们会理解暴力是愚蠢的。我天真于：我是这样认为的。大卫·休ume我会告诉你，您通过将“愚蠢”谓词应用于个人的价值观或官方行为而犯了一个典型的错误。如果您对世界的最终状态有任何偏好，那么行动，选择，规则可能会很愚蠢。如果您是一个尚未完全计算出元首选项的人，那么您可能会拥有一个平台，您可以依靠该平台并将有关对象首选项的推测称为“愚蠢”。主食最大化器[ 思想实验，展示了无恶意意图的AI制造如何危害人类-大约 佩雷夫]不会造成计算错误，请从获得最大订书钉数量的情况中选择那些情况。它不在您的首选项平台内，选择错误的操作，也不在您的元首选项平台内，错误地选择了首选项。他计算出另一个问题的答案，而不是您问自己的问题：“我该怎么办？”装订钉最大化器仅采取导致最多装订钉的动作。致命的情况是AI既不爱你也不恨你，因为你是由原子构成的，可以用来创造其他东西。囚徒困境中的博弈论与合作问题不要在所有可能的情况下都表现出来。例如，当某个主题比您强得多时，它们不会出现，当您想单击“合作”或“更改”按钮时，他可以使您成为原子。当我们超过此阈值时，您要么解决了创建不希望伤害您的东西的问题，要么您已经迷失了方向。X：超级智能会解决意识上的难题吗？于：是的，回头看，答案对我们来说似乎简直可耻。X：超级智能会拥有自由意志吗？于：是的，但是他们不会有自由意志的幻想。X：您的乌托邦是什么样的？于：我将指导您的读者来挖掘“娱乐理论的序列， “因为我还没有写过一个故事，故事的发生是在一个娱乐性的理论最优世界中进行的。