早在2007年，我就对与AI相关的风险感兴趣。 当时，大多数人对这个话题的反应是这样的：“这很有趣，当互联网白痴以外的人相信它时回来。”
在随后的几年中，
比尔·盖茨 ，
斯蒂芬·霍金和
埃隆·马斯克等几位非常聪明和有影响力的人物公开分享了他们对AI风险的担忧，其次是牛津哲学家，麻省理工学院的宇宙学家以及硅谷的投资者等数百名知识分子。 。 我们回来了。
然后反应变成：“好吧，一些科学家和商人可以相信这一点，但是他们不太可能成为这个领域的真正专家，并且对这种情况非常了解。”
诸如科普文章“
比尔·盖茨害怕人工智能，但人工智能研究人员应该知道 ”之类的陈述从这里
发出 ：
与AI研究人员进行了交谈-真正的研究人员，他们几乎无法使这样的系统正常工作，更不用说工作良好了，很显然，他们不担心超级智能无论现在还是将来都不会突然出现。 。 尽管《面具》讲述了所有令人恐惧的故事，但研究人员并不急于建立保护室和倒计时的自我毁灭。
或者，正如他们在Fusion.net上的文章“
对真正开发AI的杀手机器人的反对 ”中写道：
Andrew Angie专业开发AI系统。 他在斯坦福大学教授AI课程，在Google上开发AI，然后转到中国百度搜索引擎，继续他在将AI应用于现实世界问题的前沿研究。 因此，当他听到不直接了解现代技术的人埃隆·马斯克（Elon Musk）或史蒂芬·霍金（Stephen Hawking）谈论有可能破坏人类生命的AI时，几乎可以听到他用手遮住了脸。
《边缘革命》的Ramez Naam在“
研究人员如何看待AI的风险？ ”一文中重复了大致相同的
内容 ：
埃隆·马斯克（Elon Musk），史蒂芬·霍金（Stephen Hawking）和比尔·盖茨（Bill Gates）最近表示担心，人工智能的发展可能会实现“人工智能杀手”的情景，并有可能导致人类灭绝。 他们不是AI研究人员，据我所知，他们还没有直接与AI合作。 真正的AI研究人员如何看待AI的风险？
他引用了特别选择的AI研究人员的话语，就像其他故事的作者一样-然后停下来，不提任何与此不同的意见。
但是它们存在。 包括该领域领导者在内的AI研究人员从一开始就积极表达了对AI风险以及超出智能的担忧。 我将首先列出这些人，尽管列出Naam的名单，然后继续说明为什么我不认为这是列出星星时所期望的古典意义上的“讨论”。
我列出的标准如下：我仅提及最负盛名的研究人员，或在许多引用了许多科学论文的良好研究所中担任科学教授，或仅是在大型公司工作并拥有良好业绩的业内受人尊敬的科学家。 他们从事AI和机器学习。 关于AI在不久的将来出现奇异或严重风险，他们发表了一些有力的声明，以支持某种观点。 他们中有些人就该主题写过作品或书籍。 其他人只是表达了自己的想法，认为这是一个值得研究的重要课题。
如果某人不同意将某人包括在此列表中，或者认为我忘了重要的事情，请告诉我。
* * * * * * * * * * *
斯图尔特·罗素 （
Stuart Russell）是伯克利大学的计算机科学教授，IJCAI计算机与思想奖的获得者，计算机机械化协会的研究员，美国高级科学研究所的研究员，智能系统中心主任，布莱斯·帕斯卡尔奖的获得者等。 等
AI的合著者
：现代方法 ，这是一本经典的教科书，已在全球1200所大学中使用。 在
他的网站上，他写道：
在人工智能领域，以“越聪明越好”这一假设为标志的研究已经进行了50年。 对人类利益的关注必须与此相结合。 参数很简单：
1. AI可能会成功创建。
2.无限的成功会带来巨大的风险和巨大的利益。
3.我们怎样做才能增加获得利益和避免风险的机会？
一些组织已经在解决这些问题，包括牛津的人类未来研究所，剑桥的存在风险研究中心（CSER），伯克利的机器智能研究所和哈佛大学/麻省理工学院的未来生命研究所（FLI）。 我是CSER和FLI的顾问委员会成员。
正如核聚变研究人员将限制核反应的问题视为其领域中最重要的问题之一一样，人工智能领域的发展不可避免地会引发控制和安全性问题。 研究人员已经开始提出问题，从纯粹的技术性（理性和实用性等主要问题）到广泛的哲学性问题。
他在
edge.org上描述了类似的观点：
正如史蒂夫·奥莫汉德罗（Steve Omohandro），尼克·博斯特罗姆（Nick Bostrom）等人所解释的那样，决策系统的价值观差异不断增长，其可能性可能导致问题，甚至可能是灭绝规模的问题，如果这些机器比人的能力更强的话。 一些人认为在未来的几个世纪中人类没有可预见的风险，也许忘记了卢瑟福自信的说法：永远无法提取原子能与中子引发的核链反应的发明在不到24小时之间存在时差。
他还试图成为这些思想在学术界的代表，
指出 ：
我发现，这个行业的主要人员从来没有表达过恐惧，他们自己认为这个问题需要非常认真地对待，我们越早将其认真对待就越好。
戴维·麦卡利斯特 （
David McAllister）是隶属于芝加哥大学的丰田技术学院的教授和高级研究员，他曾在麻省理工学院和康奈尔学院任教。 他是美国AI协会的会员，已发表了一百多篇著作，在机器学习，编程理论，自动决策，AI计划，计算语言学等领域进行了研究，并对著名的深蓝国际象棋计算机的算法产生了重大影响。 根据《匹兹堡论坛报》的
一篇文章 ：
芝加哥教授戴维·麦卡里斯特（David McAllister）认为，全自动智能机器设计和创建自己的更智能版本的能力的出现是不可避免的，也就是说，发生了被称为[技术]奇点的事件。 他说，奇异性将使机器变得无限智能，从而导致“极其危险的情况”。
他在博客
“汽车上的想法”中写道：
大多数计算机科学家拒绝谈论AI的真正成功。 我认为说没有人能够预测何时会收到与人类思维相当的AI会更合理。 约翰·麦克阿蒂（John MacArthy）曾经告诉我，当被问及将要创建多长时间的人类级AI时，他回答说它已有五到五百年的历史。 麦克阿蒂很聪明。 考虑到这方面的不确定性，考虑友好AI问题是合理的。
在早期阶段，通用AI是安全的。 但是，OII的早期阶段将成为AI作为仆人或其他友好AI选项的绝佳测试场所。 本·格特策尔（Ben Goertzel）在他的博客上的一篇好文章中还宣传了一种实验方法。 如果安全而不是太聪明的OII时代正在等待着我们，那么我们将有时间考虑更危险的时期。
他是AAAI长期AI专家小组的成员，该小组致力于AI的长期前景，并主持了长期控制委员会，
其内容如下 ：
玛卡利斯特（Makalister）向我讲述了“奇异性”方法，这是计算机变得比人更聪明的事件。 他没有透露确切的发生日期，但他说这可能会在未来几十年内发生，最后肯定会发生。 这是他对奇点的看法。 将会发生两个重大事件：操作智能，我们可以在其中轻松地与计算机进行对话；人工智能的连锁反应，其中计算机可以在没有任何帮助的情况下提高自身，然后再次重复。 我们将在自动辅助系统中注意到的第一个事件将真正为我们提供帮助。 后来与计算机通信将变得非常有趣。 为了使计算机能够执行人们可以做的所有事情，您必须等待第二个事件发生。
汉斯·莫拉维克 （
Hans Moravek）是卡内基·梅隆大学（Carnegie Mellon University）机器人研究所的前任教授，他以
Moravec悖论的名字命名，后者是
SeeGrid Corporation （一种工业应用的机器视觉系统）的创始人。 他的著作“
移动机器人确定性网格中的传感器综合 ”已被引用了一千多次，并且他应邀为英国机器人百科全书撰写文章，而当时该百科全书中的文章是由该领域的世界专家而不是数百位匿名互联网评论员撰写的。
他还是《
机器人：从简单的机器到超越的心灵》的作者 ，亚马逊对此进行了描述：
汉斯·莫拉维克（Hans Moravek）在这本令人振奋的书中预测，到2040年，机器将接近人们的知识水平，到2050年，它们将超越我们。 但是，尽管莫拉维克（Molavec）预言了人类统治时代的结束，但他对这一事件的看法并不那么暗淡。 他没有被机器统治世界的未来所束缚，而是接受了它，并描述了一种令人惊奇的观点，根据这种观点，智能机器人将成为我们的进化后代。 莫拉维克认为，在这一过程结束时，“广阔的网络空间将与非人类的头脑团结起来，处理与人类相距甚远，与细菌无关的人类事务”。
Shane Leg是
DeepMind Technologies的联合创始人，该公司是2014年被Google以5亿美元收购的AI初创公司。 他从AI研究所获得博士学位，以 Dale Moul在瑞士，还曾在计算神经生物学部门工作。 盖茨比在伦敦。 在他的论文结尾，“机器超智能”，他
写道 ：
如果出现某种可以达到绝对功率的东西，那将是一台超级智能机器。 根据定义，她将能够在各种各样的环境中实现大量目标。 如果我们提前为这样的机会做好准备，我们不仅可以避免灾难，而且可以开创一个繁荣的时代，这与以往任何时候都不一样。
在随后的采访中，他
说 ：
人工智能现在是1988年建立互联网的地方。 特殊应用（例如Google，对冲基金和生物信息学等搜索引擎）需要机器学习需求，并且其数量每年都在增长。 我认为在下个十年的中期，这个过程将变得庞大而引人注目。 人工智能的繁荣将在2020年左右发生，随后十年的快速发展，可能是在市场调整之后。 尽管许多人不会接受此活动的开始，但将在2020年中左右创建人类级AI。 之后，与高级AI相关的风险将付诸实践。 我不会谈论“奇异性”，但是他们希望在OII创建后的某个时候会发生疯狂的事情。 它在2025年至2040年之间。
他和他的联合创始人
Demis Khasabis和
Mustafa Suleiman就人工智能风险签署了一份关于未来生命研究所的请愿书，加入Google的条件之一是该公司同意组织一个
人工智能伦理委员会来研究这些问题。
史蒂夫·奥莫洪德罗（Steve Omohundro）是伊利诺伊大学的前计算机科学教授，是复杂系统研究中心的计算机视觉和培训小组的创始人，并且是机器学习和计算机视觉的各种重要发展的发明者。 他从事机器人读取嘴唇，StarLisp并行编程语言和几何学习算法的研究。 他目前领导“
自我意识系统” ，“一个致力于确保智能技术造福人类的科学家团队”。 他的工作“
人工智能动机的
基础 ”帮助催生了机器伦理学领域，因为他指出，超级智能系统将针对潜在的危险目标。 他写道：
我们已经证明，所有高级AI系统都可能具有一系列核心动机。 必须了解这些动机，以创造出确保人类未来美好发展的技术。 尤德科夫斯基呼吁建立“友好的人工智能”。 为此，我们需要开发一种“功利主义发展”的科学方法，这将使我们能够发展出对社会有益的功能，从而导致我们所期望的序列。 技术进步的飞速发展表明，这些问题可能很快变得至关重要。
您可以在该
链接上找到他的文章，主题为“理性AI为公益”。
Murray Shanahan拥有剑桥大学的计算机科学博士学位，现在是伦敦帝国学院的认知机器人学教授。 他发表了机器人，逻辑，动力学系统，计算神经生物学和心灵哲学等领域的著作。 他目前正在撰写《
技术奇点 》一书，该书将于8月出版。 亚马逊的促销注释如下：
Shanahan描述了人工智能技术的进步，这些进步都是在生物学知识的影响下取得的，并且是从零开始发展的。 他解释说，当创建人类级别的AI时（理论上可行，但艰巨的任务），向超级智能AI的过渡将非常迅速。 Shanahan反思了超级智能机器的存在会在个性，责任，权利和个性等领域带来什么。 可以为人类造福超级智能AI的一些代表，有些则可以失控。 （即Siri还是HAL？）奇异性既代表着人类的生存威胁，又代表着克服其局限性的存在。 Shanahan明确表示，如果我们想获得更好的结果，我们需要想象两种可能性。
Marcus Hutter是澳大利亚国立大学计算机科学研究教授。 在此之前，他在AI研究所工作，以 瑞士的Dale Mole和澳大利亚的国家信息与通信学院的Dale Mole，还致力于激励学习，贝叶斯发现，计算复杂性理论，所罗门的归纳预测理论，计算机视觉和遗传概况。 他还写了很多关于奇点的文章。 他在文章“
智力会爆炸吗？ ”中写道：
本世纪可能见证了技术爆炸，其规模值得称奇。 默认方案是在虚拟世界中互动的聪明人组成的社区，在计算机上使用大量增加的计算资源进行模拟。 这不可避免地伴随着以物理时间来衡量的速度的爆炸，但不一定是智能的爆炸。 如果虚拟世界由自由互动的个体所占据，那么进化压力将导致具有越来越高的智能能力的个人的出现，他们将争夺计算资源。 智力的这种进化加速的终点可能是最聪明的人的社区。 从理论上讲，可以借助现代科学工具研究这个单一社区的某些方面。 在这种奇异现象出现之前很久，甚至甚至将这个虚拟社区置于我们的想象中，人们都可以想象到差异的出现，例如，个人价值的急剧下降，这可能导致根本的后果。
于尔根·施密德胡伯 （
JürgenSchmidhuber）是卢加诺大学（University of Lugano）的AI教授，也是慕尼黑工业大学（University of Munich University）的认知机器人学教授。 他开发了一些世界上最先进的神经网络，致力于进化机器人学和计算复杂性理论，并在欧洲科学技术学院担任研究员。 他在他的《
奇异性的假设 》一书中指出，“随着现有趋势的继续，我们将在未来几十年内面临智力上的爆炸式增长。” 当直接在Reddit AMA上询问与AI相关的风险时，他
回答 ：
. - , ? , , : , . - . , , . , . . . , , ".
— iCORE . ,
, , .
, , , « , » , , , « », « », « , ». , « (, , , ), », « ».
. ,
有这样的说法：“人工智能领域最大的专家之一理查德·萨顿（Richard Saton）预测，本世纪中叶某个地方的智能技术将激增。”安德鲁·戴维森（Andrew Davison）是伦敦帝国学院的机器视觉教授，是机器人视觉小组和戴森机器人实验室的负责人，也是MonoSLAM计算机化本地化和标记系统的发明者。在他的网站上，他写道：, , , , 2006 : , (, 20-30 ). « » ( , ), , , , . , , , , , , .
, , , ( ). , . « » . , , , .
. , . -, , , , FFT-. « ?» :
, , . , . , . , . , , , . - , .
Atlas 60-, "
, ":
, , . – , . , , « », . , – , .
* * * * * * * * * *
, «» «» , . .
, . -, , , . -, , .
. .
(
Muller & Bostrom, 2014 ) , 50% , 2040 , 90% — 2075. 75% , (« , ») 30 . , , , , , - , - .
, , , .
, , , , , -. , . , ,
.
, , , .
. , , , , , , .
, , , .
– , .
Popular Science ,
Marginal Revolution ,
KDNuggets IEEE « », , « , ». , :
- ( , ). , , . , 1970- 1980- , , -. , , .
– , , . , "
Microsoft , - ", "
Microsoft , ". , NPR:
Keist：Horvitz怀疑虚拟秘书会变成征服世界的东西。 他说，风筝有望演变成波音747飞机。这是否意味着它取笑了奇异之处？
霍维茨：不。 我认为概念是混合的，我自己也有不同的感觉。
Keist：特别是由于奇异性等思想，Horvits和其他AI专家越来越多地尝试处理在未来几年中针对性较弱的AI可能出现的道德问题。 他们还会问一些未来派的问题。 例如，如何为可自行更改的计算机设置紧急关机按钮？
Horvits：我真的相信赌注很高，即使发生此类事件的可能性很小，也足以花费时间和精力积极寻求解决方案。
这通常与许多最热衷的AI风险鼓动者的立场相吻合。 有了这样的朋友，就不需要敌人了。
Slate的文章“
不要害怕AI ”，也令人惊讶地将事情放在了正确的位置：
正如马斯克本人所言，解决人工智能风险的方法在于科学家和立法者的理性和理性的合作。 但是，很难理解谈论“恶魔”如何帮助实现这一崇高目标。 她甚至可以阻碍她。
首先，天网脚本的想法存在巨大漏洞。 尽管计算机科学领域的研究人员认为Mask的推理“并非完全疯狂”，但与AI的炒作掩盖了我们的计算机科学家所面对的AI现实相比，这个世界还差得远。
Facebook AI实验室负责人Ian Lekun在2013年Google+上的一篇文章中总结了这一想法：炒作损害了AI。 在过去的五十年里，炒作已经杀死了AI四次。 她需要被制止。“ Lekun和其他人理所当然地会大肆宣传。未能满足科幻小说的高期望值会导致AI研究的预算严重削减。
从事AI研究的科学家是聪明的人。 他们对陷入经典的政治陷阱不感兴趣，在经典的政治陷阱中，他们将被划分为难民营并互相指责恐慌或鸵鸟主义。 显然，他们正试图在与可能出现在远处的威胁有关的方面开始进行初步工作的需求与引起强烈打击的风险之间取得平衡。
我不想说，对于需要多长时间开始解决这个问题没有意见分歧。 基本上，一切都取决于是否可以说“遇到问题时我们将解决问题”，或者期望发生这种意外的起飞，由于这一切都将失去控制，因此，我们需要为此做好准备提前。 我看到的证据少于我希望大多数具有自己观点的AI研究人员理解第二种可能性的证据。 我能说什么，即使有人
引用边缘革命
专家的话说，超级智能并不是一个大威胁，因为“智能计算机无法为自己设定目标”，尽管任何阅读
博斯特罗姆的人都知道整个问题是。
仍有大量工作要做。 但只是不要专门选择“真正的AI专家不必担心超级智能”的文章。