《智慧建筑》一书

图片 人工智能(AI)正在迅速从科幻小说过渡到日常生活。 现代设备能够识别人类语音,能够回答问题并执行机器翻译。 从驾驶无人驾驶车辆到诊断癌症,在许多领域中都使用了基于AI的对象识别算法,其功能优于人类。 大型媒体公司使用机器人新闻来从收集的数据中创建类似于版权的文章。 显然,人工智能已经准备好成为真正的通用技术,例如电力。

哪些方法和技术被认为是最有前途的? 未来几年可能会有哪些重大发现? 是否有可能创造出可与人类媲美的真正思考的机器或AI,并且能在多久之前完成? 人工智能有哪些风险和威胁,以及如何避免它们? 人工智能会在经济和劳动力市场造成混乱吗? 超级智能机器会脱离人为控制,成为真正的威胁吗?

当然,不可能预测未来。 但是,专家比其他任何人都更了解当前的技术状态以及不久的将来的创新。 您将与R. Kurzweil,D。Hassabis,J。Hinton,R。Brooks等知名人士举行精彩的会议。

严乐坤


纽约大学计算机科学教授,FACEBOOK(会展)AI研究实验室的副主席和创始人

Ian Lekun与Jeffrey Hinton和Joshua Benjio一起是一组研究人员的一部分,他们的努力和毅力导致了当前有关神经网络和深度学习的革命。 在贝尔实验室工作时,他发明了卷积神经网络。 他在ESIEE的巴黎获得了电气工程师文凭,​​并在Pierre和Marie Curie大学获得了计算机科学博士学位。 毕业后,他在多伦多大学的杰弗里·欣顿实验室工作。

马丁·福特(Martin Ford):在过去的10年中,对深度学习的兴趣激增是神经网络的同时改进,计算机功能的增强和可用数据量的结果吗?

杨乐坤:是的,但是过程更加刻意。 出现在1986–87年。 反向传播算法使训练多层神经网络成为可能。 这引起了持续到1995年的兴趣浪潮。2003年,杰弗里·欣顿,约书亚·本吉奥和我提出了一个计划,旨在使社区重新对这些方法产生兴趣,因为他们确信他们即将取得胜利。 因此,我们可以说是蓄意的阴谋。

M.F .:您已经了解所有前景了吗? 人工智能和深度学习现在被视为同义词。

I. L .:是和否。 我们知道这些方法将构成计算机视觉,语音识别以及其他可能的其他事物的基础,但是没有人期望它们会扩展到理解自然语言,机器人技术,医学成像分析,甚至有助于无人驾驶车辆的出现。 在1990年代初期。 我认为朝着这些方向发展会更加顺畅,而且它们会更早出现。 我们正在等待2013年左右发生的革命。

M.F .:您是如何对AI和机器学习产生兴趣的?

Y. L .:从小就对科学,技术和有关生命起源,智力和人类起源的全球性问题感兴趣。 AI的想法使我着迷。 但是在1960-70年代。 在法国没有人这样做,所以放学后我去当工程师。

1980年,我真的很喜欢关于语言和学习哲学的书:让·皮亚杰与诺姆·乔姆斯基之间的辩论(“语言与学习:让·皮亚杰与诺姆·乔姆斯基之间的讨论”),其中认知发展理论的创始人和语言学家讨论了自然与教育以及语言和智力的出现。

在伯爵(Piaget)身边,麻省理工学院(MIT)教授西摩·佩珀(Seymour Peypert)谈到了1960年代后期机器学习的起源。 实际上促进了神经网络工作的停止。 现在,十年后,他赞美了所谓的感知器-一种在1950年代出现的非常简单的机器学习模型。 他在1960年代就曾在此工作。 因此,我第一次熟悉了机器学习的概念,并且对它非常着迷。 学习能力,我认为是智力的组成部分。

作为一名学生,我阅读了在机器学习中可以找到的所有内容,并就此主题进行了一些项目。 事实证明,在西方,没有人使用神经网络。 一些日本研究人员致力于后来被称为该术语的研究。 在我们国家,这个话题对任何人都没有兴趣,部分原因是1960年代后期出现的话题。 Peypert和Minsky的著作。

我开始进行独立研究,并于1987年为我的博士学位论文“学徒的连接模型”(“连接主义学习模型”)辩护。 我的经理莫里斯·米尔格拉姆(Maurice Milgram)没有处理这个话题,而是直接告诉我他可以正式成为我的顾问,但他不能在技术上帮助我。

在1980年代初期 我发现了一个从事神经网络工作并与他们联系的人社区。 结果,与大卫·鲁梅尔哈特(David Rumelhart)和杰弗里·欣顿(Jeffrey Hinton)并行,我发现了诸如错误的反向传播方法之类的东西。

M.F .:也就是说,在1980年代初期。 在加拿大,这方面有很多研究?

Y. L .:不,一切都在美国发生。 在加拿大,尚未进行此类研究。 在1980年代初期 杰弗里·欣顿(Jeffrey Hinton)是加利福尼亚大学圣地亚哥分校的一名员工,在那儿他与诸如David Rumelhart和James McClelland这样的认知心理学家一起工作。 结果,出现了一本书,借助简单的神经网络和计算机模型解释了心理学。 杰弗里后来成为卡内基梅隆大学的助理教授。 他于1987年才搬到多伦多。然后我搬到多伦多,在他的实验室工作了一年。

M.F .:在1980年代初期。 我是计算机科学专业的学生,​​我不记得在某个地方使用过神经网络。 现在情况发生了巨大变化。

Y. L .:神经网络不仅在科学的边缘。 1970年代 和1980年代初期。 他们实际上被麻醉了。 文章因为提及神经网络而被拒绝。

1983年,杰弗里·欣顿和特里·塞诺夫斯基发表了著名的文章《最优感知推断》。 为了在其中描述深度学习和神经网络的第一个模型之一,他们甚至使用名称也使用了代码字。

M.F .:您是卷积神经网络的作者。 请解释一下是什么?

Y. L .:最初,此神经网络已针对图像中的对象进行了优化。 但是事实证明,它可以应用于多种任务,例如语音识别和机器翻译。 1950年代和60年代研究的动物和人类大脑视觉皮层的特征,为创造这一想法提供了条件。 David Hubel和Thorsten Wiesel,后来获得了诺贝尔神经生物学奖。

卷积网络是一种连接神经元的特殊方式,这些神经元不是生物神经元的精确副本。 在第一层(卷积层)中,每个神经元与少量图像像素相关联,并计算其输入数据的加权和。 在训练过程中,体重会改变。 神经元组看到图像的小区域。 如果一个神经元在一个区域中检测到特定特征,则另一个神经元将在相邻区域中检测到完全相同的特征,而在图像其余区域中检测到所有其他神经元。 神经元一起执行的数学运算称为离散卷积。 因此得名。

然后是非线性层,其中每个神经元都会打开或关闭,具体取决于卷积层计算出的加权和是否高于或低于指定阈值。 最后,第三层执行下采样操作,以确保输入图像的轻微偏移或变形不会极大地改变输出。 这提供了不受输入图像变形的影响。

实际上,卷积网络是由卷积,非线性和子采样层组成的堆栈。 当它们折叠时,会出现识别对象的神经元。 例如,当您将马放在图像上时,一个神经元就会打开;对于汽车,另一个神经元会针对人;对于您需要的所有类别,另一个神经元等等。

而且,神经网络的作用取决于神经元之间连接的强度,即权重。 这些权重没有经过编程,而是训练的结果。

马的图像显示在网络上,如果它没有回答“马”,则会被告知这是错误的,并会提示您正确的答案。 之后,使用错误反向传播算法,网络调整所有连接的权重,以便下次显示同一图像时,结果更接近所需的图像。 同时,您必须向她展示数千张图像。

M. F .:这是和老师一起教书吗? 据我了解,现在这是占主导地位的方法。

Y. L .:好的。 几乎所有现代深度学习应用程序都使用教师培训。 神奇的是,即使对于以前从未显示过的图像,受过训练的网络在很大程度上也能给出正确的答案。 但是它需要大量的例子。

M.F .:将来会发生什么? 可以教小时候只给猫看一次并给它命名的儿童汽车吗?

I. L .:实际上,您不太正确。 最初的卷积训练实际上是在数百万张各种类别的图像上进行的。 然后,如果您需要添加一个新类别,例如,教计算机识别猫,那么几个样本就足够了。 毕竟,已经对网络进行了训练以识别几乎任何类型的对象。 培训的附加内容涉及一对上层。

MF:看起来已经像孩子们学习的方式。

Y. L .:不,不幸的是,这根本不是那样。 在有人告诉他们“这是一只猫”之前,孩子们会获得大部分信息。 在生命的头几个月中,孩子们学习时并不了解该语言。 他们只需观察世界并与之互动就可以了解世界的结构。 这种累积知识的方式不适用于机器。 怎么称呼还不清楚。 有些人使用挑衅性的术语“无师范教学”。 有时称为预见性或归纳性训练。 我称之为自学。 训练这种类型时,没有准备要执行任务的问题,它只是观察世界及其运行方式。

M.F .:强化学习是否属于此类?

Y. L。:不,这是一个完全不同的类别。 实际上,主要有三类:强化学习,教师培训和自学。

强化训练是通过反复试验进行的,非常适合您可以尝试任意次数的游戏。 在过去三千年来,该机玩的游戏超过了全人类之后,AlphaGo的出色性能得以实现。 对于来自现实世界的问题,这种方法是不切实际的。

一个人可以在15小时的训练中学会驾驶汽车而不会撞到任何东西。 如果您使用现有的增援训练方法,为了学习如何在没有驾驶员的情况下骑车,汽车将不得不从悬崖上掉落一万次,然后她才知道如何避免这种情况。

M.F .:在我看来,这是赞成建模的论点。

Y. L .:相反,这可以确认人们使用的培训类型与强化学习有很大不同。 这类似于基于模型的强化训练。 毕竟,第一次驾驶汽车的人具有世界模型,可以预测其行为的后果。 尚未解决的主要问题是如何使机器独立研究预后模型。

M.F .:这是您与Facebook合作的目的吗?

I. L .:是的,这是我们正在努力的工作之一。 我们还训练机器以观察不同的数据源。 我们正在构建一个世界模型,希望在其中反映常识,以便以后可以将其用作预后。

M.F .:有些人认为仅深度学习是不够的,在网络中最初应该有一个负责智能的结构。 而且您似乎确信,智能可以从相对通用的神经网络有机地出现。

Y. L .:您夸大了。 每个人都同意该结构的必要性;问题是它的外观。 谈到那些相信应该提供逻辑思维和辩论能力的人,您可能指的是加里·马库斯(Gary Marcus),也许还有奥伦·埃齐奥尼(Oren Etzioni)。 今天早上,我们与加里争论了这个话题。 他的意见在社区中不那么受欢迎,因为他没有对深度学习做出任何贡献,却批判性地撰写了有关它的文章。 奥伦(Oren)在这方面工作了一段时间,与此同时说话也变得轻柔得多。

实际上,卷积网络的想法是作为向神经网络添加结构的尝试而出现的。 问题是:这允许机器操纵字符,或例如对应于语言的层级特征?

我的许多同事,包括杰弗里·欣顿和约书亚·本吉奥,都同意我们迟早可以没有结构。 它们在短期内可能很有用,因为尚未发明一种自学方法。 可以通过将所有内容链接到体系结构来规避这一点。 但是皮质的微观结构,无论是视觉的还是前额叶的,似乎都是完全均匀的。

M.F .:大脑是否使用类似于错误传播方法的东西?

I. L .:这是未知的。 可能会发现,这并不是众所周知的形式的反向传播,而是近似的梯度估计形式。 Joshua Benggio致力于梯度估计的生物学上合理的形式。 大脑有可能估计任何目标功能的梯度。

M.F.:Facebook还有哪些其他重要的事情要处理?

Y. L .:我们从事各种基础研究以及机器学习问题,因此,我们主要处理应用数学和优化。 加强学习和所谓的生成模式的工作正在进行中,这是一种自学或预期学习的形式。

MF: Facebook是否开发了可以维持对话的系统?

Y. L .:我已经在上面列出了基础研究主题,但是它们的应用领域也很多。 Facebook正在积极发展计算机视觉领域的发展,可以说我们拥有世界上最好的研究小组。 我们在自然语言文字处理方面做了大量工作。 这包括翻译,归纳,分类(找出正在讨论的主题)以及虚拟助手的对话系统,问答系统等。

M.F .:您认为有一天会通过AI的图灵测试的AI吗?

I. L .:有时会发生这种情况,但我认为Turing测试不是一个很好的标准:它很容易傻,而且有些过时。 许多人忘记或拒绝相信语言是与智力有关的次要现象。

»这本书的更多信息可以在出版商的网站上找到
» 目录
» 摘录

小贩优惠券可享受25%的折扣-Intelligence Architects

支付纸质版本的书后,就会通过电子邮件发送电子书。

Source: https://habr.com/ru/post/zh-CN476466/


All Articles