对于第二年,我们(DZ Systems)一直在拍摄一系列数字转换程序。 通常,这些是与“业务相关”的程序,主要针对高层管理人员,旨在帮助理解所谓的数字化转型的业务价值。
但是今年,我们也正在拍摄节目的第二条“线”-DZ在线技术,现在已经专注于同一主题的技术方面。 简而言之-就是“幕后”。
以下是另一种这样的传播方式的抄本,其中Ivan Yamschikov和我(Yandex,ABBYY和一般的高级专业人员)谈论了神经网络在现代世界中的使用。
如果有兴趣,
您可以观看程序本身 。
对于那些喜欢阅读的人-下面的成绩单:
你好 今天我们的客人是ABBYY的Ivan Yamshchikov,
会告诉我们现代人工智能的工作原理。
关于人工智能,有条件地有两个立场:有人说:“我们不想
不了解系统中正在发生的事情的本质。 我们有统计方法
谁将自己从外部生活中移除模型。 这个模型是正确的,它将是
感到所有语义上的微妙之处。” 有人说:“不,那是
不允许。 我们了解正在发生的事情。 我们必须将这种理解纳入系统。
人工智能,它将变得越来越有价值,越来越好。” 这场战斗
有什么标准吗?“让我用一种不太哲学的语言来解释。” 有人说:“我们需要更多
更强大,更强大的算法和更多数据。 我们将采取更多
高效的算法,它将在更大体积上为我们提供更大的目标质量
指标,无论如何。” 我不知道有人说他们不需要数据或
演算法 因此,我认为第二个人具有以下方法:
在所有这些中,对我们来说仍然可以保留一种或多种形式的人类标记,这是一件好事。
专业知识,最重要的是。”
Google经常开一个玩笑:语言学家工作较少
产品,最终质量会更好。 这个笑话可能是通过实践证明的。
大规模的B2C服务。 但是当我们在杂货店狭窄的背景下谈论B2B时
解决方案,在非常明确定义的任务和定义明确的字段中,然后
专家知识开始发挥相当重要的作用。 我们将ABBYY和
语言学家建立的本体模型和纯机器学习方法。
-我想举个例子:我们为Mosvodokanal做了一个项目。 有一个任务:
Mosvodokanal是一个复杂的网络,它以某种方式起作用并且以某种方式表现。 我想要一些东西
然后了解一下,建议预测事故,并在发生问题时感觉到
继续。-您做了一个监控系统。
-是的,我们做了某种行为分析系统,应该说:
角落里出了点问题。” 我们真的不能说这是意外还是波动。
行为,因为它们在身体上无法区分...-我制作了用于监视流量的相同系统。
-一个非常相似的话题。 在项目进行期间,我们与工程师战斗,他们说:
“听着,你在做垃圾。 有必要测量所有的管道,它们的直径是外部的,
内部,然后输入有关墙壁光滑度的信息。 然后算
水动力模型,她将展示一切。” 我们说:“不要。
给我们来自传感器的数据,我们将它们驱动到统计模型中,她一无所知
在物理学上,它无论如何都会起作用,因为它将消除真实的行为。” 挺直的
我们正在谈论的最终案例。 一方面,这是终极知识。
我们在语义上直接打包的现象的工作物理,第二个
一方是最终的误会。 我们不知道它是如何工作的
流体动力学-我们甚至不想理解这一点。-狂妄自大是非常了解统计信息的人的特征。 正如马克所说
吐温:“谎言有三种:谎言,无耻的谎言和统计数据。”
-我们最终击败他们的原因很简单:收集每个人的信息
这些管道是不可能的。 但是,另一方面,该学科的知识深度
区域不免。-掌握这些知识的人相信这是真的,因为它是
他们的专业领域。 但同时,我们实际上了解自然语言,
计算机科学,远远少于我们想要的,因为许多
术语和类别不是在数学上定义的,而是直观地定义的。 这导致了一个事实,
那些完全来自计算机科学方面的人,
不信任来自语言学方面的人,反之亦然。 在ABBYY
决定他们俩都在产品上工作,负责不同的部分,而您
可以衡量这为您带来多少质量。 这是这样
测试和实验。
-这也是大麻烦。 我们都知道存在局部优化问题。-当然了 这是再培训。 但是通常与共同
语言方法使您能够应对再培训。 因为语言学家经常试图建立一些一般规则,然后才有一个伟大而美好的故事
关于例外。 在学校里读过罗森塔尔关于俄语的书的任何人都会感到困惑:
哦,天哪,语言学家做什么? 他们称规则实际上是什么
是...
-一组例外。-但从本质上讲,这与测试错误完全相同。 如果你用
机器学习的观点,非常多的语言规则
涵盖了相当多的示例,并在上面留下了一些错误
测试数据。 如果您遵循这些规则并将其应用于您的模型数据
我从未见过,这个地方的模型是错误的。 但是许多语言启发式
让您保护自己免受再培训。
-我没听错,如果我们拿一本俄语书籍并开车
然后,将这些规则外推到模型中,模型是否必然错误?-当然了 没错 任何严格的规则都会导致错误,因为,
不幸或幸运的是,人工智能比某些领域要灵活得多。
简单的规则。
-这也是由于以下事实:当我们谈论形式化自然规则时
语言,我们在这个地方不可避免地从事着一项不可解决的任务。 深度
这个过程是无止境的。-这是一个哲学问题。 在机器级别,深度似乎不是无限的,但是有
我认为这是一篇有趣的文章,2015年。 简要介绍一下:数学部分
这就是所谓的信息论。 特别是,它用于编码理论。
在俄罗斯,它是由Kolmogorov及其同事在美国制造的-由Shannon制造。 首先他
是在加密技术的背景下发明的。
在信息论中,有一种“一般信息”。 如果完全在手指上
说:想象一下您在文本中单词的含义如何相互关联
取决于它们之间的距离。 想象这样一个指标。 如果我在这里
它说“ Petya”,然后是n个单词,然后是“ ate”。 实际上,“ ate”和“ Petya”这两个词
尽管“吃”这个词可能与“ Petit”相去甚远,但两者之间还是有关联的。
如果我们从统计学上构建这些相关性的模型,那么结果证明它是
距离,文本中的一般信息会相当缓慢地减少-不是多项式的,而是
慢一点 粗略地说,在自然语言文本中,单词之间存在关联,
相距甚远。
在DNA“文本”中观察到大约相同的现象:我们的核苷酸也与
距离比较大。 特别是,这种系统试图描述
复杂性理论等等。关于蝴蝶效应的整个故事-就是因为它,你有一点点
一个地方的偏差可能会导致一些重大变化。
自然语言是通过这种依赖关系来描述的。 现在,我们说LSTM(长
就记忆而言,短期记忆网络被认为是最先进的
用来分析语言的网络,只是为了结交这些深远的朋友
捕捉朋友的相关信息。 在这里,被感染的她的记忆力下降得比必要的快。
这是一个重要的研究课题。 特别是,我们在马克斯·普朗克研究所(Max Planck Institute)
去做。 图论有一个有趣的结果,它说,如果您的网络中有循环,那么它应该有更多的内存。 我们知道我们的大脑中有一些
这些是特征频率,大脑中存在循环。 信号沿着它们传播,神经元刺激
彼此以给定的频率围成一圈。 在人工神经网络中,我们仍然
无法复制。
“为什么我们不能?” 添加循环! 请从袋子里填写周期。“我告诉你。” 我们如何学习神经网络? 使用反向传播
错误。 错误的反向传播是指您有直接的神经通道
网络和反向。
-只要有周期,就立即开始循环这个问题
错误?-是的! 怎么办 如何做反向传播?
朋友,在周期上进行反向传播,您将在开发方面取得重大突破
人工智能。 我告诉大家:我们需要这样做,这很酷。 是真的
艰巨的任务。
-如果这些与大脑打交道的人弄清楚了它在大脑中的工作原理,那就是
可以放吗? 今天看来,我们所做的拟人化是
非常低-加油:Google的ImageNet与蛤lam有什么共同点? 事实证明或多或少
仅此而已。 最初,将软体动物拆解,并观察其视野
如果您愿意,可以使用现代卷积网络。 从前在五十年代,罗森布拉特和他的同志们
分解后,拿出一个感知器,主要观察活泼且非常简单的事物。 他们是
认为我们现在将了解原始生物如何工作,然后我们将开始构建
复杂。
-为什么他们没有成功? 在那些日子里,人们认为感知器还没有存活。
电量不足?-有很多问题。 来吧:有几个人工智能冬天,那就是每次都有人
提出了人工智能领域的一些新突破,并认为:“就是这样,
贾维斯明天将是我最好的朋友,与我的交流会比我更好
心理分析家。” 然后发生了一些事情,就像同一个贾维斯一样。 我非常喜欢这个笑话
电影《钢铁侠》中的影片,起初一切都很顺利,然后您发音
一些蔓越莓。 当贾维斯问他是否调试过时,他会告诉主角
所有系统。
-实际情况如何? 限制在哪里(如果您申请)
边?-首先,现在,即使是我们人工收集的最强大的东西
比我们的大脑更小。
第二点与我们不了解它们为什么起作用的事实有关。 它是分开的
大范围的研究。
-好像他们已经开始讲了。-首先,他们找出了有效的方法,然后才开始弄清楚它是如何起作用的。
关于如何可视化神经网络的操作,存在单独的指导。 有一个单独的
一种称为信息分解的数学形式主义,试图描述
如何将信息分解为网络中的不同流以了解什么
发生了什么层。 对于图像,它开始出现,最后一个出现
几年 随着文本,它变得越来越难。
我们为什么不了解它是如何工作的? 因为我们数学不好
结果可以向我们解释一切。 我们没有证明定理可以说
它的工作原理。 因为,例如,在卷积神经网络的层次上:
图片上画了一条狗。 这张图片有很多像素,每个像素
像素有很多值。 如果您组合尝试计算数量
像素组合仍然会增加狗的选项-您会感到疲倦。 在
您应该具有相当大的尺寸空间和很多选择
决定。 此外,如果您开始训练带有数字的卷积神经网络
参数远小于您训练的狗的潜在图像数量
以相对简单的方式。 她在出口告诉你,是狗还是不是狗,但是
你告诉她是或否。 突然过了一会儿,她可以
在她看不见的狗的照片上提供非常好的质量。
-泛化程度出乎意料地高吗?-是的,这是出乎意料的泛化程度。 每个人都对它起作用的事实感到满意,每个人
将其应用于任何地方,但要严格证明其数学结果,这将
解释了为什么可以进行这种程度的概括,否。 有几种假设,一种
在我看来,其中最有趣的是。 不是每个人都在发生什么
神经元,以及如何连接这些神经元。 显然,网络的结构对您而言
使您可以在一定程度上实现一定的概括。 很有趣
假设,因为如果它是真的,那么它与神经生理学紧密相关,然后
您可以尝试神经生理学的其他方法。 还有一些
假设,但这是一个问题:人们现在每月要写几千篇关于它如何
工程。
-感觉Python是一种AI语言。 这是意外吗? 为何
毕竟,Python有很多Basic。-因为现在数据科学家的大量工作相当于
原型制作。 使用Python进行原型制作很方便,它是作为一种语言创建的
原型,而不是作为工业解决方案的语言。 我们在ABBYY有人
用Python进行原型制作的人,还有用C ++编写最终模型的人,
正在实施。 Python社区正在积极利用这一浪潮,并获得了积极的反馈。 有一种需求,即数据科学越来越多地基于
分别地,Python社区开始充满尝试者
发展语言本身。 所有这些都已连接。
-当我们谈论原型时,涉及到运行大型
测试次数,实验次数。 计算存在问题
资源。-计算资源本身已经变得更便宜,有些云解决方案使
他们负担得起的。 粗略地说,可以上网的学生可以简短地
金钱来获得功能强大的服务器,以便驱动其中的某些设备
获取模型,然后将AI固定到咖啡机上。 有很多因素
互相开车。 由于存在互联网,进入编程和进入的门槛
技术。 许多相对便宜的铁出现了,它也进入了
云。 你可以买时间,而不是铁。 许多实时数据已经出现。
例如,在80年代,参与数据科学的人们有一个基本问题:
取数据? 现在,对于一堆已应用的任务,可以清楚地找到它们。
机器学习的关键元素:算法,数据和硬件
该算法有效。 这三个选项都变得更加易于使用。 在这种情况下,算法已变为
从某种意义上讲,这是价格更实惠的解决方案,因为有质量好的盒装解决方案。 他们是
用一种直观的简单语法实现的语言,低
入门级课程和大量教育资源。
-微软公司的人讲述了一个小组如何利用神经网络的故事
以及一家提供面包的小型简单公司的商业模式。 从棍子和
的绳索,结果是建立了一个优化该业务的模型,并给了+ 10%
效率。 这样的图片更有可能是例外还是规则?-这是一条规则。 在我看来,凯利(著名的未来学家)在
他说,未来的AI将在20年后以相同的方式对待我们
我们对待那些互联网先驱者。 我们现在说的是:“在90年代,
e年从事互联网业务。” 在20年后,他们也会对我们说:
与AI开展业务很容易。 他采取了一切措施,在其中添加了AI并成为该领域的领导者
类别。” 至少这是凯利的观点,我也同意。
-您和我经历了行业中发生的一些事情,并看到了这一点
现在是商品的画面曾经是最先进的。 根据他的
经验,我们可以为现在成为AI技术一部分的人提供建议吗
他们应该如何移动?-我有两个对我来说似乎很合理的提示。 首先,不要在角落里做任何事。
找到几个志同道合的人,互相合作,展现自己
您在更广泛的社区中正在做什么。 其次,少考虑
您将使用的特定模型,因为它们会发生变化,
越来越好。 如果您现在还无法自己提高自己的水平,那么您
您无需了解此模型的确切工作原理以及为何会更好。 你需要
多考虑您要解决的问题。