Google神经机器翻译

该报告写于2017年12月。
不是谁拥有最好的算法才能获胜。 谁拥有最多的数据。 获胜者不是拥有最佳算法的人,而是拥有更多数据的人。 Coursera机器学习讲师Andrew Ng。
如果同时扩大模型的大小和训练模型的数据量,则可以了解更好的区别或更复杂的功能。 ...这些模型通常会占用更多上下文。 杰夫·迪恩(Jeff Dean),帮助Google进行这项研究的工程师。 如果您增加模型的大小并为其提供更多数据进行训练,它将开始在更细微和复杂的功能之间进行区分。 ...这些模型通常具有更广泛的背景。 Jeff Dean,帮助Google研究管理的工程师。
我在2011年3月和2011年12月,2016年1月和2017年12月对相同文本进行了Google Translate测试。 她用英语,俄语,德语,法语,乌克兰语和波兰语采了同样的段落,并将每个样本翻译成样本中的其他五种语言。 此外,在2017年12月,她还接受了新文本并在翻译的各个方向进行了测试。 交叉验证结果通常与初始样本中的趋势一致。 结果是Google翻译人员2011年至2017年工作的一部分,根据这些材料,我们可以得出有关服务发展的结论并评论公司的市场声明(报价计划单独发布)。

大事记


直到2011年(可能以后),Google才声称统计翻译是自学的(请参阅我的文章“语言兼容性” [1]中来自员工的相应引文),并且每种语言的并行文本都在累积因此,仅通过创新的统计方法,产品质量就一直在稳步提升到人类水平。 Google在2012年启动了自学习神经网络[6],并在2016年9月宣布将机器翻译器转换为深度学习,这再次保证了产品质量的稳定提高[3,4,5]。 自2017年3月起,神经网络开始用于翻译成俄语。

让我们看一下Google翻译器多年来专门管理的东西,它的优势是什么(没有人否认这是最好的机器翻译器之一)。

回顾性


年2011


(基于我在2012年的文章[1]。)

许多语言对的翻译经过“断电话”的影响,经过中间翻译成英语


在这些方向上进行翻译时,英语充当“中介”:首先将文本翻译成英语,然后再翻译成所选的翻译语言。 变形的英语版本被翻译成目标语言,机器翻译过程中不可避免地会出现不正确的片段。 因此,第二层叠加在“主要变形”上。 结果,同一种文本在翻译成德语,法语和其他语言时比翻译成英语时更加失真。

我们采用收到的英语短语[俄语翻译],并将服务翻译成德语和法语。 结果与译文的第三和第四行给出的结果100%相同(据称是俄语)。 德语和法语翻译中的错误与英语短语而不是俄文原文的准确性和结构有关。

当英语文本中的单词顺序受到干扰时,单词形式及其顺序并不能可靠地表明这些单词在句子中的作用[需要进一步翻译成目标语言]。

统计翻译在相关语言之间是最佳的


Google从俄语到乌克兰语的翻译,反之亦然,这是所有翻译中最“直观”的,最接近最终产品的正确性,它对语言的含义或规则的失真较小,字面翻译较少。

一种语言通过另一种语言的语法结构的正确“转换”是统计机器翻译的极限。 即使基于相关语言,也无法消除这种限制,并且会在解释中产生更大的“噪音”,使成对语言的语法相似性降低。

Google可以继续分析Web文档,填充通讯数据库,但仅靠“优化搜索结果”就无法改善翻译。 您无法为所有可能的短语创建翻译数据库。 这意味着机器中一定比例的句子,词组必须独立组成,并且没有准备好,这意味着开发人员需要以其他“非统计”方式教授机器语法。

英语是Google翻译的核心语言


Google Translate中的英语到英语的翻译是直接的,无需其他语言的中介。 这提供了良好的质量,其中服务的优势尤为明显:经常正确地翻译名称和术语,措词单位,与文字翻译相反地使用现场演讲,经常根据上下文正确选择词汇含义。

在其他语言领域中,“以英语为中心”是Google翻译工作中最大的缺点。 转换成非英语或非英语不是最成功的:由于原始文档不是直接翻译成目标语言,而是从“中级”直接翻译成英语,因此文本经历了双重变形。 改善服务翻译质量的一种选择是“卸载”英语并围绕其他主要语言创建“嵌套”:斯拉夫语,突厥语,罗曼语等之一。

随着时间的推移,翻译质量不会显着提高


同一文本在不同时间(2011年3月,2011年12月)的翻译显示了Google统计翻译发展的规律性。 在后来的翻译中,词汇的种类明显增多,但总的来说,就准确性和清晰度而言,它们并没有好得多,甚至在某些地方更差。

年份2016


Google从翻译中删除重复项; 更好地构建,连贯的句子,有时更好地选择单词; 有时回滚到不太成功的翻译中(2011年用“石头工具”代替“石头工具”); 有时对句子成员角色的解释不太成功,有时更多。 总计:在某些地方比2011年的翻译更好,在某些地方更差,但总体而言,水平和上限是相同的。

年份2017


英语作为一种中间语言仍然保留着它的作用,但正在逐渐消失


与英语中间翻译有更多的差异和偏差。 这些实验通常都是不成功的,也就是说,如果仍然盲目地将英语翻译成目标语言,结果会更好。 但是,同时改进了目标语言的语法“掌握”能力:如果英语版本的文本得到了充分的解码,那么您可以90%地确定将正确的结尾放在翻译成其他语言的翻译中,将选择适当的词汇工具,并建立最佳的单词顺序。 如果用英语“稀饭” ...不,2017年结果中的稀饭不再存在,这是一个巨大的成就。 如果英语翻译中出现小故障,则在按照目标的语言将其翻译为目标语言时,误解会加剧。 但是,在完美的英语翻译中也发现了目标语言中的变形(错误的单词选择)。

与2011年至2016年的翻译相比,2017年与英语翻译的差异似乎是这样的:1)他们搞砸了“随机化器”; 2)译员分几个阶段处理文本,并且可以使过程中的各个部分变形,或者相反,对其进行改进价值根据来源而不是英语中介机构。

尽管如此,目标语言中句子的结构和词汇的选择仍然很大程度上取决于英语翻译,并且使用拉丁字母翻译成语言的语言有时包含的不是英文原文。

倾向于根据其语法法则以目标语言生成文本
将一种文本翻译成不同语言之间的相关性比以前少。 该服务不逐字翻译,结果变得更加自由:如果语言规则要求,则可以适当地重新措辞,重新排列单词,从句子的开头到结尾重新排列单词(德语非常出色)。 与上一级别(基于短语的翻译–单个单词和短语的一次性匹配)相比,神经翻译器在某种程度上对句子进行了转换,将它们作为一个整体进行分析,并在多个阶段(从结尾到结尾)建立了“从头到尾”的对应关系。端到端映射-端到端转换,完整周期,从输入到输出的各种数据的连续转换)。

更准确地分析句子和单词结构


2017年翻译结果的主要成就是对句子结构和目标语言的语法含义的传递更加牢固,自信的认识。 在英语中,结尾在俄语,德语,波兰语和乌克兰语的语法含义传达中不那么重要。 然而,在通过神经网络进行“扫荡”期间,语法联系开始“迷失”的频率比在统计翻译过程中的发生率低。 很少使用的多词根词也开始被认可:翻译者不仅能很好地应对句子的划分,而且还能应付单词的划分。
但是,分析的“技能”在很大程度上取决于语言。 与俄语相比,它在德语和波兰语中的实施效果更好,更一致(但也不错)。 在乌克兰语的翻译中,有时会起作用,然后坦率地说是越野车(在这样的片段中,其水平比前几年的翻译要差)。

在过去一年中,翻译质量显着提高


在2011年至2016年间,将复杂短语翻译成英语仅具有某种连接性:翻译后的单词和短语以略有调整的顺序串在一起,但对结构没有“深入的理解”,有时翻译看起来很流畅,只是因为英语通常不需要以结尾结尾,并且允许某些样式的服务词不存在。 但是,这种“误解”一直在进一步翻译成目标语言时得到体现。 在2017年12月的翻译中,英语句子的结构更好地对齐-更好地解释为其他语言。 这些语言的质量成比例地提高了:略低于英语,但比以前的语言要高得多,但偶尔会遗漏和偏离英语(大多数情况下是不成功的)。

与2011年和2016年的译文相比,在词汇准确性上的某些立场被遗忘了,但是最终文本的总体清晰度比译者炫耀单个术语和表达的知识更为重要。 2011年,在其他机器翻译的背景下,词汇和词组的高质量工作取得了巨大成就。 只有最优秀的人才能够找到稳定短语,专有名称和术语的精确匹配。 但是,具有普遍不连贯性的个人信件是不够的。 有必要加强“语法知识”。 在统计翻译员的五年“自学”期间(从2011年到2016年),连接性没有增加。 与神经网络整合后(或同时发生)发生了质的飞跃。 现在,以我在2017年12月3日拍摄的样本为例,我可以确认超级任务变得更加容易实现:“计算机”(而不是庞大的计算机网络)可以识别文本,而无需人工费力地拼写规则。 (但是有时他会弄错。因此,最好给他简单的文本,不要有五行长的华丽句子。)

如果我在2011年和2016年翻译成所有语言的样本中“暗处”(不连贯的单词集)的份额为每个文本1 2个片段,长度为65-90个单词,那么在2017年就没有“暗处”。 (我在翻译时没有使用双关语和其他粗俗的表达方式,而是纯文本。个别单词和短语的翻译仍然不正确,甚至是喜剧性的翻译,但这并不会导致“暗处”的产生。)阅读翻译后,您了解什么演讲,即使很笨拙。 而且,翻译成英文的质量比其他目标语言要高。

如果说Google翻译的主要功能是在2011年在这种情况下找到语言之间的理想匹配(词汇,短语层次),那么在2017年,由于词汇准确性有所下降,翻译在语法分析和语法关系转移方面获得了发展势头。

在2011年,该服务有时将复杂句子的各个部分视为孤立的,只是简单地将它们的翻译逐个串成一个链。 在解决了这个问题之后,2017年,它还更好地隔离了真正的异物,以免它们产生“噪音”。 这些是另一种语言和拼写错误的单词斑点。 这使机器更接近人的水平:通常,如果我们听不到句子中的几个单词,这不会阻止我们理解一般含义。

俄语中介语“统一”到乌克兰语翻译


以前(直到2016年1月倒数第二次“计量”),翻译成乌克兰文和俄文的比率达到了99.9%,即使这降低了翻译成乌克兰文的质量,也没有太大的意义,尽管事实上该翻译最初是与原文分开的。英语,然后俄语(“果冻中的第三水”)。

现在,在将一种文本翻译成俄语和乌克兰语之间存在分散的关系。 现在,乌克兰人不再盲目地遵循俄语翻译,而是按照自己的方式行事。 有时,这意味着它仅包含更多不正确的翻译和字词形式。 有时-在俄语中没有错误。

以前,如果有不正确的翻译,则会立即以所有语言显示:在同一位置出现相同错误。 这是由于英文翻译中的“ hitch”。 现在,错误偶尔会出现:用一种语言,然后用另一种语言,当英语和其他目标语言都没问题时,错误就会出现。 与样本中的其他语言相比,在乌克兰语中发生这种情况的频率更高。 此外,从乌克兰语到德语,法语和波兰语的三种不同文本的翻译中,有许多荒谬的变形,这些变形没有翻译成英文。 同样,与乌克兰人配对,大约三分之一的名称被扭曲了,尽管名称的确切转移是Google从“远古时代”开始的一项传统功能。 例如:用鲜血代替血腥,用达芙妮·杜莫利代替达芙妮·德·毛里埃,用拉辛代替拉结; 在其他地方,Rachel仅用英语正确拼写,但是Racch用德语,法语和波兰语出现)。 我建议这种失真不是词汇表错误,而是“情境”系统故障,并且在另一文本中,可以正确地传递相同的名称。 除了达芙妮·杜“莫利”的情况外,该假设得到了证实。

神经翻译器没有意义


统计翻译器在识别术语,名称,短语时工作得很好,并且通常在句子的上下文中成功地选择了单词的含义。 当无法正确解释单词之间的关系,它们的语法作用时,问题就开始了。 在2017年的翻译中,该方向的显着改善是显而易见的,即,无法识别的位置变得越来越少。 这是足够的翻译吗? 不完全是 神经翻译器与句子的结构有关。 在将语言结构从一种语言转换到另一种语言方面,它做得很好。 该服务不具有句子或段落的含义,而是具有较小的句段(定义起来更好)的含义,并根据目标语言的语法规则“粘合”片段。

这样的产品仍然有助于理解原文,但不是高质量的文本(尽管某些句子可以完美翻译)。

缺少什么?


专业翻译人员被教导用自己的语言传达含义,而不必与源句结构联系在一起。 适当的翻译应从逐字逐词的传输到语义转换。

从机器翻译发展的当前阶段到文学阶段有多少个中间阶段,这意味着拥有样式规范和图像转移? 与创建人工智能之前一样,能够推理。
在我看来,有时语言规范会更早地改变。 由于我们从英语中读取了很多“翻译不足”的事实,我们的母语可以变得更加宽容英语主义-不仅对单个短语,而且对短语的外来结构也是如此。 根据殖民主义者的语言和当地居民的语言形成的语言称为pidjins。 他们从殖民者那里获得新词; 语法留给自己。 一个生动的例子:我们的前同胞在布莱顿海滩(以及在国外的其他居住地)上的讲话或办公室里的陈词滥调:俄语结尾“附在”英语单词上。 验证,追加,共享等

机器翻译中发生的过程是相反的过程:带有俄语结尾的俄语单词构成了一个笨拙但易于理解的短语。 我们不这样说。 但是你可以理解。 这就像一个外国人的话说得很好,俄语说得很好:似乎没有口音,词汇别致,字词形式正确,但有时“我洗澡”,“我乘坐出租车”,“遵守这一原则要求我们尝试一种新的说服方法”。 这个水平仍然是神经翻译器的极限。 不用说,这是一个很高的标准吗? 此外,该服务在此级别上拥有“一百多种语言”,并且相对容易地添加新语言。 “具有英语口音的翻译。”

文学翻译水平到底缺少了什么


为了弄清楚翻译员的抱怨,最后我将举例说明英语和俄语的机器翻译和非机器翻译。

没有人反思他们的生活,曾经希望这样的时刻会更少。
谷歌:没有人回想过自己的生活,梦见过这样的时刻更少了。
人:回顾过去的生活,没有人会说有太多这样的时刻。

文明只是暴力核心的单板吗?
Google:文明只是凶猛核心的单板吗?
人:人是处于薄薄文明底下的残酷野兽吗?//处于文明薄层之下的人是残酷的野兽吗?

参考文献


1. Google Translate, 2012
2. : 7 -, 2012
3. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 2016
4. Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation, 2016
5. A Neural Network for Machine Translation, at Production Scale, 2016
6. Google Puts Its Virtual Brain Technology to Work, 2012
7. Google Translate , 2016
8. (), 2017
9. 神经网络架构[关于GNMT框架],2017年

Source: https://habr.com/ru/post/zh-CN414343/


All Articles