Tradução automática neural do Google

O relatório foi escrito em dezembro de 2017.

Não é quem tem o melhor algoritmo que vence. É quem tem mais dados. O vencedor não é quem tem o melhor algoritmo, mas quem tem mais dados. Andrew Ng, professor de aprendizado de máquina na Coursera.

Se você aumentar o tamanho do modelo e a quantidade de dados com os quais você o treina, poderá aprender distinções mais refinadas ou recursos mais complexos. ... Esses modelos geralmente podem ter muito mais contexto. Jeff Dean, um engenheiro que ajuda a liderar a pesquisa no Google. Se você aumentar o tamanho do modelo e fornecer mais dados para treinamento, ele começará a distinguir entre recursos mais sutis e complexos. ... Esses modelos costumam ter um contexto mais amplo. Jeff Dean, um engenheiro que ajuda o gerenciamento de pesquisas do Google.

Testei o Google Translate nos mesmos textos em março e dezembro de 2011, janeiro de 2016 e dezembro de 2017. Ela pegou as mesmas passagens em inglês, russo, alemão, francês, ucraniano e polonês e traduziu cada uma para as outras cinco línguas da amostra. Além disso, em dezembro de 2017, ela também pegou novos textos e testou em todas as direções da tradução. Os resultados da verificação cruzada geralmente coincidiram com as tendências na amostra inicial. O resultado foi uma parte do trabalho do tradutor do Google para 2011 - 2017 e, com base nesses materiais, podemos tirar conclusões sobre a evolução do serviço e comentar as declarações de marketing da empresa (as cotações estão planejadas para serem publicadas separadamente).

Crônica de eventos

Até 2011 (e possivelmente mais tarde), o Google afirmou que o tradutor estatístico é autodidata (veja as citações correspondentes dos funcionários no meu artigo "Compatibilidade de idiomas", [1]) e que, à medida que textos paralelos se acumulam em cada idioma Além disso, a qualidade do produto tem buscado constantemente um nível humano apenas por meio de uma abordagem estatística inovadora. Em 2012, o Google lançou uma rede neural de auto-aprendizado [6] e em setembro de 2016 eles anunciaram a transferência de seu tradutor de máquinas para o aprendizado profundo, o que novamente promete um aumento constante na qualidade do produto [3, 4, 5]. Desde março de 2017, a rede neural começou a ser usada para tradução para o russo.

Vejamos o que o tradutor do Google gerenciou especificamente ao longo dos anos, quais são seus pontos fortes (ninguém nega que este seja um dos melhores tradutores de máquina).

Retrospectiva

Ano 2011

(Com base no meu artigo de 2012, [1].)

A tradução em muitos pares de idiomas passa por uma tradução intermediária para o inglês com o efeito de um "telefone quebrado"

Ao traduzir nessas direções, o idioma inglês atua como um "intermediário": o texto é traduzido primeiro para o inglês e somente depois para o idioma selecionado da tradução. Uma versão distorcida em inglês é traduzida para o idioma de destino, com fragmentos imprecisos inevitáveis ​​durante a tradução automática. Assim, uma segunda camada é sobreposta à "deformação primária". Como resultado, o mesmo texto fica mais distorcido quando traduzido para alemão, francês e outros idiomas do que para o inglês.

Pegamos a frase em inglês recebida [tradução do russo] e traduzimos o serviço para alemão e francês. O resultado é 100% o mesmo que o indicado na terceira e quarta linhas da tradução, supostamente do russo. Erros nas traduções em alemão e francês estão correlacionados com as imprecisões e a estrutura da frase em inglês, mas não do original em russo.

Quando a ordem das palavras no texto em inglês é perturbada, as formas das palavras e sua sequência não são um indicador confiável do papel dessas palavras na frase [com tradução adicional para os idiomas de destino].

A tradução estatística é ideal entre idiomas relacionados

A tradução do Google do russo para o ucraniano e vice-versa é a correção mais "intuitiva" de todas as consideradas, mais próxima do produto final, possui menos distorção do significado ou das regras do idioma, tradução menos literal.

A "conversão" correta das construções gramaticais de um idioma por meio de outro é o limite para a tradução automática estatística. Essa restrição não é eliminada mesmo com base em idiomas relacionados e cria mais "ruído" na interpretação, menos similaridade gramatical dos idiomas em um par.

O Google pode continuar analisando documentos da web, preenchendo o banco de dados de correspondência, mas eles não melhorarão a tradução apenas "otimizando os resultados da pesquisa". Você não pode criar um banco de dados de tradução para todas as frases possíveis. Isso significa que uma certa porcentagem significativa de frases, frases, a máquina deve ser composta de forma independente e não preparada, e isso significa que o desenvolvedor precisa ensinar a gramática da máquina de outras maneiras "não estatísticas".

Inglês é o idioma principal no Google Translate

A tradução de Inglês para Inglês no Google Tradutor é direta, sem a mediação de outro idioma. Isso fornece uma boa qualidade, na qual as vantagens do serviço são especialmente visíveis: geralmente a tradução correta de nomes e termos, unidades fraseológicas, o uso da fala ao vivo em contraste com a tradução literal, muitas vezes a escolha correta do significado lexical, dependendo do contexto.

Traduzido em outras áreas do idioma, "inglês-centricity" é o maior resultado negativo do trabalho do Google Translate. A tradução para fora do inglês ou do inglês ainda não é a mais bem-sucedida: o texto sofre dupla distorção devido ao fato de o original não ser traduzido diretamente para o idioma de destino, mas de uma tradução quebrada “intermediária” para o inglês. Uma das opções para melhorar a qualidade da tradução no serviço pode ser “descarregar” o inglês e criar “ninhos” em outros idiomas importantes: um dos eslavos, turcos, romances etc.

Melhoria significativa na qualidade das traduções não ocorre ao longo do tempo

Traduções do mesmo texto em momentos diferentes (março, outubro e dezembro de 2011) demonstraram a regularidade do desenvolvimento da tradução estatística do Google. Nas traduções posteriores, havia uma variedade visivelmente maior de vocabulário, mas, em geral, em termos de precisão e clareza, elas não eram muito melhores, e até piores em alguns lugares.

Ano 2016

O Google remove repetições da tradução; frase melhor construída e coerente, às vezes uma melhor escolha de palavras; às vezes, reverter para uma tradução com menos sucesso ("ferramenta de pedra" em vez de "ferramenta de pedra" em 2011); às vezes, uma interpretação menos bem-sucedida do papel do membro da sentença às vezes é mais. Total: em alguns lugares, é melhor, em alguns lugares, pior do que as traduções de 2011, mas em geral o nível e o teto são os mesmos.

Ano 2017

O inglês como idioma intermediário mantém seu papel, mas está perdendo terreno

Há mais variações, desvios da tradução intermediária em inglês. Muitas vezes, essas experiências não são bem-sucedidas, ou seja, se a tradução para o idioma de destino ainda estivesse seguindo cegamente o inglês, o resultado seria melhor. No entanto, o "domínio" da gramática do idioma de destino melhorou em paralelo: se o texto na versão em inglês for adequadamente decodificado, você poderá ter 90% de certeza de que as terminações corretas serão colocadas em traduções para outros idiomas, ferramentas lexicais apropriadas serão selecionadas e a ordem ideal das palavras será construída. Se em inglês "mingau" ... Não, o mingau nos resultados de 2017 não está mais lá e isso é uma grande conquista. Se houver uma pequena falha na tradução para o inglês, na tradução para os idiomas de destino, de acordo com a lei de um telefone com defeito, o mal-entendido é intensificado. No entanto, a distorção (escolha incorreta de palavras) nos idiomas de destino também é encontrada na tradução perfeita para o inglês.

Comparado às traduções de 2011 - 2016, a natureza dos desvios da tradução para o inglês em 2017 é tal que parece que 1) eles estragaram o “randomizador”, 2) o tradutor processa o texto em várias etapas e pode distorcer partes individuais no processo ou, pelo contrário, refiná-las valor de acordo com a fonte, não o intermediário inglês.

No entanto, a estrutura das frases e a escolha do vocabulário nos idiomas de destino ainda são amplamente determinadas pela tradução em inglês, e traduções para idiomas usando o alfabeto latino às vezes contêm peças em inglês que não estavam no original.

A tendência de gerar texto no idioma de destino de acordo com as leis de sua gramática
A correlação entre traduções de um texto para idiomas diferentes é menor do que antes. O serviço não traduz literalmente, o resultado se tornou mais gratuito: reformulação adequada, rearranjo de palavras, rearranjo de palavras do começo ao fim da frase, se as regras do idioma exigirem (em alemão, isso é implementado de maneira excelente). Em contraste com o nível anterior (tradução baseada em frases - correspondência única de palavras e frases individuais), o tradutor neural até certo ponto transforma as frases, as analisa como um todo e estabelece a correspondência “de ponta a ponta” em várias etapas (final- mapeamento de ponta a ponta - conversão de ponta a ponta, ciclo completo, transformação contínua de uma variedade de dados, de entrada em saída).

Análise mais precisa da estrutura das frases e palavras

A principal conquista nos resultados da tradução de 2017 é um reconhecimento mais sólido e confiante da estrutura da frase e a transmissão de significados gramaticais nos idiomas de destino. Em inglês, os finais não desempenham um papel tão importante na transmissão de significados gramaticais como em russo, alemão, polonês e ucraniano. No entanto, durante a “varredura” através da rede neural, as conexões gramaticais começaram a “se perder” com menos frequência do que durante a tradução estatística. As palavras de múltiplas raízes raramente usadas também começaram a ser reconhecidas: o tradutor lida bem com a divisão não apenas de frases, mas também de palavras.
No entanto, a "habilidade" da análise depende em grande parte do idioma. É melhor e mais consistentemente implementado em alemão e polonês do que em russo (mas também não é ruim). Nas traduções do ucraniano, às vezes funciona, depois é francamente problemático (em tais fragmentos o nível é pior do que nas traduções dos anos anteriores).

A qualidade da tradução aumentou significativamente no ano passado

Em 2011 - 2016, as traduções de frases complexas para o inglês continham apenas uma aparência de conectividade: as palavras e frases traduzidas foram agrupadas em uma ordem ligeiramente ajustada, mas não havia um "entendimento profundo" da estrutura e, às vezes, a tradução parecia suave apenas porque em inglês geralmente não era finais são necessários, e a ausência de palavras de serviço em alguns estilos é permitida. Mas esse "mal-entendido" sempre se manifestou em outras traduções para os idiomas de destino. Nas traduções para dezembro de 2017, a estrutura da sentença em inglês está melhor alinhada - e melhor interpretada em outros idiomas. A qualidade nesses idiomas melhorou proporcionalmente: um pouco menor que o inglês, mas muito mais alto que o anterior, mas há omissões e desvios esporádicos do inglês (na maioria dos casos, sem êxito).

Algumas posições sobre precisão lexical são perdidas em comparação com as traduções de 2011 e 2016, mas a clareza geral do texto final é mais importante do que o fato de o tradutor exibir o conhecimento de termos e expressões individuais. Em 2011, no contexto de outros tradutores de máquina, um trabalho de qualidade com vocabulário e fraseologia foi uma conquista. Somente os melhores conseguiram encontrar correspondências exatas de frases estáveis, nomes próprios e termos. No entanto, correspondências individuais com incoerência geral não foram suficientes. Era necessário reforçar o "conhecimento da gramática". Durante os cinco anos de “autotreinamento” do tradutor estatístico (de 2011 a 2016), não houve aumento na conectividade. Um salto qualitativo ocorreu após a integração com a rede neural (ou seja, coincidiu). Agora, nas amostras que tirei em 3 de dezembro de 2017, posso confirmar que a super tarefa se tornou mais viável: um "computador" (em vez de uma grande rede de computadores) pode reconhecer texto sem a ortografia trabalhosa das regras manualmente. (Mas, às vezes, ele está enganado. Portanto, é melhor dar a ele textos de maneira mais simples, sem frases ornamentadas com cinco linhas.)

Se em 2011 e 2016 a parcela de “lugares escuros” (conjunto incoerente de palavras) nas amostras de tradução para todas as línguas que eu peguei foi de 1 2 fragmentos por texto com um comprimento de 65 a 90 palavras, então em 2017 não havia “lugares escuros”. (Não tomei trocadilhos e outras expressões obscuras para a tradução, mas textos simples. Uma tradução incorreta e até cômica de palavras e frases individuais ainda ocorre, mas não leva à criação de "lugares escuros".) Lendo a tradução, você entende o que discurso, mesmo que seja desajeitado. Além disso, a qualidade da tradução para o inglês é maior do que em outros idiomas de destino.

Se em 2011 a principal característica do tradutor do Google foi encontrar correspondências ideais nesse contexto entre idiomas (nível lexical e frasal), então em 2017, tendo perdido um pouco de precisão lexical, o tradutor ganhou impulso na análise de frases e na transferência de relações gramaticais.

Em 2011, o serviço às vezes percebia partes de uma frase complexa como isoladas e simplesmente amarrava sua tradução uma após a outra em uma cadeia. Em 2017, tendo resolvido esse problema, ele também isola melhor as peças realmente estranhas para que elas não criem "ruído". São manchas de palavras em outro idioma e erros de digitação. Isso aproxima a máquina do nível de uma pessoa: se não ouvimos algumas palavras na frase, em regra, isso não nos impede de captar o significado geral.

A tradução para Ucraniano foi "desamarrada" do idioma intermediário russo

Anteriormente (até a penúltima “medição” em janeiro de 2016), as traduções para ucraniano e russo coincidiam em 99,9% e, mesmo que isso reduzisse a qualidade da tradução para ucraniano, não era significativa, apesar do fato de a tradução ter sido primeiro separada da original por Inglês e depois para russo ("terceira água com geléia").

Agora há uma dispersão entre as traduções de um texto para o russo e o ucraniano. Em vez de seguir cegamente a tradução para o russo, o ucraniano agora segue seu próprio caminho. Às vezes, isso significa que ele simplesmente contém mais traduções e formas de palavras incorretas. Às vezes - que não há erros nele em russo.

Anteriormente, uma tradução incorreta, se houvesse, então imediatamente em todos os idiomas: no mesmo local, o mesmo erro. Isso ocorreu devido a um "engate" na tradução para o inglês. Agora, os erros aparecem esporadicamente: em um idioma e depois em outro, quando tudo está correto em inglês e em outros idiomas de destino. Em ucraniano, isso acontece com muito mais frequência do que em outros idiomas da amostra. Além disso, na tradução de três textos diferentes do ucraniano para o alemão, o francês e o polonês, existem muitas distorções absurdas, que não são traduzidas para o inglês. Além disso, emparelhado com o ucraniano, cerca de um terço dos nomes são distorcidos, embora a transferência exata de nomes seja um recurso tradicional do Google de "tempos imemoriais". Exemplos: Bloodd em vez de Bloodood, Daphne du Morley em vez de Daphne de Maurier, Racine em vez de Rachel; em outros lugares, Rachel foi escrita corretamente apenas em inglês, mas Racch apareceu em alemão, francês e polonês). Sugeri que essas distorções não são um erro do glossário, mas uma falha do sistema "situacional" e, em outro texto, o mesmo nome pode ser transferido corretamente. A hipótese foi confirmada, exceto no caso de Daphne du "Morley".

O tradutor neural não opera com significados

O tradutor estatístico trabalhou bem com o reconhecimento de termos, nomes, frases e muitas vezes escolheu com sucesso os significados das palavras no contexto de uma frase. Os problemas começaram quando não era possível interpretar corretamente a relação entre as palavras, seu papel gramatical. Nas traduções de 2017, é notável uma melhoria significativa nessa direção, ou seja, lugares não reconhecidos se tornaram menos. Esta tradução é adequada? Na verdade não. O tradutor neural está vinculado à estrutura da sentença. Ele faz um bom trabalho ao transformar construções de linguagem de linguagem para linguagem. O serviço assume o significado não de uma frase ou parágrafo, mas de segmentos menores (que ficou muito melhor para definir) e "cola" peças de acordo com as regras gramaticais do idioma de destino.

Esses produtos ainda ajudam a entender o original, mas não um texto de alta qualidade (embora algumas das frases possam ser perfeitamente traduzidas).

O que está faltando?

Tradutores profissionais são ensinados a transmitir significado em suas próprias palavras, sem estarem ligados à estrutura da frase de origem. Uma tradução adequada deve passar da transmissão palavra por palavra e frase a transformações semânticas.

Quantas fases intermediárias, do estágio atual de desenvolvimento da tradução automática à literária, que implica a posse de normas de estilo e a transferência de imagens? Tanto quanto antes da criação da inteligência artificial, capaz de raciocinar.
Às vezes, parece-me que as normas linguísticas mudam mais cedo. Devido ao fato de lermos muitas "sub-traduções" do inglês, nossa língua materna pode se tornar mais tolerante com o inglês - não apenas para frases individuais, mas também para a estrutura estrangeira das frases. As línguas que são formadas com base na língua do colonialista e na língua da população local são chamadas pidjins. Eles pegam neologismos do colonizador; a gramática deixa a sua. Um exemplo vívido: um discurso de nossos ex-concidadãos em Brighton Beach (e em outros locais de residência no exterior) ou um escritório grosseiro: finais russos “se apegam” às palavras em inglês. Validar, anexar, compartilhar etc.

O que acontece na tradução automática é o processo oposto: as palavras em russo com finais em russo formam frases um pouco estranhas, mas compreensíveis. Nós não dizemos isso. Mas você pode entender. É como a fala de um estrangeiro que fala bem russo: parece que não há sotaque, e o vocabulário é chique, e as formas das palavras estão corretas, mas às vezes “eu tomo banho”, “eu tomo um táxi”, “honrar esse princípio exige que tentemos um novo método de persuasão " Esse nível ainda é o limite para o tradutor neural. Escusado será dizer que esta é uma barra muito alta? Além disso, o serviço "possui" nesse nível mais de cem idiomas e adiciona novos com relativa facilidade. "Tradutor com sotaque inglês."

O que exatamente falta ao nível da tradução literária

Para deixar claro o que os tradutores reclamam, em conclusão darei exemplos de tradução automática e não automática do inglês para o russo.

Ninguém refletindo sobre sua vida jamais desejou que houvesse menos momentos assim.
Google: Ninguém refletindo sobre sua vida jamais sonhou que havia menos desses momentos.
Humanos: Olhando para a vida passada, ninguém dirá que houve muitos momentos assim.

A civilização é apenas um verniz sobre um núcleo violento?
Google: A civilização é apenas um verniz sobre um núcleo feroz?
Humano: O homem é um animal cruel sob uma fina camada de civilização? // Uma pessoa sob uma fina camada de civilização é uma fera cruel?

Referências

1. Google Translate, 2012
2. : 7 -, 2012
3. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation, 2016
4. Google's Multilingual Neural Machine Translation System: Enabling Zero-Shot Translation, 2016
5. A Neural Network for Machine Translation, at Production Scale, 2016
6. Google Puts Its Virtual Brain Technology to Work, 2012
7. Google Translate , 2016
8. (), 2017
9. Arquiteturas de redes neurais [sobre a estrutura GNMT], 2017