Google Translate est connecté à un réseau de neurones

Modèle d'architecture GNMT (Google's Neural Machine Translation). À gauche, le réseau d'encodeurs, à droite, le décodeur, au milieu, le module d'attention. La couche inférieure de l'encodeur est à deux faces: les modules roses collectent les informations de gauche à droite et les vertes dans la direction opposée

. Google va transférer complètement le service Google Translate en deep learning . Une description détaillée de l'algorithme du réseau neuronal est publiée sur arXiv.org.

Selon des estimations préliminaires de Google, un réseau de neurones offre une bien meilleure qualité de traduction que les méthodes statistiques conventionnelles. Il a déjà été testé dans la paire de langues anglaise-chinoise la plus difficile, et le réseau neuronal a immédiatement réduit le nombre d'erreurs de traduction de 60%. Le résultat est impressionnant. D'autres paires de langues se connecteront au réseau neuronal au cours des prochains mois.


La structure des communications bidirectionnelles au niveau inférieur de l'encodeur

Le succès dans le domaine de la traduction automatique est une autre réalisation de l'IA, dont beaucoup s'est accumulé récemment. La technologie des réseaux de neurones entraînés est clairement en augmentation et est utilisée dans divers domaines. Une supériorité particulièrement claire sur les autres techniques informatiques a été obtenue dans la reconnaissance d'images et les jeux. Dans certaines régions, les réseaux de neurones fonctionnent encore plus efficacement que le cerveau humain, par exemple, ils battent une personne dans des jeux de société distincts.

Le réseau neuronal de Google pour la traduction automatique est appelé le système de traduction automatique neuronal (NMTS). Du tout début à la fin, la traduction du texte remplit désormais complètement le réseau neuronal. Traditionnellement, l'IA était utilisée dans Google Translate dans un mode limité, pour certaines tâches auxiliaires. Par exemple, pour comparer des textes disponibles en plusieurs langues, comme les documents officiels des Nations Unies ou le Parlement européen. Dans ce mode, la traduction de chaque mot dans les textes a été comparée.

Le réseau neuronal NMTS fonctionne à un niveau fondamentalement nouveau. Elle analyse non seulement les options de traduction existantes dans le processus d'apprentissage, mais effectue également une analyse intellectuelle des phrases, en les divisant en «segments de dictionnaire». Dans une certaine représentation au sein du réseau, ces «segments de dictionnaire» correspondent à la signification des mots .


L'animation Google montre comment une phrase chinoise est divisée en parties, puis le réseau de neurones sélectionne une traduction appropriée, en tenant compte du poids de chaque fragment dans le texte d'origine.

Dans un sens, cette approche ressemble au travail des réseaux de neurones en vision industrielle. Le système traite l'image pixel par pixel. Ensuite, le niveau de traitement augmente progressivement, atteignant des caractéristiques complexes telles que les limites des objets, les motifs géométriques, etc. Dans NMTS, le même réseau de neurones qui analyse le texte source, propose ensuite sa traduction.

Dans ce cas, les développeurs de Google ont appliqué les développements existants dans ce domaine, ainsi que plusieurs «innovations méthodologiques», commententtravaux universitaires indépendants publiés sur arXiv.org. À leur avis, le développement de Google montre un résultat "étonnant" et démontre que la traduction neuronale utilisant l'IA peut surpasser de loin la qualité des méthodes classiques de traduction automatique. Le réseau de neurones de Google améliore clairement la qualité de la traduction de plusieurs manières.

Pour optimiser, NMTS a été testé sur du matériel informatique spécialement conçu pour tester un réseau de neurones. C'est là que le réseau neuronal AlphaGo a été formé à l'époque, qui a ensuite battu Lee Sedol , l'un des meilleurs joueurs de go au monde.

Pour évaluer l'efficacité du système, les chercheurs ont sélectionné un large éventail d'offres de Wikipedia et d'articles de presse sur Internet. Ces textes ont alimenté NMTS, dans l'ancien système de traduction automatique de Google Translate, et l'ont également donné à des traducteurs humains. Dans le cadre de tests à l'aveugle, des traducteurs humains ont évalué la qualité de la traduction de chaque fragment (y compris la traduction humaine).

Exemples de traduction de textes en chinois, espagnol, français et anglais avec un système de traduction automatique conventionnel (bleu), un réseau neuronal (vert) et humain (orange)

La paire de langues anglais-chinois est connue pour sa grande complexité. Malgré une diminution significative du nombre d'erreurs, la qualité de la traduction dans cette paire de langues est encore inférieure à la qualité de la traduction des autres langues indo-européennes. Dans certaines paires de langues, la traduction NMTS est proche de la qualité de la traduction par les gens, mais les auteurs des travaux scientifiques avertissent qu'il est trop tôt pour tirer des conclusions de grande envergure, car la comparaison a été faite sur un ensemble limité de phrases simples soigneusement sélectionnées.



Le même résultat dans une forme plus visuelle.



Selon les experts, un ordinateur ne pourra approcher ou contourner une personne en termes de qualité de traduction que si des canaux supplémentaires d'informations entrantes sont connectés au système de traduction automatique. Non seulement du texte, mais aussi de la vidéo et du son. «À l'avenir, les robots seront capables de se déplacer, de manipuler des objets, de ressentir de la douleur grâce à des capteurs de douleur - et d'exprimer leurs sentiments dans le texte», explique Jürgen Schmidhuber de l'Université de Lugano (Suisse).

Le système Google Translate traite actuellement environ 10 000 paires de langues pour la traduction automatique.

Source: https://habr.com/ru/post/fr397959/