Ceci est le dernier rapport du
sixième Hyperbaton , que nous publierons sur Habré. Grigory Sapunov d'Intento a partagé une approche pour évaluer la qualité des services de traduction automatique dans le cloud, a parlé des résultats de l'évaluation et des principales différences entre les services disponibles.
- Je m'appelle Grigory Sapunov, je vais vous parler du paysage des services de traduction automatique dans le cloud. Nous mesurons ce paysage depuis plus d'un an, il est très dynamique et intéressant.
Je vais vous dire de quoi il s'agit, pourquoi il est utile de comprendre ce qui se passe là-bas, de solutions abordables, qui sont assez nombreuses, de comparer des modèles de stock, des modèles de traduction automatique pré-formés, des modèles personnalisés qui ont commencé à apparaître activement au cours de la dernière année, et je donnerai mes recommandations sur sélection de modèles.
La traduction automatique est devenue un outil très utile qui permet d'automatiser de nombreuses tâches différentes. Il ne remplace une personne que dans certains sujets, mais au moins il peut réduire considérablement les coûts. Si vous avez besoin de traduire un grand nombre de descriptions de produits ou d'avis sur un grand service Web, la personne ici n'est tout simplement pas en mesure de faire face à un flux important et la traduction automatique est vraiment bonne. Et il existe déjà de nombreuses solutions prêtes à l'emploi sur le marché. Il s'agit de modèles pré-formés, souvent appelés modèles de stock, et modèles avec adaptation de domaine, qui se sont fortement développés récemment.
Dans le même temps, créer votre propre solution de traduction automatique est assez difficile et coûteux. Les technologies modernes de traduction automatique, la traduction automatique de réseau neuronal, nécessitent beaucoup de choses à décoller à l'intérieur. Nous avons besoin de talents qui le feront, nous avons besoin de beaucoup de données pour le former et du temps pour le faire. De plus, la traduction automatique de réseau de neurones nécessite beaucoup plus de ressources machine que les versions précédentes de traductions automatiques telles que SMT ou basées sur des règles.
Dans le même temps, la traduction automatique, disponible dans le cloud, est très différente. Et le bon choix de traduction automatique vous permet de simplifier considérablement votre vie, de gagner du temps, de l'argent et, finalement, de résoudre votre problème ou de ne pas le résoudre. L'écart de qualité, dans les métriques de référence que nous mesurons, peut être quatre fois.
Dans le même temps, aux prix, l'écart peut être généralement 200 fois. Il s'agit d'une situation totalement anormale. Des prestations de qualité sensiblement égale peuvent différer 200 fois. C'est un moyen facile pour vous d'économiser ou de dépenser de l'argent supplémentaire.
Dans le même temps, les services diffèrent considérablement dans les caractéristiques des produits. Cela peut être la prise en charge des formats, la prise en charge des fichiers, la présence d'un mode batch ou son absence, c'est la quantité maximale de texte qu'un service peut traduire à la fois, et bien plus encore. Et tout cela doit être compris lors du choix d'un service. Si vous choisissez le mauvais service, vous devrez soit le refaire, soit vous n'obtiendrez pas la qualité que vous souhaitez recevoir. Par conséquent, cela se résume au fait que vous mettez quelque chose sur le marché plus rapidement, économisez de l'argent et offrez la meilleure qualité à votre produit. Ou ne fournissez pas.
Comparez ces services pour comprendre ce qui vous convient, long et coûteux. Si vous le faites vous-même, vous devez vous intégrer à tous les services de traduction automatique dans le cloud, rédiger ces intégrations, conclure des accords, organiser d'abord une facturation séparée, intégrer avec tout le monde. Parcourez ensuite tous ces services certaines de vos données, évaluez. C'est excessivement cher. Le budget d'un tel projet peut dépasser le budget du projet principal pour lequel vous le faites.
C'est donc un sujet important, mais il est difficile de le faire par nous-mêmes, et nous, ici, nous aidons à comprendre ce qui est quoi.
Il existe une gamme de technologies sur le marché. Presque tous les services sont passés à la traduction automatique de réseaux de neurones ou à une sorte d'hybride. Il existe encore un certain nombre de traducteurs automatiques statistiques sur le marché.
Chacun a ses propres caractéristiques. Les BDC semblent être une bonne technologie plus moderne, mais il y a aussi des subtilités.
En général, la traduction automatique de réseau neuronal fonctionne mieux que les modèles précédents, mais vous devez également la suivre, il y a des résultats complètement inattendus. En tant que véritable Yoda, il peut garder le silence, donner une réponse vide à une ligne, et vous devez pouvoir l'attraper et comprendre qu'il se comporte comme ça sur vos données. Ou un merveilleux exemple du commerce électronique, quand une grande description des marchandises a été envoyée à la traduction automatique, et il a simplement dit que c'était un sac à dos et c'est tout. Et c'est le comportement stable de ce service de machine, qui est bon et fonctionne très bien sur les données générales, les données d'actualité. Mais le commerce électronique ne fonctionne pas bien dans ce domaine particulier. Et vous devez comprendre cela, vous devez exécuter tous ces services sur vos données afin de choisir celui qui convient le mieux à vos données. Ce n'est pas un service qui fonctionnera mieux sur les nouvelles ou autre chose. C'est celui qui devrait mieux fonctionner dans votre cas particulier. Cela doit être compris dans chaque cas.
Il existe de nombreux niveaux de personnalisation. Niveau zéro - son absence. Il existe des modèles de stock pré-formés, ce sont tous ceux qui sont désormais déployés dans le cloud chez différents fournisseurs. Il existe une option avec des modèles entièrement personnalisés sur vos cas, lorsque vous passez une commande conditionnelle dans une entreprise spécialisée dans la traduction automatique, elle forme le modèle pour vous, à partir de vos données, à partir de zéro. Mais cela prend un temps long, coûteux, nécessite de grandes enceintes. Il y a un grand fournisseur qui vous prendra 5 000 $ pour une telle expérience, chiffres de cette commande. Des choses qui coûtent cher à essayer. Et cela ne vous garantit rien. Vous pouvez former le modèle, et il se révélera pire que celui disponible sur le marché, et l'argent sera jeté. Ce sont deux options extrêmes. Soit le modèle d'origine, soit personnalisé sur votre boîtier.
Il existe des cas intermédiaires. Il existe des glossaires, une très bonne chose qui aide à améliorer les modèles de traduction automatique actuels. Et il y a une adaptation de domaine qui se développe activement, une sorte d'apprentissage par transfert, tout ce qui est caché derrière ces mots, qui vous permet de former un modèle général ou même un modèle spécial pour recycler vos données, et la qualité d'un tel modèle sera meilleure qu'un simple modèle général. C'est une bonne technologie, elle fonctionne, elle est actuellement en développement actif. Suivez-la, je vais vous en dire plus sur elle.
Il y a une autre dimension importante, élever chez soi ou utiliser le cloud. Il y a une idée fausse populaire dans cet endroit, les gens pensent toujours que les services de traduction automatique dans le cloud, si vous les utilisez, prendront vos données et formeront leurs modèles sur eux. Ce n'est pas vrai depuis un an ou deux. Tous les principaux services ont refusé, ils ont clairement indiqué en termes de service que nous n'utilisons pas vos données pour former nos modèles. C'est important. Cela supprime un tas d'obstacles à l'adaptation de la traduction automatique dans le cloud. Vous pouvez maintenant utiliser ces services en toute sécurité et être sûr que le service n'utilisera pas vos données pour former ses modèles, et qu'il ne deviendra pas un concurrent pour vous au fil du temps. C'est sûr.
C'est le premier avantage des nuages par rapport à ce qu'il était il y a deux ans.
Le deuxième avantage, si vous déployez une traduction de réseau de neurones en vous-même, vous devez lever une infrastructure plutôt lourde avec des accélérateurs graphiques pour former tous ces réseaux de neurones. Et même après une formation pour l'inférence, vous devez toujours utiliser des cartes graphiques hautes performances pour que cela fonctionne. Cela s'avère coûteux. Le coût de possession d'une telle solution est vraiment élevé. Et une entreprise qui ne fournira pas professionnellement des API au marché n'a pas besoin de le faire, vous devez prendre un service cloud prêt à l'emploi et l'utiliser. Dans cet endroit, vous économisez de l'argent, du temps et il y a une garantie de non-utilisation de vos données pour les besoins du service.
À propos de la comparaison.
Nous traitons ce sujet depuis longtemps, un an et demi nous mesurons régulièrement la qualité. Nous avons choisi des métriques de référence automatiques, elles permettent de le faire de manière massive et obtiennent certains intervalles de confiance. Nous savons plus ou moins combien de métriques de qualité des données s'installent et nous pouvons faire un choix adéquat entre les différents services. Mais nous devons nous rappeler que les métriques automatiques et humaines se complètent. Les métriques automatiques sont bonnes pour effectuer une analyse préliminaire, choisir des endroits auxquels les gens devraient particulièrement prêter attention, puis les linguistes ou les experts du domaine devraient examiner ces options de traduction et choisir ce qui vous convient.
Je vais vous expliquer quels systèmes sont sur le marché, comment nous les avons tous analysés, comment ils se comparent aux prix, et je vais vous parler de nos résultats d'analyse, de ce qui est important ici en termes de qualité et de ce qui est important en dehors de la qualité lors du choix d'un service.
Tout d'abord, il existe déjà un grand nombre de services de traduction automatique basés sur le cloud, nous n'avons considéré que ceux dans lesquels il existe des modèles pré-formés que vous pouvez prendre et commencer à utiliser, et ils ont une API publique.
Il existe encore un certain nombre de services qui n'ont pas d'API publique ou qui sont déployés en interne, nous ne les considérons pas dans notre étude. Mais même parmi ces services, il y en a déjà un grand nombre, nous mesurons et évaluons 19 de ces services. La pratique montre que la personne moyenne connaît plusieurs leaders du marché, mais ne connaît pas le reste. Et ils le sont, et dans certains endroits, ils sont bons.
Nous avons pris la popularité des langues sur le Web et les avons divisées en quatre groupes. Les plus populaires, plus de 2% des sites, moins populaires et encore moins. Nous analysons plus en détail quatre groupes de langues, et de tout cela nous nous concentrons sur le premier groupe, les langues les plus populaires, et un peu sur le second.
Le soutien au sein des trois premiers groupes est proche de 100%. Si vous avez besoin d'une langue qui n'est pas super exotique, vous l'obtiendrez du cloud. Et si vous avez besoin d'un couple exotique, il peut s'avérer que certaines langues ne sont prises en charge par aucun service de traduction automatique de cloud. Mais même avec toutes les restrictions, environ la moitié de toutes les paires possibles sont prises en charge. Ce n'est pas mal.
Sur tout cela, nous avons testé 48 paires, constituées d'une telle matrice, sélectionnées principalement l'anglais et toutes les langues du premier groupe, partiellement les langues du premier groupe, et un peu d'anglais et les langues du deuxième groupe. Cela couvre plus ou moins les scénarios d'utilisation typiques, mais de nombreuses autres choses intéressantes restent à l'extérieur. Nous avons évalué ces paires, les avons mesurées et vous avons expliqué ce qui s'y passe. Le rapport complet est ici, il est gratuit, nous le mettons à jour régulièrement, je vais vous faire campagne pour l'utiliser.
Les nombres et les axes ne sont pas visibles sur ce graphique, mais il s'agit de prendre en charge différentes langues avec différents systèmes de traduction automatique. Il existe différents systèmes de traduction automatique le long de l'axe X, le long de l'axe Y dans l'échelle logarithmique, le nombre de paires prises en charge en général et unique. Sur cette photo, le rouge est unique, le bleu est tout. On peut voir que si vous avez une combinaison de langues très exotique, il peut s'avérer qu'en raison de l'unicité, vous devez utiliser sept fournisseurs différents, car un seul d'entre eux prend en charge la paire très spécifique dont vous avez besoin.
Pour évaluer la qualité, nous avons choisi les bâtiments de nouvelles, les bâtiments du domaine général. Cela ne garantit pas que la situation sera la même sur vos données spécifiques d'un autre domaine, probablement pas la même, mais c'est une bonne démonstration de la façon d'aborder une telle étude en général, de choisir le bon service qui vous convient. Je vais vous montrer l'exemple des zones d'actualités. Il se transfère facilement vers n'importe quel autre domaine de la vôtre.
Nous avons choisi la métrique hLEPOR, elle est à peu près la même que BLEU, mais dans notre sens intuitif, elle donne une meilleure impression de la façon dont les services sont liés les uns aux autres. Pour simplifier, considérons qu'une métrique de 0 à 1, 1 est une correspondance complète avec une certaine traduction de référence, 0 est une divergence complète. hLEPOR donne une sensation intuitive meilleure, ce qui signifie une différence de 10 unités par rapport à BLEU. Vous pouvez lire la métrique séparément, tout est décrit dans la méthodologie de recherche. C'est une métrique normale, une métrique proxy, pas parfaite, mais elle transmet bien l'essence.
La différence de prix est énorme. Nous avons compilé une matrice pour quel prix vous pouvez obtenir une traduction de 1 million de caractères. Vous pouvez télécharger et voir, la différence est énorme, de 5 $ à 1 000 $ par million de caractères. Choisir le mauvais service augmente simplement considérablement vos coûts, ou choisir le bon peut vous aider à économiser beaucoup à cet endroit. Le marché est opaque, vous devez comprendre ce qui vaut et où est quelle qualité. Gardez cette matrice à l'esprit. Il est difficile de comparer tous les services, pour le prix, les prix sont souvent peu transparents, la politique n'est pas très claire, il y a des notes. Tout est compliqué, ce tableau aide à prendre une décision.
Nous avons réduit les résultats de notre analyse à des images aussi drôles. Cette image montre quelle est la qualité maximale disponible pour ces paires que nous avons mesurées, la plus verte - la meilleure qualité est disponible, quelle est la concurrence dans ces paires, y a-t-il vraiment quelque chose à choisir, conditionnellement, quelque part autour de 8 fournisseurs fournissent cela la qualité la plus abordable, quelque part seulement 2, et il y a aussi une icône dollar, c'est le prix pour lequel vous obtenez la qualité maximale. La propagation est grande, quelque part bon marché, vous pouvez obtenir une qualité acceptable, quelque part ce n'est pas très acceptable et cher, différentes combinaisons sont possibles. Le paysage est complexe, il n'y a pas un seul super joueur qui soit meilleur partout, bon marché, bon et ainsi de suite. Partout il y a un choix, et partout il faut le faire raisonnablement.
Ici, nous avons dessiné les meilleurs systèmes pour ces paires de langues. On peut voir qu'il n'y a pas de meilleur système, différents services sont meilleurs sur différentes paires dans ce domaine particulier - nouvelles, dans d'autres domaines, la situation va changer. Quelque part Google est bon, quelque part bon Deepl, c'est un nouveau traducteur européen, que peu de gens connaissent, c'est une petite entreprise qui se bat avec succès avec Google et le bat, de très bonne qualité. Yandex est toujours bon sur la paire russo-anglaise. Amazon est récemment apparu, a connecté la langue russe et d'autres, et ce n'est pas mal non plus. Ce sont de nouveaux changements. Il y a un an, une grande partie de cela ne l'était pas, il y avait moins de dirigeants. Maintenant, la situation est très dynamique.
Connaître le meilleur système n'est pas toujours important. Plus souvent, il est important de connaître le système optimal. Si vous regardez le top 5% des systèmes pour cette qualité, alors parmi ceux-ci, le top 5% est le moins cher, ce qui lui donne une bonne qualité. À cet endroit, la situation est sensiblement différente. Google laisse cette comparaison, Microsoft monte beaucoup, il devient plus Yandex, Amazon rampe encore plus, des fournisseurs plus exotiques apparaissent. La situation devient différente.
Si vous regardez tous les fournisseurs de traduction automatique, horizontalement - différents fournisseurs, verticalement - la fréquence à laquelle le fournisseur est dans l'un de ces sommets, alors dans le top 5% se trouve presque chacun d'eux tôt ou tard. Les meilleurs d'entre eux pour certaines paires mesurées spécifiques sont 7 fournisseurs, les optimaux sont également 7. Cela signifie que si vous avez un ensemble de langues dans lesquelles vous devez traduire et que vous souhaitez assurer la qualité maximale ou optimale, vous avez besoin d'un fournisseur pas assez, vous devez connecter le portefeuille de ces fournisseurs, et vous aurez alors une qualité maximale, une rentabilité maximale, etc. Il n'y a pas un seul joueur qui soit meilleur. Si vous avez des tâches complexes, vous avez besoin de nombreuses paires différentes, vous avez un moyen direct d'utiliser différents fournisseurs, c'est mieux que d'en utiliser un.
Le marché est très dynamique, le nombre d'offres croît rapidement. Nous avons commencé à mesurer au début de la 17e année, une nouvelle référence a été publiée en juillet. Le nombre de services disponibles augmente, certains d'entre eux sont toujours en avant-première, ils n'ont pas de liste de prix publique, ils sont dans une sorte d'alpha ou de bêta que vous pouvez utiliser, mais les conditions ne sont pas très claires.
La qualité progresse plus lentement, mais augmente également. L'intérêt principal se produit au sein de paires de langues spécifiques.
Par exemple, la situation à l'intérieur de la paire de langues anglais-russe est très dynamique. Yandex au cours des six derniers mois a considérablement amélioré sa qualité. Amazon est apparu, il est représenté par un point à droite, il va également non loin derrière Yandex. Le fournisseur GTCom a bien pompé, ce que presque personne ne sait, c'est un fournisseur chinois, il traduit bien du chinois en anglais et en russe, et l'anglais - russe gère également bien.
Une image similaire se produit plus ou moins dans toutes les paires de langues. Partout où quelque chose change, de nouveaux joueurs apparaissent constamment, leur qualité change, les modèles sont recyclés. Vous voyez, il existe des fournisseurs stables dont la qualité ne change pas. Dans ce cas, les stables sont plus probablement morts, car il y en a d'autres instables dont la qualité s'améliore plus ou moins. C'est une bonne histoire, ils s'améliorent presque constamment.
Si vous envisagez une mesure plus complexe de la qualité des prix, il y a des améliorations stables. Cela signifie que le coût de la traduction automatique de haute qualité diminue constamment, avec chaque mois, chaque année, de plus en plus de traduction automatique de haute qualité est disponible pour moins d'argent. C'est bien.
En plus des prix et de la qualité, il existe une énorme couche de problèmes qui sont également importants lors du choix d'un fournisseur particulier. Ce sont toutes sortes de fonctionnalités du produit, html, prise en charge xml, prise en charge des formats délicats et peu nombreux, mode en vrac, détection automatique d'une langue - un sujet populaire, prise en charge des glossaires, personnalisation, fiabilité du service. Et aussi ce que nous appelons le bonheur du développeur, vous pouvez ensuite lire ce que nous entendons par le lien.
C'est pour créer une catastrophe automobile.
Par DX, nous entendons une énorme quantité de toutes sortes d'aspects différents, y compris la disponibilité d'une bonne documentation, des codes clairs et des messages d'erreur, la conformité aux normes HTTP, la présence d'une sorte de terrain de jeu pour jouer dynamiquement avec l'API, la disponibilité d'une facturation pratique et bien plus encore, ce qui affecte grandement l'adoption les décisions quant à l'utilisation ou non d'un service particulier. Si le développeur jure en connectant une nouvelle API, alors c'est un mauvais signal. Le développeur peut dire que nous n'en avons pas besoin, et en fait, certaines API sont simplement difficiles à utiliser pour des tâches spécifiques, car elles ne prennent pas en charge quelque chose dont vous avez besoin. C'est un aspect important., . , , SDK, , , . . .
, , API NDA. . . , - .
, . , , , . - , , .
— , . , , .
- . , , . , - , Google, Microsoft, IBM, - , , , .
? , , , . — , . 10 . 1 . 2 . , 2 . . 50 .
hLEPOR, , , , , , . , . — . , . , , - , . , . , , , . .
, . Microsoft, 3 API. , , , Microsoft . . , , . , , 10 . Microsoft . , . , , .
IBM, , . , . 2% — .
Google AutoML , , 10 100 . .
, Microsoft, Google, - — , Deepl, Amazon, Google, Microsoft. , . ? , - , - . , Google Deepl, , , . . , . .
, , , , . . , , . , , . . , . , .
?
. . , , .
, . , - . . , , , -. , , , . , , , - , , . — .
- , , . -, . , , . , , , . . — , , .
: , , , ,
? . , . , , , . , .
, , . API . , , . SDK NodeJS, .NET, CLI. , API, . . , , . , , , — .
web tools . , , , API. . , , .
, . -, , . Ce n'est pas le cas. , . . , , , , . , , , , . Deepl? , Google .
, , , , . , , , , , . Je vous remercie