Les assistants vocaux n'étudient pas sur un test de Turing

Il y a trois ans, le chatbot Sonya Gusev a remporté le premier test de Turing en russe . Après trois minutes de conversation, 47% des juges l'ont confondue avec une personne. Aujourd'hui, les assistants vocaux de Yandex et de Google rivalisent dans la capacité de communiquer sur les grands et les puissants. Bien sûr, l'assistant n'est pas obligé d'imiter une personne et ne doit tromper personne, mais y a-t-il quelque chose à apprendre d'Alice et de l'assistant de Sonya?

Sous la coupe se trouvent les commentaires de l'auteur sur le véritable dialogue du chat bot avec le juge dans le test de Turing, ainsi qu'une analyse comparative du comportement des assistants vocaux modernes.

Les journaux de dialogue du test de Turing 2015 sont accessibles à tous . À titre d'exemple, j'ai choisi ceci:

Pour analyser et comparer Sonya Guseva, Alice et Google Assistant, j'utilise les critères d'un dialogue FACILE . Pour chaque critère, je place des bots de 1 à 3 places, puis je résume les résultats.

L - Personnel

Sonya Guseva a été créée spécifiquement pour le test de Turing. Et comme la plupart de ces chatbots, elle a non seulement un prénom et un nom, mais aussi une légende détaillée, y compris des informations sur les loisirs, les membres de la famille, jusqu'à des conflits avec les enseignants (selon la légende, Sonya a 12 ans et elle va à l'école). Vous pouvez le distinguer d'une manière spéciale pour mettre des émoticônes et ignorer certaines règles d'écriture.

2015-06-03 12:05:54 :    ? 2015-06-03 12:05:54 : ,     :))) 

Alice a également sa propre légende, bien que quelque peu limitée. Il a un sens de l'humour particulier. Pourtant, disent-ils, elle est amoureuse de Konstantin Khabensky.

Mais l'identité de Google Assistant est moins prononcée: il n'a vraiment pas de nom.

Selon le critère personnel, les places sont réparties comme suit: 1 - Sonya, la gagnante du test de Turing; 2 - Alice; 3 - Assistant Google.

E - Naturel

Sonya imite avec diligence une personne: fait des erreurs, utilise des émoticônes et une série de signes de ponctuation pour une plus grande expressivité, ne se répète jamais dans une conversation.

 2015-06-03 12:05:24 : ...    ? 2015-06-03 12:05:37 :  2015-06-03 12:05:37 :  , ! 

Alice se maintient aussi naturellement que possible, mais exclusivement dans les limites de l'alphabétisation et de la décence, apparemment indiquées par la marque Yandex. Google Assistant est une vivacité agréablement différente: l'utilisation de sourires, l'absence de points à la fin des phrases et quelques mannequins de réponse.

J'ignore le caractère naturel de la parole synthétisée, que Sony n'a pas, et par nature, j'organise les bots comme suit: 1 - Sonya, gagnante du test de Turing; 2 - Assistant Google; 3 - Alice.

G - Flexible

Le comportement de Sonya Guseva est limité par mille règles. Par conséquent, les réponses de Sony ne correspondent pas toujours exactement à la question. À titre de comparaison, Eugene Gustman ( qui a réussi le test de Turing en anglais en 2014) en avait trois fois plus.

 2015-06-03 12:06:53 :       ? 2015-06-03 12:06:53 :    

Dans le cadre de la conférence, Alice est contrôlée non seulement par des règles codées en dur, mais également par des algorithmes spéciaux qui lui permettent de donner des réponses appropriées aux répliques dans une variété de formulations et donc de faire preuve de flexibilité. Alice n'est pas si flexible dans ses compétences: par exemple, lorsqu'on lui demande s'il va pleuvoir demain, au lieu d'une réponse directe, elle rapporte obstinément les prévisions.

L'Assistant Google ne comprend pas encore un langage apparemment simple.

Par flexibilité, les bots occupent des places dans l'ordre suivant: 1 - Alice; 2 - Sonya, gagnante du test de Turing; 3 - Assistant Google.

K - Contextuel

Sonya Guseva remplit activement le contexte de la conversation, demandant des informations sur l'utilisateur et l'utilisant ensuite. Elle comprend qu'elle s'est déjà présentée à l'utilisateur et répond adéquatement lorsque le juge essaie d'ignorer le contexte général.

 2015-06-03 12:06:35 :    , ? 2015-06-03 12:06:35 :  ,  !!! 

Hélas, Alice utilise rarement des informations contextuelles. Google Assistant me salue au moins par son nom.

Selon le critère de contexte, les positions des bots sont les suivantes: 1 - Sonya, gagnante du test de Turing; 2 - Assistant Google; 3 - Alice.

Et - Initiative

Lors du développement de chat bots, je respecte souvent la règle «Et quoi?»: Si après une réplique de bot je veux dire cette phrase, apparemment le robot viole les principes de coopération et quelque chose ne va pas.

Suivant le principe «la meilleure défense est une attaque», Sonia Guseva saisit hardiment l'initiative et mène la conversation.

 2015-06-03 12:04:25 :    -? 2015-06-03 12:04:43 :  2015-06-03 12:04:43 :     ? 2015-06-03 12:04:54 :  

Alice essaie également de faire preuve d'initiative mixte, posant parfois des questions. Et Google Assistant, bien qu'il propose des astuces, préfère laisser l'initiative à l'interlocuteur.

Selon le critère d'initiative, les places sont réparties comme suit: 1 - Sonya, gagnante du test de Turing; 2 - Alice; 3 - Assistant Google.

Th - et court

Toutes les réponses de Sonya sont vérifiées en détail, cependant, Alice et l'Assistant Google surveillent également le discours et, dans le cadre de la conversation, essaient de se conformer à la règle du «souffle unique» pour leurs remarques. Mais dans les compétences, ce principe est souvent ignoré.

Je donne la première place à Sonya, la gagnante du test de Turing, et la seconde est partagée par Alice et Google Assistant.

Conclusion

En tant qu'auteur de l'un des robots de discussion, je ne pouvais pas être objectif, en conséquence, Sonya Guseva est arrivée en premier. Quant aux assistants de Yandex et de Google, ils ont montré des résultats similaires. Vous devez comprendre que leurs performances dépendent en grande partie de développeurs de compétences tiers.

Je répète que les assistants vocaux ne se sont pas fixé pour objectif de réussir le test de Turing et d'autres vérifications sont nécessaires pour leur comparaison complète. Cependant, comme le montre l'analyse, les créateurs d'Alice et de Google Assistant lors de la conception des dialogues ont adopté certains des principes des premiers robots de chat, et les développeurs d'applications avec une interface conversationnelle ont beaucoup à apprendre des robots gagnants.