Los asistentes de voz no estudian en una prueba de Turing

Hace tres años, el chatbot de Sonya Gusev ganó la primera prueba de Turing en ruso . Después de tres minutos de conversación, el 47% de los jueces la confundieron con una persona. Hoy, los asistentes de voz de Yandex y Google están compitiendo en la capacidad de comunicarse con los grandes y poderosos. Por supuesto, el asistente no está obligado a imitar a una persona y no debe engañar a nadie, pero ¿hay algo que aprender de Alice y el asistente de Sonya?

Debajo del corte están los comentarios del autor sobre el diálogo real del chat bot con el juez en la prueba de Turing, así como un análisis comparativo del comportamiento de los asistentes de voz modernos.

Los registros de diálogo de la prueba de Turing 2015 están disponibles para todos . Como ejemplo, elegí esto:

Para analizar y comparar Sonya Guseva, Alice y el Asistente de Google, utilizo los criterios para un diálogo FÁCIL . Para cada criterio, coloco bots de 1 a 3 lugares, y luego resumo los resultados.

L - Personal

Sonya Guseva fue creada específicamente para la prueba de Turing. Y como la mayoría de los chatbots, no solo tiene un nombre y apellido, sino también una leyenda detallada, que incluye información sobre pasatiempos, miembros de la familia, hasta conflictos con los maestros de escuela (según la leyenda, Sonya tiene 12 años y va a la escuela). Puede distinguirlo de una manera especial para poner emoticones e ignorar algunas reglas de escritura.

2015-06-03 12:05:54 :    ? 2015-06-03 12:05:54 : ,     :))) 

Alice también tiene su propia leyenda, aunque algo limitada. Tiene un peculiar sentido del humor. Aún así, dicen, ella está enamorada de Konstantin Khabensky.

Pero la identidad del Asistente de Google es menos pronunciada: realmente no tiene nombre.

Según el criterio personal, los lugares se distribuyen de la siguiente manera: 1 - Sonya, la ganadora de la prueba de Turing; 2 - Alicia; 3 - Asistente de Google.

E - Natural

Sonya imita diligentemente a una persona: comete errores, usa emoticones y una serie de signos de puntuación para una mayor expresividad, nunca se repite en una conversación.

 2015-06-03 12:05:24 : ...    ? 2015-06-03 12:05:37 :  2015-06-03 12:05:37 :  , ! 

Alice también se mantiene lo más natural posible, pero exclusivamente dentro de los límites de la alfabetización y la decencia, aparentemente indicado por la marca Yandex. El Asistente de Google es una viveza agradablemente diferente: el uso de sonrisas, la ausencia de puntos al final de las oraciones y algunas tonterías de respuesta.

Ignoro la naturalidad del discurso sintetizado, que Sony no tiene, y por naturalidad organizo los bots de la siguiente manera: 1 - Sonya, ganadora de la prueba de Turing; 2 - Asistente de Google; 3 - Alice.

G - Flexible

El comportamiento de Sonya Guseva está limitado por mil reglas. Por lo tanto, las respuestas de Sony no siempre corresponden exactamente a la pregunta. A modo de comparación, Eugene Gustman ( que aprobó la prueba de Turing en inglés en 2014) tuvo tres veces más.

 2015-06-03 12:06:53 :       ? 2015-06-03 12:06:53 :    

Como parte de la charla, Alice está controlada no solo por reglas codificadas, sino también por algoritmos especiales que le permiten dar respuestas adecuadas a las réplicas en una variedad de formulaciones y así demostrar flexibilidad. Alice no es tan flexible en sus habilidades: por ejemplo, cuando se le pregunta si lloverá mañana, en lugar de una respuesta directa, informa obstinadamente el pronóstico.

El Asistente de Google aún no comprende un lenguaje aparentemente simple.

Por flexibilidad, los bots ocupan lugares en el siguiente orden: 1 - Alice; 2 - Sonya, ganadora de la prueba de Turing; 3 - Asistente de Google.

K - Contextual

Sonya Guseva llena activamente el contexto de la conversación, solicita información sobre el usuario y luego la usa. Ella comprende que ya se presentó al usuario y responde adecuadamente cuando el juez intenta ignorar el contexto general.

 2015-06-03 12:06:35 :    , ? 2015-06-03 12:06:35 :  ,  !!! 

Alice, por desgracia, rara vez usa información contextual. El Asistente de Google al menos me saluda por su nombre.

Según el criterio de contexto, las posiciones de los bots son las siguientes: 1 - Sonya, ganadora de la prueba de Turing; 2 - Asistente de Google; 3 - Alice.

Y - Iniciativa

Cuando desarrollo bots de chat, a menudo sigo la regla “¿Y qué?”: Si después de una réplica de bot quiero decir esta frase, aparentemente el robot viola los principios de cooperación y algo sale mal.

Siguiendo el principio de que "la mejor defensa es un ataque", Sonia Guseva toma la iniciativa con valentía y lidera la conversación.

 2015-06-03 12:04:25 :    -? 2015-06-03 12:04:43 :  2015-06-03 12:04:43 :     ? 2015-06-03 12:04:54 :  

Alice también intenta demostrar una iniciativa mixta, a veces haciendo preguntas. Y el Asistente de Google, aunque ofrece consejos, prefiere dejar la iniciativa al interlocutor.

Según el criterio de iniciativa, los lugares se distribuyen de la siguiente manera: 1 - Sonya, ganadora de la prueba de Turing; 2 - Alicia; 3 - Asistente de Google.

Th - y corto

Todas las respuestas de Sonya se verifican en extensión, sin embargo, Alice y el Asistente de Google también monitorean el discurso y, como parte de la charla, intentan cumplir con la regla de "una respiración" para sus comentarios. Pero en las habilidades, este principio a menudo se ignora.

Le doy el primer lugar a Sonya, la ganadora de la prueba de Turing, y el segundo lo comparten Alice y el Asistente de Google.

Conclusión

Como autor de uno de los bots de chat, no pude ser objetivo, como resultado, Sonya Guseva fue lo primero. En cuanto a los asistentes de Yandex y Google, mostraron resultados similares. Debe comprender que su rendimiento depende en gran medida de los desarrolladores de habilidades de terceros.

Repito que los asistentes de voz no se fijan el objetivo de pasar la prueba de Turing y se necesitan otras comprobaciones para su comparación completa. Sin embargo, como muestra el análisis, los creadores de Alice y el Asistente de Google al diseñar los diálogos adoptaron algunos de los principios de los primeros bots de chat, y los desarrolladores de aplicaciones con una interfaz de conversación tienen mucho que aprender de los bots ganadores.