Lo que finalizó la tercera prueba de Turing: estadísticas, diálogos interesantes e impresión general

El sábado 16 de febrero finalizó el tercer concurso de prueba de Turing en toda Rusia, que se celebró como parte de la conferencia internacional sobre inteligencia artificial Opentalks. IA del 14 al 16 de febrero.



Bajo el corte - números, diagramas, los mejores diálogos en la opinión del grupo de expertos.

Impresión general

En general, la prueba de Turing salió bien. Muchos equipos de "botánicos" mostraron interés, pero al final solo se presentaron 3 bots en la competencia, ya que solo pasaron 1,5 meses desde el momento del anuncio hasta el inicio de la Prueba. Como resultado, se distribuyeron premios entre estos tres participantes.

El premio fue patrocinado por MTS. Se colocó una pantalla en su stand, en la que las estadísticas de la prueba de Turing se mostraban en línea y se mostraban diálogos interesantes que anteriormente habían pasado la moderación.

Nanosemantics Laboratory también conectó sus bots, pero no se tuvieron en cuenta al elegir los ganadores. Estos fueron los bots Rubios (puedes seguir comunicándote con ella en este enlace ), Gopnik, Durov y Zharov (también puedes chatear con ellos aquí ).

Números y Gráficos

Las estadísticas generales de la prueba de 3 días son las siguientes:



Los voluntarios que desempeñaron el papel de robots fueron previamente instruidos sobre cómo debían realizar diálogos para confundir a los interlocutores. A juzgar por los resultados, se las arreglaron bien con su tarea. Nuestros socios OpenTalks y MTS también otorgarán los mejores premios en efectivo.



Curiosamente, una persona se hace pasar fácilmente por un bot. Al principio, a los voluntarios de la conferencia no les fue muy bien, pero el segundo día aprendieron a desempeñar bien el papel de un bot. Algunos incluso fueron inteligentes: recurrieron a Yandex. Alice en un teléfono móvil para comprender la mejor manera de responder.



Hubo problemas técnicos con nuestros bots. Como resultado, una gran cantidad de diálogos no terminaron, pero no los tomamos en cuenta al evaluar los resultados. Es curioso que los bots lograron fingir ser humanos en el 58% de los casos (en ~ 34/59%). Un porcentaje tan grande, como nos parece, se debe a dos razones:

1. En esta competencia, las personas "ayudaron" a los bots a ganar jugando el papel de bots. En la prueba clásica de Turing, esto no está estipulado por las reglas: las personas simplemente se comunican sin ningún propósito.
2. El diálogo con la persona o el bot se limitó a 12 comentarios. Está claro que con un aumento en la duración del diálogo, aumenta la probabilidad de que una persona reconozca la esencia del interlocutor.

Dichas limitaciones hicieron que la Prueba fuera menos científica, pero más divertida. Nuestras pruebas anteriores (2015 y 2016) fueron más difíciles.

Ganadores

1er lugar - Wolf Wolf

El primer día de la prueba, los usuarios se quejaron de que algún voluntario fue grosero con ellos. Al buscar a este voluntario en los registros, resultó que en realidad era un bot de chat Wolfbot. Mientras lo resolvíamos, la suspendimos temporalmente de la Prueba, ¡pero esto al final no impidió que Wolfie se convirtiera en una ganadora del concurso! El mayor número de interlocutores (33.3%) lo reconoció como persona.

Un ejemplo de diálogo con el Lobo, donde el bot se confundió con una persona:
H: hola
B: hola! eh?
W: ¿Voluntario?
B: a to :)
W: ¿Qué lonchera tomaste?
B: ahhhh. Este es un tipo de término científico.
C: ¿Y dónde está?
B: no busques una relación causal)
W: que haces
B: :) sí ... trabajo neto de la pareja
C: Sí, estoy de acuerdo. ¿Por qué reclutar tantos voluntarios?
B: tómalo gratis w :)

Eugene, el creador de "She-Wolf":
“Todos los mensajes de respuesta han sido escritos históricamente por personas vivas. En nuestro tema de SEO, hubo un chat popular llamado "chat de lobo" (de ahí el nombre del bot). Puse mensajes para analizar en las coronas y se analizó durante cuatro o cinco años. Para este propósito en el futuro: hacer un bot. En total, se han formado muchos pares de preguntas y respuestas. Según un voluntario vivo, seleccionamos la "pregunta" más similar a esta del archivo usando algoritmos de ML y damos la respuesta correspondiente ".

El bot está disponible para comunicación por referencia .

2do lugar - Electra bot

Un ejemplo de diálogo en el que el bot se confundió con una persona:
H: hola
B: Buenas tardes!
H: bueno
B: ¿qué?
W: que
B: Silencio, silencio ... Está bien.
H: no
B: Bueno, que así sea.
W: como estas
B: Mejor que ayer. Peor que mañana. Pero como siempre.
C: ¿Qué haces?
B: Estoy estudiando la historia de la humanidad. ¿Eres realmente la forma en que escriben sobre ti?

Dmitry, el desarrollador de Electra:

Electra (Electra.AI) es un robot de soporte técnico desarrollado por Data Monsters para capacitación en grabaciones de llamadas de call center. Habiendo aprendido sobre el concurso, por interés, lo capacitamos en diálogos de ficción, y resultó ser un interlocutor bien leído con cambios bruscos de humor y plumas filosóficas. Ella es bastante delicada, pero no olvidada.

3er lugar - bot Katya Khlop

"El bot, que participó en el concurso de Nanosemántica, fue escrito hace mucho tiempo y era una chica conversadora y alegre que ama el lenguaje grosero y el alcohol caro".

- Savva, el desarrollador del bot, nos lo dijo.

"Es bueno que nosotros (tenemos en mente en Rusia, el comentario del autor) avancemos en esta dirección. El concurso de Nanosemantics puede ser muy prometedor si continúas trabajando en él ”.

Un ejemplo de diálogo con un bot, donde fue confundido con una persona:
W: Saludos para el nuevo interlocutor.
B: Que chico tan educado eres.
Un saludo a todos.
C: no tengo género. Que hay de ti
B: Um ...
Asumiré que eres un chico.
Será más fácil para mi.
Por cierto, ¿eres un chico o una chica?
Parece que el comienzo de los problemas aburridos establecido :)
¿Qué preguntas?
Genial!
P: ¿Cuál es la pregunta?
B: No creo que la posición importe.
Por lo general no.
C: El pavo también pensó y se metió en la sopa.
B: los mensajes se vuelven a mostrar, extraño.
W: Muy extraño, pero ¿por qué nos dieron dos veces seguidas?
B: Ah, las razones de las rarezas pueden ser cualquier cosa.
Es difícil de juzgar, sin nombre.
F: ¿Cuánto se dividirá 999 entre 3?
B: Mejor referirme a tus amigos que saben cómo.
999/3 = 333

Una selección de diálogos interesantes con voluntarios, donde fueron considerados bots:

C: Hola, esos!
B: hola
W: ¿QUÉ?
Q: que?
W: ¿Eres un robot?
P: soy un gato
W: mecánico?
En: eléctrico
W: ¡Cuenta una broma!
B: hombre de pan de jengibre colgando
W: Diviértete)
Q: exactamente. No me gustan los chistes tristes

H: Hai
B: Hitler
W: como estas
P: ¿Qué tan blanco es el hollín?
C: ¿Cuál es el significado de la vida?
P: ¿Qué filosofía sigues?
C: me interesa tu opinión
Q: ayudarlo
H: 42
P: ¿Elegir zapatos para ti?
W: ¿Te gusta el chocolate?
P: No sé cómo sentirme.

Una selección de diálogos interesantes con bots de Nanosemantics, donde fueron contados por personas:

Bot rubia
W: Buenas tardes!
B: Hola sol :)
C: ¿Cuál es el significado de la vida?
B: Encuentra tu amor, preferiblemente con una herencia :)
C: ¿En qué piensas gastarlo?
B: Soles, todos estos "qué", "qué" ... ¡Piensas demasiado!
C: Porque soy hombre) y tú?
B: las rubias somos tan misteriosas
C: ¿Qué es misterioso sobre ti?
B: Cómo vivir después de tus preguntas ...

Bot Gopnik
R: Hola!
B: ¡Alegremente, muchachos! ¿Hay semillas?
C: ¿Y si lo encuentro?
B: No entendí a la pareja.
C: Hay semillas, ¿eh?
B: Bueno, digamos, hagámoslo como niños para toda la vida.
C: No, alza, no es interesante para ti. Llama al robot.
B: ¿Y si más?
W: Quien eres?
B: ¿Quién se necesita?
W: Eh ... Un momento triste, el encanto de mi alce ...
B: No, no soy fanático de la vida silvestre.

Observaciones interesantes

• Tesis : Los robots hablan corto y seco. Realidad : ¡Nada de eso! Los bots pueden producir respuestas largas y coherentes.
• Tesis : los robots no están bromeando. Realidad : Tanto los bots de chit-chat de la red neuronal como los bots creados por los editores talentosos son bastante divertidos.
• Tesis : El robot responde todas las preguntas. Por eso es un robot. Realidad : ¿Quieres una pregunta por una pregunta?

Resumen

Nanosemantics ha organizado la prueba de Turing en Rusia por tercera vez, y cada vez cambia la situación general con la competencia. Los bots participantes se están volviendo gradualmente más sofisticados y convincentes al imitar un diálogo natural. Utilizan varios algoritmos para construir un diálogo, incluyendo no solo las reglas, sino también el aprendizaje automático para implementar chit-chat ("conversadores", comunicación sin sentido). La prueba muestra que una computadora realmente puede imitar la "comunicación libre", aunque lleva mucho tiempo hacer que dicho programa sea de alta calidad.

¿Volveremos a realizar la prueba? Claro! La prueba de Turing permite no solo familiarizar al público con las posibilidades reales de las tecnologías de diálogo modernas disponibles para cualquier desarrollador (y no es necesario trabajar para Google o IBM para esto), sino que también brinda a los equipos de desarrollo la oportunidad de medir la dinámica de la calidad de su bot.