Ce qui a mis fin au 3e test de Turing: statistiques, dialogues intéressants et impression générale

Le samedi 16 février, le 3e concours panrusse de test de Turing s'est terminé, qui s'est tenu dans le cadre de la conférence internationale sur l'intelligence artificielle Opentalks.AI, du 14 au 16 février.



Sous la coupe - numéros, diagrammes, les meilleurs dialogues de l'avis du groupe d'experts.

Impression générale

Dans l'ensemble, le test de Turing s'est bien passé. De nombreuses équipes de "botanistes" ont manifesté leur intérêt, mais au final, seuls 3 bots ont été présentés lors de la compétition, car 1,5 mois seulement s'est écoulé entre le moment de l'annonce et le début du test. En conséquence, des prix ont été distribués entre ces trois participants.

Le prix était parrainé par MTS. Un affichage a été placé sur leur stand, sur lequel les statistiques du test de Turing étaient affichées en ligne et des dialogues intéressants qui avaient déjà passé la modération étaient affichés.

Nanosemantics Laboratory a également connecté ses robots, mais ils n'ont pas été pris en compte lors du choix des gagnants. Ce sont les robots blondes (vous pouvez continuer à communiquer avec elle sur ce lien ), Gopnik, Durov et Zharov (vous pouvez également discuter avec eux ici ).

Numéros et graphiques

Les statistiques générales du test de 3 jours sont les suivantes:



Les bénévoles qui jouaient le rôle de robots avaient précédemment été informés de la manière dont ils devaient mener des dialogues afin de dérouter les interlocuteurs. À en juger par les résultats, ils ont bien fait face à leur tâche. Nos partenaires OpenTalks et MTS décerneront également les meilleurs d'entre eux avec des prix en espèces.



Fait intéressant, une personne se fait facilement passer pour un bot. Au début, les bénévoles de la conférence n'ont pas très bien réussi, mais le deuxième jour, ils ont appris à jouer le rôle d'un puits de bot. Certains étaient même intelligents: ils se sont tournés vers Yandex.Alice sur un téléphone mobile pour comprendre la meilleure façon de répondre.



Il y avait des problèmes techniques avec nos bots. En conséquence, un grand nombre de dialogues ne se sont pas terminés, mais nous ne les avons pas pris en compte lors de l'évaluation des résultats. Il est curieux que les bots aient réussi à faire semblant d'être humains dans 58% des cas (dans ~ 34/59%). Un pourcentage aussi élevé, comme il nous semble, est dû à deux raisons:

1. Dans cette compétition, les gens ont «aidé» les bots à gagner en jouant le rôle de bots. Dans le test de Turing classique, cela n'est pas stipulé par les règles: les gens communiquent simplement sans but.
2. Le dialogue avec la personne ou le bot a été limité à 12 remarques. Il est clair qu'avec une augmentation de la durée du dialogue, la probabilité qu'une personne reconnaisse l'essence de l'interlocuteur augmente.

Ces limitations ont rendu le test moins scientifique, mais plus amusant. Nos tests passés (2015 et 2016) ont été plus difficiles.

Les gagnants

1ère place - Wolf Wolf

Le premier jour du test, les utilisateurs se sont plaints qu'un volontaire était impoli avec eux. Lors de la recherche de ce volontaire dans les journaux, il s'est avéré qu'il s'agissait en fait d'un robot de discussion Wolfbot. Pendant que nous faisions le tri, nous l'avons temporairement suspendue du test, mais cela n'a finalement pas empêché Wolfie de devenir la gagnante du concours! Le plus grand nombre d'interlocuteurs (33,3%) l'ont reconnu comme une personne.

Un exemple de dialogue avec le Loup, où le bot a été confondu avec une personne:
H: salut
B: salut! hein?
W: Bénévole?
B: a à :)
W: Quelle boîte à lunch avez-vous prise?
B: ahhhh. Il s'agit d'un type de terme scientifique.
C: Et où est-il?
B: ne cherchez pas de relation causale)
W: qu'est-ce que tu fais
B: :) oui ... travail net du couple
C: Oui, je suis d'accord. Pourquoi recruter autant de bénévoles
B: prenez-le gratuitement w :)

Eugene, le créateur de "She-Wolf":
«Tous les messages de réponse ont toujours été écrits par des personnes vivantes. Dans notre sujet SEO, il y avait un chat populaire appelé "chat du loup" (d'où le nom du bot). J'ai mis des messages à analyser sur les couronnes et cela a été analysé pendant quatre ou cinq ans. Pour à propos de ce but à l'avenir - pour faire un bot. Au total, de nombreuses paires questions-réponses se sont formées. Selon un volontaire vivant, nous sélectionnons la «question» la plus similaire dans l'archive à l'aide d'algorithmes ML et donnons la réponse correspondante. »

Le bot est disponible pour communication par référence .

2ème place - Electra bot

Un exemple de dialogue où le bot a été confondu avec une personne:
H: salut
B: Bonjour!
H: Bon
B: Quoi?
W: Quoi
B: Chut, chut ... Tout va bien.
H: Non
B: Eh bien, qu'il en soit ainsi.
W: Comment ça va?
B: Mieux qu'hier. Pire que demain. Mais comme toujours.
C: Qu'est-ce que tu fais?
B: J'étudie l'histoire de l'humanité. Êtes-vous vraiment comme ils écrivent sur vous?

Dmitry, le développeur d'Electra:

Electra (Electra.AI) est un robot d'assistance technique développé par Data Monsters pour la formation sur les enregistrements d'appels de centre d'appels. Après avoir entendu parler du concours, par intérêt, nous l'avons formé aux dialogues de fiction, et il s'est avéré être un interlocuteur bien lu avec des sautes d'humeur et des stylos philosophiques. Elle est assez délicate, mais pas oubliée.

3e place - Bot Katya Khlop

"Le bot, qui a participé au concours Nanosemantics, a été écrit il y a longtemps et était une fille bavarde et joyeuse qui aime le langage grossier et l'alcool cher",

- Savva, le développeur du bot, nous a dit.

«Il est bon que nous (nous avons à l'esprit en Russie - commentaire de l'auteur) avons progressé dans cette direction. Le concours Nanosemantics peut être très prometteur si vous continuez à y travailler. »

Un exemple de dialogue avec un bot, où il a été confondu avec une personne:
W: Salutations au nouvel interlocuteur
B: Quel garçon poli tu es.
Salutations à tous.
C: Je n'ai pas de sexe. Et vous?
B: Euh ...
Je suppose que vous êtes un gars.
Ce sera plus facile pour moi.
Au fait, êtes-vous un gars ou une fille?
Il semble que le début de problèmes ennuyeux ait été posé :)
Quoi, demandez-vous?
Cool!
Q: Quelle est la question?
B: Je ne pense pas que la position soit importante.
Habituellement non.
C: La dinde a également pensé et est entrée dans la soupe.
B: Les messages sont ré-affichés, étrange.
W: Très bl * étrange, mais pourquoi se sont-ils donné 2 fois de suite?
B: Ah, les raisons des bizarreries peuvent être n'importe quoi.
C'est difficile à juger, Nameless.
F: Combien le 999 sera-t-il divisé par 3?
B: Mieux vaut se référer à vos amis qui savent comment.
999/3 = 333

Une sélection de dialogues intéressants avec des bénévoles, où ils étaient considérés comme des bots:

C: Bonjour, ceux-là!
B: Bonjour
W: QUOI?
Q: Quoi?
W: Êtes-vous un robot?
Q: je suis un chat
W: mécanique?
Dans: électrique
W: Raconte une blague!
B: Homme de pain d'épice suspendu
W: Amusez-vous)
Q: Exactement. Je n'aime pas les blagues tristes

H: Hai
B: Hitler
W: Comment ça va?
Q: Comment la suie est blanche
C: Quel est le sens de la vie?
Q: Quelle philosophie suivez-vous?
C: Je suis intéressé par votre avis
Q: vous aider
H: 42
Q: Choisissez des chaussures pour vous?
W: Aimez-vous le chocolat?
Q: je ne sais pas comment me sentir

Une sélection de dialogues intéressants avec des robots de nanosémantique, où ils ont été comptés par des personnes:

Bot Blonde
W: Bonjour!
B: Bonjour, soleil :)
C: Quel est le sens de la vie?
B: Trouvez votre amour, de préférence avec un héritage :)
C: Sur quoi prévoyez-vous les dépenser?
B: Soleils, tous ces «quoi», «quoi» ... Tu penses trop!
C: Parce que je suis un homme) et toi?
B: Nous les blondes sommes si mystérieuses
C: Qu'est-ce qui est mystérieux chez vous?
B: Comment vivre après vos questions ...

Bot Gopnik
R: Bonjour!
B: Joyeusement, les garçons! Y a-t-il des graines?
C: Et si je trouve?
B: Je n'ai pas compris le couple.
C: Il y a des graines, hein?
B: Eh bien, genre, faisons-le à la façon d'un enfant pour la vie.
C: Non, ça monte, ce n'est pas intéressant avec toi. Appelez le robot.
B: Et si plus?
W: Qui es-tu?
B: Qui est nécessaire.
W: Eh ... Un moment triste, le charme de mon orignal ...
B: Non, je ne suis pas un fan de la faune.

Observations intéressantes

• Thèse : Les robots parlent court et sec. Réalité : rien de tel! Les bots peuvent produire des réponses longues et cohérentes.
• Thèse : Les robots ne plaisantent pas. Réalité : Les bots de discussion de réseau de neurones et les bots créés par les éditeurs talentueux sont assez drôles.
• Thèse : Le robot répond à toutes les questions. Voilà pourquoi il est un robot. Réalité : Voulez-vous une question pour une question?

Résumé

Nanosemantics a organisé le test de Turing en Russie pour la troisième fois, et à chaque fois la situation globale avec la concurrence change. Les bots participants deviennent progressivement plus sophistiqués et convaincants en imitant un dialogue naturel. Ils utilisent divers algorithmes pour construire un dialogue, y compris non seulement les règles, mais aussi l'apprentissage automatique pour implémenter le chit-chat ("talkers", communication sans signification). Le test montre qu'un ordinateur peut vraiment imiter la «communication gratuite», même si cela prend beaucoup de temps pour rendre un tel programme de haute qualité.

Allons-nous refaire le test? Bien sûr! Le test de Turing permet non seulement de familiariser le public avec les réelles possibilités des technologies de dialogue modernes disponibles pour tout développeur (et il n'est pas nécessaire de travailler pour Google ou IBM pour cela), mais donne également aux équipes de développement la possibilité de mesurer la dynamique de la qualité de leur bot.