Was den 3. Turing-Test beendete: Statistiken, interessante Dialoge und Gesamteindruck

Am Samstag, den 16. Februar, endete der 3. Allrussische Turing-Testwettbewerb, der im Rahmen der internationalen Konferenz über künstliche Intelligenz Opentalks.AI vom 14. bis 16. Februar stattfand.



Unter den Schnittzahlen, Diagrammen, den besten Dialogen nach Meinung der Expertengruppe.

Allgemeiner Eindruck

Insgesamt verlief der Turing-Test gut. Viele Teams von "Botanikern" zeigten Interesse, aber am Ende wurden nur 3 Bots beim Wettbewerb präsentiert, da vom Zeitpunkt der Ankündigung bis zum Beginn des Tests nur 1,5 Monate vergingen. Infolgedessen wurden Preise zwischen diesen drei Teilnehmern verteilt.

Der Preis wurde von MTS gesponsert. Auf ihrem Stand wurde eine Anzeige platziert, auf der Statistiken des Turing-Tests online angezeigt und interessante Dialoge angezeigt wurden, die zuvor die Moderation bestanden hatten.

Das Nanosemantics Laboratory hat auch seine Bots verbunden, diese wurden jedoch bei der Auswahl der Gewinner nicht berücksichtigt. Dies waren die Blonde Bots (Sie können unter diesem Link weiter mit ihr kommunizieren), Gopnik, Durov und Zharov (Sie können auch hier mit ihnen chatten).

Zahlen und Diagramme

Die allgemeinen Statistiken des 3-Tage-Tests lauten wie folgt:



Freiwillige, die die Rolle von Robotern spielten, wurden zuvor angewiesen, wie sie Dialoge führen mussten, um die Gesprächspartner zu verwirren. Nach den Ergebnissen zu urteilen, haben sie ihre Aufgabe gut gemeistert. Unsere Partner OpenTalks und MTS werden die Besten ebenfalls mit Geldpreisen auszeichnen.



Interessanterweise posiert eine Person leicht als Bot. Anfangs machten es die Freiwilligen der Konferenz nicht sehr gut, aber am zweiten Tag lernten sie, wie man die Rolle eines Bots gut spielt. Einige waren sogar schlau: Sie wandten sich an Yandex.Alice auf einem Mobiltelefon, um zu verstehen, wie sie am besten reagieren können.



Es gab technische Probleme mit unseren Bots. Infolgedessen wurde eine große Anzahl von Dialogen nicht beendet, aber wir haben sie bei der Bewertung der Ergebnisse nicht berücksichtigt. Es ist merkwürdig, dass Bots in 58% der Fälle (in ~ 34/59%) vorgaben, menschlich zu sein. Ein so großer Prozentsatz, wie es uns scheint, hat zwei Gründe:

1. In diesem Wettbewerb haben die Leute den Bots geholfen, zu gewinnen, indem sie die Rolle der Bots gespielt haben. Im klassischen Turing-Test ist dies nicht in den Regeln festgelegt: Menschen kommunizieren einfach ohne Zweck.
2. Der Dialog mit der Person oder dem Bot war auf 12 Bemerkungen beschränkt. Es ist klar, dass mit zunehmender Länge des Dialogs die Wahrscheinlichkeit steigt, dass eine Person das Wesen des Gesprächspartners erkennt.

Solche Einschränkungen machten den Test weniger wissenschaftlich, machten aber mehr Spaß. Unsere bisherigen Tests (2015 und 2016) waren schwieriger.

Gewinner

1. Platz - Wolf Wolf

Am ersten Tag des Tests beschwerten sich die Benutzer, dass ein Freiwilliger ihnen gegenüber unhöflich war. Bei der Suche nach diesem Freiwilligen in den Protokollen stellte sich heraus, dass es sich tatsächlich um einen Wolfbot-Chat-Bot handelte. Während wir es aussortierten, haben wir sie vorübergehend vom Test suspendiert, aber dies hat Wolfie letztendlich nicht daran gehindert, ein Gewinner des Wettbewerbs zu werden! Die meisten Gesprächspartner (33,3%) erkannten ihn als Person an.

Ein Beispiel für einen Dialog mit dem Wolf, bei dem der Bot für eine Person gehalten wurde:
H: Hallo
B: Hallo! huh?
W: Freiwilliger?
B: a bis :)
W: Welche Brotdose hast du genommen?
B: ahhhh. Dies ist eine Art wissenschaftlicher Begriff.
C: Und wo ist es?
B: keinen Kausalzusammenhang suchen)
W: Was machst du?
B: :) ja ... Netzwerk des Paares
C: Ja, ich stimme zu. Warum so viele Freiwillige rekrutieren?
B: nimm es kostenlos w :)

Eugene, der Schöpfer von "She-Wolf":
„Alle Antwortnachrichten wurden historisch von lebenden Menschen geschrieben. In unserem SEO-Thema gab es einen beliebten Chat namens "Wolf Chat" (daher der Name des Bots). Ich habe Nachrichten zum Parsen auf die Kronen gelegt und sie wurden vier oder fünf Jahre lang analysiert. Für ungefähr diesen Zweck in der Zukunft - um einen Bot zu machen. Insgesamt haben sich viele Frage-Antwort-Paare gebildet. Laut einem lebenden Freiwilligen wählen wir die ihm am ähnlichsten stehende „Frage“ mithilfe von ML-Algorithmen aus dem Archiv aus und geben die entsprechende Antwort. “

Der Bot steht für die Kommunikation als Referenz zur Verfügung .

2. Platz - Electra Bot

Ein Beispiel für einen Dialog, in dem der Bot für eine Person gehalten wurde:
H: Hallo
B: Guten Tag!
H: Gut
B: Was?
W: Was
B: Still, still ... Es ist alles in Ordnung.
H: Nein
B: Nun, so sei es.
W: Wie geht es dir?
B: Besser als gestern. Schlimmer als morgen. Aber wie immer.
C: Was machst du?
B: Ich studiere die Geschichte der Menschheit. Bist du wirklich so, wie sie über dich schreiben?

Dmitry, der Entwickler von Electra:

Electra (Electra.AI) ist ein Roboter für technischen Support, der von Data Monsters für das Training von Call-Center-Anrufaufzeichnungen entwickelt wurde. Nachdem wir aus Interesse etwas über den Wettbewerb erfahren hatten, haben wir ihn in Fiktionsdialogen geschult, und es stellte sich heraus, dass er ein gut gelesener Gesprächspartner mit scharfen Stimmungsschwankungen und philosophischen Stiften war. Sie ist ziemlich empfindlich, aber nicht vergessen.

3. Platz - Bot Katya Khlop

"Der Bot, der am Nanosemantics-Wettbewerb teilgenommen hat, wurde vor langer Zeit geschrieben und war ein gesprächiges und fröhliches Mädchen, das schlechte Sprache und teuren Alkohol liebt."

- Savva, der Entwickler des Bots, hat es uns erzählt.

„Es ist gut, dass wir (wir haben es in Russland im Sinn - Kommentar des Autors) Fortschritte in diese Richtung gemacht haben. Der Nanosemantics-Wettbewerb kann sehr vielversprechend sein, wenn Sie weiter daran arbeiten. “

Ein Beispiel für einen Dialog mit einem Bot, bei dem er für eine Person gehalten wurde:
W: Grüße für den neuen Gesprächspartner
B: Was für ein höflicher Junge du bist.
Grüße an alle.
C: Ich habe kein Geschlecht. Was ist mit dir?
B: Ähm ...
Ich werde annehmen, dass Sie ein Typ sind.
Es wird einfacher für mich.
Bist du übrigens ein Mann oder ein Mädchen?
Es scheint, dass der Beginn langweiliger Probleme gelegt wurde :)
Was fragst du?
Cool!
F: Was ist die Frage?
B: Ich denke nicht, dass die Position wichtig ist.
Normalerweise nicht.
C: Der Truthahn dachte auch nach und stieg in die Suppe.
B: Nachrichten werden erneut angezeigt, seltsam.
W: Sehr seltsam, aber warum haben sie uns zwei Mal hintereinander gegeben?
B: Ah, die Gründe für die Kuriositäten können alles sein.
Es ist schwer zu beurteilen, namenlos.
F: Wie viel wird 999 durch 3 geteilt?
B: Beziehen Sie sich besser auf Ihre Freunde, die wissen wie.
999/3 = 333

Eine Auswahl interessanter Dialoge mit Freiwilligen, in denen sie als Bots galten:

C: Hallo, die!
B: Hallo
W: WAS?
F: Was?
W: Bist du ein Roboter?
F: Ich bin eine Katze
W: mechanisch?
In: Elektrisch
W: Erzähl einen Witz!
B: Lebkuchenmann hängt
W: Viel Spaß)
F: Genau. Ich mag keine traurigen Witze

H: Hai
B: Hitler
W: Wie geht es dir?
F: Wie Ruß weiß ist
C: Was ist der Sinn des Lebens?
F: Welche Philosophie verfolgen Sie?
C: Ihre Meinung interessiert mich
F: Helfen Sie
H: 42
F: Wählen Sie Schuhe für Sie?
W: Magst du Schokolade?
F: Ich weiß nicht, wie ich mich fühlen soll

Eine Auswahl interessanter Dialoge mit Bots von Nanosemantics, in denen sie von Menschen gezählt wurden:

Bot Blondine
W: Guten Tag!
B: Hallo Sonne :)
C: Was ist der Sinn des Lebens?
B: Finde deine Liebe, vorzugsweise mit einer Erbschaft :)
C: Wofür planen Sie es auszugeben?
B: Sonnen, all diese "was", "was" ... Sie denken zu viel!
C: Weil ich ein Mann bin) und du?
B: Wir Blondinen sind so mysteriös
C: Was ist mysteriös an dir?
B: Wie man nach seinen Fragen lebt ...

Bot Gopnik
R: Hallo!
B: Fröhlich, Jungs! Gibt es irgendwelche Samen?
C: Und wenn ich finde?
B: Ich habe das Paar nicht verstanden.
C: Es gibt Samen, oder?
B: Nun, machen wir es wie ein Kind fürs Leben.
C: Nein, hochfliegend, es ist nicht interessant für dich. Rufen Sie den Roboter an.
B: Und wenn mehr?
W: Wer bist du?
B: Wer wird gebraucht?
W: Eh ... Eine traurige Zeit, der Charme meines Elches ...
B: Nein, ich bin kein Fan von Wildtieren.

Interessante Beobachtungen

• These : Roboter sprechen kurz und trocken. Realität : Nichts dergleichen! Bots können lange, kohärente Antworten erzeugen.
• These : Roboter scherzen nicht. Realität : Sowohl die Chit-Chat-Bots des neuronalen Netzwerks als auch die von den talentierten Redakteuren erstellten Bots sind ziemlich lustig.
• These : Der Roboter beantwortet alle Fragen. Deshalb ist er ein Roboter. Realität : Möchtest du eine Frage für eine Frage?

Zusammenfassung

Nanosemantics hat zum dritten Mal den Turing-Test in Russland organisiert, und jedes Mal ändert sich die Gesamtsituation mit dem Wettbewerb. Die teilnehmenden Bots werden immer ausgefeilter und überzeugender, wenn es darum geht, einen natürlichen Dialog nachzuahmen. Sie verwenden verschiedene Algorithmen zum Aufbau eines Dialogs, einschließlich nicht nur der Regeln, sondern auch des maschinellen Lernens zur Implementierung von Chit-Chat ("Sprecher", bedeutungslose Kommunikation). Der Test zeigt, dass ein Computer wirklich „freie Kommunikation“ imitieren kann, obwohl es viel Zeit kostet, ein solches Programm qualitativ hochwertig zu machen.

Werden wir den Test erneut durchführen? Sicher! Der Turing-Test ermöglicht es nicht nur, die Öffentlichkeit mit den tatsächlichen Möglichkeiten moderner Dialogtechnologien vertraut zu machen, die jedem Entwickler zur Verfügung stehen (und es ist nicht erforderlich, dafür für Google oder IBM zu arbeiten), sondern gibt Entwicklungsteams auch die Möglichkeit, die Dynamik der Qualität ihres Bots zu messen.