Wie Methodius zu Anna wurde: die Erfahrung, Sprachnachrichten-Klassifikatoren zu entwickeln und zu starten. Teil 2

Ziel und Ziel

Ich möchte Sie daran erinnern, dass wir im ersten Artikel ein Modell mit einer Qualität erhalten haben, die uns zufriedenstellt, und zu dem Schluss gekommen sind, dass es sich nicht lohnt, sofort neuronale Netze aufzubauen. Falsche Daten werden keinen großen Nutzen bringen. Um Zeit- und Energieverschwendung zu vermeiden, reicht es aus, Fehler an „einfachen“ Modellen zu analysieren.

In diesem Artikel werden wir über die Ableitung eines Arbeitsmodells in einem Produktiv sprechen.

Der erste Klassifikator testet. Von Methodius bis Anna

Nach der Analyse der Fehler erhielten sie eine akzeptable Qualität und beschlossen, das Modell produktiv zu machen. Wir haben das Modell als Webdienst bereitgestellt und während eines Anrufs einen Telefoniedienstanruf hinzugefügt. Und wenn wir vorher mit der typischen Komplexität von ml-Aufgaben (Markup, Ungleichgewicht) zu kämpfen hatten, die Methoden, mit ihnen umzugehen, bekannt waren, dann begann der Spaß.

Ohne lange nachzudenken, haben wir uns entschlossen, mit dem Methodius-Roboter zu beginnen, der Kunden mit einer Roboterstimme treffen wird.


Der erste Testtag hat gezeigt, dass die Menschen mit dem Roboter nicht zufrieden sind.

19% der Kunden legten auf, 58% sagten nichts und antworteten Methodius nicht. Aus irgendeinem Grund dachten wir erst nach diesen Zahlen, dass wir vor dem Start des Dienstes darüber nachdenken mussten, was der Roboter fragen würde, mit welcher Stimme, ob es sich um einen Roboter oder einen „Bediener“ handeln würde, mit anderen Worten, wir mussten darüber nachdenken, das Modell in die reale Welt zu integrieren Benutzer. Dies stellte sich als am schwierigsten heraus.

Integration Checkliste

Wir haben eine Checkliste für die Integration des Systems in die reale Welt zusammengestellt. Bevor Sie diese Art von Service in einem Produkt starten, müssen Sie über Folgendes nachdenken:

• Dialogzweck
• Bot-Sätze
• Text- / Sprachvolumen des Bots
• Identifizieren Sie das Ende der Kundenreplik
• Interaktionsszenario

Als nächstes erkläre ich jeden der Punkte.

Der erste wichtige Punkt ist zu verstehen, was wir durch die Implementierung eines Roboters erreichen wollen. Wir antworteten sofort: "Eine formulierte Anfrage für technischen Support." Aber wie man fragt, damit der Benutzer versteht, was er von ihm will, ist eine andere Geschichte. Wir haben jeden Satz gestürmt, wenn nur die Anzahl der Personen, die auf den Bot geantwortet haben, gestiegen ist. Die wichtigsten Schlussfolgerungen, zu denen wir in Bezug auf die Sätze des Roboters gekommen sind:

• Bot-Phrasen dürfen keine Passivsprache enthalten
• Bot-Sätze sollten kurz sein
• Am Ende jeder Phrase sollte klar sein, was der Benutzer tun soll. Sie müssen in jeder Phase der Kommunikation mit dem Bot Leitfragen verwenden. Nach unserer Erfahrung kann ich sagen, dass der Unterschied zwischen den Sätzen "Ich höre dir zu" und "Was ist deine Frage?" da ist!
• Der letzte Satz in der Kommunikation mit dem Bot ist wichtig, damit der Kunde versteht, was er als nächstes erwarten sollte. In unserem Fall sagte der Roboter am Ende der Kommunikation deutlich: „Ich werde Ihren Anruf zu diesem Thema an einen Spezialisten weiterleiten“, sodass der Kunde den Wert der Kommunikation mit dem Roboter verstand.

Als nächstes beschlossen wir, mit der Stimme des Roboters zu experimentieren, also bekamen wir ein Mädchen, Maria.


Das Testergebnis mit Maria gab uns Hoffnung.

Bereits mehr Menschen antworteten dem Roboter, es gab 27% der stillen Menschen anstelle von 58%, aber sie wollten trotzdem ihre Anzahl reduzieren. Wir hörten uns Beispiele aus dem Testlauf an und enthüllten interessante Fälle, in denen die Leute keine Zeit hatten, fertig zu werden, oder nicht einmal Zeit hatten, mit dem Reden zu beginnen. Im obigen Beispiel hat Mary den Client unterbrochen und nicht auf das Ende der Antwort gewartet.

Es gab Leute, die absichtlich still sind, sie wissen, dass dies ein Roboter ist und auf den Bediener warten. Wir haben sie separat behandelt. Und es gibt Leute, die aufgrund der geringen Zeit, die für die Beantwortung aufgewendet wurde, nicht antworten konnten. Wir haben verstanden, dass es unhöflich war, zu unterbrechen, da die Kundenbindung verringert wird.

Wir haben uns entschlossen, Experimente zur Auswahl der Dauer der Aufzeichnung der Antwort des Kunden durchzuführen. Es war notwendig, die optimale Aufnahmedauer zu wählen, damit möglichst viele Sätze informativ wurden, dh einen aussagekräftigen Text enthielten, der klassifiziert werden konnte. Die Tabelle zeigt den Prozentsatz an informativen Phrasen für verschiedene Zeiträume der Aufzeichnung der Antwort des Kunden.

Experimente haben gezeigt, dass 10 Sekunden ausreichen, um eine Anfrage zu formulieren.

Die zeitliche Begrenzung ist jedoch nur eine Möglichkeit, die Antwort eines Kunden vollständig aufzuzeichnen. Es gibt noch andere. Das Erkennen von Stille oder das Bestimmen des Endes eines Cues durch die Intonation des Sprechers sind effektivere Methoden. Die Sprachdämpfungserkennung wurde bereits weltweit implementiert, Entwickler lassen sich von der Intonation leiten. Nach mehreren Experimenten mit einer bestimmten Reaktionszeit haben wir uns entschlossen, mit Asteriska Stille zu erkennen. Dies war bereits ausreichend, um gute Ergebnisse zu erzielen.


Es scheint, dass schon alles in Ordnung ist, der Roboter hört so viel wie nötig zu, erhält eine neue Stimme und den Namen „Anna“. Ein anderer Test mit solchen Verbesserungen zeigte jedoch eine signifikante Verringerung der Anzahl verlassener Röhren. Die Anzahl der stillen Menschen nahm ebenfalls ab, aber ich wollte es besser.

Ohne nachzudenken, haben wir beschlossen, das Skript für die Interaktion des Bots mit dem Client zu ändern. Wenn der Kunde nicht antwortet (still) und wir dies innerhalb von drei Sekunden feststellen, wird Anna erneut fragen. Aufgrund der früher verwendeten Stilleerkennung erwies es sich als leicht zu realisieren. Der endgültige Überblick über das Dialogszenario ist unten dargestellt.



Dies wurde getan, um das Gespräch zu beleben und die Frage des Roboters zu wiederholen, wenn der Benutzer den ersten Satz von Anna möglicherweise nicht gehört hat.



Infolgedessen wurde eine solche Implementierung mit 4% der stillgelegten Rohre und nur 6% der stillen Personen produktiv. Wir haben dies ungefähr 6 Monate lang durchgeführt. Es scheint, dass das Modell fertig ist, es lässt sich gut klassifizieren, aber es war schwierig zu implementieren.

Post Schlussfolgerungen

Das fertige Modell ist das einzige, was getan werden kann. Es wird sich als produktiv herausstellen, wenn Sie Ihre Benutzer verstehen, wie und was sie sagen, ob sie bereit sind, mit dem Roboter zu kommunizieren.
Erst danach wird die Implementierung des Modells nicht schwierig sein und die Geschäftsindikatoren werden steigen.

Die Einführung von Anna. Zusammenfassung

Die Anrufklassifizierung hat die Anrufzeit verkürzt. Es wurde um 15 Sekunden reduziert, und dies sind 350 verarbeitete Anrufe pro Tag. Es wurde reduziert, weil die Bediener die Frage, die ihnen vom Roboter gestellt wurde, sofort beantworteten und keine Zeit damit verbrachten, dem Kunden zuzuhören. Das ist aber nicht die Hauptsache.

Durch die Anrufklassifizierung konnten Betreiber Anrufe zu bestimmten Themen entgegennehmen. Was wegen der Probleme wichtig war, die ich im ersten Teil des Artikels geschrieben habe : Die Vielfalt der Themen ermöglichte es den Bedienern nicht, schnell in die Leitung zu kommen. Zuerst mussten die Antworten auf alle Kundenfragen gelernt werden. Nach der Einführung des Systems begann die Bedienerschulung 1 Woche statt 3 Monate. Der Bediener studiert natürlich weiter, kann aber bereits Anrufe zu einem Thema erhalten, das er in der ersten Woche studiert hat.

Wir sehen uns im nächsten Artikel, in dem ich über einen anderen Fall der Verwendung von Sprachklassifizierern sprechen werde, nämlich darüber, wie Anna Robot die Anzahl der Übertragungen zwischen dem technischen Support und der Verkaufsabteilung reduziert hat.