Comment Methodius est devenue Anna: l'expérience du développement et du lancement de classificateurs de messages vocaux. 3e partie

Série Objective


Permettez-moi de vous rappeler que dans les premier et deuxième articles, nous avons obtenu un modèle pour classer les appels de support technique et avons appris à le transmettre au productif sans collecter tous les râteaux. Nous sommes arrivés à la conclusion qu'avant de construire des modèles complexes, vous devez comprendre l'exhaustivité et l'exactitude de vos données. Et la conclusion n ° 2 est devenue la suivante: comprendre votre utilisateur puis démarrer le service sera beaucoup plus facile.

Dans cet article, nous parlerons du deuxième cas, que le robot vocal d'Anna nous a aidés à résoudre.

Cas n ° 2. Tâche et données


Après avoir compris la logique des gens et obtenu des bosses lors de l'introduction du premier classificateur de voix, nous avons été inspirés pour résoudre un autre problème.

Le problème.


34% des appels du service commercial sont transférés au service support technique. Je veux réduire le nombre de transferts entre les ministères. Tout d'abord, essayons de comprendre comment cela fonctionnait auparavant? Il y a un appel au centre d'appel de l'entreprise, une vérification est faite si ce numéro est connu ou non (existe-t-il dans notre GRC). Si le numéro est connu de l'entreprise, alors c'est déjà notre client, ils ont envoyé un appel au support technique, si le numéro n'est pas familier, alors l'appel est acheminé vers le service commercial.

image

Un tel contrôle ne résout pas le problème. Néanmoins, le service commercial a tout de même transféré la troisième partie des appels au support technique, car tous les numéros de clients ne nous sont pas familiers. Au moins chacun de nous a deux cartes SIM. Ou ce n'est pas la personne qui a laissé ses contacts qui appelle la connexion existante, mais ses proches, mais la question est technique, bien que le numéro de l'entreprise ne soit pas familier.

Ainsi, il est nécessaire de développer un système qui répartit automatiquement les appels entre le support technique et le service commercial en fonction du texte prononcé par l'appelant. Le diagramme ci-dessous montre schématiquement l'algorithme de traitement des appels.

image

Les données étaient approximativement les mêmes que pour la solution du premier cas . Des phrases reconnues d'appels reçus par le service commercial ont été marquées pour la présence d'un transfert vers le service d'assistance technique. De cette façon, nous voulions séparer les problèmes techniques des problèmes d'achat / de connexion.

Solution de cas


Nous avons formé différents modèles et obtenu la qualité suivante.
AlgorithmeClassef-score
Logregvente0,78
Logregsoutien0,69
Forêt aléatoirevente0,75
Forêt aléatoiresoutien0,62
SVMvente0,71
SVMsoutien0,62
XGBoostvente0,61
XGBoostsoutien0,57
CNNvente0,76
CNNsoutien0,63

Comme le montre le tableau, la qualité est médiocre. Vous devez déterminer la vente avec la meilleure qualité possible, car c'est la fidélité des futurs clients. Il est catégoriquement impossible de transférer une personne qui souhaite acheter nos services vers le support technique.

Difficultés de la décision. Re-layout


Pour améliorer la qualité de la classification, nous avons décidé de vérifier si les classes sont séparables par le vocabulaire qui y est utilisé. Réalisation d'une analyse.

Table de mots fréquemment utilisée avant réallocation
image

Comme vous pouvez le voir, la plupart des mots sont communs aux deux classes. On s'attendait à ce que tous les mots techniques soient dans la classe de support technique, mais il s'est avéré que dans la classe «Sale», il y avait même le mot «reboot». Nous avons commencé à comprendre les raisons de cela. Il s'est avéré que souvent l'opérateur du service commercial donnait des conseils sur des problèmes techniques légers, sans se traduire par un support technique, à partir de ce balisage incorrect apparu.

Nous avons réalloué l'ensemble de données et déchargé à nouveau les premiers mots pour chacune des classes.
Tableau de mots fréquemment utilisé après réorganisation
image

C'est devenu mieux, tous les mots «techniques» dans la classe «support technique» l'étaient déjà, et les mots accompagnant la vente étaient dans la classe «vente». Nous l'avons vu sur la qualité de la classification.
AlgorithmeClassef-score étaitf-score, est devenu
Logregvente0,780,94
Logregsoutien0,690,87
Forêt aléatoirevente0,750,92
Forêt aléatoiresoutien0,620,82
SVMvente0,710,93
SVMsoutien0,620,86
XGBoostvente0,610,91
XGBoostsoutien0,570,78
CNNvente0,760,93
CNNsoutien0,630,86

Comme le montre le tableau, la qualité est médiocre. Vous devez déterminer la vente avec la meilleure qualité possible, car c'est la fidélité des futurs clients. Il est catégoriquement impossible de transférer une personne qui souhaite acheter nos services vers le support technique.

Cas n ° 2. Conclusion


Quelle est la conclusion de l'article? Comprenez le processus commercial que vous influencez . Oui, on pourrait dire qu'il est important de comprendre les données, car c'est pourquoi nous avons commencé le re-partitionnement. Mais si nous le comprenions au préalable lors du processus d'appel, nous découvririons immédiatement que les opérateurs du service commercial sont techniquement avertis et ne transfèrent pas toujours l'appel au support technique. Donc, prendre la présence d'une traduction comme un balisage n'était pas tout à fait la bonne décision. Conclusion - la compréhension des processus métier est beaucoup plus utile que la maîtrise d'algorithmes complexes et la résolution de petits problèmes techniques.

Résultats d'une série d'articles


Nous avons mis en place un système qui comprend le sujet de la question de l'abonné et achemine l'appel. Nous découvrons ce que l'appelant a une question, et si la question est technique, nous sélectionnons l'opérateur de support technique qui comprend ce sujet. Si la question est liée, transférez-la au service commercial.



Pourquoi avons-nous besoin de tout cela? Qu'avez-vous réalisé? Premièrement, nous avons réduit le nombre de transferts entre ministères. Le graphique montre que les 19 et 20 janvier, il y a eu des jours de test et qu'à partir du 7 février, le classificateur a été lancé de manière continue.

image

Et deuxièmement, nous avons réussi à développer un système avec lequel il est confortable de communiquer avec le robot. Les derniers exemples audio du deuxième article en sont la preuve.

Conclusions des trois postes


  1. Traitez les données et le balisage
  2. Comprendre les utilisateurs du système
  3. Comprendre le processus métier avant de le modifier
  4. Apprenez à tester rapidement et à répondre aux résultats

La dernière conclusion est apparue après que nous ayons réalisé combien de temps nous avons passé de la définition de la tâche au lancement réel du système. Je souhaite à tous de raccourcir le cycle de test d'hypothèses et de mettre leur travail en production plus rapidement.

Et ensuite? Nos plans


Nous prévoyons de comprendre non seulement la première phrase du client, mais aussi les suivantes, afin de maintenir une conversation et de ne pas apporter d'appels «légers» à l'opérateur.

image

image

image

Source: https://habr.com/ru/post/fr474020/


All Articles