Cómo Methodius se convirtió en Anna: la experiencia de desarrollar y lanzar clasificadores de mensajes de voz. Parte 3

Serie de objetivos


Permítame recordarle que en la primera y segunda publicación, obtuvimos un modelo para clasificar las llamadas de soporte técnico y aprendimos cómo enviarlo al productivo sin recolectar todos los rastrillos. Llegamos a la conclusión de que antes de construir modelos complejos, debe comprender la integridad y precisión de sus datos. Y la conclusión número 2 se convirtió en esto: comprender a su usuario y luego iniciar el servicio será mucho más fácil.

En este artículo hablaremos sobre el segundo caso, que el robot de voz de Anna nos ayudó a resolver.

Caso No. 2. Tarea y datos


Después de que entendimos la lógica de las personas y recibimos golpes al presentar el primer clasificador de voz, nos sentimos inspirados para resolver otro problema.

El problema


El 34% de las llamadas del departamento de ventas se transfieren al servicio de soporte técnico. Quiero reducir el número de transferencias entre departamentos. Primero, averigüemos cómo funcionaba antes. Hay una llamada al centro de llamadas de la compañía, se verifica si este número es conocido o no (existe en nuestro CRM). Si la compañía conoce el número, entonces este ya es nuestro cliente, enviaron una llamada al soporte técnico, si el número no es familiar, la llamada se enruta al departamento de ventas.

imagen

Tal verificación no resuelve el problema. Sin embargo, el departamento de ventas aún transfirió la tercera parte de las llamadas al soporte técnico, porque no todos los números de clientes nos son familiares. Al menos cada uno de nosotros tiene dos tarjetas SIM. O no es la persona que dejó sus contactos quien llama a la conexión existente, sino sus familiares, pero la pregunta es técnica, aunque el número de la empresa no es familiar.

Por lo tanto, es necesario desarrollar un sistema que distribuya automáticamente las llamadas entre el soporte técnico y el departamento de ventas en función del texto pronunciado por la persona que llama. El siguiente diagrama muestra esquemáticamente el algoritmo de procesamiento de llamadas.

imagen

Los datos fueron aproximadamente los mismos que para la solución del primer caso . Las frases reconocidas de las llamadas recibidas por el departamento de ventas se marcaron por la presencia de una transferencia al departamento de soporte técnico. De esta manera, queríamos separar los problemas técnicos de los problemas de compra / conexión.

Solución de caso


Entrenamos varios modelos y obtuvimos la siguiente calidad.
AlgoritmoClasepuntaje f
Logregventa0,78
Logregapoyo0,69
Bosque al azarventa0,75
Bosque al azarapoyo0.62
SVMventa0,71
SVMapoyo0.62
XGBoostventa0,61
XGBoostapoyo0,57
CNNventa0,76
CNNapoyo0,63

Como se puede ver en la tabla, la calidad es pobre. Debe determinar la venta con la mayor calidad posible, ya que esta es la lealtad de los futuros clientes. Es categóricamente imposible transferir a una persona que desea comprar nuestros servicios a soporte técnico.

Dificultades de la decisión. Re-diseño


Para mejorar la calidad de la clasificación, decidimos verificar si las clases son separables por el vocabulario utilizado en ellas. Realizó un análisis.

Tabla de palabras de uso frecuente antes de la reasignación
imagen

Como puede ver, la mayoría de las palabras son comunes a ambas clases. Se esperaba que todas las palabras técnicas estarían en la clase de soporte técnico, pero resultó que en la clase de "Venta" había incluso la palabra "reiniciar". Comenzamos a entender las razones de esto. Resultó que a menudo el operador del departamento de ventas asesoraba sobre problemas técnicos leves, sin traducirlo en soporte técnico, esto daba como resultado un marcado incorrecto.

Reasignamos el conjunto de datos y nuevamente descargamos las palabras principales para cada una de las clases.
Tabla de palabras de uso frecuente después del rediseño
imagen

Se hizo mejor, todas las palabras "técnicas" en la clase de "soporte técnico" ya estaban, y las palabras que acompañan a la venta estaban en la clase de "venta". Vimos esto en la calidad de la clasificación.
AlgoritmoClasela puntuación f fuepuntaje f, se convirtió
Logregventa0,780,94
Logregapoyo0,690,87
Bosque al azarventa0,750,92
Bosque al azarapoyo0.620,82
SVMventa0,710,93
SVMapoyo0.620,86
XGBoostventa0,610,91
XGBoostapoyo0,570,78
CNNventa0,760,93
CNNapoyo0,630,86

Como se puede ver en la tabla, la calidad es pobre. Debe determinar la venta con la mayor calidad posible, ya que esta es la lealtad de los futuros clientes. Es categóricamente imposible transferir a una persona que desea comprar nuestros servicios a soporte técnico.

Caso No. 2. Conclusión


¿Cuál es la conclusión del artículo? Comprenda el proceso comercial en el que influye . Sí, se podría decir que es importante comprender los datos, porque es por eso que comenzamos a volver a particionar. Pero si descubrimos de antemano el proceso de hacer llamadas, inmediatamente nos daríamos cuenta de que los operadores del departamento de ventas son expertos en tecnología y no siempre transfieren la llamada al soporte técnico. Entonces, tomar la presencia de una traducción como un marcado no fue la decisión correcta. Conclusión: comprender los procesos comerciales es mucho más útil que dominar algoritmos complejos y resolver pequeños problemas técnicos.

Resultados de una serie de artículos.


Hemos implementado un sistema que comprende el tema de la pregunta del suscriptor y enruta la llamada. Descubrimos qué pregunta tiene la persona que llama, y ​​si la pregunta es técnica, entonces seleccionamos el operador de soporte técnico que comprende este tema. Si la pregunta está conectada, transfiérala al departamento de ventas.



¿Por qué necesitamos todo esto? Que has logrado Primero, redujimos el número de transferencias entre departamentos. El gráfico muestra que los días 19 y 20 de enero hubo días de prueba, y desde el 7 de febrero, el clasificador se lanzó de forma continua.

imagen

Y en segundo lugar, logramos desarrollar un sistema con el cual es cómodo comunicarse con el robot. Los últimos ejemplos de audio en el segundo artículo son prueba de esto.

Conclusiones de los tres posts.


  1. Tratar con datos y marcas
  2. Comprender a los usuarios del sistema
  3. Comprenda el proceso comercial antes de cambiarlo
  4. Aprenda a realizar pruebas rápidamente y responder a los resultados

La última conclusión apareció después de que nos dimos cuenta de cuánto tiempo pasamos desde la configuración de la tarea hasta el lanzamiento real del sistema. Deseo que todos acorten el ciclo de prueba de hipótesis y lleven su trabajo a producción más rápidamente.

Que sigue Nuestros planes


Planeamos comprender no solo la primera frase del cliente, sino también la siguiente, para mantener una conversación y no llevar llamadas "ligeras" al operador.

imagen

imagen

imagen

Source: https://habr.com/ru/post/474020/


All Articles