Meta y objetivo
Permítame recordarle que en el
primer artículo obtuvimos un modelo con una calidad que nos satisface y llegamos a la conclusión de que no vale la pena construir redes neuronales de inmediato, no habrá grandes beneficios de los datos incorrectos. Para evitar perder tiempo y energía, es suficiente analizar los errores en los modelos "simples".
En este artículo, hablaremos sobre la derivación de un modelo de trabajo de una manera productiva.
Las primeras pruebas de clasificador. De Metodio a Anna
Entonces, después de analizar los errores, obtuvieron una calidad aceptable y decidieron llevar el modelo a producción. Implementamos el modelo como un servicio web, agregamos llamadas de servicio de telefonía durante una llamada. Y si antes de eso luchamos con las dificultades típicas de las tareas ml (marcado, desequilibrio), se conocen los métodos para lidiar con ellas, entonces comenzó la diversión.
Sin pensarlo durante mucho tiempo, decidimos comenzar con el robot Methodius, que se encontrará con los clientes con una voz robótica.
Metodio sirvió a la gente así.
El primer día de prueba mostró que las personas no están contentas con el robot.
El 19% de los clientes colgó, el 58% no dijo nada y no respondió a Methodius. Por alguna razón, solo después de estas cifras, pensamos que antes de comenzar el servicio, teníamos que pensar qué preguntaría el robot, con qué voz, si sería un robot o un "operador", en otras palabras, teníamos que pensar en integrar el modelo en el mundo real. usuarios. Esto resultó ser lo más difícil.
Integración Lista de verificación
Hemos compilado una lista de verificación para integrar el sistema con el mundo real. Entonces, antes de comenzar este tipo de servicio en un producto, debe pensar en:
- Propósito del diálogo
- Frases de bot
- Volumen de texto / discurso del bot
- Identificar la réplica del cliente final
- Escenario de interacción
A continuación, explico cada uno de los puntos.
El primer punto importante es entender lo que queremos obtener implementando un robot. Respondimos de inmediato: "una solicitud formulada de soporte técnico". Pero cómo preguntar para que el usuario entienda lo que quiere de él es una historia diferente. Asaltamos cada frase, si solo aumentaba el número de personas que respondieron al bot. Las principales conclusiones a las que llegamos con respecto a las frases del robot:
- Las frases de bot no deben contener voz pasiva
- Las frases bot deben ser cortas
- Al final de cada frase, debe quedar claro lo que debe hacer el usuario. Debe usar preguntas orientadoras en cada etapa de la comunicación con el bot. En nuestra experiencia, puedo decir que la diferencia entre las frases "Te estoy escuchando" y "¿Cuál es tu pregunta?" hay!
- La frase final en la comunicación con el bot es importante, para que el cliente comprenda lo que debe esperar a continuación. En nuestro caso, al final de la comunicación, el robot dijo claramente: "Transferiré su llamada a un especialista en este tema", por lo que el cliente entendió el valor de comunicarse con el robot.
Luego, decidimos experimentar con la voz del robot, así que tenemos una niña, María.
El resultado de la prueba con María nos dio esperanza.
Ya más personas respondieron al robot, había un 27% de personas silenciosas en lugar de un 58%, pero aún así querían reducir su número. Escuchamos ejemplos de la prueba y revelamos casos interesantes en los que las personas no tuvieron tiempo de terminar o ni siquiera tuvieron tiempo de comenzar a hablar. El ejemplo anterior es donde Mary interrumpió al cliente, no esperó el final de la respuesta.
Hubo personas que están silenciosamente deliberadamente, saben que este es un robot y están esperando al operador. Tratamos con ellos por separado. Y hay personas que no pudieron responder debido al poco tiempo dedicado a responder. Entendimos que era de mala educación interrumpir, ya que se reduce la lealtad del cliente.
Decidimos realizar experimentos para elegir la duración de registrar la respuesta del cliente. Era necesario seleccionar la duración de grabación óptima para que la mayor cantidad posible de frases se volviera informativa, es decir, contenían un texto significativo que pudiera clasificarse. La tabla muestra el porcentaje de frases informativas para diferentes duraciones de registro de la respuesta del cliente.
Los experimentos han demostrado que 10 segundos son suficientes para formular una solicitud.
Pero limitar el tiempo es solo una forma de completar el registro de la respuesta de un cliente, hay otras. Detectar el silencio o determinar el final de una señal mediante la entonación del hablante son métodos más efectivos.
La detección de
atenuación de voz ya se ha implementado en el mundo; los desarrolladores se guían por la entonación. Pero después de varios experimentos con un tiempo de grabación de respuesta específico, decidimos detectar el silencio usando Asteriska, esto ya fue suficiente para obtener buenos resultados.
Ejemplo de detección de silencio
Parecería que todo ya está bien, el robot escucha tanto como sea necesario, recibió una nueva voz y el nombre de "Anna". Pero otra prueba con tales mejoras mostró una reducción significativa en el número de tubos abandonados. El número de personas silenciosas también disminuyó, pero quería algo mejor.
Sin pensarlo dos veces, decidimos modificar el script para la interacción del bot con el cliente. Si el cliente no responde (en silencio) y lo detectamos en tres segundos, entonces Anna volverá a preguntar. Debido a la detección de silencio utilizada anteriormente, resultó ser fácil de realizar. El bosquejo final del escenario de diálogo se presenta a continuación.
Esto se hizo para animar la conversación y repetir la pregunta del robot cuando el usuario puede no haber escuchado la primera frase de Anna.
Re-preguntar ejemplo
Como resultado, dicha implementación entró en producción, con un 4% de tuberías abandonadas y solo un 6% de personas silenciosas. Hicimos esto durante aproximadamente 6 meses, parece que el modelo está listo, se clasifica bien, pero fue difícil de implementar.
Publicar conclusiones
El modelo terminado es lo único que se puede hacer,
resultará productivo cuando comprenda a sus usuarios cómo y qué dicen, si están listos para comunicarse con el robot.
Solo después de eso, la implementación del modelo no será difícil y los indicadores comerciales subirán.
La introducción de Anna. Resumen
La clasificación de llamadas ha reducido el tiempo de llamadas. Se redujo en 15 segundos, y esto es 350 llamadas procesadas por día. Se redujo debido al hecho de que los operadores respondieron de inmediato a la pregunta que les hizo el robot y no perdieron el tiempo tratando de escuchar al cliente. Pero esto no es lo principal.
La clasificación de llamadas permitió a los operadores recibir llamadas sobre temas específicos. Lo que era importante debido a los problemas que escribí en la
primera parte del artículo : la variedad de temas no permitía a los operadores ponerse rápidamente en línea, primero era necesario aprender las respuestas a todas las preguntas de los clientes. Después de la introducción del sistema, la capacitación del operador comenzó a tomar 1 semana en lugar de 3 meses. El operador, por supuesto, continúa estudiando, pero ya puede recibir llamadas sobre un tema que estudió en la primera semana.
Nos vemos en el próximo artículo, donde hablaré sobre otro caso de uso de clasificadores de voz, a saber, cómo el robot Anna redujo el número de transferencias entre el soporte técnico y el departamento de ventas.