Methodius如何成为Anna:开发和启动语音消息分类器的经验。 第三部分

物镜系列


让我提醒您,在第一篇第二篇文章中,我们获得了一个用于对技术支持电话进行分类的模型,并学习了如何在不收集所有佣金的情况下将其输出到生产性产品。 我们得出的结论是,在构建复杂模型之前,您需要了解数据的完整性和准确性。 第二个结论是:了解您的用户然后启动服务将变得更加容易。

在本文中,我们将讨论第二种情况,安娜的语音机器人帮助我们解决了第二种情况。

案号2。 任务和数据


在理解人的逻辑并在引入第一个语音分类器时遇到了麻烦之后,我们受到启发去解决另一个问题。

问题。


来自销售部门的电话中有34%转移到了技术支持服务。 我想减少部门之间的转移次数。 首先,让我们弄清楚它是如何工作的? 有一个到公司呼叫中心的电话,检查此号码是否已知(在我们的crm中是否存在)。 如果该公司知道该号码,那么这已经是我们的客户,他们向技术支持部门发送了呼叫,如果该号码不熟悉,则该呼叫将路由到销售部门。

图片

这样的检查不能解决问题。 尽管如此,销售部门仍将呼叫的第三部分转移给技术支持,因为并非我们熟悉所有客户编号。 至少我们每个人都有两张SIM卡。 或者不是留下他们的联系人的人打电话给现有的联系,而是他的亲戚,但问题是技术性的,尽管公司的电话号码并不熟悉。

因此,需要开发一种基于呼叫者说出的文本在技术支持和销售部门之间自动分配呼叫的系统。 下图示意性地显示了呼叫处理算法。

图片

数据与第一种情况的解决方案大致相同。 销售部门收到的呼叫中识别出的短语已标记为存在转移到技术支持部门的情况。 这样,我们希望将技术问题与购买/连接问题分开。

案例解决方案


我们训练了各种模型并获得了以下质量。
演算法班级分数
Logreg销售0.78
Logreg支持0.69
随机森林销售0.75
随机森林支持0.62
支持向量机销售0.71
支持向量机支持0.62
XGBoost销售0.61
XGBoost支持0.57
CNN销售0.76
CNN支持0.63

从表中可以看出,质量很差。 您需要确定可能的最高质量的销售,因为这是未来客户的忠诚度。 绝对不可能将想要购买我们服务的人员转移到技术支持部门。

决定的困难。 重新布局


为了提高分类的质量,我们决定检查类是否可以通过所使用的词汇进行区分。 进行了分析。

重新分配前的常用字表
图片

如您所见,大多数单词对于这两个类都是通用的。 可以预期所有技术用语都将在技术支持类中,但事实证明,在“销售”类中,甚至“重启”也是如此。 我们开始了解其原因。 事实证明,销售部门的运营商经常就轻型技术问题提供建议,而没有转化为技术支持,这导致了错误的加价。

我们重新分配了数据集,并再次卸载了每个类的关键词。
重新布局后的常用字表
图片

情况变得更好了,“技术支持”类别中的所有“技术”词都已经存在,与销售一同出现的词语都在“销售”类别中。 我们在分类质量上看到了这一点。
演算法班级F分数原为f分,成为
Logreg销售0.780.94
Logreg支持0.690.87
随机森林销售0.750.92
随机森林支持0.620.82
支持向量机销售0.710.93
支持向量机支持0.620.86
XGBoost销售0.610.91
XGBoost支持0.570.78
CNN销售0.760.93
CNN支持0.630.86

从表中可以看出,质量很差。 您需要确定可能的最高质量的销售,因为这是未来客户的忠诚度。 绝对不可能将想要购买我们服务的人员转移到技术支持部门。

案号2。 结论


文章的结论是什么? 了解您影响的业务流程 。 是的,可以说了解数据很重要,因为这就是我们开始重新分区的原因。 但是,如果我们在进行呼叫的过程中事先弄清楚了,我们会立即发现销售部门的操作员在技术上很精明,并且并不总是将呼叫转移给技术支持。 因此,将翻译的存在作为标记并不是一个正确的决定。 结论-了解业务流程比掌握复杂算法和解决小技术问题要有用得多。

一系列文章的结果


我们已经实施了一个系统, 系统可以理解订户的问题主题并路由呼叫。 我们找出呼叫者有什么问题,如果问题是技术性的,则我们选择了解此主题的技术支持操作员。 如果问题已连接,请转到销售部门。



为什么我们需要所有这些? 你取得了什么成就? 首先,我们减少了部门之间的转移次数。 该图显示,在1月19日和20日有测试日,从2月7日开始,分类器一直在运行。

图片

其次,我们设法开发了一种可以轻松与机器人通信的系统。 第二篇文章中最新的音频示例就是证明。

三个职位的结论


  1. 处理数据和标记
  2. 了解系统用户
  3. 更改之前了解业务流程
  4. 了解如何快速测试并响应结果

最后一个结论出现在我们意识到从设置任务到实际启动系统花了多少时间之后。 我希望每个人都能缩短假设检验的周期,并将他们的工作更快地投入生产。

接下来是什么? 我们的计划


我们计划不仅要理解客户的第一句话,还要理解以下内容,以保持对话并且不给接线员带来“轻声”呼叫。

图片

图片

图片

Source: https://habr.com/ru/post/zh-CN474020/


All Articles