Methodius如何成为Anna:开发和启动语音消息分类器的经验。 第二部分

目的和目的


让我提醒您,在第一篇文章中,我们得到了一个质量令人满意的模型,得出的结论是,不值得立即建立神经网络,错误数据不会带来任何好处。 为了避免浪费时间和精力,分析“简单”模型上的错误就足够了。

在本文中,我们将讨论在生产中工作模型的派生。

第一个分类器测试。 从Methodius到Anna


因此,在分析了错误之后,他们获得了可接受的质量,并决定将模型投入生产。 我们将模型部署为Web服务,并在通话期间添加了电话服务通话。 如果在此之前我们已经克服了ml任务的典型困难(标记,不平衡),并且知道处理它们的方法,那么乐趣就开始了。

经过长时间的思考,我们决定开始使用Methodius机器人,该机器人将以机器人的声音与客户互动。

Methodius这样为人们服务。


第一个测试日表明人们对机器人不满意。
Methodius
被遗弃的管19%
沉默58%

19%的顾客挂断电话,58%的顾客什么也不说,没有回答Methodius。 出于某种原因,仅考虑了这些数字之后,我们认为在开始服务之前,我们必须考虑机器人会问什么,以哪种声音询问是机器人还是“操作员”,换句话说,我们必须考虑将模型集成到现实世界中用户。 事实证明这是最困难的。

整合性 检查清单


我们已经编制了一份清单,以将系统与现实世界集成在一起。 因此,在产品中启动此类服务之前,您需要考虑以下事项:

  • 对话目的
  • 机器人短语
  • 机器人的文字/语音量
  • 识别客户副本的结尾
  • 互动场景

接下来,我解释每个要点。

首先重要的是要了解我们想要通过实现机器人获得的东西。 我们立即回答:“提出了技术支持要求。” 但是如何提出要求以使用户理解他们想要的东西却是另一回事。 如果仅回答该机器人的人数有所增加,我们就会激怒每个短语。 我们得出的有关机器人短语的主要结论是:

  • Bot词组不得包含被动语态
  • Bot短语应简短
  • 在每个短语的末尾,应该清楚用户应该做什么。 您需要在与机器人进行通信的每个阶段使用指导性问题。 根据我们的经验,我可以说“我在听你的话”和“你在问什么?”之间的区别。 有!
  • 与机器人通信的最后一句话很重要,这样客户可以理解他接下来会期望什么。 在我们的情况下,在通信结束时,机器人明确表示:“在这个问题上,我将把您的电话转接给专家。”因此,客户知道与机器人进行通信的价值。

接下来,我们决定尝试使用机器人的声音,所以我们有了一个女孩Maria。

音讯


玛丽亚的测试结果给了我们希望。
Methodius玛利亚
被遗弃的管19%14%
沉默58%27%

已经有更多的人回答了机器人问题,沉默的人从27%降至58%,但他们仍然想减少人数。 我们听了试运行中的示例,并揭示了一些有趣的案例,这些案例中人们没有时间完成甚至根本没有时间开始交谈。 上面的例子是玛丽打扰客户的地方,没有等待答案的结束。

有些人默默地故意,他们知道这是机器人,正在等待操作员。 我们将它们分开处理。 还有一些人由于答复时间短而无法回答。 我们了解到,打断客户的忠诚度是不礼貌的。

我们决定进行实验,以选择记录客户响应的持续时间。 必须选择最佳的录制持续时间,以使尽可能多的短语具有信息意义,也就是说,它们包含可以分类的有意义的文本。 该表显示了记录客户响应的不同持续时间的信息短语的百分比。
响应时间Methodius玛利亚
5秒52.456.3
7秒63.878.2
10秒84.191.4
12秒83.792.1
15秒79.290.6

实验表明10秒钟足以提出请求。

但是,时间限制只是完成记录客户响应的一种方法,还有其他方法。 检测沉默或通过说话者的语调确定提示的结束是更有效的方法。 语音衰减检测已在世界范围内实施;开发人员受语调引导。 但是,经过多次针对特定响应记录时间的实验后,我们决定使用Asteriska检测静音,这已经足以获得良好的结果。

沉默检测示例


似乎一切都已经很好,机器人会尽可能多地收听,并收到新的声音,并命名为“ Anna”。 但是另一项具有此类改进的测试表明,废弃管的数量大大减少了。 沉默的人的数量也减少了,但我想要更好。
Methodius玛利亚安娜,第1版
被遗弃的管19%14%5%
沉默58%27%14%

无需三思而后行,我们决定修改脚本以实现机器人与客户端的交互。 如果客户没有回答(沉默),而我们在三秒钟内检测到此问题,那么安娜将再次询问。 由于之前使用了静音检测,因此很容易实现。 对话方案的最终轮廓如下。

图片

这样做是为了使对话更加活跃,并在用户可能没有听到来自Anna的第一句话时重复机器人的问题。

重新询问示例


Methodius玛利亚安娜,第1版安娜,第2版
被遗弃的管19%14%5%4%
沉默58%27%14%6%
重新询问后的答复------48%

结果,这样的实施产生了成效,只有4%的废弃管道和6%的沉默人员。 我们进行了大约6个月的时间,看来模型已经准备就绪,分类很好,但是很难实现。

发表结论


完成的模型是唯一可以做的事情, 当您了解用户准备好与机器人进行通信时,他们会怎么说,他们会说是富有成效的。
只有在那之后,实施该模型才不会困难,并且业务指标将会提高。

安娜的介绍。 总结


通话分类减少了通话时间。 减少了15秒,每天可以处理350个电话。 由于操作员立即回答了从机器人传递给他们的问题,并且没有浪费时间来倾听客户的意见,因此减少了这种情况。 但这不是主要的事情。

呼叫分类使接线员可以接收特定主题的呼叫。 由于我在文章第一部分中写的问题,重要的是:主题的多样性使操作员无法快速上线,首先必须学习所有客户问题的答案。 系统引入后,操作员培训开始需要1周而不是3个月的时间。 当然,操作员会继续学习,但是已经可以接听关于他在第一周学习的主题的电话。

我将在下一篇文章中看到您,在这里我将讨论另一种使用语音分类器的情况,即Anna如何减少技术支持与销售部门之间的转移次数。

Source: https://habr.com/ru/post/zh-CN473328/


All Articles