我如何测试QoE(体验质量)



在过去的六个月中,我经常在会议上和从熟人那里听到基于“体验质量”(QoE)概念的各种产品的信息。 这个术语越来越受欢迎。 正在进行大量研究以创建新方法来确定特定服务或服务的用户的感知质量,但是现在我不想深入探讨谁对自己能够使用Google感兴趣的理论。

广告消息说,这个奇迹产品可以:

  • 为了确定CPE(包括与用户设备之间)的通信质量问题,
  • 增加LTV(LifeTimeValue),
  • 点击流分析,即跟踪访问的网站(包括竞争对手的网站)的能力,
  • 找出实际IP地址后面有多少个虚拟IP地址,
  • 确定订户使用哪些服务/设备(SIP,OTT,智能房屋,智能电视,网络设备),
  • 为每个用户分配流量优先级并限制某些基于L7的协议,
  • 易于与OSS / BSS集成。

由于我的主要任务是找到对互联网质量不满意的订户,并通常以各种方式解决订户流失的问题(我是一个人,而不是服务质量部门中最小的电信运营商),因此此产品(为方便起见,我们将其称为“ QoE” ),用卖方和营销者的好话,解决了这个问题。 但这只是理论上的一切,除非您亲身实践,否则您将无法理解。 这就是为什么我想与同事分享该解决方案的实用方面,而没有精美的营销包装的原因。

我会立即预约,我不会打电话给供应商,否则他们会考虑将其用于广告宣传,并且没人会为此支付我费用。 我只能说这是一家俄罗斯制造商,在其生产线中有解决方案(硬件和软件),用于过滤URL,DPI和基于该DPI的基于QoE原理的产品。

因此,我将告诉并说明我设法测试了哪些功能,在测试过程中出现了什么问题,并总结了我的主观结果。

开始测试


我不会特别描述我如何接收测试设备,因为在此阶段没有什么特别的事情发生。 简而言之,NAG公司的供应商合作伙伴迅速与我联系。

我们要求澄清有关我们要使用QoE,网络拓扑,流量和来自公司的联系人数据要解决的任务的信息。 之后,他们将链接发送到您的个人帐户,您可以在此了解产品的实时信息。

个人账户


授权后,将显示一个仪表板,其中显示:

  • 活跃订户
  • RTT / RTT(往返时间)订户很差
  • 订阅者之间的套餐,
  • RTT的平均值。

老实说,“可怕的RTT”的概念有些含糊。 对于某些人来说,10毫秒被认为是可怕的,对于其他人来说,则是100毫秒。 但是,在寻求供应商的技术支持后,我发现供应商确定了“恐怖”指标,并将其写入QoE配置中。



特定订户的问题


我立即发现有严重延迟的问题订户。 例如,超过4.5毫秒





在这里,您可以看到客户端设备的数据,在这种情况下,它具有TP-LINK。 此外,还可以看到用户电缆长度和CRC错误。

快速参考:循环冗余校验(CRC)是一种检测数据块中微小变化的方法。 通过网络(例如SynqNet)发送数据包数据时,这种类型的错误检测特别有用。 数据包错误计数器检查丢失或无效的数据包时,CRC错误计数器检查数据包中数据的有效性。

我们可以得出结论,即电缆损坏或公寓内部出现问题。



您可以显示主要问题:例如,根据一天中的时间和RTT按地区组对订户进行细分,您可以根据各种条件进行过滤和分组:

  • 每周的CRC数,
  • 存取开关
  • 服务专区
  • 骨干网开关
  • 签约
  • 地区
  • 订户设备供应商
  • 电缆长度。




我们通过按区域过滤列出了骨干交换机。 结果,我们将看到主交换机上的订户数量。 一个有99个订户,另一个有64个,依此类推。 此外,您可以看到骨干交换机上的平均延迟。



最重要的是,我对找到制动开关很感兴趣。 从上面的屏幕快照中可以看到,此开关是列表中具有99个订阅者的第一个开关。 我们可以查看他的数据,看看他怎么了。

我们单击该开关,按照“主开关”的标准过滤,按“访问开关”的标准分组。 因此,很明显哪个中继交换机是此中继交换机上最“糟糕的”:



结果,将显示最差的访问开关(红色突出显示)-它具有最大的RTT。



现在,我们转到最差的访问开关,然后看到下图:



我们看到许多会议都有很长的延迟。 如果您查看此访问交换机上的用户,则可以看到端口上有错误的用户-这些是电缆问题。 在下面的屏幕快照中,可见12号订户,其中有898个错误。



您可以立即注意到具有较大RTT(例如10.5)的订户



我们去订阅者,看下面的图片:



对于每五分钟的重新传输,订户损失约2%。 最有可能的是,他需要更换Wi-Fi路由器。 此客户肯定需要解决。



互联网持续不良的订户


这是促使我尝试QoE的主要原因之一。 您可以撤回所有RTT稳定较差的订户,并分别与每个订户一起工作。 例如,打开列表中3号用户的统计信息。



该用户在端口上没有错误,电缆为37米。 问题很可能出在订户的公寓里。





问题Wi-Fi供应商


据我了解,它是这样工作的:信息已从订户设备的MAC上的DHCP服务器中删除。 因此,所有Wi-Fi供应商都被淘汰了:



最受欢迎的且具有常规RTT的是合勤,它有9307个订户。



最坏的情况在以下,RTT为15.2及以下。



转售互联网


我还发现了一个函数,该函数向订阅者显示会话数。



您可以立即看到带有一系列会话的订户。 让我们去1号订户。



在“点击流日志”部分,您可以查看订阅者当前拥有多少设备:



如我们所见,订户有100个设备。 这样的用户肯定转售了Internet。 怎么办呢? 例如,我们计划将此类订户转让为法人实体。



点击流分析


似乎这里一切都很简单:clickstream显示订户使用的设备,访问的站点,使用的浏览器。 这些信息对我来说并不那么有趣,但是事实证明,这对于我们的营销人员而言是必要的。 例如,他们对以下情况感兴趣:

1)将我们的电视服务出售给拥有智能电视的订户。 为此,您可以按用户代理进行过滤:SmartTV并显示智能电视的所有者。 然后是技术问题:打电话给客户或提供价目表以将关税与电视联系起来。





2)寻找对竞争对手网站感兴趣的潜在不满意客户。 在同一部分的“点击流日志”中,我们将感兴趣的竞争对手的URL驱动到“域”行,因此,得到以下列表:





此外,您可以返回到测试的最开始,检查RTT质量(也许订户的Wi-Fi路由器有问题)。

此外,这些信息可以传输到市场营销,呼叫中心,他们知道该怎么做。 至少,他们将与订户交流对他们对我们服务质量的满意度。

连接日志


有一个连接日志功能,您可以使用该功能确定一个真实地址后面有多少个虚拟地址。



实际上,此图显示了NAT提供程序的密度。 此图显示NAT仍然可以压缩。

DPI日志


在这里,您可以看到TOP自治区,应用程序。





您可以在通信质量的背景下看到特定的应用程序,并从中倾泻自治权,例如《坦克世界》:





没什么不寻常的:它充满了GCORE,实际上并没有任何刹车。

您可以转到GCORE独立版,看看我们身上还涌出了什么:



您还可以创建一个有趣的过滤器。 例如,显示俄罗斯AS的延迟超过16毫秒。

换句话说,您可以了解对等网络在西方的发展方向



结果,我们得到列表AS:



结果:

通常,对于我的任务而言,该产品是合适的,因为我可以很容易地找到所有RTT大于4-5 c的有问题的用户,并指出原因(电缆,病毒等损坏)并指出“问题”区域-指示街道和IP用户。 我还想指出一个有用的功能-搜索已经在考虑向竞争对手逃脱的订户。

我希望在该产品的将来版本中看到的是自动化。 也就是说,在这里系统找到已经开始访问竞争对手网站的订户,对于我来说,通过邮件接收有关此类事件的通知会更加方便。

在自动化方面,如果我们可以与VoIP集成,将会很方便,这样,如果订户处的RTT“糟糕”,我们的呼叫中心将根据预定方案自动呼叫此类客户端。

但是目前,作为提供者,我们将不得不与支持服务和呼叫中心一起以手动或半手动方式解决客户外流的问题。 在不久的将来,我们希望从测试过渡到实施。

PS:如果有意思,我可以谈谈我们如何与想要逃避竞争对手的订户合作。 以及关于我们如何将该产品集成到我们的网络中的信息。

一般来说,在下一篇文章中,您要在评论中写下哪些主题,我将把材料发送给网站的编辑-也许他们同意出版我的作品。

Source: https://habr.com/ru/post/zh-CN422225/


All Articles