Cómo probé QoE (calidad de experiencia)



Durante los últimos seis meses, a menudo comencé a escuchar en conferencias y de conocidos sobre varios productos basados ​​en el concepto de "calidad de experiencia" (QoE). Este término se está volviendo cada vez más popular. Se están realizando muchas investigaciones para crear nuevos métodos para determinar la calidad de percepción de los usuarios de un servicio o servicio en particular, pero ahora no quiero profundizar en la teoría de quién está interesado en poder buscar en Google.

Los mensajes publicitarios dicen que este producto milagroso puede:

  • Para identificar problemas con la calidad de la comunicación para CPE, incluido el equipo del suscriptor,
  • Aumentar LTV (LifeTimeValue),
  • Clickstream analytics, es decir, la capacidad de rastrear los sitios visitados, incluidos los sitios de la competencia,
  • Descubra cuántas direcciones IP virtuales hay detrás de la dirección IP real,
  • Determine qué servicios / equipos usan los suscriptores (SIP, OTT, casa inteligente, televisión inteligente, equipo de red),
  • Para cada usuario, priorice el tráfico y limite ciertos protocolos basados ​​en L7,
  • Fácil integración con OSS / BSS.

Dado que mi tarea principal es encontrar suscriptores insatisfechos con la calidad de Internet y, en general, resolver los problemas de abandono de suscriptores en todos los sentidos (trabajo en uno, no el operador de telecomunicaciones más pequeño en el departamento de calidad del servicio), este producto (lo llamaremos "QoE" por conveniencia ), con las dulces palabras de vendedores y vendedores, resuelve este problema. Pero todo esto es en teoría, y hasta que lo vea por sí mismo en la práctica, no lo entenderá. Es por eso que quería compartir con mis colegas el lado práctico de esta solución, desprovista de hermosos empaques de marketing.

Haré una reserva de inmediato para no llamar a un proveedor, de lo contrario, lo considerarán para publicidad y nadie me pagará por esto. Solo puedo decir que este es un fabricante ruso, en cuya línea hay soluciones (hardware y software) para filtrar URL, DPI y un producto basado en los principios de QoE basados ​​en este DPI.

Por lo tanto, contaré y mostraré qué funcionalidad logré probar, qué problemas surgieron durante la prueba y resumiré mi resultado subjetivo.

Comience a probar


No describiré particularmente cómo recibí el equipo para la prueba, ya que no sucedió nada especial en esta etapa. En resumen, los socios del proveedor de la compañía NAG se pusieron en contacto conmigo rápidamente.

Solicitamos información aclaratoria sobre las tareas que queremos resolver utilizando QoE, topología de red, volumen de tráfico y datos de personas de contacto de nuestra empresa. Después de eso, enviaron un enlace a su cuenta personal, donde podría familiarizarse con el producto en vivo.

Cuenta personal


Tras la autorización, aparece un panel que muestra:

  • Suscriptores activos
  • Pobres suscriptores de RTT / Terrible RTT (Tiempo de ida y vuelta)
  • Paquetes de / a suscriptores,
  • El valor promedio de RTT.

Honestamente, el concepto de "RTT terrible" es de alguna manera arrastrado. Para algunos, 10 ms se considera terrible, para otros, 100 ms. Pero, recurriendo al soporte técnico del proveedor, descubrí que el proveedor determina el indicador de "horror" y lo escribe en la configuración de QoE.



Problemas para suscriptores específicos


Inmediatamente encontré suscriptores con problemas que tuvieron serias demoras. Por ejemplo, más de 4.5 ms





Aquí puede ver los datos del equipo del cliente, en este caso tiene TP-LINK. Además, la longitud del cable del suscriptor y los errores de CRC son visibles.

Solo una referencia rápida: la verificación de redundancia circular (CRC) es una forma de detectar pequeños cambios en los bloques de datos. Este tipo de detección de errores es especialmente útil cuando se envían paquetes de datos a través de una red como SynqNet. Mientras que el contador de errores de paquetes verifica si hay paquetes faltantes o inválidos, el contador de errores CRC verifica la validez de los datos en los paquetes.

Podemos concluir que el cable está roto o que hay problemas dentro del apartamento.



Puede mostrar los principales problemas: por ejemplo, segmentar suscriptores por grupos de distritos según la hora del día y RTT, puede filtrar y agrupar según diversos criterios:

  • El número de CRC por semana,
  • Interruptor de acceso
  • Servicio
  • Interruptor de red troncal,
  • Contrato
  • Distrito
  • Proveedor de dispositivo de suscriptor
  • Longitud del cable.




Enumeramos los conmutadores principales mediante el filtrado por región. Como resultado, veremos la cantidad de suscriptores en los conmutadores principales. Hay 99 suscriptores en uno, 64 en el otro, etc. Además, puede ver el retraso promedio en los conmutadores de red troncal.



Sobre todo, estaba interesado en encontrar los interruptores de frenado. Como puede ver en la captura de pantalla anterior, este interruptor es el primero en la lista con 99 suscriptores. Podemos entrar en sus datos y ver qué le pasa.

Hacemos clic en el interruptor, filtramos por el criterio de "Interruptor principal", agrupando por el criterio de "Interruptor de acceso". Entonces quedará claro qué interruptor de acceso es el "peor" en este interruptor troncal:



Como resultado, se mostrará el peor interruptor de acceso (resaltado en rojo): tiene el RTT más grande.



Ahora vamos a este peor interruptor de acceso y vemos la siguiente imagen:



Vemos muchas sesiones con largas demoras. Si observa a los suscriptores en este conmutador de acceso, puede ver aquellos que tienen errores en el puerto; estos son problemas con el cable. En la siguiente captura de pantalla, se ve el número de suscriptor 12, que tiene 898 errores.



Puede ver inmediatamente a los suscriptores con un RTT grande, por ejemplo, 10.5



Vamos al suscriptor y vemos la siguiente imagen:



Por cada retransmisión de cinco minutos, el suscriptor tiene una pérdida de alrededor del 2%. Lo más probable es que necesite cambiar el enrutador Wi-Fi. Este cliente definitivamente necesita ser abordado.



Suscriptores con Internet consistentemente malo


Esta es una de las principales razones que me llevaron a probar QoE. Puede retirar a todos los suscriptores con un RTT estable deficiente y trabajar individualmente con cada uno. Por ejemplo, abra las estadísticas en la lista para el suscriptor número 3.



Este suscriptor no tiene errores en el puerto, el cable mide 37 metros. Lo más probable es que el problema radique en el apartamento del suscriptor.





Proveedores de Wi-Fi problemáticos


Según tengo entendido, funciona así: la información se elimina del servidor DHCP en los MAC de los dispositivos de suscriptor. Por lo tanto, todos los proveedores de Wi-Fi se retiran:



El más popular y con RTT normal resultó ser Zyxel, tiene 9307 suscriptores.



Top worst a continuación, con RTT de 15.2 y menos.



Reventa de Internet


También encontré una función que muestra a los suscriptores con el número de sesiones.



Puede ver inmediatamente a los suscriptores con un montón de sesiones. Vamos al suscriptor en el número 1.



En la sección Registros de Clickstream, puede ver cuántos dispositivos tiene actualmente el suscriptor:



Como vemos, el suscriptor tiene 100 dispositivos. Tal suscriptor definitivamente revende Internet. ¿Qué hacer con eso? Por ejemplo, planeamos transferir dichos suscriptores al servicio como una entidad legal.



Análisis de Clickstream


Parece que todo es simple aquí: clickstream muestra qué dispositivos usan los suscriptores, qué sitios visitan, qué navegadores usan. Esta información no es tan interesante para mí, pero resultó ser necesaria para nuestros especialistas en marketing. Por ejemplo, están interesados ​​en los siguientes escenarios:

1) Venta de nuestro servicio de TV a aquellos suscriptores que tengan Smart TV. Para hacer esto, puede filtrar por agente de usuario: SmartTV y mostrar a los propietarios de Smart TV. Luego, una cuestión de tecnología: llamar a los clientes o una carta que ofrezca conectar una tarifa con la televisión.





2) Busque clientes potenciales insatisfechos que estén interesados ​​en los sitios de los competidores. En la misma sección, “Registros de Clickstream”, dirigimos la URL del competidor de interés a la línea de “dominio” y, como resultado, obtenemos la siguiente lista:





Además, puede volver al comienzo de mi prueba y verificar la calidad RTT (tal vez el suscriptor tenga un problema con su enrutador Wi-Fi).

Además, esta información se puede transferir a marketing, call center, ellos saben qué hacer. Como mínimo, se comunicarán con los suscriptores sobre su satisfacción con la calidad de nuestros servicios.

Registro de conexión


Hay una función de registro de conexión con la que puede determinar cuántas direcciones virtuales hay detrás de una real.



De hecho, este gráfico muestra la densidad del proveedor NAT. Este gráfico muestra que NAT todavía se puede compactar.

Registros de DPI


Aquí puede ver las principales autonomías, aplicaciones.





Puede ver una aplicación específica en el contexto de la calidad de la comunicación y de la que provienen las autonomías, por ejemplo, World of tanks:





Nada inusual: se vierte con GCORE, realmente no hay frenos.

Puede ir al GCORE independiente y ver qué más está vertiendo sobre nosotros:



También puedes crear un filtro interesante. Por ejemplo, muestre los AS rusos con un retraso de más de 16 ms.

En otras palabras, puedes entender hacia dónde va la mirada a través de Occidente.



Como resultado, obtenemos la lista AS:



El resultado:

Para mis tareas, en general, el producto es adecuado, ya que sin mucha dificultad pude encontrar a todos los suscriptores problemáticos con RTT mayores de 4-5 c, indicando la razón (cable roto, virus, etc.) e indicando áreas "problemáticas" - indicando la calle y los suscriptores de IP . También quiero señalar una característica útil: la búsqueda de suscriptores que ya están considerando escapar a sus competidores.

Lo que me gustaría ver en futuras versiones del producto es la automatización. Es decir, aquí el sistema encuentra suscriptores que han comenzado a visitar los sitios web de los competidores, sería más conveniente para mí recibir notificaciones por correo sobre tales eventos.

En términos de automatización, sería conveniente que pudiéramos integrarnos con nuestra VoIP, de modo que en caso de un "terrible" RTT en el suscriptor, nuestro centro de llamadas llamaría automáticamente a dichos clientes de acuerdo con un escenario predeterminado.

Pero por ahora, nosotros, como proveedor, tendremos que resolver el problema de la salida de clientes en conjunto con el servicio de soporte y el centro de llamadas en modo manual o semi-manual. En el futuro cercano queremos pasar de las pruebas a la implementación.

PD: Si es interesante, puedo hablar sobre cómo trabajamos con suscriptores que querían escapar a los competidores. Y también sobre cómo integraremos este producto en nuestra red.

En general, escriba en los comentarios cuál de estos temas le gustaría ver como el próximo artículo, y enviaré material a los editores del sitio, tal vez ellos acepten publicar mis creaciones.

Source: https://habr.com/ru/post/es422225/


All Articles