Como eu testei QoE (Qualidade da Experiência)



Nos últimos seis meses, muitas vezes comecei a ouvir em conferências e conhecidos sobre vários produtos com base no conceito de "qualidade da experiência" (QoE). Este termo está se tornando cada vez mais popular. Muitas pesquisas estão em andamento para criar novos métodos para determinar a qualidade da percepção dos usuários de um serviço ou serviço específico, mas agora não quero me aprofundar na teoria de quem está interessado em poder pesquisar no Google.

As mensagens publicitárias dizem que este produto milagroso pode:

  • Para identificar problemas com a qualidade da comunicação do CPE, incluindo o equipamento do assinante,
  • Aumente o LTV (LifeTimeValue),
  • Análise de fluxo de cliques, ou seja, a capacidade de rastrear sites visitados, incluindo sites concorrentes,
  • Descubra quantos endereços IP virtuais estão por trás do endereço IP real,
  • Determine quais serviços / assinantes de equipamentos usam (SIP, OTT, smart house, smart tv, equipamento de rede),
  • Para cada usuário, priorize o tráfego e limite certos protocolos baseados em L7,
  • Fácil integração com OSS / BSS.

Como minha principal tarefa é encontrar assinantes insatisfeitos com a qualidade da Internet e geralmente resolver os problemas de rotatividade de assinantes de todas as formas (eu trabalho em um, não no menor operador de telecomunicações do departamento de qualidade de serviço), este produto (chamaremos de "QoE" por conveniência) ), com as palavras doces dos vendedores e comerciantes, resolve esse problema. Mas isso é tudo na teoria e, até que você se veja na prática, não entenderá. É por isso que eu queria compartilhar com os colegas o lado prático dessa solução, sem uma bela embalagem de marketing.

Farei uma reserva imediatamente e não ligarei para um fornecedor, caso contrário eles a considerarão para publicidade e ninguém me pagará por isso. Só posso dizer que este é um fabricante russo, na linha em que existem soluções (hardware e software) para filtrar URLs, DPI e um produto baseado nos princípios de QoE com base nesse DPI.

Portanto, mostrarei e mostrarei que funcionalidade consegui testar, quais problemas surgiram durante o teste e resumirei meu resultado subjetivo.

Iniciar teste


Não descreverei particularmente como recebi o equipamento para teste, pois nada de especial aconteceu nesta fase. Em resumo, os parceiros do fornecedor da empresa NAG entraram em contato rapidamente.

Pedimos informações esclarecedoras sobre as tarefas que queremos resolver usando QoE, topologia de rede, volume de tráfego e dados de pessoas de contato de nossa empresa. Depois disso, eles enviaram um link para sua conta pessoal, onde você pode se familiarizar com o produto ao vivo.

Conta pessoal


Mediante autorização, um painel aparece, mostrando:

  • Assinantes ativos
  • Assinantes pobres de RTT / Terrible RTT (Round Trip Time)
  • Pacotes de / para assinantes,
  • O valor médio do RTT.

Honestamente, o conceito de "terrível RTT" é, de alguma forma, arrastado. Para alguns, 10 ms é considerado terrível, para outros - 100 ms. Mas, voltando-me para o suporte técnico do fornecedor, descobri que o provedor determina o indicador de "horror" e o grava na configuração de QoE.



Problemas para assinantes específicos


Encontrei imediatamente assinantes com problemas que apresentavam atrasos sérios. Por exemplo, mais de 4,5 ms





Aqui você pode ver os dados do equipamento do cliente, neste caso, o TP-LINK. Além disso, o comprimento do cabo do assinante e os erros CRC são visíveis.

Apenas uma referência rápida: a verificação circular de redundância (CRC) é uma maneira de detectar pequenas alterações nos blocos de dados. Esse tipo de detecção de erro é especialmente útil ao enviar dados de pacotes por uma rede como a SynqNet. Enquanto o contador de erros de pacotes verifica pacotes ausentes ou inválidos, o contador de erros CRC verifica a validade dos dados nos pacotes.

Podemos concluir que o cabo está quebrado ou há problemas dentro do apartamento.



Você pode exibir os principais problemas: por exemplo, segmentar assinantes por grupos de distritos, dependendo da hora do dia e da RTT, é possível filtrar e agrupar de acordo com vários critérios:

  • O número de CRC por semana,
  • Interruptor de acesso
  • Serviço
  • Interruptor de backbone,
  • Contrato
  • Distrito
  • Fornecedor do dispositivo do assinante
  • Comprimento do cabo.




Listamos os comutadores de backbone filtrando por região. Como resultado, veremos o número de assinantes nos switches principais. Existem 99 assinantes em um, 64 no outro, etc. Além disso, você pode ver o atraso médio nos comutadores de backbone.



Acima de tudo, eu estava interessado em encontrar os interruptores de frenagem. Como você pode ver na captura de tela acima, essa opção é a primeira da lista com 99 assinantes. Podemos entrar nos dados dele e ver o que há de errado com ele.

Clicamos no comutador, filtramos pelo critério de "Switch principal", agrupando pelo critério de "Switch de acesso". Portanto, ficará claro qual switch de acesso é o "pior" nesse switch de tronco:



Como resultado, o pior comutador de acesso (destacado em vermelho) será exibido - ele possui o maior RTT.



Agora vamos para esse pior switch de acesso e vemos a seguinte imagem:



Vemos muitas sessões com longos atrasos. Se você observar os assinantes desse switch de acesso, poderá ver aqueles que têm erros na porta - esses são problemas com o cabo. Na captura de tela abaixo, o número de assinante 12 é visível, com 898 erros.



Você pode notar imediatamente os assinantes com um RTT grande, por exemplo, 10.5



Vamos ao assinante e vemos a seguinte imagem:



Para cada retransmissão de cinco minutos, o assinante tem cerca de 2% de perda. Provavelmente, ele precisa mudar o roteador Wi-Fi. Definitivamente, esse cliente precisa ser tratado.



Assinantes com Internet constantemente ruim


Esse é um dos principais motivos que me levou a experimentar a QoE. Você pode retirar todos os assinantes com uma RTT estável e ruim e trabalhar individualmente com cada um. Por exemplo, abra as estatísticas na lista para o número de assinante 3.



Este assinante não possui erros na porta, o cabo tem 37 metros. Provavelmente, o problema está no apartamento do assinante.





Problema Fornecedores de Wi-Fi


Pelo que entendi, funciona assim: as informações são removidas do servidor DHCP nos MACs dos dispositivos de assinante. Assim, todos os fornecedores de Wi-Fi são retirados:



O mais popular e com o RTT normal acabou sendo o Zyxel, possui 9307 assinantes.



As pioras principais abaixo, com RTTs de 15,2 e abaixo.



Revenda na Internet


Eu também encontrei uma função que mostra os assinantes com o número de sessões.



Você pode ver imediatamente os assinantes com várias sessões. Vamos para o assinante no número 1.



Na seção Logs de fluxo de cliques, você pode ver quantos dispositivos o assinante possui atualmente:



Como vemos, o assinante possui 100 dispositivos. Esse assinante definitivamente revende a Internet. O que fazer com isso? Por exemplo, planejamos transferir esses assinantes para o serviço como uma entidade legal.



Análise de fluxo de cliques


Parece que tudo é simples aqui: o fluxo de cliques mostra quais dispositivos os assinantes usam, quais sites eles visitam e quais navegadores usam. Essa informação não é tão interessante para mim, mas acabou sendo necessária para nossos profissionais de marketing. Por exemplo, eles estão interessados ​​nos seguintes cenários:

1) Venda do nosso serviço de TV para os assinantes que possuem Smart TV. Para fazer isso, você pode filtrar por agente do usuário: SmartTV e exibir os proprietários da smart TV. Depois, uma questão de tecnologia: ligar para os clientes ou oferecer uma carta para conectar uma tarifa à TV.





2) Procure clientes insatisfeitos em potencial que estejam interessados ​​nos sites dos concorrentes. Na mesma seção, “Clickstream logs” direcionamos o URL do concorrente de interesse para a linha “domain” e, como resultado, obtemos a seguinte lista:





Além disso, você pode voltar ao início do meu teste e verificar a qualidade do RTT (talvez o assinante tenha um problema com o roteador Wi-Fi).

Além disso, essas informações podem ser transferidas para marketing, call center, eles sabem o que fazer. No mínimo, eles se comunicarão com os assinantes sobre sua satisfação com a qualidade de nossos serviços.

Log de conexão


Há uma função de log de conexão com a qual você pode determinar quantos endereços virtuais estão atrás de um endereço real.



De fato, este gráfico mostra a densidade do provedor NAT. Este gráfico mostra que o NAT ainda pode ser compactado.

Registros de DPI


Aqui você pode ver as principais autonomias, aplicativos.





Você pode ver uma aplicação específica no contexto da qualidade da comunicação e a partir da qual as autonomias fluem, por exemplo, World of tanks:





Nada de anormal: ele derrama com GCORE, não há realmente nenhum freio.

Você pode ir para o GCORE autônomo e ver o que mais está sendo derramado por nós:



Você também pode criar um filtro interessante. Por exemplo, mostre os ASs russos com um atraso de mais de 16 ms.

Em outras palavras, você pode entender para onde os pares passam pelo Ocidente



Como resultado, obtemos a lista AS:



O resultado:

Para minhas tarefas, em geral, o produto é adequado, pois sem muita dificuldade eu pude encontrar todos os assinantes problemáticos com RTTs maiores que 4-5 c, indicando o motivo (cabo quebrado, vírus, etc.) e indicando áreas "problemáticas" - indicando os assinantes de rua e IP . Também quero destacar um recurso útil - a busca por assinantes que já estão considerando fugir para os concorrentes.

O que eu gostaria de ver em versões futuras do produto é automação. Ou seja, aqui o sistema encontra assinantes que começaram a visitar os sites dos concorrentes; seria mais conveniente para mim receber notificações por correio sobre esses eventos.

Em termos de automação, seria conveniente se pudéssemos integrar nosso VoIP, para que, no caso de um RTT “terrível” no assinante, nossa central de atendimento chamasse automaticamente esses clientes de acordo com um cenário predeterminado.

Mas, por enquanto, nós, como provedor, teremos que resolver o problema de saída de clientes em conjunto com o serviço de suporte e o call center no modo manual ou semi-manual. Num futuro próximo, queremos passar do teste para a implementação.

PS: Se for interessante, posso falar sobre como trabalhamos com assinantes que queriam fugir para os concorrentes. E também sobre como integraremos este produto em nossa rede.

Em geral, escreva nos comentários quais desses tópicos você gostaria de ver no próximo artigo e enviarei material para os editores do site - talvez eles concordem em publicar minhas criações.

Source: https://habr.com/ru/post/pt422225/


All Articles