Wie ich QoE (Quality of Experience) getestet habe



In den letzten sechs Monaten hörte ich oft auf Konferenzen und von Bekannten über verschiedene Produkte, die auf dem Konzept der „Qualität der Erfahrung“ (QoE) basierten. Dieser Begriff wird immer beliebter. Es wird viel geforscht, um neue Methoden zur Bestimmung der Wahrnehmungsqualität von Nutzern eines bestimmten Dienstes oder Dienstes zu entwickeln, aber jetzt möchte ich nicht auf die Theorie eingehen, wer daran interessiert ist, sich selbst googeln zu können.

Die Werbebotschaften besagen, dass dieses Wunderprodukt:

  • Um Probleme mit der Qualität der Kommunikation für CPE zu identifizieren, einschließlich der Teilnehmerausrüstung,
  • LTV erhöhen (LifeTimeValue),
  • Clickstream-Analyse, dh die Möglichkeit, besuchte Websites, einschließlich Websites von Wettbewerbern, zu verfolgen,
  • Finden Sie heraus, wie viele virtuelle IP-Adressen sich hinter der realen IP-Adresse befinden.
  • Bestimmen Sie, welche Dienste / Geräte Abonnenten verwenden (SIP, OTT, Smart House, Smart TV, Netzwerkgeräte).
  • Priorisieren Sie für jeden Benutzer den Datenverkehr und beschränken Sie bestimmte L7-basierte Protokolle.
  • Einfache Integration mit OSS / BSS.

Da meine Hauptaufgabe darin besteht, Abonnenten zu finden, die mit der Qualität des Internets unzufrieden sind, und die Probleme der Abonnentenabwanderung im Allgemeinen in jeder Hinsicht zu lösen (ich arbeite in einem, nicht dem kleinsten Telekommunikationsbetreiber in der Abteilung für Servicequalität), ist dieses Produkt (wir werden es der Einfachheit halber „QoE“ nennen) ) löst dieses Problem mit den süßen Worten von Verkäufern und Vermarktern. Aber das ist alles in der Theorie und bis Sie sich in der Praxis selbst davon überzeugen, werden Sie es nicht verstehen. Deshalb wollte ich mit Kollegen die praktische Seite dieser Lösung teilen, ohne schöne Marketingverpackungen.

Ich werde sofort reservieren, dass ich keinen Verkäufer anrufe, sonst wird er für Werbung in Betracht gezogen, und niemand wird mich dafür bezahlen. Ich kann nur sagen, dass dies ein russischer Hersteller ist, in dessen Bereich es Lösungen (Hardware und Software) zum Filtern von URLs, DPI und einem Produkt gibt, das auf den auf dieser DPI basierenden QoE-Prinzipien basiert.

Daher werde ich erzählen und zeigen, welche Funktionalität ich getestet habe, welche Probleme beim Testen aufgetreten sind und ich werde mein subjektives Ergebnis zusammenfassen.

Starten Sie den Test


Ich werde nicht besonders beschreiben, wie ich die Ausrüstung zum Testen erhalten habe, da zu diesem Zeitpunkt nichts Besonderes passiert ist. Kurz gesagt, die Partner des Anbieters der Firma NAG haben mich schnell kontaktiert.

Wir haben um Klärung von Informationen zu den Aufgaben gebeten, die wir mithilfe von QoE, Netzwerktopologie, Verkehrsaufkommen und Kontaktpersonendaten unseres Unternehmens lösen möchten. Danach haben sie einen Link zu Ihrem persönlichen Konto gesendet, über den Sie das Produkt live kennenlernen können.

Persönliches Büro


Nach der Autorisierung wird ein Dashboard angezeigt, das Folgendes anzeigt:

  • Aktive Abonnenten
  • Schlechte RTT / Terrible RTT-Abonnenten (Round Trip Time)
  • Pakete von / zu Abonnenten,
  • Der Durchschnittswert von RTT.

Ehrlich gesagt ist das Konzept der "schrecklichen RTT" irgendwie verwischt. Für einige gelten 10 ms als schrecklich, für andere als 100 ms. Als ich mich jedoch an den technischen Support des Anbieters wandte, stellte ich fest, dass der Anbieter den Indikator "Horror" ermittelt und in die QoE-Konfiguration schreibt.



Probleme für bestimmte Abonnenten


Ich fand sofort problematische Abonnenten, die ernsthafte Verzögerungen hatten. Zum Beispiel mehr als 4,5 ms





Hier sehen Sie die Daten des Client-Geräts, in diesem Fall hat es TP-LINK. Außerdem sind die Teilnehmerkabellänge und CRC-Fehler sichtbar.

Nur eine kurze Referenz: Die zirkuläre Redundanzprüfung (CRC) ist eine Möglichkeit, kleine Änderungen in Datenblöcken zu erkennen. Diese Art der Fehlererkennung ist besonders nützlich, wenn Paketdaten über ein Netzwerk wie SynqNet gesendet werden. Während der Paketfehlerzähler auf fehlende oder ungültige Pakete prüft, prüft der CRC-Fehlerzähler die Gültigkeit der Daten in den Paketen.

Wir können daraus schließen, dass entweder das Kabel gebrochen ist oder Probleme in der Wohnung auftreten.



Sie können die Hauptprobleme anzeigen: Segmentieren Sie beispielsweise Abonnenten nach Gruppen von Distrikten in Abhängigkeit von Tageszeit und RTT. Sie können nach verschiedenen Kriterien filtern und gruppieren:

  • Die Anzahl der CRC pro Woche,
  • Zugangsschalter
  • Service
  • Backbone-Schalter,
  • Vertrag
  • Bezirk
  • Anbieter von Abonnentengeräten
  • Kabellänge.




Wir listen die Backbone-Switches durch Filtern nach Region auf. Als Ergebnis sehen wir die Anzahl der Teilnehmer an den Hauptschaltern. Es gibt 99 Abonnenten auf einem, 64 auf dem anderen usw. Außerdem können Sie die durchschnittliche Verzögerung der Backbone-Switches anzeigen.



Vor allem war ich daran interessiert, die Bremsschalter zu finden. Wie Sie dem obigen Screenshot entnehmen können, ist dieser Switch mit 99 Abonnenten der allererste in der Liste. Wir können in seine Daten gehen und sehen, was mit ihm los ist.

Wir klicken auf den Schalter, filtern nach dem Kriterium „Hauptschalter“ und gruppieren nach dem Kriterium „Zugangsschalter“. Es ist also klar, welcher Zugangsschalter der "schlechteste" an diesem Amtsleitungsschalter ist:



Infolgedessen wird der Schalter für den schlechtesten Zugriff (rot hervorgehoben) angezeigt - er hat die größte RTT.



Jetzt gehen wir zu diesem schlechtesten Zugangsschalter und sehen das folgende Bild:



Wir sehen viele Sitzungen mit langen Verzögerungen. Wenn Sie sich die Teilnehmer an diesem Zugriffsschalter ansehen, können Sie diejenigen sehen, die Fehler am Port haben - dies sind Probleme mit dem Kabel. Im folgenden Screenshot ist die Teilnehmernummer 12 mit 898 Fehlern sichtbar.



Sie können Abonnenten mit einer großen RTT sofort erkennen, z. B. 10.5



Wir gehen zum Abonnenten und sehen das folgende Bild:



Für jede fünfminütige Neuübertragung hat der Teilnehmer einen Verlust von etwa 2%. Höchstwahrscheinlich muss er den WLAN-Router wechseln. Dieser Kunde muss unbedingt angesprochen werden.



Abonnenten mit durchweg schlechtem Internet


Dies ist einer der Hauptgründe, warum ich QoE ausprobiert habe. Sie können alle Abonnenten mit einer stabil schlechten RTT zurückziehen und individuell mit jedem arbeiten. Öffnen Sie beispielsweise die Statistik in der Liste für Teilnehmer Nummer 3.



Dieser Teilnehmer hat keine Fehler am Port, das Kabel ist 37 Meter lang. Das Problem liegt höchstwahrscheinlich in der Wohnung des Teilnehmers.





Problem Wi-Fi-Anbieter


So wie ich es verstehe, funktioniert es folgendermaßen: Informationen werden vom DHCP-Server auf den MACs von Teilnehmergeräten entfernt. Somit werden alle Wi-Fi-Anbieter herausgezogen:



Das beliebteste und mit normalem RTT erwies sich Zyxel, es hat 9307 Abonnenten.



Top Worst unten mit RTTs von 15,2 und darunter.



Internet weiterverkaufen


Ich habe auch eine Funktion gefunden, die Abonnenten mit der Anzahl der Sitzungen anzeigt.



Sie können die Abonnenten sofort mit einer Reihe von Sitzungen sehen. Gehen wir zum Teilnehmer unter Nummer 1.



Im Abschnitt Clickstream-Protokolle können Sie sehen, über wie viele Geräte der Abonnent derzeit verfügt:



Wie wir sehen, hat der Teilnehmer 100 Geräte. Ein solcher Abonnent verkauft das Internet definitiv weiter. Was soll man damit machen? Zum Beispiel planen wir, solche Abonnenten als juristische Person in den Dienst zu stellen.



Clickstream-Analyse


Hier scheint alles einfach zu sein: Clickstream zeigt, welche Geräte Abonnenten verwenden, welche Websites sie besuchen, welche Browser sie verwenden. Diese Informationen sind für mich nicht so interessant, haben sich aber für unsere Vermarkter als notwendig erwiesen. Sie interessieren sich beispielsweise für folgende Szenarien:

1) Verkauf unseres TV-Dienstes an Abonnenten mit Smart TV. Dazu können Sie nach Benutzeragenten filtern: SmartTV und die Besitzer von Smart TV anzeigen. Dann eine Frage der Technologie: Kunden anrufen oder ein Briefangebot, um einen Tarif mit dem Fernseher zu verbinden.





2) Suchen Sie nach potenziell unzufriedenen Kunden, die an den Websites von Wettbewerbern interessiert sind. Im selben Abschnitt, "Clickstream-Protokolle", leiten wir die URL des interessierenden Konkurrenten in die Zeile "Domain" und erhalten als Ergebnis die folgende Liste:





Außerdem können Sie zum Anfang meines Tests zurückkehren und die RTT-Qualität überprüfen (möglicherweise hat der Teilnehmer ein Problem mit seinem WLAN-Router).

Weiterhin können diese Informationen an Marketing, Call Center übertragen werden, sie wissen, was zu tun ist. Zumindest werden sie mit den Abonnenten über ihre Zufriedenheit mit der Qualität unserer Dienstleistungen kommunizieren.

Verbindungsprotokoll


Es gibt eine Verbindungsprotokollfunktion, mit der Sie bestimmen können, wie viele virtuelle Adressen sich hinter einer realen befinden.



Tatsächlich zeigt dieses Diagramm die Dichte des NAT-Anbieters. Diese Grafik zeigt, dass NAT noch komprimiert werden kann.

DPI-Protokolle


Hier sehen Sie die TOP Autonomien, Anwendungen.





Sie können eine bestimmte Anwendung im Kontext der Kommunikationsqualität sehen und aus der Autonomien hervorgehen, z. B. World of Tanks:





Nichts Ungewöhnliches: Es gießt mit GCORE, es gibt eigentlich keine Bremsen.

Sie können zum GCORE Standalone gehen und sehen, was sonst noch von uns darauf strömt:



Sie können auch einen interessanten Filter erstellen. Zeigen Sie beispielsweise russische AS mit einer Verzögerung von mehr als 16 ms.

Mit anderen Worten, Sie können verstehen, wohin der Blick durch den Westen geht



Als Ergebnis erhalten wir die Liste AS:



Das Ergebnis:

Für meine Aufgaben ist das Produkt im Allgemeinen geeignet, da ich ohne große Schwierigkeiten alle problematischen Teilnehmer mit RTTs größer als 4-5 c finden konnte, die den Grund (Kabelbruch, Viren usw.) angeben und „Problembereiche“ angeben - die Straßen- und IP-Teilnehmer angeben . Ich möchte auch eine nützliche Funktion erwähnen - die Suche nach Abonnenten, die bereits über ihre Flucht vor Wettbewerbern nachdenken.

Was ich in zukünftigen Versionen des Produkts sehen möchte, ist die Automatisierung. Das heißt, hier findet das System Abonnenten, die begonnen haben, die Websites von Wettbewerbern zu besuchen. Es wäre für mich bequemer, Benachrichtigungen per E-Mail über solche Ereignisse zu erhalten.

In Bezug auf die Automatisierung wäre es praktisch, wenn wir uns in unser VoIP integrieren könnten, so dass unser Callcenter im Falle einer „schrecklichen“ RTT beim Teilnehmer solche Clients automatisch nach einem vorgegebenen Szenario anrufen würde.

Vorerst müssen wir als Anbieter das Problem des Kundenabflusses in Verbindung mit dem Support-Service und dem Call Center im manuellen oder halbmanuellen Modus lösen. In naher Zukunft wollen wir vom Testen zur Implementierung übergehen.

PS: Wenn es interessant ist, kann ich darüber sprechen, wie wir mit Abonnenten zusammengearbeitet haben, die den Konkurrenten entkommen wollten. Und auch darüber, wie wir dieses Produkt in unser Netzwerk integrieren werden.

Schreiben Sie im Allgemeinen in Kommentaren, welches dieser Themen Sie als nächsten Artikel sehen möchten, und ich sende Material an die Redakteure der Website. Vielleicht stimmen sie der Veröffentlichung meiner Kreationen zu.

Source: https://habr.com/ru/post/de422225/


All Articles