A / B-Test ist nicht genug
Es ist allgemein bekannt, dass der A / B-Test ein universelles, halbautomatisches Tool ist, das immer dazu beiträgt, Conversion, Loyalität und UX zu steigern. Eine Fehlinterpretation der Ergebnisse oder eine falsche Stichprobe führt jedoch zum Verlust des treuen Publikums und zur Verringerung des Spielraums. Warum? A / B basiert auf der Grundannahme, dass diese Stichprobe homogen und repräsentativ ist, Skalierbarkeit der Ergebnisse. In Wirklichkeit ist das Publikum heterogen - erinnern Sie sich an die Einkommensverteilung „20/80“. Heterogenität bedeutet, dass die Empfindlichkeit gegenüber A / B innerhalb der Probe erheblich variiert.
Zielgruppenclustering ist ein realer Effekt (Regel, keine Ausnahme gemäß Pareto), dh das Vorhandensein verschiedener psychologischer Profilgruppen von Kunden in einem Pool. Die Bewertung des Konvertierungskonfidenzintervalls impliziert eine Einheitlichkeit. Ein Verstoß gegen diese Kriterien bedeutet daher, dass die Genauigkeit der Ergebnisse nicht messbar ist. Ergebnis ohne Genauigkeit ist Müll. Jedes einzelne psychologische Profil reagiert mit unterschiedlicher Sensibilität für die Kampagne oder Funktion. Wir gehen davon aus, dass ein Profil eine einzigartige Reihe von Funktionen ist. Der Einfachheit halber können zwei Profilsätze X und Y betrachtet werden. Einige Merkmale mehrerer Profile können sich überschneiden - Ihre Freundin liebt auch Kaffee und Schokolade. Lassen Sie uns diesen Effekt in Form von drei Topologien veranschaulichen:
Standardmäßig gehen wir davon aus, dass wir alle Segmente gleichzeitig abdecken - Fall I. Fall II und III beinhalten nicht triviale Szenarien. Stellen Sie sich ein typisches Szenario für Fall II vor. Die Umwandlung nahm signifikant zu - der Y-Satz zeigt eine positive Reaktion, während X eine negative Reaktion und eine negative NPS-Änderung ergab. Der Y-Satz ist in der Zufallsstichprobe ohne Gewichte größer, sodass der kumulative Effekt positiv ist. Die Conversion wurde zweimal erhöht. Stellen Sie sich nun vor, dass die durchschnittliche Prüfung von X zehnmal höher ist und die Umwandlung von Segment X um die Hälfte gesunken ist. Schließlich: Steigerung der Conversion, Verlust des Publikums, Gewinnrückgang. Das Problem wird durch intuitive Tricks verschärft. Manchmal testen Automodelle die Hypothese für Segment X (Fall III) und versuchen, sie auf die Union (X + Y) zu verallgemeinern. Was ist los Die Abtasttechnik berücksichtigt keine Segmentierung. Lösungen?
- Weg Nr. 1 . Gruppieren Sie das Publikum mithilfe von k-means, anderen ML-Modellen oder RFM-Analysen. Sie müssen den Hyperparameter kennen - die Anzahl der Gruppen als Eingabe. Ihre Definition ist nicht trivial. Der nächste Schritt besteht darin, die individuelle Konvertierung des Segments zu bestimmen. Personalisieren Sie die Kampagne - bieten Sie je nach Profil ein A- oder B-Skript an.
- Weg # 2 . A / B-Rand messen. Denken Sie daran, dass die Marge das Produkt aus Conversion, Traffic und dem Durchschnittspreis ist. Die letzten beiden Parameter können durch Auswahl einer separaten Warenkategorie und Auswahl einer einheitlichen Verkehrsperiode festgelegt werden - langsame Parameter. Sie können die Diskretion der Verkehrsmessung erhöhen (jeden Montag für einen Monat), um die zufällige Komponente zu reduzieren.
- Weg # 3 . Stabilitätsanalyse. In diesem Fall wird eine Probe mit Ersatz verwendet. Alle Segmente werden berücksichtigt. Die Stichprobengröße wird schrittweise erhöht. Log-Log-Darstellung der Conversion Vice-Stichprobengröße gibt die Regressionssteigung (Hurst-Faktor) an. Es bietet Verständnis für Gleichmäßigkeit und Renormstabilität.
Allerdings. Egal welchen Weg Sie wählen, das Publikum ändert sich mit höherer Frequenz. Dies bedeutet, dass der A / B-Test ein regelmäßig wiederholtes Experiment ist. Ein Experiment, das trotz einer erheblichen Anzahl kommerzieller automatisierter Lösungen von einem erfahrenen Analysten überwacht werden sollte. Vergessen Sie nicht, dass alle Modelle falsch sind, aber einige sind vorübergehend nützlich ... unter bestimmten Bedingungen.
Meinem Vater gewidmet, der mir beigebracht hat, dass Intuition genauso wichtig ist wie Mathematik