Le test A / B ne suffit pas
Il est communément admis que le test A / B est un outil universel et semi-automatique qui aide toujours à augmenter la conversion, la fidélité et l'UX. Cependant, une mauvaise interprétation des résultats ou un mauvais échantillonnage conduit à la perte d'audience fidèle et à une diminution de la marge. Pourquoi? A / B est basé sur l'hypothèse de base que cet échantillon est homogène et représentatif, l'évolutivité des résultats. En réalité, le public est hétérogène - rappelez-vous la répartition «20/80» des revenus. L'hétérogénéité signifie que la sensibilité à A / B varie considérablement au sein de l'échantillon.
Le regroupement d'audience est un effet réel (règle, pas exception selon Pareto), ce qui signifie la présence de différents groupes de profils psychologiques de clients dans un pool. L'évaluation de l'intervalle de confiance de conversion implique l'uniformité. Par conséquent, la violation de ces critères signifie que l'exactitude des résultats est incommensurable. Le résultat sans précision est une ordure. Chaque profil psychologique unique réagit avec une sensibilité différente à la campagne ou à la fonctionnalité. Nous supposons qu'un profil est un ensemble unique de fonctionnalités. Par souci de simplicité, deux ensembles de profils X et Y peuvent être considérés. Certaines caractéristiques de plusieurs profils peuvent se recouper - votre petite amie aime aussi le café et le chocolat. Illustrons cet effet sous forme de trois topologies:
Par défaut, nous supposons que nous couvrons tous les segments à la fois - Cas I. Les cas II et III impliquent des scénarios non triviaux. Considérons un scénario typique du cas II. La conversion a augmenté de manière significative - l'ensemble Y montre une réaction positive, tandis que X a donné une réaction négative et un changement NPS négatif. L'ensemble Y est plus grand dans l'échantillon aléatoire sans pondération, donc l'effet cumulatif est positif. La conversion a augmenté deux fois. Imaginons maintenant que le contrôle moyen de X soit 10 fois plus élevé et que la conversion du segment X ait diminué de moitié. Enfin: augmentation de la conversion, perte d'audience, baisse des bénéfices. Le problème est aggravé par des astuces intuitives. Parfois, les modèles automobiles testent l'hypothèse sur le segment X (cas III) et tentent de généraliser à l'union (X + Y). Qu'est-ce qui ne va pas? La technique d'échantillonnage ne prend pas en compte la segmentation. Des solutions?
- Voie # 1 . Regroupez l'audience à l'aide de k-means, d'autres modèles ML ou d'une analyse RFM. Vous devez connaître l'hyperparamètre - le nombre de groupes comme entrée. Sa définition n'est pas anodine. L'étape suivante consiste à déterminer la conversion individuelle du segment. Personnalisez la campagne - offrez un script A ou B, selon le profil.
- Voie # 2 . Mesurer la marge A / B. Rappelons que la marge est le produit de la conversion, du trafic et du prix moyen. Les deux derniers paramètres peuvent être fixés en sélectionnant une catégorie distincte de marchandises et en choisissant une période de trafic uniforme - paramètres lents. Vous pouvez augmenter la discrétion de la mesure du trafic (tous les lundis pendant un mois) pour réduire la composante aléatoire.
- Voie # 3 . Analyse de stabilité. L'échantillonnage avec remplacement est utilisé dans ce cas. Tous les segments sont pris en compte. La taille de l'échantillon est progressivement augmentée. La représentation log-log de la taille de l'échantillon de conversion donne la pente de régression (facteur Hurst). Il permet de comprendre l'uniformité et la stabilité de renorm.
Cependant. Quel que soit le chemin que vous choisissez, le public changera avec une fréquence plus élevée. Cela signifie que le test A / B est une expérience régulièrement répétée. Une expérience qui devrait être supervisée par un analyste expérimenté malgré un nombre important de solutions commerciales automatisées. N'oubliez pas que tous les modèles sont faux, mais certains sont temporairement utiles ... sous certaines conditions.
Dédié à mon père qui m'a appris que l'intuition est tout aussi importante que les mathématiques