La prueba A / B no es suficiente
Existe una opini贸n com煤n de que la prueba A / B es una herramienta universal y semiautom谩tica que siempre ayuda a aumentar la conversi贸n, la lealtad y la experiencia de usuario. Sin embargo, la mala interpretaci贸n de los resultados o el muestreo incorrecto conduce a la p茅rdida de una audiencia leal y a una disminuci贸n del margen. Por qu茅 A / B se basa en el supuesto b谩sico de que esta muestra es homog茅nea y representativa, la escalabilidad de los resultados. En realidad, la audiencia es heterog茅nea: recuerde la distribuci贸n "20/80" de ingresos. La heterogeneidad significa que la sensibilidad a A / B var铆a significativamente dentro de la muestra.
La agrupaci贸n de audiencias es un efecto real (regla, no una excepci贸n seg煤n Pareto), lo que significa la presencia de diferentes grupos de clientes con perfil psicol贸gico en un grupo. La evaluaci贸n del intervalo de confianza de conversi贸n implica uniformidad. Por lo tanto, la violaci贸n de estos criterios significa que la precisi贸n de los resultados es inconmensurable. El resultado sin precisi贸n es basura. Cada perfil psicol贸gico 煤nico reacciona con una sensibilidad diferente a la campa帽a o funci贸n. Asumimos que un perfil es un conjunto 煤nico de caracter铆sticas. Para simplificar, se pueden considerar dos conjuntos de perfiles X e Y. Algunas caracter铆sticas de varios perfiles pueden cruzarse: a su novia tambi茅n le encanta el caf茅 y el chocolate. Perm铆tanos ilustrar este efecto en forma de tres topolog铆as:
Por defecto, suponemos que cubrimos todos los segmentos a la vez: Caso I. Los casos II y III involucran escenarios no triviales. Considere un escenario t铆pico del caso II. La conversi贸n aument贸 significativamente: el conjunto Y muestra una reacci贸n positiva, mientras que X dio una reacci贸n negativa y un cambio negativo de NPS. El conjunto Y es mayor en la muestra aleatoria sin pesos, por lo que el efecto acumulativo es positivo. La conversi贸n aument贸 dos veces. Ahora imagine que la verificaci贸n promedio de X es 10 veces mayor y la conversi贸n del segmento X se ha reducido a la mitad. Finalmente: aumento de la conversi贸n, p茅rdida de audiencia, disminuci贸n de ganancias. El problema se ve agravado por trucos intuitivos. A veces, los modelos automotrices prueban la hip贸tesis en el segmento X (Caso III) e intentan generalizar a la uni贸n (X + Y). Que esta mal La t茅cnica de muestreo no tiene en cuenta la segmentaci贸n. Soluciones?
- Camino # 1 . Agrupe a la audiencia utilizando k-means, otros modelos de ML o an谩lisis RFM. Debe conocer el hiperpar谩metro: la cantidad de grupos como entrada. Su definici贸n no es trivial. El siguiente paso es determinar la conversi贸n individual del segmento. Personalice la campa帽a: ofrezca guiones A o B, seg煤n el perfil.
- Camino # 2 . Mida el margen A / B. Recuerde que el margen es el producto de la conversi贸n, el tr谩fico y el precio promedio. Los dos 煤ltimos par谩metros se pueden corregir seleccionando una categor铆a separada de productos y eligiendo un per铆odo de tr谩fico uniforme: par谩metros lentos. Puede aumentar la discreci贸n de la medici贸n del tr谩fico (todos los lunes durante un mes) para reducir el componente aleatorio.
- Camino # 3 . An谩lisis de estabilidad. El muestreo con reemplazo se utiliza en este caso. Todos los segmentos son considerados. El tama帽o de la muestra aumenta gradualmente. La representaci贸n Log-Log del tama帽o de muestra del vicio de conversi贸n da la pendiente de regresi贸n (factor Hurst). Proporciona comprensi贸n de la uniformidad y la estabilidad del renorm.
Sin embargo No importa qu茅 camino elija, la audiencia cambiar谩 con mayor frecuencia. Esto significa que la prueba A / B es un experimento repetido regularmente. Un experimento que debe ser supervisado por un analista experimentado a pesar de un n煤mero significativo de soluciones comerciales automatizadas. No olvide que todos los modelos est谩n equivocados, pero algunos son temporalmente 煤tiles ... bajo ciertas condiciones.
Dedicado a mi padre que me ense帽贸 que la intuici贸n es tan importante como las matem谩ticas