Las pruebas multivariadas (A / B / N o divididas) son la forma más popular de probar listas de correo. Esta herramienta ha demostrado ser efectiva, pero tiene inconvenientes relacionados principalmente con el hecho de que las pruebas y el envío principal están separados en el tiempo.
Por nuestra parte, DashaMail decidió influir en la situación y encontró un enfoque diferente para probar los correos, lo que nos permite probar y optimizar simultáneamente el envío. Utiliza la teoría bayesiana, la tecnología de redes neuronales y el aprendizaje automático; como resultado, todo esto permite aumentar la capacidad de apertura de las letras en un promedio del 20%.
Antecedentes
Una de las herramientas para mejorar la efectividad de los boletines electrónicos es la prueba. Muchos factores influyen en la apertura de las cartas y el compromiso de la audiencia, incluido el tema del mensaje, el nombre del remitente, el momento de la distribución, etc.
No hace mucho tiempo, en una de las sesiones de lluvia de ideas, llegamos a la conclusión de que los algoritmos de aprendizaje automático ahora populares pueden hacer una diferencia en las pruebas de correo, es decir, afectan positivamente la apertura y el compromiso. Las pruebas divididas bien conocidas no son perfectas, como nos gustaría, pero realmente hay opciones para mejorar.
Las pruebas A / B / N son la principal opción de prueba de hipótesis en el marketing por correo electrónico. La principal dificultad: los resultados de tales pruebas siempre se pueden analizar solo después del hecho. Esto hace que todo el proceso sea bastante largo y lento: primero debe enviar varias opciones de correo, luego estudiar los resultados, optimizar los parámetros de prueba y enviarlo nuevamente. Y puede haber muchas iteraciones de este tipo.
Pero, ¿qué pasa si creas una forma de probar y optimizar simultáneamente? Fue este pensamiento el que dio origen a la herramienta de prueba Gestalt en DashaMail.
Enfoque bayesiano: pruebe y optimice sobre la marcha
La respuesta de los suscriptores a las diferentes opciones de mensaje recibidas en diferentes momentos puede variar mucho. La opción ganadora, determinada como resultado de una prueba multivariada, cuando el envío del correo principal puede no ser tan efectivo.
Para evitar este problema y poder tener en cuenta todos los parámetros importantes del envío en tiempo real, se utilizó el enfoque bayesiano para la toma de decisiones y la evaluación estadística. Sí, en DashaMail realmente amamos las matemáticas y la teoría de la probabilidad.
Bayes vs pruebas A / B / N
Con las pruebas A / B / N, por un lado, todo es simple y, por otro, su precisión puede ser muy dudosa. Todo parece bastante sencillo: si necesitamos probar, por ejemplo, la efectividad de los correos con diferentes diseños, entonces, en el caso de dos opciones, podemos enviar una de ellas a la base de suscriptores, y la otra, la segunda. Luego analiza los resultados.
Pero debe comprender la cantidad mínima de usuarios que deben ver ambas opciones para obtener resultados estadísticamente significativos. De hecho, si es suficiente asignar solo el 20% de la base de suscriptores para la prueba, entonces para el 80% restante podremos lanzar la versión más efectiva de la carta y obtener el mejor resultado. Pero no hay garantía de que una simple selección de dos grupos del 10% dé el resultado correcto. Si en una versión de la carta hay más color rojo, puede resultar que aquellos a quienes no les gusta este color caigan accidentalmente en un grupo del 10% de los usuarios. Además, si más personas participaran en la prueba, esta opción podría ganar. Entonces llegamos al concepto de errores de primer y segundo tipo: hay
suficientes artículos sobre ellos en Habré. Estos errores tienen su propia probabilidad de ocurrencia.
Como resultado, el análisis de este método de prueba lleva al hecho de que no elimina la incertidumbre en absoluto, es decir, la prueba no da una respuesta exacta a la pregunta "¿Qué es mejor?" El trabajo se ha realizado, pero no se ha vuelto más claro.
En contraste con este método, se utilizan los llamados bandidos multi-armados bayesianos. La esencia de este método es que le permite no solo realizar una prueba de hipótesis, sino también obtener una respuesta a la pregunta de cuál es más probable que sea más efectiva. Y lo que es importante: las estimaciones cambian dinámicamente de la misma manera que los tamaños de muestra para cada hipótesis se determinan en tiempo real (es decir, cuánto tráfico / cartas se deben enviar para probar una opción específica).
Imagine una situación cuando llegamos a un casino con máquinas tragamonedas del tipo "bandido armado". Tenemos una cantidad limitada de dinero, el tiempo tampoco es infinito. Es necesario determinar lo antes posible la máquina "prometedora" y, al mismo tiempo, con costos mínimos. Esta es una tarea de bandidos multi-armados. Hay muchas opciones para resolverlo, una de ellas se basa en el muestreo de Thompson y el teorema de Bayes; se describe en detalle en
este artículo sobre Habré .
Para las listas de correo, esto funciona de la siguiente manera. En el proceso de probar dos o más hipótesis (opciones de distribución), no queremos enviar demasiadas cartas con parámetros obviamente perdidos (en las pruebas A / B debe enviar partes iguales). Pero al mismo tiempo, también me gustaría seguir tales variaciones, porque existe la posibilidad de que con el tiempo comiencen a funcionar mejor (al principio, simplemente sin suerte) e incluso se conviertan en líderes, y luego se destinará más tráfico a ellos.
Esta teoría formó la base de una nueva herramienta llamada prueba de Gestalt.
La principal diferencia con las pruebas A / B tradicionales: a pesar del hecho de que la mayoría de las letras van con la opción ganadora, otras opciones siempre tienen la última oportunidad, porque si el patrón de comportamiento de los suscriptores cambia, debe reaccionar y enviar la opción más adecuada a la situación a tiempo.
Las pruebas de Gestalt son, además, la capacidad de utilizar el marketing emocional en los boletines, creando diferentes temas para el colorido emocional de la carta. Funciona así: el vendedor del correo electrónico que envía el boletín establece el tema básico, luego puede optar por reformular este tema en diferentes emociones: puede haber hasta diez opciones (miedo, gratitud, etc.).
La red neuronal parafrasea el texto del tema, usando los colores emocionales dados, y los ofrece para su consideración. En este caso, el vendedor del correo electrónico puede hacer cambios a su discreción.
Un ejemplo de emociones y sus respectivos temas, así como indicadores de descubrimientos para cada uno de ellos:
Después del inicio, el sistema comienza a enviar cartas en grupos: cada paquete contiene todas las opciones propuestas. Todo el envío demora alrededor de 10 horas, un paquete cada media hora. Como puede ver, la herramienta no es adecuada para acciones a corto plazo que deben enviarse rápidamente. Por el contrario, puede considerar la opción de promociones a medio plazo o distribución de contenido. Las estadísticas están disponibles para cada opción, por lo que puede ver de inmediato qué funciona mejor.
En el siguiente ejemplo, con respecto a los descubrimientos y clics, la variante con el tema reescrito por la red neuronal en las emociones "amor" lleva: "¡Eres la más bella de la oficina! -30% para modelos de oficina de nuestra selección ". Sin embargo, también muestra la más alta entre todas las demás opciones, la tasa de baja. Esto puede indicar que el contenido de la carta era más débil que el tema o que pudimos captar la atención del segmento de suscriptores que dormía anteriormente.
Dado que el envío de correos con las pruebas de Gestalt se extiende en el tiempo, las pruebas de un momento específico de envío también se llevan a cabo automáticamente. Además, el servicio recuerda qué emoción del boletín y en qué momento cada suscriptor en particular responde mejor, y durante los envíos posteriores que utilicen esta funcionalidad se ajustará a él. Por lo tanto, con el tiempo, aumenta la efectividad del uso de las pruebas de Gestalt.
Por que funciona
La idea de la nueva herramienta de prueba es que le permite tener en cuenta el hecho de que los destinatarios responden mejor a los mensajes personalizados y emocionalmente coloreados que al texto seco.
Al mismo tiempo, en las pruebas de Gestalt, los métodos de aprendizaje automático se aplican a todas las variantes de temas. La opción más exitosa durante la prueba se usa más activamente, pero otros participantes de la comparación también obtienen un poco de tráfico. Esto le permite monitorear los patrones de comportamiento de los suscriptores a lo largo del tiempo: a menudo sucede que el tema, que dio un buen rendimiento al mismo tiempo, pierde el resto de las opciones con una explosión. Si el sistema "detecta" dicho cambio de patrón, el boletín se optimizará sobre la marcha para mantener la máxima eficiencia.
Los patrones de comportamiento se analizan para cada suscriptor. Según el historial de descubrimiento de un destinatario en particular, se selecciona un tiempo de envío individual para él. Los patrones temporales también pueden cambiar; por ejemplo, una persona puede cambiar las horas de inicio y finalización de un día laboral y la capacidad de consultar el correo personal puede ocurrir en otro momento. La función gestalt se ajusta automáticamente a dichos cambios.
Un punto importante: la prueba de Gestalt es un método que requiere una cierta cantidad de datos, de lo contrario será difícil mantener una alta eficiencia. Es por eso que está disponible solo para bases de datos de 10 mil direcciones y superiores.
Conclusión: con qué resultados puede contar
Suena lógico, pero ¿con qué resultados puede contar realmente con la herramienta de prueba propuesta? Veamos un ejemplo. Así es como se ve el informe sobre el uso de la función Gestalt para el envío de correos: incluye la tasa de apertura final (OR), el resultado relativo al tema base y la comparación con los indicadores que se habrían logrado con la prueba multivariante habitual con la misma distribución de letras por tema.
Según las estadísticas de los clientes de DashaMail, el aumento promedio en las tasas de apertura de boletines con pruebas de Gestalt es del 20%. Con el tiempo, la efectividad del uso de esta función aumenta, a medida que el sistema aprende y recuerda a qué hora y qué emoción responde mejor un suscriptor en particular, y como resultado puede aumentar la tasa de apertura (OR) de los correos entre 1,5 y 2 veces en comparación con tema basico.
Bueno, tal vez tenga una pregunta: ¿qué tiene que ver el término gestalt con él? .. No, no cerramos nuestra gestalt, pero decidimos desarrollar una herramienta para experimentar con el formulario de correo. Y traducido del alemán, "gestalt" es una "forma". Por lo tanto, es posible a través de experimentos con el formulario llegar a una lista de correo ideal.
Para mantenerse al tanto de las tendencias actuales en el marketing por correo electrónico en Rusia, para recibir hacks de vida útil y nuestros materiales, suscríbase a la página de DashaMail en Facebook y lea nuestro blog .