Probablemente, solo los especialistas en marketing y gerentes de productos más ecológicos no han escuchado sobre las pruebas A / B, pero incluso los especialistas experimentados a veces no saben cómo realizarlas y qué hacer con los resultados. Es por esto que a menudo se puede escuchar que las pruebas A / B no funcionan y generalmente son inútiles.
Para disipar los rumores, hablamos con el analista profesional A / B de la agencia de Agima Sergey Filatov, y nos contó sobre las metodologías de prueba A / B, las herramientas que ayudan a realizar pruebas para una aplicación móvil y las perspectivas que se abren para dominar esto. conjunto de habilidades.
Las pruebas A / B son en realidad cualquier investigación dedicada a elegir la mejor opción entre varias. La cuestión es que el término es muy amplio: se trata de pruebas realizadas por especialistas en marketing y el tipo de análisis de productos digitales. Esto a menudo causa confusión cuando ve el caso de que "la compañía realizó pruebas A / B" y necesita comprender cuál es general o técnico. Hablaremos específicamente sobre las pruebas A / B para evaluar la funcionalidad de las aplicaciones móviles. (Sin embargo, este conocimiento puede transferirse fácilmente al campo de la investigación de mercados).
Este material es parte de una serie preparada para el lanzamiento de un curso conjunto en Skillbox Online University y Agima, Fullstack Mobile Developer . Ya hablamos sobre cómo llegar a la AppStore la primera vez y cómo desarrollar interfaces de aplicaciones , ofreciendo varios descuentos del diez por ciento y cuatro descuentos del 20% en el proceso.
Aquellos que ya hayan resuelto dos acertijos y quieran más (para aumentar el descuento acumulativo), hoy obtendrán un acertijo sobre la herramienta de prueba. ¡Búscala en el texto! Y el resto del habroiser aún puede ordenar cualquier curso por 10,000 rublos más barato usando el código promocional de Habr (recuerde que esto no se suma a los descuentos que ofrecen los desentraños).
Las pruebas A / B generalmente se perciben como una herramienta analítica que le permite evaluar el efecto de los cambios del producto en su conversión, un aumento en el número de clientes potenciales que se transfieren a los pedidos. La conversión aquí no es necesariamente la compra de algo: esta es cualquier transición del usuario de una etapa a otra a medida que pasa por el embudo del pedido, y cada una de sus interacciones con los formularios y elementos del servicio en el camino.
Se necesita una prueba A / B para:
- elija entre varias opciones para la pantalla o la página mejor;
- evaluar la posibilidad de cambiar ciertos indicadores de su producto;
- calcular la efectividad de reemplazar ciertos elementos en una página o pantalla;
- entender cómo aumentar la conversión en cada etapa del embudo de ventas y, por lo tanto, aumentar su número;
- dentro de la aplicación móvil, las pruebas A / B brindan la oportunidad de mejorar la experiencia del usuario, permitiéndole organizar los elementos de manera más conveniente y hacer que el contenido sea más interesante y más útil para el usuario.
Declaración del problema.
Cualquier prueba A / B comienza con una hipótesis. Vienen en dos formas. Los primeros son más de marketing, con el objetivo de aumentar el tráfico, la cantidad de personas que cometen una acción en particular y aclaran en qué audiencia se enfoca la aplicación. En este caso, no se prueba tanto la funcionalidad de la aplicación en sí como los canales de marketing y las conversiones de cada herramienta publicitaria. Nos centraremos en el segundo tipo de hipótesis.
Se basa en el hecho de que al cambiar uno u otro funcional interno (un elemento o bloque, la relación entre ellos o la lógica de su interacción) podemos lograr cambios en ciertos indicadores de la aplicación (sin embargo, todo esto se aplica a los sitios).
Estas hipótesis pueden referirse a los elementos que se encuentran en las pantallas del servicio o las conexiones de las pantallas dentro de él. Desafortunadamente, probar las conexiones entre pantallas es técnicamente problemático debido a las dificultades para configurar la prueba, por lo que generalmente el analista se limita a trabajar en bloques específicos y pantallas individuales.
La esencia de las pruebas A / B en este caso es que a un grupo de usuarios se le muestra una opción para la ubicación o configuración de la interfaz, y la segunda para otra.
¡Y aquí está el rebus! Recuerde que el inglés aquí puede interferir con el ruso, y el tema del acertijo es móvil. ¡Y no olvide que controlaremos cuidadosamente los comentarios y eliminaremos sugerencias y respuestas de ellos! El prólogo, encriptado en el rebus, debe llamarse cuando nuestro gerente se contacte con usted después de que envíe una solicitud para el curso. Los descuentos para acertijos resueltos se resumen entre sí (teniendo en cuenta este artículo, ya hay tres de ellos), pero no con descuentos en el sitio. No debe demorarse demasiado: la promoción funciona hasta el 30 de agosto de 2018.
Del resultado deseado a la búsqueda de soluciones
Las hipótesis de este tipo tienen una regla general: al principio, se establece un cierto indicador final, que queremos aumentar o disminuir. Las hipótesis pueden formularse sobre la base de informes y otra información analítica similar, pero a menudo se hacen sin una preparación especial, en base a supuestos heurísticos de los desarrolladores.
Comenzamos formulando el problema que queremos resolver: baja conversión, un pequeño número de clics en uno u otro elemento, la ausencia de deslizamientos o rollos de documentos.
Luego seleccionamos acciones específicas que podrían conducir al resultado deseado. Esto puede ser agregar nuevos botones, cambiar la disposición de los bloques en la pantalla o, por ejemplo, cambiar la organización del menú de la "hamburguesa" a la izquierda a la barra lateral inferior, como se hace en Instagram.
Un ejemplo de cómo se evalúa la efectividad de los cambios probados en la aplicación Optimizely.Es decir, estamos comenzando a encontrar varias formas de influir en el indicador clave. Entonces la hipótesis adquiere una forma completa.
Componentes obligatorios de la hipótesis:
- fórmula "si - entonces";
- verbo: describe la acción que realizamos en relación con el elemento seleccionado;
- Descripción del resultado esperado.
" Si aumentamos el tamaño de fuente y volvemos a pintar el botón en verde, la conversión aumentará en un 15% ".
La calidad se convierte en cantidad
Con las pruebas A / B, puede realizar dos tipos de estudios: cualitativos y cuantitativos.
La investigación cualitativa tiene como objetivo trabajar con la experiencia emocional de una persona, para descubrir si le gusta la solución que usamos: es conveniente para la percepción, afecta el tiempo de interacción o no. Dichas pruebas tienen como objetivo descubrir qué sentimientos experimenta un usuario al trabajar con una aplicación o servicio.
Los estudios cuantitativos tienen como objetivo aumentar una cierta cifra en el indicador de destino: el volumen de clics en el botón, consejos para aumentar la probabilidad de una venta, etc. Este es un cálculo seco de clics, tráfico, ventas, tráfico en el embudo.
Todos los indicadores que deben encontrarse deben convertirse a métricas numéricas. Por ejemplo, la pregunta "si el usuario está interesado en el contenido" se convierte en indicadores de la cantidad de tiempo que pasa en la pantalla, la profundidad de desplazamiento, haga clic en cierto elemento clave.
Importante! Sigue la regla: una pantalla, un experimento. No pruebe dos hipótesis relacionadas con elementos en la misma pantalla al mismo tiempo. Además, hay dos hipótesis asociadas con un elemento, de lo contrario no podrá lidiar con los resultados (si la descripción de la hipótesis significa "intercambiar dos elementos", esta es una acción).
Tipos de pruebas A / B y profundidad de estudio
Las pruebas multivariadas implican una combinación de varias opciones. Por ejemplo, tenemos un bloque que consiste en un botón y una llamada a la acción. En este caso, puede formar todos los tipos posibles de este botón con diferentes llamadas. Pero es importante recordar que tales pruebas solo son adecuadas para grandes aplicaciones con una gran cantidad de tráfico.
Las pruebas divididas son pruebas de pantallas enteras para comprender cuál está causando una mayor respuesta. Por ejemplo, puede comparar diferentes versiones del tutorial de pantalla de inicio para comprender si los usuarios leen los consejos que ha preparado o los omiten, yendo directamente a la funcionalidad de la aplicación.
En el marco de la prueba A / B de elementos habituales, puede evaluar encabezados, enlaces, ubicación del menú, calidad de las llamadas a la acción, la presencia y efectividad de varios bloques e ilustraciones funcionales o de texto, la interacción del usuario con la aplicación según el dispositivo y el usuario que llegó a ella durante la prueba Versión adaptativa de la aplicación.
Hay pruebas A / B / C / N, en las que no necesariamente elegimos entre solo dos opciones. Tampoco son adecuados para todos los servicios: requieren mucho tráfico, de lo contrario la prueba simplemente no superará el umbral de fiabilidad estadística. Para que podamos estar seguros de que el cambio en el indicador clave no fue accidental, suficientes usuarios deben visitar la pantalla.
Para un proyecto pequeño, que al probar solo ofrece las opciones A y B, puede haber suficientes miles de personas que cometieron la acción. Para grandes, su número puede ser mucho mayor.
La duración habitual de un experimento es de dos semanas a un mes y medio. Esto es necesario para asegurarse de que ningún factor externo haya influido en su curso: por ejemplo, campañas publicitarias, condiciones climáticas u otra cosa. (El clima aquí no solo se trata del estado de ánimo de los usuarios, sino también del hecho de que, por ejemplo, para las aplicaciones de entrega es importante considerar si está lloviendo ahora o no, esto afecta la conversión).
Si su producto (o un elemento de prueba específico en él) no depende del clima, la moda o la actividad de marketing de los competidores, entonces las conclusiones sobre la idoneidad de los cambios ya pueden hacerse a partir de las acciones de los primeros mil usuarios. Después de recopilar los datos, puede comenzar a interpretarlos e introducir cambios que resultaron justificados.
Herramientas de prueba A / B
Es mucho más fácil realizar experimentos en los sitios debido a la flexibilidad de su configuración desde los paneles de control, pero, afortunadamente, hay varias soluciones para dispositivos móviles que se han establecido como mejores prácticas.
Optimizely es una de las herramientas más populares. Tiene una interfaz intuitiva y agradable, un editor visual y una amplia integración con las clases, tiene capacidades incorporadas para editar la funcionalidad de los elementos y colgarlos al adjuntarles nuevos eventos. Sin embargo, el servicio no está disponible para todos los desarrolladores debido al alto precio.
La prueba de cinco segundos es más relevante para realizar investigaciones de usabilidad y estudiar la efectividad y la comprensión del diseño de bloques y elementos específicos.
Convert Experiments es la plataforma más económica, el costo de una suscripción al servicio comienza en $ 9 por mes. Al mismo tiempo, tiene un editor visual que le permite al probador trabajar con elementos sin tener las habilidades de un programador. Hay menos métricas disponibles y no un análisis interno tan avanzado, pero para configurar rápidamente la prueba A / B y ejecutarla, el programa es bastante adecuado.
Apptimize tiene un sistema más avanzado de análisis interno y SDK, que es bastante simple de dominar. También hay un editor visual.
Google Analytics Experiments se centra en aplicaciones móviles basadas en web y aplicaciones híbridas.
Pruebas A / B y actualizaciones de aplicaciones
Hace solo unos años, para ejecutar las pruebas A / B, no era necesario publicar una versión actualizada de la aplicación: se hicieron cambios sobre la marcha al introducir ciertos fragmentos en el código. Sin embargo, debido a que este enfoque eludió las políticas y restricciones de seguridad de Apple y Google, esta característica fue cerrada para los desarrolladores. Hoy, para realizar una prueba A / B, deberá implementar una versión actualizada de su aplicación.
Que aprender y donde crecer
Para realizar las pruebas A / B, no es necesario ser un analista genial: es suficiente comprender los indicadores y sacar las conclusiones correctas sobre la base de ellos.
Una de las principales habilidades de un especialista que realiza pruebas A / B es la capacidad de interpretar los indicadores cuantitativos en cualitativos y, por el contrario, descomponer las hipótesis cualitativas en cifras disponibles para el análisis.
Los especialistas principiantes deberían familiarizarse más con las reglas de análisis de productos, ya que sus prácticas están más cerca de las pruebas A / B que las que se usan en análisis web y comercio electrónico.
Es útil estudiar metodologías flexibles, en particular el inicio de línea. Para el probador, el producto se convierte en su "arranque interno". Entonces, tales decisiones le irán bien. Se puede obtener mucha información útil sobre la realización de investigaciones visitando incubadoras de negocios y sus eventos; También es una poderosa fuente de inspiración. Allí puede vivir para ver muchas opciones para las pruebas A / B, tanto automáticas como tradicionales, como encuestas y entrevistas en profundidad.
Por supuesto, también se necesitan habilidades para trabajar con números, desde la realización de encuestas de opinión hasta la experiencia en matemáticas aplicadas y ciencias de la computación. Sin esto, tendrá problemas para procesar los resultados de la prueba.
Todas estas habilidades permitirán con el tiempo, si existe un deseo, avanzar hacia el trabajo en marketing como estratega, análisis de UI / UX o para el puesto de propietario de un producto, e incluso crear su propio proyecto. Donde surgen dudas, donde no está claro a dónde ir, dónde encontrar el suelo, sondear a la audiencia y sus estados de ánimo, en todas estas áreas se puede utilizar el conocimiento adquirido durante las pruebas A / B.
Entonces, habiendo aprendido cómo pasar de la recopilación de datos preliminares a una hipótesis, desarrollando soluciones y probándolas con análisis posteriores, que, en esencia, se oculta detrás de las “pruebas A / B” a corto plazo, podrá descubrir muchas más perspectivas que solo el desarrollo en el rol de QA o analista.
Skillbox recomienda cursos temáticos:
Le recordamos: Para todos los lectores de Habr: un descuento de 10.000 rublos al registrarse en cualquier curso de Skillbox utilizando el código promocional de Habr.
Todavía hay algunos materiales de nuestra serie sobre desarrollo móvil, y es hora de preguntar: ¿qué le gustaría leer? Díganos en los comentarios qué temas relacionados con el móvil parecen importantes, pero no se divulgan lo suficiente, e intentaremos satisfacer su interés.