Probablement, seuls les spécialistes du marketing et les chefs de produit les plus écologiques n'ont pas entendu parler des tests A / B, mais même des spécialistes expérimentés ne savent parfois pas comment les mener et quoi faire des résultats. C'est à cause de cela que vous pouvez souvent entendre que le test A / B ne fonctionne pas et est généralement inutile.
Pour dissiper les rumeurs, nous avons parlé avec le praticien A / B analytics de l'agence Agima Sergey Filatov, et il nous a parlé du fonctionnement des méthodologies de test A / B, des outils qui aident à effectuer des tests pour une application mobile, et des perspectives qui ouvrent la maîtrise de ce pool de compétences.
Les tests A / B sont en fait toute recherche consacrée au choix de la meilleure option parmi plusieurs. Le fait est que le terme est très large: ce sont les tests effectués par les spécialistes du marketing et le type d'analyse des produits numériques. Cela crée souvent de la confusion lorsque vous voyez que «l'entreprise a effectué des tests A / B» et que vous devez comprendre lequel est général ou technique. Nous parlerons spécifiquement des tests A / B pour évaluer la fonctionnalité des applications mobiles. (Cependant, ces connaissances peuvent être facilement transférées dans le domaine de la recherche marketing.)
Ce matériel fait partie d'une série préparée pour le lancement d'un cours commun à Skillbox Online University et Agima, Fullstack Mobile Developer . Nous avons déjà expliqué comment accéder à l'AppStore pour la première fois et comment développer des interfaces d'application , en accordant plusieurs remises de dix pour cent et quatre remises de 20% au cours du processus.
Ceux qui ont déjà résolu deux énigmes et en veulent plus (afin d'augmenter la remise cumulée), aujourd'hui, ils auront une énigme sur l'outil de test. Cherchez-la dans le texte! Et le reste de l'habroiser peut toujours commander n'importe quel cours pour 10 000 roubles moins cher en utilisant le code promotionnel Habr (rappelez-vous que cela ne correspond pas aux remises accordées par les rebus démêleurs).
Les tests A / B sont généralement perçus comme un outil analytique qui vous permet d'évaluer l'effet des changements de produit sur sa conversion - une augmentation du nombre de pistes qui sont transférées aux commandes. La conversion ici n'est pas nécessairement l'achat de quelque chose: il s'agit de toute transition de l'utilisateur d'une étape à l'autre lors de son passage dans l'entonnoir de la commande, et de chacune de ses interactions avec les formes et les éléments du service en cours de route.
Un test A / B est nécessaire pour:
- choisissez parmi plusieurs options pour l'écran ou la page la meilleure;
- évaluer la possibilité de modifier certains indicateurs de votre produit;
- calculer l'efficacité du remplacement de certains éléments sur une page ou un écran;
- comprendre comment augmenter la conversion à chaque étape de l'entonnoir de vente, et donc augmenter leur nombre;
- à l'intérieur de l'application mobile, les tests A / B offrent la possibilité d'améliorer l'expérience utilisateur, vous permettant d'organiser les éléments de manière plus pratique et de rendre le contenu plus intéressant et plus utile pour l'utilisateur.
Énoncé du problème
Tout test A / B commence par une hypothèse. Ils se présentent sous deux formes. Les premiers sont plus marketing, visant à augmenter le trafic, le nombre de personnes engagées dans une action particulière et à clarifier le public cible de l'application. Dans ce cas, ce ne sont pas tant les fonctionnalités de l'application elle-même qui sont testées que les canaux marketing et les conversions de chaque outil publicitaire. Nous nous concentrerons sur le second type d'hypothèse.
Elle réside dans le fait qu'en modifiant l'une ou l'autre fonction interne - un élément ou un bloc, la relation entre eux ou la logique de leur interaction - nous pouvons réaliser des changements dans certains indicateurs de l'application (cependant, tout cela s'applique aux sites).
Ces hypothèses peuvent concerner soit les éléments qui se trouvent sur les écrans du service, soit les connexions des écrans à l'intérieur de celui-ci. Malheureusement, le test des connexions entre les écrans est techniquement problématique en raison des difficultés de configuration du test, donc généralement l'analyste se limite à travailler sur des blocs spécifiques et des écrans individuels.
L'essence des tests A / B dans ce cas est qu'un groupe d'utilisateurs se voit proposer une option pour l'emplacement ou la configuration de l'interface, et la seconde pour une autre.
Et voici le rébus! Rappelez-vous que l'anglais ici peut interférer avec le russe et que le sujet de l'énigme est mobile. Et n'oubliez pas que nous surveillerons attentivement les commentaires et en retirerons les astuces et les réponses! Le prologue, chiffré dans le rébus, doit être appelé lorsque notre responsable vous contacte après l'envoi d'une candidature pour le cours. Les remises pour les puzzles résolus sont résumées entre elles (compte tenu de cet article, il y en a déjà trois), mais pas avec des remises sur le site. Ne tardez pas trop - la promo fonctionne jusqu'au 30 août 2018.
Du résultat souhaité à la recherche de solutions
Les hypothèses de ce genre ont une règle générale: au départ, un certain indicateur final est fixé, que nous voulons augmenter ou diminuer. Les hypothèses peuvent être formulées sur la base de rapports et d'autres informations analytiques similaires, mais souvent elles sont faites sans préparation spéciale, sur la base d'hypothèses heuristiques des développeurs.
Nous commençons par formuler le problème que nous voulons résoudre: faible conversion, petit nombre de clics sur l'un ou l'autre élément, absence de swipes ou de scrolls de doc.
Ensuite, nous sélectionnons des actions spécifiques qui pourraient potentiellement conduire au résultat souhaité. Cela peut être l'ajout de nouveaux boutons, la modification de la disposition des blocs à l'écran ou, par exemple, la modification de l'organisation du menu du «burger» de gauche à la barre latérale inférieure, comme cela se fait sur Instagram.
Un exemple de la façon dont l'efficacité des modifications testées dans l'application Optimizely est évaluée.Autrement dit, nous commençons à trouver diverses façons d'influencer l'indicateur clé. L'hypothèse prend donc une forme complète.
Composantes obligatoires de l'hypothèse:
- formule "si - alors";
- verbe - il décrit l'action que nous effectuons par rapport à l'élément sélectionné;
- description du résultat attendu.
" Si nous augmentons la taille de la police et repeignons le bouton en vert, la conversion augmentera de 15% ."
La qualité se transforme en quantité
À l'aide de tests A / B, vous pouvez mener deux types d'études: qualitative et quantitative.
La recherche qualitative vise à travailler avec l'expérience émotionnelle d'une personne, afin de savoir s'il aime la solution que nous utilisons: est-elle pratique pour la perception, affecte-t-elle ou non le temps d'interaction? Ces tests visent à déterminer les sentiments ressentis par un utilisateur lorsqu'il travaille avec une application ou un service.
Les études quantitatives visent à augmenter un certain chiffre dans l'indicateur cible: le volume de clics sur le bouton, des conseils pour augmenter la probabilité d'une vente, etc. Il s'agit d'un calcul sec des clics, du trafic, des ventes, du trafic sur l'entonnoir.
Tous les indicateurs qui doivent être trouvés doivent être convertis en métriques numériques. Par exemple, la question "est l'utilisateur intéressé par le contenu" se transforme en indicateurs de la quantité de temps passé sur l'écran, la profondeur de défilement, cliquez sur un certain élément clé.
Important! Suivez la règle: un écran - une expérience. Ne testez pas deux hypothèses liées à des éléments sur le même écran en même temps. De plus, il y a deux hypothèses associées à un élément, sinon vous ne pourrez pas traiter les résultats (si la description de l'hypothèse signifie «échanger deux éléments» - c'est une action).
Types de tests A / B et profondeur d'étude
Les tests multivariés impliquent une combinaison de plusieurs options. Par exemple, nous avons un bloc qui se compose d'un bouton et d'un appel à l'action. Dans ce cas, vous pouvez former tous les types possibles de ce bouton avec différents appels. Mais il est important de se rappeler que de tels tests ne conviennent qu'aux grandes applications avec un trafic important.
Les tests fractionnés sont des tests d'écrans entiers afin de comprendre lequel provoque une plus grande réponse. Par exemple, vous pouvez comparer différentes versions du didacticiel d'écran de démarrage pour comprendre si les utilisateurs lisent les conseils que vous avez préparés ou les ignorent, en allant directement à la fonctionnalité de l'application.
Dans le cadre du test A / B habituel par élément, vous pouvez évaluer les en-têtes, les liens, l'emplacement du menu, la qualité des appels à l'action, la présence et l'efficacité de divers blocs et illustrations fonctionnels ou textuels, l'interaction de l'utilisateur avec l'application en fonction de l'appareil et de l'utilisateur qui y est arrivé pendant le test version adaptative de l'application.
Il existe des tests A / B / C / N, dans lesquels nous ne choisissons pas nécessairement parmi seulement deux options. Ils ne conviennent pas non plus à tous les services: ils nécessitent beaucoup de trafic, sinon le test ne franchira tout simplement pas le seuil de fiabilité statistique. Afin que nous puissions être sûrs que la modification de l'indicateur clé n'était pas accidentelle, suffisamment d'utilisateurs devraient visiter l'écran.
Pour un petit projet, qui lors des tests ne propose que les options A et B, il pourrait bien y avoir suffisamment de milliers de personnes qui ont commis l'action. Pour les grands, leur nombre peut être beaucoup plus important.
La durée habituelle d'une expérience est de deux semaines à un mois et demi. Cela est nécessaire pour s'assurer qu'aucun facteur externe n'a influencé son cours: par exemple, les campagnes publicitaires, les conditions météorologiques ou autre chose. (La météo ici ne concerne pas seulement l'humeur des utilisateurs, mais aussi le fait que, par exemple, pour les applications de livraison, il est important de considérer s'il pleut maintenant ou non - cela affecte la conversion).
Si votre produit (ou un élément de test spécifique) ne dépend pas de la météo, de la mode ou de l'activité marketing des concurrents, des conclusions sur la pertinence des changements peuvent déjà être tirées des actions des mille premiers utilisateurs. Après avoir collecté les données, vous pouvez commencer à les interpréter et à introduire des modifications qui se sont avérées justifiées.
Outils de test A / B
Il est beaucoup plus facile de mener des expériences sur des sites en raison de la flexibilité de leurs paramètres à partir des panneaux de contrôle, mais, heureusement, il existe plusieurs solutions pour mobile qui se sont imposées comme les meilleures pratiques.
Optimizely est l'un des outils les plus populaires. Il a une interface intuitive et agréable, un éditeur visuel et une large intégration avec les classes, a des capacités intégrées pour éditer la fonctionnalité des éléments et les suspendre en y attachant de nouveaux événements. Cependant, le service n'est pas disponible pour tous les développeurs en raison du prix élevé.
Le test des cinq secondes est plus pertinent pour mener des recherches sur l'utilisabilité et étudier l'efficacité et la compréhensibilité de la conception de blocs et d'éléments spécifiques.
Convert Experiments est la plateforme la plus abordable, le coût d'un abonnement au service commence à 9 $ par mois. Dans le même temps, il dispose d'un éditeur visuel qui permet au testeur de travailler avec des éléments sans avoir les compétences d'un programmeur. Il y a moins de métriques disponibles et pas de telles analyses internes avancées, mais afin de configurer rapidement le test A / B et de l'exécuter, le programme est tout à fait approprié.
Apptimize dispose d'un système d'analyse interne et de SDK plus avancé, qui est assez simple à maîtriser. Il y a aussi un éditeur visuel.
Google Analytics Experiments se concentre sur les applications mobiles Web et les applications hybrides.
Tests A / B et mises à jour d'application
Il y a quelques années à peine, pour exécuter des tests A / B, il n'était pas nécessaire de publier une version mise à jour de l'application: des modifications ont été apportées à la volée en introduisant certains extraits dans le code. Cependant, étant donné que cette approche a contourné les politiques de sécurité et les restrictions d'Apple et de Google, cette fonctionnalité a été fermée aux développeurs. Aujourd'hui, pour effectuer un test A / B, vous devrez déployer une version mise à jour de votre application.
Quoi apprendre et où grandir
Pour effectuer des tests A / B, il n'est pas nécessaire d'être un analyste cool - il suffit de comprendre les indicateurs et de tirer les bonnes conclusions sur leur base.
L'une des principales compétences d'un spécialiste effectuant des tests A / B est la capacité d'interpréter les indicateurs quantitatifs en indicateurs qualitatifs et, au contraire, de décomposer les hypothèses qualitatives en chiffres disponibles pour l'analyse.
Les spécialistes débutants devraient se familiariser avec les règles de l'analyse des produits, car ses pratiques sont plus proches des tests A / B que de celles utilisées dans l'analyse Web et le commerce électronique.
Il est utile d'étudier des méthodologies flexibles, en particulier le démarrage de ligne. Pour le testeur, le produit devient sa «startup interne». De telles décisions lui conviendront donc bien. De nombreuses informations utiles sur la conduite de recherches peuvent être obtenues en visitant les pépinières d'entreprises et leurs événements; c'est aussi une puissante source d'inspiration. Là, vous pouvez vivre pour voir de nombreuses options pour les tests A / B - automatiques et traditionnels tels que les enquêtes et les entretiens approfondis.
Bien sûr, des compétences en manipulation de nombres sont également nécessaires - de la conduite de sondages d'opinion à l'expérience en mathématiques appliquées et en informatique. Sans cela, vous aurez des problèmes pour traiter les résultats du test.
Toutes ces compétences permettront au fil du temps, si vous le souhaitez, d'évoluer vers le marketing en tant que stratège, UI / UX analytics ou vers le poste de chef de produit, voire de créer votre propre projet. Partout où des doutes surgissent, où l'on ne sait pas où aller, où trouver le sol, pour sonder le public et ses humeurs, dans tous ces domaines, les connaissances acquises lors des tests A / B peuvent être utilisées.
Ainsi, après avoir appris comment passer de la collecte de données préliminaires à une hypothèse, en développant des solutions et en les testant avec une analyse ultérieure - qui, en substance, est cachée derrière le court terme «A / B testing», vous pourrez découvrir beaucoup plus de perspectives que le simple développement dans le rôle d'AQ ou d'analyste.
Skillbox recommande des cours thématiques:
Nous vous rappelons: Pour tous les lecteurs de Habr - une remise de 10 000 roubles lors de l'inscription à un cours Skillbox en utilisant le code promotionnel Habr.
Il y a encore quelques documents de notre série sur le développement mobile, et il est temps de se demander: que voudriez-vous lire? Dites-nous dans les commentaires quels sujets liés au mobile semblent importants, mais pas suffisamment divulgués, et nous essaierons de satisfaire votre intérêt.