Salut, Habrovsk. Demain, nous lancerons le cours «Product Manager of IT-projects» . En prévision du début du cours, nous nous empressons de partager avec vous l'expérience de nos professeurs existants.
L'un des outils les plus populaires du chef de produit est le test A / B, et le
prochain webinaire d'OTUS a été consacré à ce sujet. Trois experts y ont participé à la fois:
Sergey Koloskov - Chef de produit chez OZON.
Alexander Povarov - Chef de produit chez TransferWise.
Andrey Mende - Product Owner chez Booking.com.
La discussion s'est avérée substantielle et chaude. Discuté:
- Dans quels cas est-il préférable d'utiliser des tests A / B?
- Comment définir des métriques et interpréter correctement les résultats?
- Comment puis-je endommager les tests A / B?
- Quelles peuvent être les alternatives aux tests A / B?
- quoi de mieux pour effectuer des tests?
- cas de la fintech, du commerce électronique et des marchés.
Fait intéressant, ils se sont vraiment mis d'accord sur les limites d'application des tests A / B. Mais parlons de tout dans l'ordre.
Que sont les tests A / B?
Le test A / B est une méthode bien connue de recherche marketing. En termes simples, nous divisons l'audience sur le site en quelques cohortes égales ou inégales et effectuons un changement / amélioration sur le site, à la suite de quoi nous découvrons laquelle des pages résout plus efficacement les tâches de l'entreprise et du produit dans son ensemble. Nous vérifions dans le cadre d'un test pas plus d'une hypothèse (maximum deux).
Exemple réel de test A / B pour OZON:
Dans cet exemple, nous avons déployé le bouton d'achat en un clic pour certaines catégories de produits. Au cours de l'expérience, ils ont examiné les mesures et les entonnoirs, testant l'hypothèse de savoir s'il serait préférable pour les utilisateurs d'utiliser le script en un seul clic, sans «tomber» dans la «corbeille», c'est-à-dire sans faire de gestes inutiles. Les catégories de produits n'ont pas été choisies au hasard - il s'agissait de produits qui, selon les statistiques, sont le plus souvent achetés avec un seul produit.
En règle générale, lors des tests A / B, nous examinons des
mesures , parmi lesquelles:
- conversions (part des actions clés);
- indicateurs financiers (croissance de GMV, chiffre d'affaires, facture moyenne);
- mesures comportementales (clics, transitions).
Voici le vrai tableau de bord dans OZON pour plus de clarté:
Veuillez noter qu'il est possible de personnaliser les
segments , ce qui est également important pour les tests A / B, car nous pouvons voir quel public est affecté par une amélioration particulière. Supposons qu'il s'agisse d'utilisateurs de Moscou âgés de 35 à 50 ans avec un chèque moyen de plus de 2500 roubles et d'un enfant de la famille.
Utilisation de tests A / B sur Booking.com (Andrey Mende)
Selon Andrei Mende , au sein de Booking.com, il existe une ferme conviction que la société a obtenu son succès grâce à des tests. Cela inclut des tests A / B, sans lesquels
presque rien n'est fait sur Booking.com maintenant. Le nombre de versions simultanément disponibles du site Web Booking.com est très important, et les tests A / B sont différents ici, et presque tout ce qui concerne le produit est testé, et toute modification n'est apportée qu'après les tests A / B. Soit dit en passant, cette approche a permis d'éviter tant de bêtises.
Mais il y a un autre côté à la médaille: les statistiques à long terme de Booking.com suggèrent que
90% des hypothèses échouent selon les résultats des tests . Et c'est vraiment bien, car cela vous permet d'être sûr des 10% restants. Cependant, vous ne devriez pas essayer toutes les hypothèses d'affilée, en jouant à une sorte de loterie, car vous dépensez du temps et de l'argent pour développer et tester une hypothèse.
Analysons un cas curieux: par exemple, sur le site il y a une
recherche de liste
et une recherche de carte . Selon les statistiques, les utilisateurs qui recherchent par carte ont un taux de conversion plus élevé. Cela a été constaté par le produit «intelligent», qui n'a pas manqué d'en profiter. Il a commencé à envoyer des cartes aux visiteurs de diverses manières, parfois même insidieuses. Par exemple, les utilisateurs proviennent d'une recherche - se retrouvent sur une carte, comparent quelque chose, - encore une fois, le bouton «Afficher sur la carte» s'affiche de manière utile, etc. Beaucoup de temps a été consacré à l'innovation, mais le
résultat a été nul . Et si l'utilisateur n'est pas venu aux cartes de sa propre initiative, rien n'a fonctionné.
Très souvent, cela empire, ne s'améliore jamais . Et tout cela parce que nous avons un excellent exemple de
biais de
sélection (échantillonnage biaisé):
Ici, vous pouvez vous souvenir de la
célèbre histoire des avions , dont certains sont retournés à la base, tandis que d'autres ne l'ont pas fait. Les trous sur leur boîtier ont été étudiés pour comprendre où plus d'armure était nécessaire. Nous parlons de la soi-disant
erreur de sélection systématique quand il y a beaucoup de données pour un groupe («survivants») et pratiquement pas de données pour l'autre («survivants»), à la suite de quoi les chercheurs tentent de rechercher des caractéristiques communes parmi les «survivants» et sont négligés que des informations non moins importantes se cachent parmi les "morts".
La situation est similaire avec nous: nous avons étudié les personnes qui ont atteint l'étape de réservation sur Booking.com via des cartes, mais nous n'avons pas étudié les personnes qui n'ont pas atteint cette étape. En conséquence, de fausses conclusions ont été tirées.
Continuons. Qu'est-ce qu'une culture super utile dans laquelle les tests A / B jouent un rôle important:
Les avantages des tests A / B sont évidents:
- Premièrement, beaucoup de choses sont testées et il existe une base de connaissances appropriée. Si une idée «brillante» vous vient à l'esprit, vous pouvez découvrir en 15 secondes que votre idée brillante est déjà venue à l' un des produits il y a deux ans, d'ailleurs, il a réussi à la tester et elle a lamentablement échoué. Comment ne pas se souvenir des classiques:
"Écoutez ce que j'ai vaporisé la nuit dernière avec la lumière vacillante d'une lampe électrique:" Je me souviens d'un moment merveilleux, vous êtes apparu devant moi, comme une vision fugace, comme un génie d'une pure beauté. " Vraiment bien? Talentueux? Et seulement à l'aube, lorsque les dernières lignes ont été ajoutées, je me suis souvenu que ce verset avait déjà été écrit par A. Pouchkine. Un tel coup du côté du classique! Hein? "
Une citation d'Ostap Bender du roman Le Veau d'or, I. Ilf, E. Petrov
- Deuxièmement, il est confortable de travailler dans une telle culture, car il n'y a presque pas de concurrence d'opinions. Les solutions de produits, comme on dit, se cristallisent, y compris par le biais de tests. Et peu importe qui vous êtes, senior ou junior - tant que vous n’avez pas un bon test, vous n’apporterez aucun changement.
- Troisièmement, l'apprentissage automatique et les algorithmes de machines intelligentes sont désormais très populaires. Et l'apprentissage machine et les tests A / B ne sont qu'un mélange explosif qui déterminera le développement du produit dans un avenir très proche.
Un regard différent sur les tests A / B des startups (Alexander Povarov)
Selon Alexander Povarov , le succès de Booking.com est, bien sûr, louable. Mais si nous parlons de tests de qualité, ils nécessiteront beaucoup de données. Booking.com a un public énorme et la capacité d'expérimenter de nombreuses choses à la fois. Si nous parlons d'un projet de taille moyenne, alors très souvent les données et le trafic ne suffisent pas dans de tels projets. Si le trafic est plus élevé que le toit, ce n'est pas une panacée, car l'utilisateur peut venir sur votre site pour résoudre différents cas d'utilisation, liés aux spécificités du produit. S'il s'agit d'une banque Internet, quelqu'un vient payer le téléphone et regarde le relevé. Et ainsi de suite. De plus, vous testez souvent avec un test A / B une seule action utilisateur.
Pour faire une brève conclusion, le test A / B présente les
limitations suivantes:
- nécessitent beaucoup de données;
- Convient uniquement aux cas d'utilisation homogènes;
- concentré sur une étape (cliquez).
Le point suivant -
les tests A / B ne fournissent pas de croissance multiple :
- augmentation de conversion de 1 pp (par exemple, 1% → 2%);
- même après 30 itérations ne croît pas de 1% → 31%;
- les entonnoirs voisins risquent de se détériorer;
- la conversion s'améliorera, mais en une seule étape.
Si nous parlons d'un produit complexe, puis en jouant avec les tests A / B,
vous risquez d'accrocher des entonnoirs voisins , et la conversion en eux peut tomber. L'exemple le plus courant est lorsque plusieurs fonctionnalités sont vendues sur la page de promo d'un grand service. En mettant en évidence un, la conversion aux autres passera sûrement. Mais même si tout se passe bien, vous allez commencer à interagir avec un utilisateur qui utilise votre produit tous les jours et toute la conversion que vous avez en quelque sorte améliorée ne l'affecte pas du tout.
Ainsi, selon Alexander Povarov, il vaut mieux utiliser les ressources des chefs de produit
pour développer le produit plusieurs fois . Idéalement, vous devriez rechercher de tels points de croissance des produits qui vous aideront à croître de plusieurs dizaines de pour cent.
Vers quoi vous pouvez diriger votre énergie:
- amélioration de l'expérience utilisateur;
- création de valeur supplémentaire;
- l'amélioration de l'économie unitaire;
- rechercher de nouveaux produits / modèles commerciaux.
Nous pouvons dire avec certitude que la
fonctionnalité du
produit est bien meilleure que l'optimisation de l'atterrissage . Par exemple,
Yandex.Money a lancé des cartes en plastique colorées, qui sont très cool et avec une couche transparente. Ils ont simplement été déployés et les gens ont répondu avec une forte demande, car ils voulaient simplement de telles cartes pour eux-mêmes. Et aucun test A / B n'est nécessaire. Autrement dit, l'entonnoir de sortie a augmenté et est maintenant à un niveau beaucoup plus élevé, et le produit lui-même en tant que service financier n'a pas changé du tout!
Oui, toutes les fonctionnalités d'épicerie n'augmenteront pas de plusieurs dizaines de pour cent. En revanche, aucune amélioration des tests A / B ne produira une croissance multiple.
Et encore une chose: un
nouveau public donnera plus qu'une amélioration de la conversion . Pour mieux comprendre ce point, donnons un exemple de cas réel pour TransferWise:
Dans l'image ci-dessus, nous voyons le mode de paiement, auquel un chef de produit expérimenté peut avoir des questions. Et, très probablement, il aura raison, car avec l'aide de tests A / B, il est possible de rendre ce formulaire plus agréable et même d'augmenter la conversion, disons, six mois plus tard, avec plusieurs itérations.
Cependant, TransferWise a choisi de trouver des points de croissance de produits. Voici un graphique où l'indicateur MNU est fixe - le nombre de nouveaux utilisateurs rejoignant:
Quelle est la raison de la croissance? Le fait est que la société est engagée dans des transferts d'argent, et pour l'un des pays, il n'y avait pas de support pour les paiements par carte, mais du trafic en provenance de là a été observé. Après avoir ajouté la possibilité de prendre en charge les cartes pour ce pays, nous avons reçu plus d'informations et augmenté notre base d'utilisateurs actifs. Et notre
mode de paiement loin d'être optimal est resté non optimal . Quoi qu'il en soit, nous n'aurions jamais réalisé une telle croissance si nous avions consacré six mois à optimiser le mode de paiement.
Cela suggère une fois de plus qu'il est tout aussi important de se concentrer sur la
croissance essentielle du produit , c'est-à-dire sur les choses qui changent votre produit, en attirant de nouveaux utilisateurs.
Avez-vous besoin de tests A / B ou non?
Après que les conférenciers ont parlé, il était temps pour une discussion animée, qui est préférable de regarder en
direct . Nous le résumerons immédiatement.
Caractéristiques et limites d'application des tests A / B:- large public (DAU, MAU);
- pas plus d'une (maximum deux) hypothèses dans le test;
- succès du produit dans 10% des tests au niveau de croissance d'un point de pourcentage et absence de résultats dans 90% des tests;
- influence limitée sur ces mesures des mesures commerciales;
- inapplicabilité pour les produits B2B et applicabilité limitée pour les produits fintech (où chaque clic sur le compte).
Dans le même temps, bien sûr, les tests fractionnés sont la réponse la plus transparente à toute question et la possibilité de ne pas recourir à l'intuition et de ne pas penser pour l'utilisateur. De plus, les tests A / B sont également un bon ami, sur la base duquel vous pouvez obtenir des informations sur les produits existants. Et aussi, grâce au test A / B, les métriques de produits et NPS sont améliorées, il est donc recommandé de toujours utiliser des tests si cela est peu coûteux et si nous recherchons des points de croissance sur les produits existants.
Mais encore, les tests A / B visent davantage à tirer
le maximum du modèle commercial et du produit actuels.
Et où chercher la croissance des produits et des entreprises (Sergey Koloskov)?Il travaille dans CustDev, analyse les concurrents (via le même site Web similaire), analyse son produit (lors de l'analyse des entonnoirs clés et des mesures connexes où les informations sont recherchées et localisées), l'analyse du marché et la conception de scénarios utilisateur (CJM, où vous pouvez voir ce qui plaît, et ce qui dérange l'utilisateur).
Par exemple, une des décisions élégantes prises une fois chez OZON après avoir analysé les concurrents et mené des séances d'entrevues et conçu des scénarios d'utilisation est l'
échange de technologie . L'idée n'est pas nouvelle, mais donne de nouveaux points de croissance aux entreprises. Et en fait, que se passerait-il si votre petite amie voulait un nouvel iPhone, alors que la version précédente, achetée, d'ailleurs, également pour votre argent durement gagné, n'était pas encore couverte de poussière? La solution est simple: bénéficiez d'une remise substantielle sur le nouvel iPhone, en rendant l'ancien. Pour ce faire, vous n'avez même pas besoin de quitter la maison:
Ce sont les produits qui donnent de la croissance à l'entreprise qui deviennent la base du travail d'un chef de produit. C'est le travail qui apporte à l'entreprise de l'argent que le produit doit être la première priorité. Il faut toujours s'en souvenir.
Peut-être sur cette note positive et terminer. Si le sujet est intéressant,
regardez la vidéo complète . En même temps, vous verrez des cas supplémentaires et d'autres détails.
Et à bientôt sur le parcours !