Hallo Habrowsk. Morgen starten wir den Kurs „Produktmanager von IT-Projekten“ . Im Vorgriff auf den Beginn des Kurses teilen wir mit Ihnen die Erfahrungen unserer bestehenden Lehrer.
Eines der beliebtesten Tools des Produktmanagers sind A / B-Tests, und das
nächste Webinar in OTUS widmete sich diesem Thema. Gleich drei Experten haben daran teilgenommen:
Sergey Koloskov - Produktmanager bei OZON.
Alexander Povarov - Produktmanager bei TransferWise.
Andrey Mende - Product Owner bei Booking.com.
Die Diskussion erwies sich als sachlich und heiß. Besprochen:
- In welchen Fällen ist es am besten, A / B-Tests zu verwenden?
- Wie definiere ich Metriken und interpretiere die Ergebnisse richtig?
- Wie kann ich A / B-Tests schaden?
- Was können Alternativen zu A / B-Tests sein?
- Was ist besser, um Tests durchzuführen?
- Fälle von Fintech, E-Commerce und Marktplätzen.
Interessanterweise haben sie sich wirklich auf die Grenzen der Anwendung von A / B-Tests geeinigt. Aber lassen Sie uns über alles in der richtigen Reihenfolge sprechen.
Was sind A / B-Tests?
A / B-Tests sind eine bekannte Methode der Marktforschung. In einfachen Worten, wir teilen das Publikum auf der Website in gleiche oder ungleiche Gruppen auf und führen eine Änderung / Verbesserung auf der Website durch, wodurch wir herausfinden, welche der Seiten die Aufgaben des Geschäfts und des Produkts insgesamt effektiver löst. Wir überprüfen im Rahmen eines Tests nicht mehr als eine Hypothese (maximal zwei).
Realer Beispiel-A / B-Test für OZON:
In diesem Beispiel haben wir für einige Produktkategorien die Schaltfläche "Ein-Klick-Kauf" eingeführt. Während des Experiments untersuchten sie Metriken und Trichter und testeten die Hypothese, ob es für Benutzer besser wäre, das Skript mit einem Klick zu verwenden, ohne den „Papierkorb“ zu „durchfallen“, dh ohne unnötige Gesten zu machen. Produktkategorien wurden nicht zufällig ausgewählt - es ging um Produkte, die laut Statistik am häufigsten mit nur einem Produkt gekauft werden.
In der Regel betrachten wir beim A / B-Testen
Metriken , unter anderem:
- Conversions (Anteil der Leitaktionen);
- Finanzindikatoren (Wachstum von GMV, Einnahmen, durchschnittliche Rechnung);
- Verhaltensmetriken (Klicks, Übergänge).
Hier ist das echte Dashboard in OZON zur Verdeutlichung:
Bitte beachten Sie, dass es möglich ist,
Segmente anzupassen, was auch für A / B-Tests wichtig ist, da wir sehen können, welche Zielgruppe von einer bestimmten Verbesserung betroffen ist. Angenommen, dies können Benutzer aus Moskau im Alter von 35 bis 50 Jahren mit einem durchschnittlichen Scheck von mehr als 2500 Rubel und einem Kind in der Familie sein.
Verwenden von A / B-Tests bei Booking.com (Andrey Mende)
Laut Andrei Mende besteht bei Booking.com die feste Überzeugung, dass das Unternehmen seinen Erfolg durch Tests erzielt hat. Dies schließt A / B-Tests ein, ohne die bei Booking.com
derzeit fast nichts unternommen wird . Die Anzahl der gleichzeitig verfügbaren Versionen von Booking.com ist sehr groß und die A / B-Tests unterscheiden sich hier. Fast alles wird in Bezug auf das Produkt getestet und Änderungen werden erst nach A / B-Tests vorgenommen. Übrigens hat dieser Ansatz dazu beigetragen, so viel Unsinn zu vermeiden.
Die Medaille hat aber noch eine andere Seite: Die Langzeitstatistik von Booking.com legt nahe, dass
laut Testergebnissen 90% der Hypothesen scheitern . Und das ist auch gut so, denn Sie können sicher sein, dass die restlichen 10% vorhanden sind. Sie sollten jedoch nicht alle Hypothesen hintereinander ausprobieren und in einer Art Lotterie spielen, da Sie sowohl Zeit als auch Geld für das Entwickeln und Testen von Hypothesen aufwenden.
Lassen Sie uns einen merkwürdigen Fall analysieren: Auf der Website gibt es beispielsweise eine
Listensuche und eine Kartensuche . Laut Statistik haben Nutzer, die auf der Karte suchen, eine höhere Conversion-Rate. Dies wurde durch das "intelligente" Produkt festgestellt, das den Vorteil nicht verfehlte. Er begann auf verschiedene Weise, manchmal sogar heimtückisch, Besucher auf Karten zu schicken. Zum Beispiel kommen Benutzer von einer Suche - finden sich auf einer Karte, vergleichen etwas, - wieder wird die Schaltfläche "Auf Karte anzeigen" hilfreich angezeigt, usw. Es wurde viel Zeit für die Innovation aufgewendet, aber das
Ergebnis war Null . Und wenn der Benutzer nicht von sich aus zu den Karten gekommen ist, hat nichts funktioniert.
Sehr oft wird es schlimmer, nie besser . Und das alles, weil wir ein großartiges Beispiel für die
Auswahlverzerrung (verzerrte Abtastung) haben:
Hier können Sie sich an die
berühmte Geschichte über Flugzeuge erinnern, von denen einige zum Stützpunkt zurückkehrten, während andere dies nicht taten. Die Löcher in ihrem Gehäuse wurden untersucht, um zu verstehen, wo mehr Rüstung benötigt wurde. Es handelt sich um den sogenannten
systematischen Auswahlfehler, wenn für eine Gruppe viele Daten vorliegen („Überlebende“) und für die andere Gruppe praktisch keine Daten vorliegen („Überlebende“), wodurch Forscher versuchen, nach Gemeinsamkeiten zwischen den „Überlebenden“ zu suchen und übersehen werden dass sich nicht weniger wichtige Informationen unter den "Toten" verstecken.
Bei uns ist die Situation ähnlich: Wir haben Personen untersucht, die die Buchungsstufe bei Booking.com über Karten erreicht haben, aber nicht Personen, die diese Stufe nicht erreicht haben. Infolgedessen wurden falsche Schlussfolgerungen gezogen.
Lass uns weitermachen. Was ist eine super nützliche Kultur, in der A / B-Tests eine wichtige Rolle spielen:
Die Vorteile von A / B-Tests liegen auf der Hand:
- Erstens werden viele Dinge getestet und es gibt eine entsprechende Wissensbasis. Wenn Ihnen eine „brillante“ Idee einfällt, können Sie innerhalb von 15 Sekunden feststellen, dass Ihre brillante Idee bereits vor zwei Jahren bei einem der Produkte aufgetaucht ist. Außerdem hat er es geschafft, sie zu testen, und sie ist kläglich gescheitert. Wie kann man sich nicht an die Klassiker erinnern:
"Hören Sie, was ich letzte Nacht mit dem flackernden Licht einer elektrischen Lampe besprüht habe:" Ich erinnere mich an einen wunderbaren Moment, Sie erschienen vor mir, wie eine flüchtige Vision, wie ein Genie von reiner Schönheit. " Wirklich gut? Talentiert? Und erst im Morgengrauen, als die letzten Zeilen hinzugefügt wurden, fiel mir ein, dass dieser Vers bereits von A. Puschkin geschrieben wurde. So ein Schlag von der Seite des Klassikers! Huh? "
Ein Zitat von Ostap Bender aus dem Roman Das goldene Kalb, I. Ilf, E. Petrov
- Zweitens ist es angenehm, in einer solchen Kultur zu arbeiten, da es kaum einen Meinungswettbewerb gibt. Produktlösungen kristallisieren aus, auch durch Tests. Und es ist egal, wer Sie sind, Senior oder Junior. Solange Sie keinen guten Test haben, werden Sie keine Änderungen vornehmen.
- Drittens sind maschinelles Lernen und intelligente Maschinenalgorithmen mittlerweile sehr beliebt. Und maschinelles Lernen und A / B-Tests sind nur eine explosive Mischung, die die Entwicklung des Produkts in naher Zukunft bestimmen wird.
Ein anderer Blick auf A / B-Tests von Startups (Alexander Povarov)
Laut Alexander Povarov ist der Erfolg von Booking.com natürlich lobenswert. Wenn es sich jedoch um Qualitätstests handelt, sind viele Daten erforderlich. Booking.com hat ein riesiges Publikum und die Möglichkeit, mit vielen Dingen gleichzeitig zu experimentieren. Wenn es sich um ein mittelgroßes Projekt handelt, reichen Daten und Datenverkehr in solchen Projekten häufig nicht aus. Wenn der Verkehr höher ist als das Dach, ist dies kein Allheilmittel, da der Benutzer zu Ihrer Site kommen kann, um verschiedene Benutzerfälle zu lösen, die mit den Besonderheiten des Produkts zusammenhängen. Wenn es sich um eine Internetbank handelt, kommt jemand, um das Telefon zu bezahlen, und jemand sieht sich die Abrechnung an. Usw. Außerdem testen Sie häufig mit einem A / B-Test nur eine Benutzeraktion.
Um ein kurzes Fazit zu ziehen: Für A / B-Tests gelten die folgenden
Einschränkungen :
- viele Daten benötigen;
- Geeignet nur für homogene Anwenderfälle;
- fokussiert auf einen Schritt (Klick).
Der nächste Punkt -
A / B-Tests bieten kein Mehrfachwachstum :
- Umsatzsteigerung von 1 pp (z. B. 1% → 2%);
- auch nach 30 Iterationen wächst nicht 1% → 31%;
- benachbarte Trichter werden sich wahrscheinlich verschlechtern;
- Umwandlung wird sich verbessern, aber in einem Schritt.
Wenn es sich um ein komplexes Produkt handelt und Sie mit A / B-Tests spielen, werden
Sie wahrscheinlich benachbarte Trichter einbinden , und die Konvertierung in diese kann fallen. Das gebräuchlichste Beispiel ist, wenn mehrere Funktionen auf der Promo-Seite eines großen Dienstes verkauft werden. Wenn Sie eins markieren, wird die Konvertierung zu den anderen sicherlich erfolgreich sein. Aber selbst wenn alles gut läuft, werden Sie in der Vergangenheit mit einem Benutzer interagieren, der Ihr Produkt täglich verwendet, und diese Konvertierung, die Sie irgendwie verbessert haben, hat keinerlei Auswirkungen.
Laut Alexander Povarov ist es daher besser, die Ressourcen der Produktmanager
zu nutzen, um das Produkt um ein Vielfaches zu steigern. Im Idealfall sollten Sie nach solchen Produktwachstumspunkten suchen, die zu einem Wachstum von mehreren zehn Prozent beitragen.
Worauf können Sie Ihre Energie richten:
- Verbesserung der Benutzererfahrung;
- Schaffung von Mehrwert;
- Verbesserung der Einheitsökonomie;
- Suche nach neuen Produkten / Geschäftsmodellen.
Wir können mit Zuversicht sagen, dass die
Produkteigenschaft um ein Vielfaches besser ist als die Landeoptimierung . Zum Beispiel hat
Yandex.Money farbige Plastikkarten auf den Markt gebracht, die sehr cool und mit einer transparenten Schicht versehen sind. Sie rollten einfach aus und die Leute reagierten mit großer Nachfrage, weil sie einfach solche Karten für sich wollten. Und es ist kein A / B-Test erforderlich. Das heißt, der Ausstoßtrichter ist gewachsen und befindet sich jetzt auf einem viel höheren Niveau, und das Produkt selbst als Finanzdienstleistung hat sich überhaupt nicht geändert!
Ja, nicht jedes Lebensmittelgeschäft bietet eine Steigerung von zehn Prozent. Andererseits führt keine Verbesserung der A / B-Tests zu mehrfachem Wachstum.
Und noch etwas: Ein
neues Publikum wird die Conversion mehr als verbessern . Um diesen Punkt besser zu verstehen, geben wir ein Beispiel für einen realen Fall für TransferWise:
Im obigen Bild sehen wir die Zahlungsweise, zu der ein erfahrener Produktmanager Fragen haben kann. Und er wird höchstwahrscheinlich Recht haben, denn mit Hilfe von A / B-Tests ist es möglich, dieses Formular angenehmer zu gestalten und die Conversion beispielsweise sechs Monate später mit mehreren Iterationen zu steigern.
TransferWise ist jedoch den Weg gegangen, um Produktwachstumspunkte zu ermitteln. Unten sehen Sie ein Diagramm, in dem der MNU-Indikator festgelegt ist - die Anzahl der neuen Benutzer, die beitreten:
Was ist der Grund für das Wachstum? Tatsache ist, dass das Unternehmen Geldtransfers durchführt und für eines der Länder keine Unterstützung für Kartenzahlungen bestand, aber der Verkehr von dort wurde beobachtet. Nachdem wir die Möglichkeit hinzugefügt haben, Karten für dieses Land zu unterstützen, haben wir mehr Einblicke erhalten und unsere aktive Nutzerbasis erweitert. Und unsere
alles andere als optimale Zahlungsweise ist nicht optimal geblieben . Ein solches Wachstum hätten wir ohnehin nie erreicht, wenn wir ein halbes Jahr für die Optimierung der Zahlungsweise aufgewendet hätten.
Dies legt erneut nahe, dass es ebenso wichtig ist, sich auf das
wesentliche Wachstum des Produkts zu konzentrieren, dh auf Dinge, die Ihr Produkt verändern und neue Benutzer bringen.
Benötigen Sie A / B-Tests oder nicht?
Nachdem die Vortragenden gesprochen hatten, war es Zeit für eine lebhafte Diskussion, die man besser
live verfolgen kann. Wir werden es umgehend zusammenfassen.
Merkmale und Anwendungsgrenzen von A / B-Tests:- großes Publikum (DAU, MAU);
- nicht mehr als eine (maximal zwei) Hypothesen im Test;
- Produkterfolg in 10% der Tests bei einem Wachstum von einem Prozentpunkt und mangelnde Ergebnisse in 90% der Tests;
- begrenzter Einfluss auf diese Metriken von Geschäftsmetriken;
- Nichtanwendbarkeit für B2B-Produkte und eingeschränkte Anwendbarkeit für Fintech-Produkte (bei jedem Klick auf das Konto).
Gleichzeitig ist Split-Testing natürlich die transparenteste Antwort auf jede Frage und die Möglichkeit, nicht auf Intuition zurückzugreifen und nicht an den Benutzer zu denken. Darüber hinaus sind A / B-Tests ein guter Freund, anhand dessen Sie Einblicke in bestehende Produkte erhalten können. Und dank des A / B-Tests werden die Produktmetriken und der NPS verbessert. Es wird daher empfohlen, Tests immer dann durchzuführen, wenn sie kostengünstig sind und wenn wir nach Wachstumspunkten für vorhandene Produkte suchen.
Bei A / B-Tests geht es jedoch eher darum, das Maximum aus dem aktuellen Geschäftsmodell und Produkt herauszuholen.
Und wo nach Produkt- und Geschäftswachstum suchen (Sergey Koloskov)?Er ist in CustDev, analysiert Konkurrenten (über dasselbe Similar Web), analysiert sein Produkt (bei der Analyse wichtiger Trichter und verwandter Kennzahlen, in denen Erkenntnisse gesucht und lokalisiert werden), analysiert den Markt und entwirft Benutzerszenarien (CJM, wo Sie sehen können, was gefällt, und was den Benutzer stört).
Eine der eleganten Entscheidungen, die bei OZON einmal getroffen wurden, nachdem Konkurrenten analysiert, Interview-Sitzungen durchgeführt und Benutzerszenarien entworfen wurden, ist beispielsweise der
Technologieaustausch . Die Idee ist nicht neu, gibt aber neue Impulse für das Geschäftswachstum. Und in der Tat, was wäre, wenn Ihre Freundin ein neues iPhone wünschte, während die Vorgängerversion, die Sie übrigens auch für Ihr hart verdientes Geld gekauft haben, noch nicht mit Staub bedeckt war? Die Lösung ist einfach: Holen Sie sich einen erheblichen Rabatt auf das neue iPhone und geben Sie das alte zurück. Dazu müssen Sie nicht einmal das Haus verlassen:
Es sind Produkte, die dem Geschäft Wachstum verleihen und die Grundlage für die Arbeit eines Produktmanagers bilden. Es ist die Arbeit, die dem Unternehmen Geld einbringt, dass das Produkt oberste Priorität haben sollte. Dies muss immer in Erinnerung bleiben.
Vielleicht in diesem positiven Sinne und zum Schluss. Wenn das Thema interessant ist,
schauen Sie sich das vollständige Video an . Gleichzeitig sehen Sie zusätzliche Fälle und andere Details.
Und wir sehen uns auf dem Kurs !