Wahrscheinlich haben nur die umweltfreundlichsten Vermarkter und Produktmanager nichts von A / B-Tests gehört, aber selbst erfahrene Spezialisten wissen manchmal nicht, wie sie durchgeführt werden sollen und was mit den Ergebnissen zu tun ist. Aus diesem Grund kann man oft hören, dass A / B-Tests nicht funktionieren und im Allgemeinen nutzlos sind.
Um die Gerüchte zu zerstreuen, sprachen wir mit dem Praktiker A / B Analytics von der Agima-Agentur Sergey Filatov und er erzählte uns von funktionierenden A / B-Testmethoden, Tools, die bei der Durchführung von Tests für eine mobile Anwendung helfen, und von den Perspektiven, die sich daraus ergeben Pool von Fähigkeiten.
A / B-Tests sind eigentlich jede Forschung, die sich der Auswahl der besten Option aus mehreren widmet. Die Sache ist, dass der Begriff sehr weit gefasst ist: Dies sind Tests von Vermarktern und die Art der Analyse digitaler Produkte. Dies führt häufig zu Verwirrung, wenn Sie den Fall sehen, dass „das Unternehmen A / B-Tests durchgeführt hat“ und Sie verstehen müssen, welcher allgemein oder technisch ist. Wir werden speziell über A / B-Tests sprechen, um die Funktionalität mobiler Anwendungen zu bewerten. (Dieses Wissen kann jedoch leicht auf das Gebiet der Marktforschung übertragen werden.)
Dieses Material ist Teil einer Reihe, die für den Start eines gemeinsamen Kurses an der Skillbox Online University und von Agima, Fullstack Mobile Developer , vorbereitet wurde . Wir haben bereits darüber gesprochen, wie Sie zum ersten Mal zum AppStore gelangen und wie Sie Anwendungsschnittstellen entwickeln , wobei Sie mehrere Rabatte von zehn Prozent und vier Rabatte von 20 Prozent gewähren.
Diejenigen, die bereits zwei Rätsel gelöst haben und mehr wollen (um den kumulierten Rabatt zu erhöhen), werden heute ein Rätsel um das Testwerkzeug bekommen. Suche sie im Text! Und der Rest des Habroisers kann immer noch jeden Kurs für 10.000 Rubel billiger bestellen, indem er den Habr-Aktionscode verwendet (denken Sie daran, dass dies nicht zu den Rabatten führt, die das Auflösen von Rebussen bietet).
A / B-Tests werden normalerweise als Analysewerkzeug angesehen, mit dem Sie die Auswirkungen von Produktänderungen auf die Conversion bewerten können - eine Erhöhung der Anzahl der Leads, die auf Bestellungen übertragen werden. Die Konvertierung ist hier nicht unbedingt der Kauf von etwas: Dies ist ein Übergang des Benutzers von einer Stufe zur anderen, während er den Trichter der Bestellung durchläuft, und jede Interaktion mit den Formen und Elementen des Dienstes auf dem Weg.
Ein A / B-Test ist erforderlich, um:
- Wählen Sie aus mehreren Optionen für den Bildschirm oder die Seite die beste aus.
- bewerten Sie die Möglichkeit, bestimmte Indikatoren Ihres Produkts zu ändern;
- Berechnen Sie die Effektivität des Ersetzens bestimmter Elemente auf einer Seite oder einem Bildschirm.
- verstehen, wie die Conversion in jeder Phase des Verkaufstrichters erhöht und daher deren Anzahl erhöht werden kann;
- Innerhalb der mobilen Anwendung bieten A / B-Tests die Möglichkeit, die Benutzererfahrung zu verbessern, sodass Sie die Elemente bequemer anordnen und den Inhalt für den Benutzer interessanter und nützlicher gestalten können.
Erklärung des Problems
Jeder A / B-Test beginnt mit einer Hypothese. Sie kommen in zwei Formen. Die ersten sind eher Marketing-Programme, die darauf abzielen, den Traffic, die Anzahl der Personen, die eine bestimmte Aktion ausführen, zu erhöhen und zu klären, auf welche Zielgruppe sich die Anwendung konzentriert. In diesem Fall wird weniger die Funktionalität der Anwendung selbst getestet als vielmehr die Marketingkanäle und Conversions der einzelnen Werbetools. Wir werden uns auf die zweite Art von Hypothese konzentrieren.
Es liegt in der Tatsache, dass wir durch Ändern der einen oder anderen internen Funktion - eines Elements oder Blocks, der Beziehung zwischen ihnen oder der Logik ihrer Interaktion - Änderungen bei bestimmten Indikatoren der Anwendung erzielen können (all dies gilt jedoch für Sites).
Diese Hypothesen können entweder die Elemente betreffen, die sich auf den Bildschirmen des Dienstes befinden, oder die Verbindungen der Bildschirme darin. Leider ist das Testen der Verbindungen zwischen Bildschirmen aufgrund von Schwierigkeiten beim Einrichten des Tests technisch problematisch. Daher beschränkt sich der Analyst normalerweise darauf, an bestimmten Blöcken und einzelnen Bildschirmen zu arbeiten.
Das Wesentliche beim A / B-Testen in diesem Fall ist, dass einer Benutzergruppe eine Option für den Speicherort oder die Konfiguration der Schnittstelle und die zweite für eine andere angezeigt wird.
Und hier ist der Rebus! Denken Sie daran, dass Englisch hier das Russische beeinträchtigen kann und das Thema des Rätsels mobil ist. Und vergessen Sie nicht, dass wir die Kommentare sorgfältig überwachen und Tipps und Antworten daraus entfernen! Der im Rebus verschlüsselte Prolog sollte aufgerufen werden, wenn unser Manager Sie kontaktiert, nachdem Sie eine Bewerbung für den Kurs gesendet haben. Rabatte für gelöste Rätsel werden untereinander zusammengefasst (unter Berücksichtigung dieses Artikels gibt es bereits drei davon), jedoch nicht mit Rabatten auf der Website. Sie sollten nicht zu viel zögern - die Promo funktioniert bis zum 30. August 2018.
Vom gewünschten Ergebnis bis zur Suche nach Lösungen
Hypothesen dieser Art haben eine allgemeine Regel: Zu Beginn wird ein bestimmter Endindikator gesetzt, den wir erhöhen oder verringern möchten. Hypothesen können auf der Grundlage von Berichten und ähnlichen analytischen Informationen formuliert werden, werden jedoch häufig ohne besondere Vorbereitung auf der Grundlage heuristischer Annahmen der Entwickler erstellt.
Wir beginnen mit der Formulierung des Problems, das wir lösen möchten: geringe Konvertierung, geringe Anzahl von Klicks auf das eine oder andere Element, das Fehlen von Wisch- oder Dokumentschriftrollen.
Anschließend wählen wir bestimmte Aktionen aus, die möglicherweise zum gewünschten Ergebnis führen können. Dies kann das Hinzufügen neuer Schaltflächen, das Ändern der Anordnung von Blöcken auf dem Bildschirm oder beispielsweise das Ändern der Organisation des Menüs vom „Burger“ links zur unteren Seitenleiste sein, wie dies bei Instagram der Fall ist.
Ein Beispiel dafür, wie die Wirksamkeit der getesteten Änderungen in der Optimizely-Anwendung bewertet wird.Das heißt, wir beginnen, verschiedene Möglichkeiten zu finden, um den Schlüsselindikator zu beeinflussen. Die Hypothese nimmt also eine vollständige Form an.
Obligatorische Komponenten der Hypothese:
- Formel "wenn - dann";
- Verb - beschreibt die Aktion, die wir in Bezug auf das ausgewählte Element ausführen.
- Beschreibung des erwarteten Ergebnisses.
" Wenn wir die Schriftgröße erhöhen und die Schaltfläche grün streichen , erhöht sich die Conversion um 15% ."
Qualität wird zu Quantität
Mit A / B-Tests können Sie zwei Arten von Studien durchführen: qualitative und quantitative.
Qualitative Forschung zielt darauf ab, mit der emotionalen Erfahrung eines Menschen zu arbeiten, um herauszufinden, ob ihm die von uns verwendete Lösung gefällt: Ist sie für die Wahrnehmung geeignet, beeinflusst sie die Interaktionszeit oder nicht? Solche Tests zielen darauf ab, herauszufinden, welche Gefühle ein Benutzer bei der Arbeit mit einer Anwendung oder einem Dienst empfindet.
Quantitative Studien zielen darauf ab, eine bestimmte Zahl im Zielindikator zu erhöhen: das Volumen der Klicks auf die Schaltfläche, Tipps zur Erhöhung der Wahrscheinlichkeit eines Verkaufs usw. Dies ist eine trockene Berechnung von Klicks, Verkehr, Verkäufen und Verkehr auf dem Trichter.
Alle Indikatoren, die gefunden werden müssen, sollten in numerische Metriken konvertiert werden. Beispielsweise wird die Frage "Ist der Benutzer am Inhalt interessiert?" Zu Indikatoren für die auf dem Bildschirm verbrachte Zeit, die Bildlauftiefe und das Klicken auf ein bestimmtes Schlüsselelement.
Wichtig! Befolgen Sie die Regel: Ein Bildschirm - ein Experiment. Testen Sie nicht zwei Hypothesen, die sich auf Elemente auf demselben Bildschirm beziehen. Darüber hinaus sind einem Element zwei Hypothesen zugeordnet, andernfalls können Sie die Ergebnisse nicht verarbeiten (wenn die Beschreibung der Hypothese "zwei Elemente austauschen" bedeutet - dies ist eine Aktion).
Arten von A / B-Tests und Studientiefe
Multivariate Tests umfassen eine Kombination mehrerer Optionen. Zum Beispiel haben wir einen Block, der aus einer Schaltfläche und einem Aufruf zum Handeln besteht. In diesem Fall können Sie alle möglichen Typen dieser Schaltfläche mit unterschiedlichen Aufrufen bilden. Es ist jedoch wichtig zu bedenken, dass solche Tests nur für große Anwendungen mit viel Verkehr geeignet sind.
Split-Tests sind Tests ganzer Bildschirme, um zu verstehen, welche eine größere Reaktion hervorrufen. Sie können beispielsweise verschiedene Versionen des Startbildschirm-Tutorials vergleichen, um zu verstehen, ob Benutzer die von Ihnen erstellten Tipps lesen oder überspringen, und direkt zur Anwendungsfunktionalität wechseln.
Im Rahmen des üblichen elementweisen A / B-Tests können Sie Header, Links, Menüposition, Qualität der Handlungsaufforderungen, das Vorhandensein und die Wirksamkeit verschiedener Funktions- oder Textblöcke und Abbildungen sowie die Benutzerinteraktion mit der Anwendung je nach Gerät und Benutzer, der während des Tests darauf zugegriffen hat, bewerten adaptive Version der Anwendung.
Es gibt Tests A / B / C / N, bei denen wir nicht unbedingt nur aus zwei Optionen auswählen. Sie sind auch nicht für alle Dienste geeignet: Sie erfordern viel Verkehr, da sonst der Test die Schwelle der statistischen Zuverlässigkeit einfach nicht überschreitet. Damit wir sicher sein können, dass die Änderung der Schlüsselanzeige nicht zufällig war, sollten genügend Benutzer den Bildschirm besuchen.
Für ein kleines Projekt, das beim Testen nur die Optionen A und B bietet, gibt es möglicherweise genug tausend Personen, die die Aktion durchgeführt haben. Für große kann ihre Anzahl viel größer sein.
Die übliche Dauer eines Experiments beträgt zwei Wochen bis eineinhalb Monate. Dies ist notwendig, um sicherzustellen, dass keine externen Faktoren den Verlauf beeinflusst haben: zum Beispiel Werbekampagnen, Wetterbedingungen oder etwas anderes. (Bei dem Wetter geht es hier nicht nur um die Stimmung der Benutzer, sondern auch um die Tatsache, dass es beispielsweise für Lieferanwendungen wichtig ist, zu prüfen, ob es jetzt regnet oder nicht - dies wirkt sich auf die Konvertierung aus.)
Wenn Ihr Produkt (oder ein bestimmter Testgegenstand darin) nicht vom Wetter, der Mode oder der Marketingaktivität der Wettbewerber abhängt, können bereits aus den Aktionen der ersten tausend Benutzer Rückschlüsse auf die Angemessenheit der Änderungen gezogen werden. Nach dem Sammeln der Daten können Sie mit der Interpretation beginnen und Änderungen vornehmen, die sich als gerechtfertigt erwiesen haben.
A / B-Testwerkzeuge
Es ist viel einfacher, Experimente an Standorten durchzuführen, da die Einstellungen über Bedienfelder flexibel sind. Glücklicherweise gibt es jedoch mehrere Lösungen für Mobilgeräte, die sich als Best Practices etabliert haben.
Optimizely ist eines der beliebtesten Tools. Es verfügt über eine intuitive und angenehme Benutzeroberfläche, einen visuellen Editor und eine breite Integration in Klassen sowie integrierte Funktionen zum Bearbeiten der Funktionalität von Elementen und zum Aufhängen dieser Elemente durch Anhängen neuer Ereignisse. Aufgrund des hohen Preises steht der Service jedoch nicht allen Entwicklern zur Verfügung.
Der Fünf-Sekunden-Test ist relevanter für die Durchführung von Usability-Untersuchungen und die Untersuchung der Wirksamkeit und Verständlichkeit des Entwurfs bestimmter Blöcke und Elemente.
Convert Experiments ist die günstigste Plattform. Die Kosten für ein Abonnement des Dienstes beginnen bei 9 USD pro Monat. Gleichzeitig verfügt es über einen visuellen Editor, mit dem der Tester mit Elementen arbeiten kann, ohne über die Fähigkeiten eines Programmierers zu verfügen. Es sind weniger Metriken verfügbar und keine solchen erweiterten internen Analysen. Um den A / B-Test jedoch schnell zu konfigurieren und auszuführen, ist das Programm gut geeignet.
Apptimize verfügt über ein fortschrittlicheres System für interne Analysen und SDK, das recht einfach zu beherrschen ist. Es gibt auch einen visuellen Editor.
Google Analytics Experiments konzentriert sich auf webbasierte mobile Apps und Hybrid-Apps.
A / B-Tests und Anwendungsupdates
Noch vor wenigen Jahren war es für die Durchführung von A / B-Tests nicht erforderlich, eine aktualisierte Version der Anwendung zu veröffentlichen: Änderungen wurden im laufenden Betrieb vorgenommen, indem bestimmte Snippets in den Code eingefügt wurden. Aufgrund der Tatsache, dass dieser Ansatz die Sicherheitsrichtlinien und -beschränkungen von Apple und Google umging, wurde diese Funktion für Entwickler geschlossen. Um heute einen A / B-Test durchführen zu können, müssen Sie eine aktualisierte Version Ihrer Anwendung bereitstellen.
Was man lernen und wo man wachsen kann
Um A / B-Tests durchzuführen, ist es nicht erforderlich, ein cooler Analyst zu sein - es reicht aus, die Indikatoren zu verstehen und auf ihrer Grundlage die richtigen Schlussfolgerungen zu ziehen.
Eine der Hauptfähigkeiten eines Spezialisten, der A / B-Tests durchführt, ist die Fähigkeit, quantitative Indikatoren in qualitative zu interpretieren und im Gegenteil qualitative Hypothesen in zur Analyse verfügbare Zahlen zu zerlegen.
Anfängliche Spezialisten sollten sich mit den Regeln der Produktanalyse vertraut machen, da ihre Praktiken näher an A / B-Tests liegen als die, die in der Webanalyse und im E-Commerce verwendet werden.
Es ist nützlich, flexible Methoden zu studieren, insbesondere den Start von Leitungen. Für den Tester wird das Produkt zu seinem „internen Start“. Solche Entscheidungen werden ihm also gut passen. Viele nützliche Informationen über die Durchführung von Forschungsarbeiten erhalten Sie, wenn Sie Gründerzentren und deren Veranstaltungen besuchen. Es ist auch eine starke Inspirationsquelle. Dort können Sie viele Optionen für A / B-Tests erleben - sowohl automatische als auch traditionelle wie Umfragen und eingehende Interviews.
Natürlich sind auch Fähigkeiten im Umgang mit Zahlen erforderlich - von der Durchführung von Meinungsumfragen bis hin zu Erfahrungen in angewandter Mathematik und Informatik. Ohne dies haben Sie Probleme bei der Verarbeitung der Testergebnisse.
All diese Fähigkeiten ermöglichen es im Laufe der Zeit, auf Wunsch als Stratege, UI / UX-Analytiker oder als Produktbesitzer im Marketing zu arbeiten und sogar ein eigenes Projekt zu erstellen. Überall dort, wo Zweifel auftauchen, wo unklar ist, wohin man gehen soll, wo man den Boden findet, um das Publikum und seine Stimmungen zu untersuchen, kann in all diesen Bereichen das während der A / B-Tests erworbene Wissen genutzt werden.
Wenn Sie also gelernt haben, wie Sie von der Erfassung vorläufiger Daten zu einer Hypothese übergehen, Lösungen entwickeln und diese mit anschließender Analyse testen können - was im Wesentlichen hinter dem kurzfristigen „A / B-Test“ verborgen ist, können Sie viel mehr Perspektiven entdecken als nur Entwicklung in der Rolle der Qualitätssicherung oder des Analysten.
Skillbox empfiehlt thematische Kurse:
Wir erinnern Sie daran: Für alle Leser von Habr - ein Rabatt von 10.000 Rubel bei der Anmeldung für einen Skillbox-Kurs mit dem Habr-Aktionscode.
Es gibt noch einige Materialien aus unserer Reihe zur mobilen Entwicklung, und es ist Zeit zu fragen: Was möchten Sie lesen? Sagen Sie uns in den Kommentaren, welche Themen im Zusammenhang mit dem Handy wichtig erscheinen, aber nicht ausreichend offengelegt werden, und wir werden versuchen, Ihr Interesse zu befriedigen.