Caterina Toniolo, Chief Growth Manager von Skyscanner, sprach auf der
Epic Growth Conference darüber, wie das Team Hypothesen testete und experimentierte, um das Wachstum mobiler Apps zu steigern.
Sehen Sie sich das Video an und lesen Sie die Notizen unter dem Schnitt.
Die Skyscanner-Website wird monatlich von 60 Millionen Unique Usern besucht, und die Anwendung wurde von mehr als 70 Millionen Menschen heruntergeladen. Mit dem Produkt können Sie auf verschiedenen Geräten nach Flügen suchen, nicht nur auf Desktop- und Mobilgeräten, sondern auch über Cortana, Alexa und Apple Watch.
Wichtige Herausforderungen für die Mobile First-Strategie
Vor Beginn der Experimente muss die Hauptmetrik im Produkt bestimmt werden. Für Skyscanner ist die „Leitmetrik“ der Gesamttransaktionswert oder der Gesamttransaktionspreis für einen Zeitraum von 12 Monaten. Für das Team bedeutet dies, dass der Gesamtwert der Transaktionen in den nächsten 12 Monaten erhöht werden muss.
In seiner Praxis verwendet Skyscanner das AARRR-Marketingmodell, das die sogenannten "Piraten" -Metriken umfasst: Anziehung, Aktivierung, Aufbewahrung, Empfehlungen und Einnahmen. Wie bei der überwiegenden Mehrheit der Unternehmen ist die Kundenbindung die wichtigste Messgröße, die den Prozentsatz der Benutzer angibt, die zum Produkt zurückkehren.
Das Wachstumsteam von Skyscanner konzentriert sich maximal auf die Mobile First-Strategie, da immer mehr vertikale Benutzer von Reisen mobile Apps anstelle von Laptops verwenden, um ihre Reisen zu planen.
Es gibt jedoch viele Hindernisse für die Mobile First-Strategie. Bei Skyscanner liegen die Hindernisse im Produkt selbst, das ursprünglich als Website und nicht als Anwendung entwickelt wurde. Andere ungelöste Probleme sind plattformübergreifend, Halo-Effekt, Attribution, Diplinks und die Arbeit mit Daten.
Plattformübergreifender und Halo-Effekt
Vor dem Start der Tests müssen die Produkte zunächst den LTV (Life-Time Value) berechnen. Dazu müssen Sie das Benutzerverhalten auf verschiedenen Geräten verstehen. Wenn die Autorisierung jedoch optional ist, wie in Skyscanner, wird dies zu einer entmutigenden Aufgabe.
Ein weiterer wichtiger Punkt ist das Verständnis des Halo-Effekts und seiner Auswirkungen auf das Geld des Unternehmens: Wie viel wird ausgegeben, um Benutzer für die Anwendung zu gewinnen und das organische Engagement zu erhöhen? Dazu ist es äußerst wichtig, das allgemeine Benutzerverhalten und den LTV-Score zu verstehen.
Namensnennung
Das beliebteste Attributionsmodell ist die Last-Click- und Last-Click-Attribution, funktioniert jedoch nicht für alle Unternehmen.
Zum Beispiel hat Skyscanner einen Punkt erreicht, an dem die Zuordnung des letzten Klicks nicht mehr funktioniert. Skyscanner ist ein margenarmes Produkt, und das Unternehmen versucht, seine Ressourcen optimal zu nutzen. Aus diesem Grund hat das Team ein Modell für die Multi-Touch-Zuordnung identifiziert, mit dem Sie das Wachstumsskala um ein Vielfaches steigern können.
Deeplink
Es ist äußerst wichtig, dem Benutzer maximalen Komfort zu bieten, sowohl bei der Interaktion mit einer Website oder Anwendung als auch beim Wechsel zwischen diesen Plattformen. Die Arbeit mit Deeplinks ist jedoch nicht so einfach wie die Verwendung normaler Weblinks.
Daten
Einerseits gibt es einen Anwendungsmarkt, der verschiedene Quellen und nützliche Datentypen bereitstellt. Andererseits muss das Team große Anstrengungen unternehmen, um alles zu verarbeiten und sicherzustellen, dass es sich nicht um fragmentierte Daten handelt.
Hypothesentests und Wachstumsexperimente bei Skyscanner
In jedem Unternehmen sollte Wachstum immer in die Praxis umgesetzt werden. Je mehr Sie testen, desto mehr entdecken Sie Wachstumschancen.
Halo-Effekt-Experiment
Hypothese: Wenn die Anzahl der bezahlten Einheiten pro Tag auf dem indischen Markt erhöht wird, steigt auch die Anzahl der organischen Einheiten.
Metriken: organische Downloads.
Ergebnis: Als Ergebnis von fünf Iterationen des Tests gelang es uns, den optimalen Halo-Effekt zu erzielen: eine organische Einheit mit 1,6 bezahlten Einheiten. Das Team testete verschiedene Ausgabenoptionen pro Tag, um die beste zu finden. Wir haben mit 500 bezahlten Installationen pro Tag begonnen. Es waren fünf bezahlte Installationen erforderlich, um eine Bio-Anlage herzustellen. Nachdem das optimale Niveau von 2400 bezahlten Installationen gefunden worden war, wurde die Wachstumsrate auf 1,6 festgelegt.
Experiment zur Anwendungsoptimierung im App Store
Skyscanner experimentiert über Wachstumschancen auf dem russischen Markt.
Hypothese 1: Wenn Sie iTunes Connect relevante Keywords hinzufügen, können Sie das Ranking dieser Keywords im App Store erhöhen.
Hypothese 2: Schlüsselwörter in der Beschreibung der Anwendung im App Store tragen dazu bei, die Bewertung der Anwendung und die Anzahl der Downloads aus Russland zu erhöhen.
Wir haben die Beschreibung der Anwendung auf Russisch analysiert und festgestellt, dass wir von den verfügbaren 100 Zeichen nur 95 verwendet haben. Eines der Wörter bestand aus bis zu 12 Zeichen (14% der gesamten Länge der Beschreibung!). Wir haben uns entschieden, zwei Wörter anstelle von einem zu verwenden.
Die Verwendung von Adjektiven ist ein weiteres Wachstumspotenzial. Dank ihnen können Sie eine viel größere Auswahl an Schlüsselwörtern bereitstellen. Natürlich gibt es solche hochfrequenten Schlüsselwörter wie "Auto". Sie würden jedoch stark mit anderen Worten konkurrieren und wären nicht so relevant wie möglich. Darüber hinaus haben wir begonnen, Keywords zu berücksichtigen, die unter iOS automatisch angeboten wurden.
Als Ergebnis erstellte das Team eine neue Liste von Schlüsselwörtern. Der Hauptindikator für den Erfolg war eine Erhöhung des Ratings, organische Metriken waren die sekundäre Metrik. Nach der Hypothese wird der Erfolg eine Erhöhung der Bewertung sein, indem mindestens 50% der Keywords ersetzt werden.
Methode: Skyscanner wendete einen T-Test mit zwei Stichproben an und verwendete zwei verschiedene Datensätze mit einem Konfidenzniveau von 95%, um sie miteinander zu vergleichen und herauszufinden, welcher gewinnen würde. Die erste Gruppe untersuchte die durchschnittliche Bewertung drei Monate vor Beginn des Experiments. Die zweite Gruppe untersuchte die während des Experiments erhaltenen Daten einen Monat nach dem Test.
Ergebnis: Das Team hat das Ranking von mehr als 50% der Keywords verbessert.
Als Ergebnis haben wir noch eine Schlussfolgerung gezogen: Optimierungsmöglichkeiten gibt es überall, auch dort, wo Sie es nicht erwarten.
Tipp: Führen Sie T-Tests mit zwei Stichproben durch.
Experiment zur Anwendungsoptimierung bei Google Play
Hypothese: Wenn Sie das RF-Flag auf dem Anwendungssymbol von Google Play platzieren, erhöht sich die Anzahl der organischen Installationen aus Russland.
Das Skyscanner-Team hat eine Nullhypothese erstellt - diese Hypothese versucht der Forscher zu widerlegen und das Gegenteil zu beweisen. Um die Hypothese zu widerlegen, stellte Skyscanner den minimal nachweisbaren Effekt ein - 14 Tage nach Beginn des Tests wurde ein Anstieg der organischen Pflanzen um 4,25% festgestellt.
Ergebnis: Mit dem Flag auf dem Symbol bei Google Play verringerte sich die Anzahl der organischen Installationen der lokalen Version der Anwendung um 4,8%. Wir haben versagt, aber wir haben eine wichtige Lektion gelernt.
Bezahltes Optimierungsexperiment, um Benutzer anzulocken
Hypothese: Mit kostenpflichtiger Optimierung können Sie die Conversion steigern.
Mithilfe anonymer IDs im mobilen AppsFlyer-Tracker haben wir die Konvertierung in der Anwendung verfolgt und die Kosten der IDs optimiert, die die beste Leistung zeigten.
Metrik: ROI-Wachstum.
Ergebnis: In der ersten Iteration stieg der ROI um 3%. Infolge der weiteren Optimierung der Ausgaben für eine anonyme ID mit den effektivsten Indikatoren stieg der ROI um weitere 66%. Dieses Experiment wurde als eines der effektivsten in Skyscanner anerkannt und wird jetzt jeden Monat durchgeführt.
Bewertungsoptimierungsexperiment
Hypothese: Wenn Sie Benutzer einladen, direkt in der Anwendung zu bewerten, erhöht sich die Anzahl der Bewertungen im App Store.
In der mobilen Skyscanner-App können Sie in zwei Schritten Feedback hinterlassen. In der ersten Phase wurden die Benutzer gefragt, ob ihnen die Anwendung gefällt. Denjenigen, die positiv geantwortet haben, wurde angeboten, Sterne in den App Store zu stellen. Hier hat das Team beschlossen, den ersten Schritt zu entfernen und Benutzer sofort zum App Store zu leiten. Der Zweck des Experiments bestand darin, die Anzahl der Bewertungen und organischen Downloads zu erhöhen. Vor dem Experiment betrug die durchschnittliche Bewertung 4,36 Punkte.
Metrik: Gesamtzahl der Bewertungen, durchschnittliche Sternebewertung in der App und Anzahl der organischen Downloads.
Ergebnis: Die durchschnittliche Bewertung hat sich nicht geändert, aber die Anzahl der Bewertungen hat sich um 48% erhöht. Danach wurde beschlossen, den Test auf der Skala des gesamten mobilen Skyscanner-Produkts zu wiederholen.
Wir haben auch einen Anstieg der organischen Belastungen festgestellt, aber keinen direkten Zusammenhang mit dem Experiment gefunden.
Interaktions- und Engagement-Experiment
Hypothese: Wenn Sie die Star Wars-Richtung in die Suchzeile einfügen, erhöht sich die Benutzereingriffsrate.
Das Experiment wurde einen Tag lang an Ostern durchgeführt. In der Suchleiste wurden zusammen mit Empfehlungen und profitablen Angeboten Planeten aus dem Star Wars-Universum mit fiktiven Beschreibungen, Abbildungen und Preisen hinzugefügt.
Ergebnis: Der Interaktionsgrad mit der Suchzeichenfolge wurde um 27,5% erhöht. Darüber hinaus wurden mit diesem Element Wachstumschancen identifiziert.
Weitere Berichte zum Produktwachstum finden Sie im
@ epicgrowth Telegram-Kanal.
Das Transkript der Aufführung wird auf
VC veröffentlicht .