Das Yandex.Navigator-Produktteam teilte mit, welche Experimente durchgeführt werden, wie die Arbeit intern organisiert ist, wie das Produkt monetarisiert wird und welche Ansätze es in der prädiktiven Analyse verwendet.
Epic Talks ist ein
Epic Growth- Projekt, bei dem wir mit Teams über etablierte Prozesse, das Testen von Produkthypothesen, Analysen und vieles mehr kommunizieren. Das Projekt wurde mit Unterstützung der
Analyseplattform AppMetrica aufgenommen .
Das Team
Lyosha Gozhev, Senior Product Analyst, und Misha Vysokovsky, Leiterin von Yandex.NavigatorWie ist das Yandex.Navigator-Produktteam aufgebaut?
In Navigator gibt es mehrere Produktteams, von denen jedes seinen eigenen Fokus hat. Der Fokus gibt die Richtung der Produktentwicklung vor. Zum Beispiel leitet ein Team die Route, das andere konzentriert sich auf das Suchskript. Im Gegensatz zu einem gebildeten Produktteam kann sich der Fokus im Laufe der Zeit ändern. Normalerweise hat jedes Team einen Produktmanager, Designer und Entwickler.
Wir haben jetzt zwei Analysten, die für mehrere Produktteams arbeiten. Meist werden die Aufgaben des Analytikers in zwei Typen unterteilt.
Der erste Typ sind Ad-hoc-Aufgaben, die schnell berechnet werden müssen, oder Aufgaben, bei denen das Schreiben von Code überprüft werden muss. Der zweite Typ sind Forschungsaufgaben, mit denen sich das gesamte Team befassen muss. Bei solchen Aufgaben gibt es keine Trennung zwischen Auftragnehmer und Kunde. Der gesamte Prozess der Forschungsaufgaben ist dem Umgehen eines wachsenden Baums sehr ähnlich: Wir generieren Hypothesen und testen sie dann. Während ihrer Widerlegung oder Bestätigung entstehen neue Hypothesen.
Produktexperimente
Ein Beispiel für erfolgreiche Experimente geben?
Wir versuchen zu erraten, wohin eine Person gehen wird, und bieten ihr einen „Zielvorschlag“ an. Beispielsweise öffnet der Benutzer den Navigator und die Anwendung bietet an, die häufigsten Routen zu verwenden. Jetzt haben wir bereits ungefähr 13% der so gebauten Strecken. Dieser Indikator wächst ständig. Wir arbeiten daran, das Vorhersagemodell zu verbessern, zu sehen, wie es sich auswirkt und wie viel bequemer es für den Benutzer wird.
Ein weiteres Beispiel für ein erfolgreiches Experiment ist die Neugestaltung der Schnittstelle mit gewöhnlichem Isolierband. Da wir ein bestimmtes Produkt haben, ist es Zeitverschwendung, den am Tisch sitzenden I. Navigator zu testen. Irgendwann haben wir uns die Benutzeroberfläche von Y. Navigator angesehen und festgestellt, dass sie viele doppelte Informationen enthält.
Wir dachten: „Hören Sie, der dritte Bildschirm oben ist ein riesiges schwarzes Feld. Vielleicht sollten wir es wegwerfen und ohne es wird alles gut? “ Am einfachsten ist es, ein normales Klebeband zu nehmen und die obere Platte zu kleben.
Das erste Feedback lautete: "Ich verstehe, wohin ich gehen soll, aber es ist nicht klar, wann ich kommen werde." Wir nahmen die Schere und schnitten sie ein wenig, damit die Ankunftszeit sichtbar war. Das positive Feedback hat uns überrascht. Die Menschen kamen ruhig an einen Ort ohne Informationen, der mit schwarzem Isolierband versiegelt war, während sie auf einer unbekannten Route fuhren.
Wie viele Hypothesen werden pro Woche getestet?
Zuvor verwendeten wir jeden Montag zwischen zwei und vier Stunden den Ansatz des Hypothesentests. Ziel war es, Produktmanagern zur Gewohnheit zu machen, neue Hypothesen zu testen, eine neue Lösung zu testen, einen Prototyp vorzubereiten und ein ausführliches Interview zu führen. Nachdem wir festgestellt hatten, dass dies für alle gleich war, haben wir das System geändert.
Wir haben dies in Form einer Veranstaltung am Freitag getan, bei der alle ihre Eindrücke über das Testen der Hypothesen teilten. Wir haben Produkte nicht nur von Navigator, sondern auch von Geoservices eingeführt. Wir haben eine Bewertung der Mitarbeiter zusammengestellt, bei der jeder für seine Forschung Sterne erhielt.
Dies geschah, nachdem das erste kleine Team einen Kurs in Design Thinking belegt hatte. Es war ein Online-Kurs, aber mit einem Offline-Teil, bei dem das gesamte Team Aufgaben erledigen musste. Als wir feststellten, dass dieser Ansatz im Unternehmen beliebt ist, haben wir begonnen, selbst einen Kurs für Produktmanager von Geoservices durchzuführen. Wir haben diese Initiative erfolgreich umgesetzt und in Zukunft das interne Wachstum der Mitarbeiter gefördert.
Wir führen alle analytischen Hypothesen im Task-Management-System durch. Dies hilft uns daher, ihre Anzahl zu analysieren und in Zukunft die Berechnungen anzuwenden, die für die Forschung durchgeführt wurden. Im Durchschnitt haben wir in einem Viertel Dutzende verschiedener Aufgaben, um Hypothesen zu erstellen und diese dann zu bestätigen oder zu widerlegen. Sie können sie wahrscheinlich zu Hunderten bewerten.
Was ist mit fehlgeschlagenen Experimenten?
Fall mit Parkplatz. Jetzt sind die Navigatoren so eingerichtet, dass sie Sie an Ihr endgültiges Ziel bringen und beispielsweise nicht helfen, einen freien Parkplatz für ein Auto zu finden. Wir haben uns entschlossen, dies schrittweise zu erreichen. Zuerst haben wir eine Schicht Staus hinzugefügt, auf der wir gezeigt haben, wo Sie stehen können, dann haben wir die Preise für Parkplätze hinzugefügt und dann die Bezahlung für Parkplätze.
Wir wollten das Produkt für den Benutzer so rentabel wie möglich machen. Die Aufgabe, kostenlose Parkplätze zu zeigen, war für uns jedoch nicht einfach. Wir haben verschiedene Hypothesen zur Verfolgung von Parkplätzen getestet. Aber alle Hypothesen wurden nicht bestätigt. Jetzt haben wir uns entschlossen, diesen Service auf einer Mikroroute zu nutzen. Mikroroute - Erstellen einer kleinen Kreisroute um den Zielpunkt, damit der Benutzer nicht in die Irre geht und einen Parkplatz findet.
Ein erfolgloser Fall für uns ist das Experiment, bei dem wir bei der Analyse von Metriken feststellen, dass häufig Personen in die Einstellungen klettern, um eine neue Funktion zu deaktivieren. Dies geschah, als wir unserer Meinung nach die vertraute Benutzeroberfläche durch eine andere, besser gestaltete Oberfläche ersetzten. Infolgedessen benutzten die Leute den Navigator weniger.
Nach dem Testen haben wir sichergestellt, dass die wichtigsten Informationen an einer Stelle angezeigt und nicht im gesamten Produkt dupliziert werden.
Analytik
Welche Ansätze verwenden Sie in der Predictive Analytics?
Wir haben ein Angebot, das auf den vergangenen Reisen des Benutzers basiert und automatisch gespeicherte Routen anbietet. Dies ist maschinelles Lernen im Produkt.
Wir verwenden auch das klassische Prognosemodell. Wir unterscheiden Komponenten vom Nutzerverhalten - dies ist Saisonalität, Zeit, einschließlich eines Blicks auf den wöchentlichen Schnitt, wir berücksichtigen die Kriterien der Region und führen den Trend durch. Zusammenfassend erhalten wir eine Prognose für die Zukunft.
Da wir zwei Regionen haben - Russland und die Türkei - variiert die Häufigkeit der Verwendung des Produkts. In Russland beispielsweise wächst das Publikum an Wochentagen und in der Türkei am Wochenende. Wir haben auch Prognosen sowohl für wichtige KPI-Metriken als auch für solche, die möglicherweise zu KPI-Metriken werden könnten.
Wir verwenden Prognosedaten nicht nur in der Analytik, sondern auch in der Entwicklung. Wenn wir Staus anhand der Routenzeit vorhersagen, wird der Trend für die nächsten anderthalb Stunden berücksichtigt. Diese Entwicklung wurde durch Experimente in Zusammenarbeit mit dem Publikum eingeführt.
Für uns ist Qualität eine der wichtigsten Messgrößen. Dementsprechend betrachten wir den relativen Fehler dieses Indikators und untersuchen, wie sich der Indikator nach Einführung der Verkehrsprognose geändert hat. Wir berücksichtigen dies auch unter verschiedenen Bedingungen. Zum Beispiel die Geschichte des Produktgebrauchs während der Hauptverkehrszeit auf Straßen oder bei wachsenden Staus. Dies ist wichtig, da sich die Situation auf den Straßen sehr schnell ändert und der Navigator dies berücksichtigen sollte.
Wenn wir uns ein Daten-Slice ansehen, berücksichtigen wir Statistiken nicht nur für den ganzen Tag, sondern auch für jedes einzelne Slice, was sich stark von der positiven Dynamik eines ganzen Tages unterscheiden kann.
Monetarisierung
Was ist das Monetarisierungsmodell von Yandex.Navigator?Jetzt sind Geoservices in Yandex separate Geschäftsbereiche. Daher versuchen wir, gute Formen der Monetarisierung für Yandex.Navigator zu finden. Wir haben mehrere Experimente durchgeführt und vor ein paar Jahren Stecknadeln entlang der Route gestartet. Dies ist das leichteste Format. Es gibt Auskunft über den Standort, an dem sich Ihr Unternehmen befindet.
Wir suchen auch nach verschiedenen Formaten, wie Sie dem Werbetreibenden nativ helfen können, den Autofahrer im Navigator zu erreichen. Darüber hinaus verwenden wir Werbeformate wie Werbetafeln, die in der Produktoberfläche hängen, wenn Sie einer Route folgen.
Wir haben spezielle Projekte, die bei einer Person Emotionen hervorrufen. Zusammen mit dem Werbetreibenden erstellen wir eine Nachricht darüber, was eine Person in naher Zukunft cool machen kann. Zum Beispiel hatten wir spezielle Projekte mit zusätzlichen Stimmen im Navigator. Zum Beispiel haben wir zum 100. Geburtstag von Porshe den Cursorpfeil, der Sie auf der Strecke führt, durch das Porsche-Modell ersetzt.
Wir versuchen sinnvollerweise vorzuschlagen, wohin eine Person gehen soll. Zum Beispiel testen wir dieses Format jetzt, wenn der Benutzer eine Route erstellt hat und wir wissen, dass sich ein MacAuto direkt auf der Straße befindet. Wenn die Routenzeit nicht viel anders ist, bieten wir ihm mit Hilfe einer Schaltfläche an, Makavto zum Skript hinzuzufügen.
Dies ist ein cooles Format. Erstens, weil er hohe Conversions hat, und zweitens, weil er sehr kontextbezogen ist.
Über Bildung
Welche Ressourcen zur Selbstbildung lesen Sie?Dinge, die meinen beruflichen Horizont erweitern und nicht direkt mit dem Arbeitsbereich zusammenhängen, helfen mir. Zum Beispiel die Firma IDEO, die weltweit die Hauptforscher für Design Thinking sind. Sie haben eine Anleitung, in der sie auflisten, welche Forschungsergebnisse sie mit den Design Kit-Fällen verwenden.
Dies ist dem Programmieransatz sehr ähnlich, wenn neue Algorithmen erfunden werden. Sie werden erfunden, indem sie sich von Dingen leihen, die bereits im Leben existieren.
Weitere Berichte zum Produktmarketing finden Sie auf dem
@ epicgrowth Telegram-Kanal.