Wir haben für die Leser von Habra eine Übersetzung des
Artikels durch das Uber Labs-Team vorbereitet. Uber-Kollegen beschreiben den Arbeitsprozess hochspezialisierter Analysten (auf dem Gebiet der Verhaltensforschung) innerhalb eines großen Unternehmens, wie sie mit anderen Arten von Analysten (UX-Forscher, Produktanalysten) und Kollegen aus anderen Teams (Produkt, interne Entwicklung) interagieren Sie lösen Probleme und wie sie sich ihnen nähern. Kommentare zu dem Material von Gleb Sologub, Director of Analytics bei Skyeng.
Bei Uber Labs bemühen wir uns, die Ideen und Methoden der Verhaltensforschung zu nutzen, um intuitive und unterhaltsame Programme und Produkte zu erstellen. Unsere Teammitglieder haben Abschlüsse in Psychologie, Marketing und Kognitionswissenschaften, verfügen über Kenntnisse in Themenbereichen wie Entscheidungsfindung, Motivation und Training, methodische Möglichkeiten bei der Gestaltung von Experimenten und sind Experten für statistische Modellierung und kausale Ansätze. Dieses Wissen ermöglicht es uns, die Probleme der Steigerung der Kundenzufriedenheit eingehend zu analysieren und dank unserer Erfahrung auf dem Gebiet der Methodik und Statistik die Auswirkungen der Zufriedenheit auf das Geschäft zu messen (einer dieser Ansätze ist die
Modellierung eines Vermittlers ).
In diesem Artikel beschreiben wir, wie unser Team theoretisches Wissen über menschliches Verhalten in der Praxis anwendet und wie und warum wir mit Produkt- und Marketingteams zusammenarbeiten, um die Benutzererfahrung unserer Kunden zu verbessern. Insbesondere werden wir uns ein Beispiel mit dem kürzlich eingeführten
Express POOL- Produkt ansehen.
Unser Weg zur Verhaltensforschung (über Daten)
Im Jahr 2014 startete Uber fast täglich in einer neuen Stadt. Die Arbeitsgruppen in jeder Region sollten verstanden haben, welche Kommunikationsstrategien und -produkte in der Region am besten funktionieren, aber den meisten fehlte Erfahrung in der Versuchsplanung und Statistik. Um dieses Problem zu lösen, haben wir Uber Labs gegründet - ein Forscherteam mit Hintergrund in Psychologie, Marketing und Kognitionswissenschaften. Dieses zentralisierte Team sollte seine Fähigkeiten bei der Methodik und Gestaltung von Experimenten einsetzen und Daten durch hierarchische Modellierung analysieren, um unsere Produkte zum Nutzen von Fahrgästen und Fahrern in verschiedenen Regionen zu verbessern.
Individuelle Konsultationen waren effektiv, aber wir mussten dieses Fachwissen auf eine ständig wachsende Auswahl unserer Produkte ausweiten. Durch die Erstellung von Taschenrechnervorlagen zur Berechnung der Stichprobengröße und der statistischen Analyse mit
Shiny von RStudio haben wir nichttechnischen Teams die Möglichkeit gegeben, unser Wissen für ihre Aufgaben zu nutzen. Diese Tools, für die nur die ursprünglichen Daten hochgeladen werden mussten, umfassten integrierte Überprüfungen der statistischen Annahmen und der Modellkonformität sowie die automatisierte Auswahl der geeigneten Analysemethode für einen bestimmten Datensatz. Am Ausgang erhielt der Benutzer Analyseergebnisse und klare Erklärungen dieser Ergebnisse. Später haben wir zusammen mit dem Team der experimentellen Entwicklungsplattform einen
Prozess zur Analyse und Überprüfung von Daten in unserem
A / B-Testtool erstellt . Dies erleichterte anderen Teams die effiziente Analyse der Daten.
Als das Unternehmen wuchs und expandierte und neue Bereiche für die Produktentwicklung schuf, wurde uns klar, dass wir unseren Einfluss durch die direkte Zusammenarbeit mit Entwicklungsteams stärken können. Anfang 2017 haben wir begonnen, neben Statistiken auch angewandtes Verhaltenswissen anzuwenden. Wir wechselten von einem passiven Ansatz und der Unterstützung bereits formulierter Ideen zu einem aktiven: Wir begannen, unser Wissen im Bereich des Lernens und Auswendiglernen zu nutzen, um konkrete Lösungen auf der Grundlage bestehender wissenschaftlicher Forschung vorzuschlagen. Zusätzlich zum Experimentieren haben wir begonnen, neue Richtungen zu unterstützen: Produktstrategie, Programmdesign, Inhaltsoptimierung und Messung der Geschäftsauswirkungen.
Dank unserer Ausbildung sind Verhaltensspezialisten mit qualitativen und quantitativen Forschungsmethoden bestens vertraut. Unser Tätigkeitsbereich wurde erweitert, wir waren keine Forscher mehr, wurden zu Experten für Datenanalyse und beschlossen, uns auf quantitative Forschungsmethoden als wichtigen Bestandteil unserer Arbeit mit Daten zu konzentrieren. Die UX-Abteilung von Uber beschäftigt hochqualifizierte Spezialisten, die sich mit Qualitätsforschung befassen. Indem wir uns auf quantitative Methoden konzentrieren, wie das Testen theoretisch fundierter Ideen durch Experimentieren und die Anwendung neuer statistischer Ansätze, ergänzen wir das breitere Uber-Forschungsökosystem.
Unser Workflow: Wie wir Ideen und Methoden umsetzen
Wir haben unseren Workflow so organisiert, dass wir nicht nur durch Beratung zu einem bestimmten Zeitpunkt zur Lösung von Problemen beitragen, sondern auch eine langfristige Effektivität erzielen, indem wir Kenntnisse und Methoden im Bereich der Verhaltensforschung mithilfe spezieller Vorlagen und Plattformen skalieren. Wir werden Ihnen mehr über diese Prozesse erzählen.
1. Beratung ist der effektivste Ansatz zur Lösung taktischer Probleme auf der Ebene eines bestimmten Produkts oder einer bestimmten Funktion. Wir arbeiten direkt mit Produkt-, Marketing- und anderen Datenteams zusammen und geben wissenschaftlich fundierte Empfehlungen zur Lösung der Probleme, mit denen sie konfrontiert sind.
2. Um einen größeren Einfluss auf die Entwicklung von Produkt- und Analysestrategien auszuüben, erstellt unser Team Inhalts- und Entwicklungsrichtlinien sowie R- und Python-Vorlagen, mit denen unsere Kollegen bei Uber unsere Methoden unabhängig studieren und reproduzieren können.
3. Schließlich arbeiten wir mit Teams im gesamten Unternehmen zusammen, um mit einem Klick Zugriff auf unsere analytischen Erkenntnisse und Methoden zu erhalten. Als Beispiel können wir mit einem Team zusammenarbeiten, das eine Plattform für Experimente mit einem
Werkzeug für die postexperimentelle Analyse entwickelt.Unsere Beratung beinhaltet häufig die Anwendung theoretischen Wissens auf die Probleme, die wir im folgenden Beispiel beschreiben werden. In unserer Arbeit verfolgen wir einen quantitativen Ansatz zur Lösung solcher Probleme. Alle unsere Arbeiten mit Daten basieren auf Fragen zum Benutzerverhalten und sind in drei Kategorien unterteilt: quantitative Bewertung psychologischer Konstrukte und Prozesse, Anwendung verhaltenswissenschaftlicher Methoden und experimentelle Analyse.
Zunächst verwenden wir Uber-Daten, um verborgene psychologische Konstrukte und Prozesse zu quantifizieren, die das Verhalten bestimmen. Dazu passen wir entweder die bestehenden Methoden der Gesellschafts- und Verhaltenswissenschaften wie die
Faktorenanalyse an oder entwickeln neue. Um schwierigere Probleme zu lösen, wenden wir einige Methoden an, die in der Datenwissenschaft weniger häufig verwendet werden, z. B. den von uns entwickelten Ansatz der
Zwischenmodellierung oder die
Analyse unterbrochener Zeitreihen . Schließlich analysieren wir die Daten verschiedener Experimente, die von Standard-A / B-Tests bis zu Methoden reichen, die verwendet werden, wenn A / B-Tests unmöglich oder unerwünscht sind, beispielsweise
Experimente mit randomisierter Werbung .
In der Wissenschaft wird Forschung am häufigsten verwendet, um eine Theorie weiterzuentwickeln, anstatt angewandte Probleme zu lösen. Für unser Team ist einer der wichtigsten Aspekte beim Übergang vom theoretischen Wissen zu einer bestimmten Geschäftsaufgabe die Fähigkeit, angewandte Forschung anzuwenden, um die Benutzererfahrung zu verbessern.
Wenn wir mit Produktteams auf dem Gebiet der Verhaltensforschung zusammenarbeiten, sehen wir uns mit der Tatsache konfrontiert, dass selbst wenn die Konzepte einfach zu verstehen und zu verwenden scheinen, ihre unsystematische Anwendung zu unvorhergesehenen Konsequenzen führen kann. Daher ist es immer notwendig, den situativen und individuellen
Kontext zu berücksichtigen. Zum Beispiel gibt es in der Wissenschaft des Verhaltens ein bekanntes Phänomen der
Verlustaversion , das vielen bekannt ist. Auf den ersten Blick ist das Wesentliche offensichtlich: Menschen ziehen es oft vor, Verluste zu vermeiden, als Vorteile zu erzielen. Es gibt jedoch viele Situationen, in denen das Präsentieren von etwas als Verlust den Benutzer eher verärgern oder verärgern kann, als ihn zu motivieren. Beispielsweise kann ein langjähriger Benutzer des Treueprogramms, für den die gesamte Erfahrung bei der Interaktion mit der Anwendung auf dem Abrufen von Punkten beruhte, wütend werden, wenn er ihm mitteilt, dass er Punkte verliert, wenn Sie nicht sofort einen Kauf tätigen. Selbst häufige Trends wie Verlustaversion können unvorhergesehene oder negative Folgen haben, wenn Sie außerhalb des Kontexts mit ihnen arbeiten. Unabhängig davon, wie erfolgreich Ihr Ansatz möglicherweise ist, empfehlen wir, zu experimentieren, um das Ergebnis seiner Verwendung besser zu verstehen und genauer vorherzusagen.
Fall: Express POOL
Da die Wissenschaft des Verhaltens weitgehend situativ ist, besteht ein Großteil unserer Arbeit darin, Teams zu beraten, die ein bestimmtes Produkt entwickeln. Unsere Zusammenarbeit mit dem Express POOL-Team ist ein Beispiel dafür, wie das Team für angewandte Verhaltensforschung theoretische Forschung auf die Produktentwicklung anwendet.
Anfang 2018 startete Uber
Express POOL . Wie bei
uberPOOL beinhaltet Express POOL das gemeinsame Reisen und das Teilen der Kosten mit den Passagieren auf dem Weg. Im Gegensatz zu uberPOOL, uberX und unseren anderen Ridersharing-Produkten müssen Sie bei Verwendung von Express POOL etwas länger auf das Ziel eines geeigneten Autos warten und zum angegebenen Landeplatz gehen. Solche Änderungen ermöglichen es, direktere und effizientere Routen zu erstellen, was wiederum den Zugang zur Reise erleichtert.
Die Fahrgäste sind daran gewöhnt, dass das Auto schnell genau dort ankommt, wo sie sich gerade befinden. Daher wurde bei der Entwicklung des Produkts besonderes Augenmerk darauf gelegt, wie Benutzer mit dem neuen Produkt interagieren. Es wurde deutlich, dass viele Aspekte verbessert werden mussten: Kunden stornierten Reisen zwischen der Anfrage und der Auswahl einer geeigneten Option. Die Passagiere mussten länger warten, und Stornierungen erfolgten viel häufiger als bei Verwendung anderer Produkte.
Normalerweise beginnen wir den Konsultationsprozess mit einem Treffen mit dem Team, das an dem Produkt arbeitet, um das Problem zu verstehen. Dieses Team besteht aus einem Produktmanager, Marketingmanager, User Experience Researcher, Ingenieur und Produktdatenspezialisten. Wir überprüfen und berücksichtigen die vorläufigen Untersuchungen des Teams, z. B. Usability-Tests. Im Fall von Express Pool, der eine Verbindung zum Projekt hergestellt hat, haben wir die oben beschriebenen Details gelernt.
Nachdem wir den Kontext untersucht und das allgemeine Problem verstanden hatten, führten wir eine Überprüfung der Fachliteratur mit einer eingehenden Analyse der verfügbaren Daten aus der Verhaltenswissenschaft durch, um die Methodik zur Lösung dieses Problems zu bestimmen. Tief in den Kontext eingetaucht, wandeln wir unser Wissen in reale Veränderungsszenarien für Produktteams um und empfehlen Möglichkeiten, diese Entwicklungen zu testen.
In diesem Fall haben wir begonnen, die Literatur
zur Verhaltenswissenschaft zu studieren, um mehr darüber zu erfahren, wie Menschen Zeit und Erwartung wahrnehmen. Wir haben drei Konzepte identifiziert, die für das Verständnis von Wartezeiten wichtig sind:
Ablehnung von Untätigkeit ,
Transparenz des Handelns und die
Auswirkung des Gradienten des Ziels . Das Konzept der Ablehnung von Untätigkeit liegt auf der Hand: Menschen haben Angst vor Untätigkeit und wollen ständig beschäftigt sein. Wir haben auch festgestellt, dass die Transparenz von Aktionen oder die Offenlegung gegenüber Benutzern, was zu einem bestimmten Zeitpunkt mit ihrer Anfrage geschieht, die Bewertung des Produkts durch den Verbraucher erhöht. Schließlich ist der Zielgradienteneffekt durch eine Steigerung der Motivation und große Anstrengungen gekennzeichnet, die die Menschen unternehmen können, wenn sie das Gefühl haben, sich ihrem Ziel zu nähern.
Vor diesem Hintergrund haben wir empfohlen, den Fortschritt während des Wartens anzuzeigen, jeden Schritt in der Anwendung zu reflektieren, beispielsweise ausgewählte Begleiter anzugeben und den Kunden darüber zu informieren, welches Auto gefunden wurde.
Zusätzliche Informationen, wie z. B. eine Erläuterung des Prinzips zur Berechnung der Ankunftszeiten, erhalten Sie durch Klicken auf das Informationssymbol. Das Express POOL-Team testete diese Ideen mit A / B-Tests und verzeichnete nach dem Anruf an der Maschine eine Reduzierung der Anzahl der Stornierungen um 11%.
Abb. 1. Das Testdesign der Express POOL-Benutzeroberfläche zeigt detaillierte Schritte und verwendet Symbole, um weitere Informationen zum Status der Bestellung zu erhalten.Wie in diesem Beispiel beschrieben, haben wir nach einer detaillierten Untersuchung der Merkmale des menschlichen Verhaltens vorrangige Ideen entwickelt, die auf Annahmen über die möglichen Auswirkungen und möglichen Risiken basieren. Um unsere Ideen zu testen, organisierten und führten wir Experimente durch und analysierten dann die Daten. Der gesamte Prozess unseres Forschungsprojekts, der in unserer Arbeit an Express POOL enthalten ist, ist in Abbildung 2 dargestellt:
Abbildung 2. Normalerweise beginnt unser Workflow mit der Erklärung des Problems und endet mit Experimenten.
1. Definition des Problems
Informationen zum Problem erhalten Sie von Partnerteams.
2. Eingehende Analyse und Eintauchen in die Wissenschaft des Verhaltens
Formulieren Sie das Problem in relevanten Begriffen aus dem Bereich der Verhaltensforschung.
3. Formulierung von Ideen auf der Grundlage vorhandener wissenschaftlicher Erkenntnisse
Auf der Grundlage der Ergebnisse wissenschaftlicher Forschung eine spezifische Idee für ein Produkt vorzuschlagen.
4. Priorisierung
Priorisieren Sie gemeinsam mit anderen Teams Ideen unter Berücksichtigung der erwarteten wirtschaftlichen Ergebnisse und möglicher Risiken.
5. Experimentieren
Führen Sie Experimente durch, um Ideen zu testen (entwickeln Sie Experimentoptionen, bestimmen Sie die Zielgruppe, analysieren Sie die empfangenen Daten usw.).Die Anwendung von Behavioral Science hilft dabei, den Produktwert zu steigern
Unsere Arbeit an Express POOL zeigt den einzigartigen Wert, den unsere Studien auf dem Gebiet der menschlichen Verhaltensmerkmale, die auf jahrzehntelangen wissenschaftlichen Experimenten auf diesem Gebiet beruhen, für das Produkt in der Zukunft darstellen. Mit diesen Informationen arbeiten wir mit UX-Forschern und Produktanalysten zusammen, die ihre Fähigkeiten einsetzen, um andere als die von uns untersuchten Probleme zu lösen. Während unseres Experiments mit Express POOL haben Produktanalysten beispielsweise die Anwendungsmetriken sorgfältig überwacht und nach einer Anfrage Möglichkeiten gefunden, die Stornierungsrate für Bestellungen zu verbessern. UX-Forscher führten Testreisen durch, um die Ursachen für Passagierschwierigkeiten zu verstehen und das Problem zu verstehen. Als Forscher für Verhaltensdaten haben wir unser Wissen und unsere Methodik genutzt, um eine Lösung für ein Problem vorzuschlagen, die empirisch getestet werden kann.
Wir berücksichtigen unsere speziellen Fähigkeiten und wie wir dem Produkt einen Mehrwert verleihen können, wenn wir auswählen, mit welchen Teams wir zusammenarbeiten und welche Projekte wir durchführen. Auf globaler Ebene erstellen wir einen Prioritätsplan für das Jahr, der von der gewünschten Wirtschaftsleistung des Produkts abhängt. Auf einer detaillierteren Ebene liefert das Entwicklungsteam Informationen darüber, in welchen Bereichen des Produkts die dringendsten Probleme auftreten. Auf dieser Grundlage wählen wir aus, welche Projekte und in welcher Reihenfolge wir zusammen mit anderen Teams durchführen. Es ist wichtig anzumerken, dass unser Team diese Entwicklungsbereiche unter dem Gesichtspunkt der Verhaltenswissenschaft betrachtet und festlegt, wo unser angewandtes Wissen und unsere Erfahrung in der quantitativen Analyse eingesetzt werden sollen. In einigen Fällen kann dies bedeuten, dass solche Experimente von der Priorität ausgeschlossen werden, für die eine starke theoretische Grundlage oder qualitative Forschung erforderlich ist, die unsere methodischen Fähigkeiten nicht erfordert. Wir erzielen ernsthafte Ergebnisse und bemühen uns stets, einen maximalen Einfluss sowohl auf das Geschäft als auch auf den Grad der Relevanz der Anwendung der Verhaltensforschung auszuüben.
Wichtigste Ergebnisse
Langfristig, da Uber neue Entwicklungsmöglichkeiten entwickelt und bestehende Produkte verbessert, erwarten wir von unserem Team viele Möglichkeiten, Verhaltensforschung zu nutzen, um unseren Benutzern den bestmöglichen Service zu bieten. Im Jahr 2019 werden wir weiterhin mit anderen Teams an innovativen und hochwirksamen Projekten zusammenarbeiten und in die Erweiterung unseres Wissens investieren, um die Wissenschaft des Verhaltens zugänglicher zu machen. Wir freuen uns, unser theoretisches und methodisches Wissen weiterhin aktiv anzuwenden und die Effektivität der in unserem Unternehmen erstellten Funktionen, Programme und Plattformen zu steigern.
Kommentar von Gleb Sologub, Director of Analytics bei Skyeng
Bei Skyeng werden die Methoden der Verhaltensforschung berücksichtigt und bei der Vorbereitung von Experimenten und A / B-Tests auf verschiedenen Zielseiten sowie bei der Entwicklung unserer mobilen Anwendungen und der Webplattform für die Durchführung von Unterrichtsstunden verwendet.
Zum Beispiel haben wir kürzlich durch A / B-Tests herausgefunden, wie sich die Auswirkungen des Grundierens auf die Auswahl eines Unterrichtspakets für unsere Schüler und ihre Kaufentscheidung auswirken, abhängig von der Position der Optionen auf der Zahlungsseite. Das Verständnis der Motivationsmechanismen hilft uns, die besten Motivationsschemata für Lehrer und Verkaufsleiter auszuwählen. Und wir verkörpern Wissen auf dem Gebiet der Lehrmethodik in speziellen Schnittstellen, die es ermöglichen, die Effektivität des Lehrers zu steigern.
Ich denke, es gibt nicht so viele Unternehmen auf der Welt, die es sich leisten können, ein separates Team von Verhaltensanalytikern zu beschäftigen. Wir bei Skyeng versuchen, bestehende Forscher so auszubilden, dass sie ihr Arsenal an Methoden ständig erweitern und wissen, wie sie diejenigen auswählen können, die sie für eine bestimmte Aufgabe benötigen. Übrigens wächst unser Analyseteam - es gibt interessante Stellen !
Foto von meo aus Pexels