Alle Unternehmen lieben heute Big Data, und fast jedes Unternehmen wird definitiv eine Abteilung für Data Science-Analysten haben. In der Branche gibt es jedoch kein klares Verständnis darüber, wer ein Produktanalyst ist und wie er sich von einem Datenwissenschaftler oder UX-Forscher unterscheidet, der sich auf quantitative Methoden konzentriert.
Zunehmend gibt es eine Abteilung von Produktanalysten, die:
- Ziele und Metriken festlegen, den Produktentwicklungsvektor bestimmen
- Untersuchen Sie die Natur von Phänomenen, identifizieren Sie kausale Zusammenhänge
- Erstellen Sie Vorhersagealgorithmen
Zum Beispiel sieht eine ähnliche Struktur in Indeed ähnlich aus :
In diesem Artikel möchte ich ein wenig von Spezialisten abstrahieren, die sich ausschließlich mit maschinellem Lernen befassen, und über die Vision der Rolle der Produktanalyse in Wrike und über die Aufgaben sprechen, die unser Produktteam täglich erledigen muss.
Qualitativ versus quantitativ
Entwickler und Piemas lieben in der Regel Zahlen: Quantitative Daten helfen dabei, den aktuellen Stand genau zu erfassen, Dynamik zu zeigen und Marktaussichten zu bewerten. Es wird oft vergessen, dass die Zahlen selbst keine Gelegenheit bieten, eine Antwort auf die Motivation der Menschen, auf die Grundursache ihrer Wahl und auf weitere Maßnahmen zu geben.
Qualitativ vor quantitativ: Wie qualitative Methoden eine bessere Datenwissenschaft unterstützen
Daher ziehen wir bei Wirke keine klare Trennung zwischen Analysten, die qualitative und quantitative Untersuchungen organisieren. Im Gegenteil, unserer Meinung nach müssen wir in einem kleinen Team (es gibt ungefähr 10 von uns) in der Lage sein, diese Fähigkeiten so weit wie möglich zu kombinieren und quantitative Methoden zu verwenden, um die Ideen der qualitativen Analyse zu entwickeln , die häufig gemeinsam mit dem Produktmanager und dem Designer durchgeführt werden.
In Bezug auf die Forschung haben wir zwei Erwartungen an den Analysten. Er muss in der Lage sein:
- Finden Sie vielversprechende Produktwachstumspunkte
- Überprüfen Sie das Problem, indem Sie es formulieren und skalieren
Als nächstes werden wir mehr über diese beiden Erwartungen sprechen und zeigen, wie genau der Analyst die Verbindungsrolle zwischen dem Geschäftsverständnis des Problems und den quantitativen Methoden erfüllt, die ihm bei der Skalierung und Validierung helfen.
1. Finden Sie Produktwachstumspunkte
Ein Analyst ist eine Person, die vielversprechende Punkte für das Produktwachstum findet, indem sie Probleme und Aufgaben vergrößert.
Der allererste Schritt zum Verständnis einer Aufgabe für einen Produktanalysten besteht darin, zu bestimmen, zu welcher Klasse von Problemen er gehört. Normalerweise werden drei Arten von Forschung unterschieden:
- Problemerkennung - wenn wir nicht wissen, welche Probleme Benutzer außerhalb einer bestimmten Produktfunktionalität haben. Dies ist normalerweise die Phase des Interviews.
- Problemvalidierung - wenn wir zu wissen scheinen, dass es bestimmte Aufgaben gibt, wir aber überprüfen möchten, ob eine wirklich große Anzahl von Benutzern diese hat. Dies ist die Phase verschiedener Umfragen.
- Validierung einer Lösung (Lösungsvalidierung) - wenn wir bereits spezifische Lösungen überprüfen, die wir entwickelt oder als Prototyp erstellt haben. Stage Prototyping oder Beta-Test.
Der Analytiker ist an allen drei Phasen der Forschung beteiligt. Der Schwerpunkt der Arbeit liegt jedoch in der Regel auf der Validierung von Problemen und Lösungen. Angenommen, ein Produktmanager hat zusammen mit einem Analysten und einem Vermarkter zwanzig Interviews mit verschiedenen Kunden durchgeführt. Wie verstehen wir, dass diesen Schlussfolgerungen vertraut werden kann und dass die geäußerten Probleme tatsächlich für alle Benutzer relevant sind? Wie kann die Objektivität des gefundenen Entwicklungspotenzials durch Bewertung der Skala sichergestellt werden? Mit anderen Worten, wie überprüfen wir, ob das, was wir im Interview gefunden haben, wirklich ein potenzieller Wachstumspunkt für das Produkt ist?
Hier stellt sich heraus, dass der Einsatz von Werkzeugen und das Wissen über die Arbeit mit Daten, die qualitative und quantitative Forschung verbinden, maximiert werden. Die Skala zu verstehen und den richtigen Weg zu finden, um sie zu bestimmen - das ist die Schlüsselkompetenz eines Produktanalysten. Hier ist nur ein kleines Beispiel, bei dem der analytische Ansatz es uns ermöglichte, unseren Prozess der Erfassung von Kundenschmerzen zu ändern und sich ansonsten ihrer Validierung durch das Produktteam zu nähern.
Gespräche erkennen und analysieren
Wrike hat eine Abteilung von Account Managern ( Customer Success Managern ), deren Hauptaufgabe darin besteht, Kunden nicht zum Zweck des Verkaufs zu unterstützen, sondern ihre Erfahrung im Umgang mit dem Produkt zu verbessern. Sie rufen Kunden per Video an, besprechen ihre aktuellen Probleme, erläutern Best Practices, schlagen Arbeitsrunden vor und berichten über den Entwicklungsstatus neuer Funktionen. Alle diese Gespräche wurden lange Zeit aufgezeichnet und von der Lebensmittelorganisation praktisch nicht genutzt. Die Piemas zogen es vor, persönlich mit den Kundenbetreuern zu kommunizieren, um sich einen Überblick über die Schmerzen der Kunden zu verschaffen. Dies könnte ein "defektes Telefon" -Element hinzufügen und enthüllte nicht immer den Kontext, in dem der Benutzer mit diesem Problem konfrontiert war.
Eines der Initiativprojekte der Produktanalyse war die Entwicklung der Pipeline, die das Gespräch in ein verständliches Textformat verwandelte. Mithilfe der Google Speech-API sowie mehrerer zusätzlicher Interpunktionsmodelle konnten wir uns anhand vieler Gespräche von Managern mit Kunden und nicht anhand einzelner Interviews schnell ein Bild über das Ausmaß einiger Probleme und Anforderungen an die Funktionalität machen . Dank dieser einfachen Quelle war es möglich, eine umfassende Suche nach Schlüsselwörtern durchzuführen, die sich auf bestimmte Funktionen oder Probleme beziehen, die Art der Benutzer zu bewerten, die eine bestimmte Lösung benötigten, und auch den Kontext zu verstehen, in dem sie am häufigsten auftauchte. Jetzt testen wir auch ein sentimentales Analysemodell, mit dessen Hilfe wir automatisch die durchschnittliche Zufriedenheit mit einzelnen Teilen eines Produkts ermitteln und das Produktteam darüber informieren können.
Ein Analytiker ist eine Person, die ein Problem auf der richtigen Abstraktionsebene formulieren, messen und auf Signifikanz prüfen sowie Handlungsempfehlungen geben kann.
Unabhängig vom Stadium der Studie gibt es verschiedene Ebenen von Hypothesen (wir werden sie im Folgenden ausführlich erörtern), mit deren Hilfe die Interaktion des Benutzers mit dem Produkt bewertet und weitere Entwicklungspläne erstellt werden können. Hier besteht häufig die Aufgabe darin, das erforderliche Niveau der Hypothese richtig einzuschätzen und ein Werkzeug zum Sammeln von Informationen oder deren Validierung auszuwählen. In der Tat ist der Prozess wie folgt:
- Formulierung von Hypothesen - zum Beispiel: "Es ist wichtig, dass Benutzer-Administratoren aus einer bestimmten Kohorte in der Lage sind, anhand eines wöchentlichen Berichts abzurechnen."
- Das Sammeln von Nutzungsstatistiken - eine klassische Analyseaufgabe - besteht darin, zu verstehen, ob Zahlen in der Lage sind, auf die oben formulierten Hypothesen zu reagieren.
- Feedback-Sammlung - Recherche über Marketing, Mailinglisten oder interne Feedback-Tools
- Analyse und Validierung der Ergebnisse - Überprüfung der Ergebnisse einer Statistik. Relevanz
Lassen Sie uns auf den dritten Absatz eingehen, da er häufig einen Produktanalysten von einer Person unterscheidet, die sich mit Statistik gut auskennt.
Feedback-Sammlung
Viele Unternehmen glauben, dass nach der Einrichtung eines Protokollierungssystems, mit dem Analysedienste wie Google Analytics an ihrem Produkt befestigt werden, die Vorbereitung einer Plattform für Analysen hier endet. Leider wird bei diesem Ansatz das wichtigste Element vergessen - die Notwendigkeit des Feedbacks des Benutzers, die Fähigkeit, ihn zum richtigen Zeitpunkt nach seinen Aufgaben zu fragen, und die Schwierigkeiten, mit denen er konfrontiert ist.
Daher ist es wichtig, dass das Team über ausreichende Tools verfügt, um Benutzer unauffällig zu befragen und Feedback von ihnen zu sammeln, nicht nur durch eine Art Marketingumfrage, sondern auch über einen internen Mechanismus.
Wir verwenden das interne QFF- Tool (qualitatives Feedback-Formular), um Hypothesen zu formulieren und zu validieren und mögliche User Experience-Szenarien als dreistufige Pyramide (Produkt → Feature → Interaktion) zu betrachten:
- Produktebene
- Funktionsniveau
- Spezifische Interaktionsebene
Lassen Sie uns auf jeden von ihnen etwas genauer eingehen und zeigen, welche Metriken wir verwenden, um ihre Probleme zu verstehen.
1. Produktebene
Hier ist es wichtig, die breitesten und funktionsübergreifendsten Teile des User Experience Trichters zu verstehen. Dies ist der Wunsch, Antworten auf die globalsten Fragen zu finden, unabhängig davon, ob es sich um die Zufriedenheit mit dem gesamten Produkt oder mit den Funktionen zur Lösung einer einzelnen Aufgabe handelt (zum Beispiel kann das Koordinieren von Ferien das Zusammenspiel von Kalenderfunktionen, Aufgabenstatus, Planungsalgorithmen usw. erfordern).
Es gibt keine klar geregelten Metriken, die in solchen Situationen angewendet werden müssen, es gibt immer Nuancen. In der Regel handelt es sich auf dieser Abstraktionsebene jedoch um NPS- (Net Promoter Score) oder SUS-Metriken (System Usability Scale). Metriken sind nicht unbestreitbar, aber in der Regel sind sie dennoch die Industriestandards und helfen, sich für die Zielsetzung auf der Skala von mehreren Quartalen zu orientieren.
2. Funktionsgrad
Auf dieser Ebene stellen wir spezifischere Fragen, die sich direkt auf eine bestimmte Funktion beziehen. Aus dem obigen Beispiel können wir das Problem der „Koordinierung von Feiertagen“ im Allgemeinen bereits separat betrachten, sondern nur einen bestimmten Teil des Produkts, z. B. Kalender, betrachten. Wie angenehm sind sie für die Wahrnehmung? Warum benutzen die Leute sie?
Abhängig vom Stand unserer Forschung können sich nicht nur Fragen unterscheiden, sondern auch Indikatoren, die wir von unseren Benutzern sammeln. Am einfachsten ist der Grad der Zufriedenheit, der von Aufgabe zu Aufgabe mit verschiedenen Skalen (drei Emoticons oder Likert-Skala) und CES (Customer Effort Score) abgelesen werden kann - wie schwierig oder einfach es für den Benutzer ist, einige Aufgaben zu implementieren.
3. Ebene der Interaktion
Die Aufgabe dieser Ebene besteht darin, die spezifische Iteration zu bewerten, die der Benutzer mit dem Produkt durchgeführt hat (z. B. durch Klicken auf eine Schaltfläche). Gleichzeitig ist es wichtig, dass das Ergebnis dieser Interaktion eine bestimmte Aktion oder Lösung ist, die wir nicht messen oder steuern können. In der Regel geht es hier um Zufriedenheit und die Annahme bestimmter nachfolgender Entscheidungen: Hat der Manager beispielsweise beim Betrachten des Kalenders verstanden, wann der Mitarbeiter im Urlaub ist? Ist das Datenexportformat für den Benutzer geeignet? Da alle weiteren Aktionen entweder nur im Kopf des Benutzers oder außerhalb unseres Produkts ausgeführt werden, haben wir keine andere Methode zur Bewertung der Iteration.
Tatsächlich ist die Ebene der Interaktionsbewertung ein Versuch, die CSAT-Metrik (Kundenzufriedenheit) zu bewerten, die häufig im Support und in anderen Diensten verwendet wird, bei denen Sie ein bestimmtes Ereignis bewerten müssen. Gleichzeitig können hier auch Metriken wie CES verwendet werden, jedoch in einer „lokaleren“ Formulierung.
Analyse und Validierung der Ergebnisse
Nachdem wir Hypothesen festgelegt, Fragen formuliert und unsere Validierungsumfragen auf dem richtigen Niveau der Benutzererfahrung mit dem Produkt durchgeführt haben, entsteht eine Aufgabe, die wiederum besondere Talente vom Analysten erfordert - diesmal im Bereich Statistik und Hypothesentest.
Tatsächlich muss der Analyst nach jeder Umfrage sicherstellen, mit welchem Maß an Vertrauen Sie den Ergebnissen, einschließlich der Ergebnisse Ihrer Arbeit, vertrauen können. Beeinflusst der Faktor Arbeit in einem großen Unternehmen die Antwort? Und die Position des Mitarbeiters?
Alle diese Hypothesen werden sorgfältig mit den erforderlichen Tools überprüft: Wie bei der korrekten Durchführung eines A / B-Tests sind es genau die Ansätze, die in der jeweiligen Situation gelten und direkt vom Analysten abhängen. In der Regel kann häufig eine Regressionsanalyse verwendet werden, sie ist jedoch nicht die einzige universelle Lösung, da Es hat seine eigenen Anwendungs- und Interpretationsfelder. Spezifische Methoden liegen immer im Ermessen des Analytikers.
Anstelle einer Schlussfolgerung
Oben haben wir nur zwei Hauptfälle in der Arbeit des Analytikers aufgedeckt, und gleichzeitig haben wir nicht absichtlich über alle Phasen seiner Arbeit gesprochen - eine detaillierte Beschreibung aller Arten von Forschung, die Formulierung von Hypothesen und die korrekte Sammlung von Daten sind separate Artikel wert. Wir sind jedoch der Ansicht, dass selbst eine derart hohe Formulierung der Erwartungen an die Analyse und die Festlegung der wichtigsten Methoden seiner Arbeit jedes Produktteam erheblich stärken und dazu beitragen wird, bessere Produkte herzustellen.
Die Fähigkeit, Wachstumspunkte in Daten zu finden (egal wie unstrukturiert sie auch sein mögen), sie korrekt in Hypothesen zu formulieren, zu skalieren und für alle aktuellen und zukünftigen Benutzer zu validieren - das sind die Eigenschaften, die unsere Produktanalysten auszeichnen. Aus diesem Grund wissen wir mit Sicherheit, dass solche Anforderungen die greifbarsten Ergebnisse liefern und nicht in die Betriebsroutine einfließen. Daher empfehlen wir diese Grundsätze anderen Teams mutig.
Wenn Sie über quantitative Analysen, Big Data und Infrastrukturen sprechen möchten, die alle Analysen in Wrike unterstützen, besuchen Sie uns bei einem Treffen im Büro in St. Petersburg . Na ja, oder geh einfach zu Besuch.