Aujourd'hui, toutes les entreprises aiment les mégadonnées, et presque toutes les entreprises auront certainement un département d'analystes en science des données. Cependant, l'industrie ne comprend pas clairement qui est un analyste de produit et en quoi il diffère d'un scientifique des données ou d'un chercheur UX qui se concentre sur les méthodes quantitatives.
De plus en plus, il existe une division d'analystes produits qui:
- fixer des objectifs et des métriques, déterminer le vecteur de développement de produit
- étudier la nature des phénomènes, identifier les relations causales
- construire des algorithmes prédictifs
Par exemple, une structure similaire dans Indeed ressemble:
Dans cet article, je veux m'abstraire un peu des spécialistes qui sont exclusivement engagés dans le machine learning, et parler de la vision du rôle de l'analytique produit dans Wrike et des tâches que notre équipe produit doit travailler quotidiennement.
Qualitatif contre quantitatif
En règle générale, les développeurs et les piemas aiment les chiffres: les données quantitatives aident à capturer avec précision l'état actuel, à montrer la dynamique, à évaluer les perspectives du marché. On oublie souvent que les chiffres eux-mêmes ne permettent pas de répondre à la motivation des gens, à la cause profonde de leur choix et aux actions futures.
Qualitatif avant quantitatif: comment les méthodes qualitatives soutiennent une meilleure science des données
Par conséquent, chez Wirke, nous ne faisons pas de distinction claire entre les analystes qui organisent la recherche qualitative et quantitative. Au contraire, à notre avis, dans une petite équipe (nous sommes une dizaine), il est nécessaire de pouvoir combiner autant que possible ces compétences, en utilisant des méthodes quantitatives pour développer les idées de l'analyse qualitative , qui est souvent réalisée conjointement avec le chef de produit et le designer.
En fait, en matière de recherche, nous avons deux attentes de l'analyste. Il doit pouvoir:
- trouver des points de croissance de produits prometteurs
- valider le problème en le formulant et en le mettant à l'échelle
Ensuite, nous parlerons davantage de ces deux attentes et montrerons comment l'analyste joue le rôle de connexion entre la compréhension métier du problème et les méthodes quantitatives qui les aident à évoluer et à valider.
1. Trouver des points de croissance de produits
Un analyste est une personne qui trouve des points prometteurs de croissance des produits en augmentant les problèmes et les tâches.
La toute première étape pour comprendre une tâche pour un analyste produit est de déterminer à quelle classe de problèmes il appartient. On distingue généralement trois types de recherche:
- Découverte de problèmes - lorsque nous ne savons pas quels problèmes les utilisateurs ont en dehors d'une fonctionnalité de produit particulière. C'est généralement l'étape de l'entretien.
- Validation des problèmes - lorsque nous semblons savoir qu'il y a certaines tâches, mais nous voulons vérifier qu'un très grand nombre d'utilisateurs les ont. C'est le stade de diverses enquêtes.
- Validation d'une solution (validation de solution) - lorsque nous vérifions des solutions déjà spécifiques que nous avons élaborées ou prototypées. Prototypage d'étape ou test bêta.
L'analyste est impliqué dans les trois étapes de la recherche, cependant, le principal objectif du travail consiste généralement à valider les problèmes et les solutions. Supposons qu'un chef de produit, ainsi qu'un analyste et un spécialiste du marketing, aient mené vingt entretiens avec différents clients. Comment pouvons-nous comprendre que ces conclusions peuvent être fiables et que les problèmes qui ont été exprimés sont effectivement pertinents pour tous les utilisateurs? Comment garantir l'objectivité du potentiel de développement trouvé en évaluant l'échelle? En d'autres termes, comment vérifions-nous que ce que nous avons trouvé dans l'entretien est vraiment un point de croissance potentiel pour le produit?
C'est ici qu'il s'avère maximiser l'utilisation des outils et la connaissance du travail avec les données qui relient la recherche qualitative et quantitative. Comprendre l'échelle et trouver la meilleure façon de la déterminer - telle est la compétence clé d'un analyste produit. Voici juste un petit exemple où l'approche analytique nous a permis de changer notre processus de collecte des douleurs des clients et autrement l'approche de leur validation par l'équipe produit.
Reconnaître et analyser les conversations
Wrike dispose d'une division de directeurs de comptes ( Customer Success Managers ) dont la tâche principale est de soutenir les clients non pas à des fins de vente, mais pour améliorer leur expérience dans l'utilisation du produit. Ils appellent les clients par vidéo, discutent de leurs problèmes actuels, indiquent les meilleures pratiques, suggèrent des cycles de travail et rendent compte de l'état de développement des nouvelles fonctionnalités. Toutes ces conversations ont été enregistrées pendant une longue période et n'ont pratiquement pas été utilisées par l'organisation alimentaire - les piemas ont préféré communiquer personnellement avec les directeurs de comptes afin d'avoir une idée générale des douleurs des clients. Cela pouvait ajouter un élément «téléphone cassé» et ne révélait pas toujours le contexte dans lequel l'utilisateur était confronté à ce problème.
L'un des projets d'initiative de l'analyse de produits a été le développement du pipeline, qui a transformé la conversation en un format texte compréhensible. En utilisant l'API Google Speech, ainsi que plusieurs modèles supplémentaires de ponctuation, nous avons pu rapidement avoir une idée de l'étendue de certains problèmes et exigences de fonctionnalité sur la base de nombreuses conversations de gestionnaires avec des clients, plutôt que des entretiens uniques . Grâce à cette source simple, il a été possible d'effectuer une recherche à grande échelle de mots clés liés à certaines fonctionnalités ou problèmes, d'évaluer la nature des utilisateurs qui avaient besoin d'une solution particulière, et de comprendre également le contexte dans lequel elle a le plus souvent fait surface. Maintenant, nous testons également un modèle d'analyse sentimentale qui nous aide à saisir automatiquement le niveau moyen de satisfaction avec les différentes parties du produit et en informe l'équipe produit.
Un analyste est une personne qui peut formuler un problème au niveau d'abstraction approprié, le mesurer et vérifier sa signification, proposer des recommandations d'action.
Quelle que soit l'étape de l'étude, il existe différents niveaux d'hypothèses (nous les discuterons en détail ci-dessous) qui aident à évaluer l'interaction de l'utilisateur avec le produit et à construire de nouveaux plans de développement. Ici, la tâche se pose souvent d'évaluer correctement le niveau d'hypothèse nécessaire et de sélectionner un outil de collecte d'informations ou de validation. En fait, le processus est le suivant:
- Formulation d'hypothèses - par exemple: "il est important pour les utilisateurs-administrateurs d'une certaine cohorte de pouvoir facturer sur la base d'un rapport hebdomadaire".
- La collecte de statistiques d'utilisation - une tâche d'analyse classique - consiste à comprendre si les chiffres sont capables de répondre aux hypothèses formulées ci-dessus.
- Collecte de commentaires - mener des recherches par le marketing, des listes de diffusion ou par le biais d'outils de rétroaction internes
- Analyse et validation des résultats - vérification des résultats sur une statistique. pertinence
Arrêtons-nous sur le troisième paragraphe, car c'est souvent lui qui distingue un analyste produit d'une simple personne connaissant bien la statistique.
Collecte de commentaires
De nombreuses entreprises pensent qu'après avoir mis en place un système de journalisation, attaché des services analytiques comme Google Analytics à leur produit, la préparation d'une plate-forme d'analyse se termine ici. Cependant, malheureusement, avec cette approche, l'élément le plus important est oublié - le besoin de rétroaction de l'utilisateur, la possibilité de lui demander au bon moment ses tâches et les difficultés auxquelles il est confronté.
Ainsi, il est essentiel que l'équipe dispose de suffisamment d'outils pour interroger discrètement les utilisateurs et recueillir leurs commentaires, non seulement par le biais d'une sorte d'enquête marketing, mais également par le biais d'un mécanisme interne.
Nous utilisons l'outil interne QFF (formulaire de rétroaction qualitative) pour formuler et valider des hypothèses et considérer les scénarios possibles d'expérience utilisateur comme une pyramide en trois étapes (produit → fonctionnalité → interaction):
- Niveau de produit
- Niveau de fonctionnalité
- Niveau d'interaction spécifique
Arrêtons-nous un peu plus en détail sur chacun d'eux et montrons quelles mesures nous utilisons pour comprendre leurs problèmes.
1. Niveau de produit
Ici, il est important pour nous de comprendre les parties les plus larges et les plus transversales de l'entonnoir de l'expérience utilisateur. C'est le désir de trouver des réponses aux questions les plus globales, que ce soit la satisfaction avec le produit dans son ensemble ou avec l'ensemble de fonctionnalités pour résoudre une seule tâche (par exemple, la coordination des vacances peut nécessiter l'interaction de la fonctionnalité de calendrier, des statuts de tâche, des algorithmes de planification, etc.).
Il n'y a pas de paramètres clairement réglementés qui doivent être appliqués dans de telles situations; il y a toujours des nuances. Cependant, en règle générale, à ce niveau d'abstraction, nous parlons de métriques NPS (net promoter score) ou SUS (system usability scale). Les mesures ne sont pas incontestables, mais, en règle générale, elles sont néanmoins les normes de l'industrie et aident à s'orienter pour fixer des objectifs à l'échelle de plusieurs trimestres.
2. Niveau de fonctionnalité
À ce niveau, nous posons des questions plus spécifiques qui se rapportent directement à une fonction spécifique. D'après l'exemple ci-dessus - nous pouvons déjà examiner séparément non pas le problème de la «coordination des vacances» en général, mais ne prenons qu'une partie spécifique du produit, par exemple les calendriers. Dans quelle mesure sont-ils confortables pour la perception? Pourquoi les gens les utilisent-ils?
Selon le stade de notre recherche, non seulement les questions peuvent différer, mais aussi les indicateurs que nous collectons auprès de nos utilisateurs. Le plus simple est le niveau de satisfaction, qui peut être lu d'une tâche à l'autre à l'aide de différentes échelles (trois émoticônes ou échelle de Likert), CES (score d'effort client) - à quel point il est difficile ou facile pour l'utilisateur de mettre en œuvre certaines tâches.
3. Niveau d'interaction
La tâche de ce niveau est d'évaluer l'itération spécifique que l'utilisateur a effectuée avec le produit (par exemple, en cliquant sur un bouton). En même temps, il est important que le résultat de cette interaction soit une certaine action ou solution que nous ne pouvons pas mesurer ou contrôler. En règle générale, nous parlons ici de niveaux de satisfaction et de l'adoption de certaines décisions ultérieures: par exemple, le gestionnaire, en regardant le calendrier, a-t-il compris quand l'employé est en vacances? Le format d'exportation des données convient-il à l'utilisateur? Étant donné que toutes les autres actions se produisent uniquement dans la tête de l'utilisateur ou à l'extérieur de notre produit, nous n'avons aucune autre méthode pour évaluer l'itération.
En fait, le niveau d'évaluation de l'interaction est une tentative d'évaluer la métrique CSAT (satisfaction client), qui est souvent utilisée dans le support et d'autres services où vous devez évaluer un événement spécifique. Dans le même temps, des métriques comme CES peuvent également être utilisées ici, mais dans une formulation plus «locale».
Analyse et validation des résultats
Une fois que nous avons fixé des hypothèses, formulé des questions et mené nos enquêtes de validation au niveau approprié d'expérience utilisateur avec le produit, une tâche se pose qui requiert à nouveau des talents spéciaux de l'analyste - cette fois dans le domaine des statistiques et des tests d'hypothèse.
En fait, après chaque enquête, l'analyste doit s'assurer avec quel degré de confiance vous pouvez faire confiance aux résultats, y compris les résultats de votre travail. Le facteur travail dans une grande entreprise influence-t-il la réponse? Et la position de l'employé?
Toutes ces hypothèses sont soigneusement vérifiées à l'aide des outils nécessaires: comme mener correctement un test A / B, ce sont exactement les approches qui s'appliquent dans chaque situation particulière qui dépendent directement de l'analyste. En règle générale, l'analyse de régression peut souvent être utilisée, mais ce n'est pas la seule solution universelle, car Il a ses propres champs d'application et d'interprétation. Des méthodes spécifiques sont toujours à la discrétion de l'analyste.
Au lieu d'une conclusion
Ci-dessus, nous n'avons révélé que deux cas principaux dans le travail de l'analyste, et en même temps, nous n'avons pas délibérément parlé de toutes les étapes de son travail - une description détaillée de tous les types de recherche, la formulation d'hypothèses et la collecte correcte de données valent des articles séparés. Cependant, nous pensons que même une formulation similaire de haut niveau des attentes de l'analyse et de la fixation des méthodes clés de son travail renforcera considérablement toute équipe de produits et aidera à fabriquer de meilleurs produits.
La capacité de trouver des points de croissance dans les données (quelle que soit leur structure), de les formuler correctement en hypothèses, de les mettre à l'échelle et de les valider pour tous les utilisateurs actuels et futurs - telles sont les qualités qui distinguent nos analystes produits. Par conséquent, nous savons avec certitude que ces exigences donnent les résultats les plus tangibles et ne lui permettent pas de se glisser dans la routine d'exploitation, et nous recommandons donc si hardiment ces principes aux autres équipes.
Et si vous voulez parler d'analyses quantitatives, de Big Data et d'infrastructures qui prennent en charge toutes les analyses de Wrike, venez nous rendre visite lors d'une réunion au bureau de Saint-Pétersbourg . Eh bien, ou allez simplement visiter.