Le PDG de Rick.ai, Ilya Krasinsky, a répondu aux questions posées par les chefs de produit au format Q&A lors de la conférence Epic Growth.
Voir le déchiffrement sous la coupe.
Quelle est une technique efficace pour évaluer les perspectives des fonctionnalités?
Toute fonctionnalité réduit toujours les mesures. Nous automatisons un scénario particulier de comportement humain. Si le pourcentage de personnes qui ont compris les avantages de la fonctionnalité et en ont profité est pratiquement nul, alors la valeur de la fonctionnalité sera minimale.
Il y a des inconvénients après le lancement d'une nouvelle fonctionnalité dans le produit: le code de la base de données grandit, de nouveaux bugs et défauts apparaissent, les utilisateurs ont une première session plus difficile et l'activation est plus difficile.
Il existe une technique d'évaluation. Vous prenez un flux d'utilisateurs qui utiliseront cette fonctionnalité. Vous pouvez donc évaluer dans quelle mesure la conversion et les revenus d'un utilisateur payant vont changer. Ensuite, vous pouvez calculer le type de flux de trésorerie qu'une nouvelle fonctionnalité peut vous apporter.
À quel moment dois-je dire «assez c'est assez»? Ou devez-vous sauter et essayer jusqu'à ce que le manque de financement arrête ma startup?
Très souvent, le développement d’une entreprise est entravé par un manque de financement. Dans ce cas, l'entreprise devient pour vous non pas un atout, mais une valise sans poignée, ce qui est dommage à laisser tomber, mais c'est aussi difficile à faire glisser.
Par conséquent, dans cette situation, pressez le maximum jusqu'à ce que vous tiriez sur ce «cheval mort», car la prochaine fois, vous aurez besoin de deux à cinq ans pour vous rapprocher de votre point de développement actuel. Déterminez les compétences et l'expérience que vous pouvez encore vous apporter et n'ayez pas peur de vous débarrasser du ballast.
Quand, à votre avis, plus de 50% des entreprises (au moins l'informatique) passeront à l'analyse robotique par analogie avec Rick.ai? Quels sont actuellement les principaux obstacles?
Les principaux problèmes de l'analyse actuelle:
Un grand nombre d'entreprises ont déjà une division Big Data. La grande majorité de ces unités sont engagées dans le stockage de données, dans le plus petit - la compilation d'algorithmes. Il existe généralement un fossé technologique entre les cadres supérieurs, les chefs de produit et les analystes en science des données. Les hommes d'affaires ne comprennent souvent pas quelle question poser à l'analytique.
Fondamentalement, ces données ne sont pas cohérentes, c'est-à-dire qu'elles contiennent déjà des erreurs au stade de la collecte.
L'analytique est très fragile, elle est très facile à casser. Par conséquent, la question clé est de savoir si vous disposez d'un système de surveillance intégré pour l'analyse robotique.
Le principal obstacle à la transition vers l'analyse robotique est que les données ne s'accumulent pas dans les systèmes que vous utilisez et, par conséquent, donnent des chiffres incorrects. Par conséquent, toute conclusion et décision de gestion sera également un mensonge.
Jusqu'à ce que ce problème soit résolu au niveau de l'intégration et du flux de données, tout le monde verra probablement sa propre étoile de la mort, croyant que cela fonctionne. J'ai déjà vu cinq de ces systèmes dans ma vie, et à chaque fois les développeurs ont trouvé des bugs et des défauts.
Mon conseil: dupliquez les données afin d'avoir différents systèmes d'analyse et de pouvoir vérifier les chiffres entre eux. Un système est une chose très peu fiable, les erreurs se produisent très facilement.
Quelles sont les perspectives du ML dans l'analyse prédictive?
Deux types d'apprentissage automatique doivent être distingués:
- Compilé dans le langage de programmation Python.
- Composé à l'aide d'une présentation PowerPoint.
Ce dernier type est beaucoup plus utilisé. Mais malheureusement, en pratique, il est très mal appliqué. Ces présentations ne se traduisent pas bien en produit fonctionnel. En conséquence, le principal problème de l'apprentissage automatique est que les gens voient une boîte noire à la sortie.
Je pense que pendant longtemps les gens ne peuvent pas traiter de tels flux d'informations. Je vois ce que nous allons tous de cette façon: soit il y aura des boîtes noires, comme les modèles d'attribution que Google fait, soit une sorte de système qui analysera les données et expliquera à la personne comment elle a analysé ce qui se trouve dans cette section (entreprise , domaine, conversion).
Quelle est la probabilité que des outils permettent de tester des hypothèses avant de mettre en œuvre des modifications du produit?
Vous les avez déjà: "Feuilles de calcul Google" ou Excel.
La plupart des hypothèses ne peuvent pas changer une seule métrique, ne peuvent rien faire de bien à l'utilisateur, elles doivent être prises en compte. Et sur 50 hypothèses, si vous en laissez sept, vous avez une chance de réussir.
En 2019, il est clair qu'une personne considère toujours pire qu'une calculatrice. Mais il semble qu'une personne sait comment proposer des idées non standard.
Quelles questions poser au produit lors de l'entretien?
La manière la plus simple: parlez à dix professionnels de l'industrie dans un format de réseautage lors de la conférence. Vous recevrez une liste de cinquante questions. Laissez les questions que vous aimez et vous obtiendrez une sorte de cadre.
Comment est-ce dans notre équipe:- Une personne doit avoir un niveau d'énergie élevé. Si une personne est faible en énergie, alors toute l'équipe sera toxique.
- Une personne doit être systémique et avoir une expérience de réflexion. Développer une compétence systématique est très coûteux et prend du temps. Elle est vérifiée tout simplement: demandez à une personne quelle est son expérience antérieure, y compris négative, et quelle conclusion il a tirée de cette expérience.
Environ 50% des gens disent: «Merci, bonne question! Je vais y penser. " Cela signifie qu'au cours de la dernière année, lorsque cette situation s'est produite, ils n'ont pas fait ce travail. Ils n'ont pas une telle habitude.
- Un homme ne devrait pas avoir peur. Au cours du travail, un grand nombre de décisions doivent être prises; très probablement, le produit sera mauvais. Il est important qu'il n'ait pas peur de le faire.
Comment mesurer l'effet incrémentiel du reciblage?
Analyse de déclenchement. Vous prenez le segment utilisateur, voyez toutes les sessions utilisateur et la chaîne d'événements. Divisez les gens en deux groupes: ceux qui sont en reciblage et ceux qui ne le sont pas.
En pratique, vous devez comprendre que nous n'avons jamais pour tâche de mesurer quelque chose avec précision. Souvent, cela est tout simplement inutile. Si votre investissement dans le reciblage est inférieur à la quantité de travail que je viens de décrire, alors le travail d'analyse du reciblage sera plus cher que le simple fait de le faire.
Vous avez besoin d'un modèle d'attribution précis. Regardons les concepts: il n'est pas nécessaire d'attribuer avec précision tel ou tel revenu à une campagne publicitaire. Nous n'avons que quatre décisions de gestion:
- désactiver le processus, ne pas converger du tout; nous dépensons trop, n'obtenons presque rien;
- peut être légèrement modifié;
- ne touchez pas;
- renforcer.
Pourquoi voudriez-vous tirer le produit?
- Si son modèle du monde ne correspond pas beaucoup à la réalité.
- Si ses hypothèses sont faibles et mal corrélées avec nos utilisateurs.
- Si vous n'aimez pas communiquer avec les utilisateurs.
- Si vous n'aimez pas faire des couloirs, des maisons sur mesure.
- Si vous ne testez pas vos hypothèses.
- Si vous utilisez une boîte à outils non pertinente.
- Cela signifie qu'il va se tromper dans les conclusions, ne veut pas apprendre à faire correctement et ne suit tout simplement pas les derniers cadres qui existent dans l'industrie, ce qui signifie qu'il a pris du retard.
Vous menez des expériences, 95% d'échecs, peu de succès, constamment périssables et des douleurs dans la tête. Comment être
L'aggravation se produit à la fin de l'année. À la fin de l'année, les gens se souviennent de l'objectif qu'ils se sont fixé.
Le sens est - vous devez pouvoir perdre. Je dois me répéter: il y a eu beaucoup d'expériences, donc je n'ai tout simplement pas pris en compte et je n'ai pas compris quelque chose. Nous avons changé l'économie unitaire, changé l'approche, augmenté la conversion, mais cela ne signifie pas que le projet ira bien.
Encouragez le soutien et les soins au sein de l'équipe. Une des compétences que je développe en moi-même maintenant: comment expliquer au chef de produit, designer, marketeur, analyste qu'ils ont tout fait de travers, mais en même temps pour qu'ils n'abandonnent pas et qu'ils se mettent au travail le lendemain avec les mots: "D'accord, la septième fois, nous allons tout refaire et nous réussirons."
Les équipes de restauration les plus cool de Russie?
Je pense qu'il y en a beaucoup. Par exemple, Ultimate Guitar, Skyeng, RealtimeBoard. Derrière le succès de ces entreprises, il y a non seulement les premières personnes qui sont dans l'œil du public, mais aussi les interprètes qui font un travail formidable chaque jour.
C'est cool d'être ami avec eux. C'est juste un train gratuit où vous obtenez de nouvelles idées, des livres et des cadres. Par conséquent, m'entourer d'une telle liste de personnes, me semble-t-il, est l'une des tâches importantes.
Des pratiques de compétences produit plus étroites lors de la
journée de l'atelier Epic