Depuis 13 ans, je travaille chez My.Com. Il s'agit d'une très grande entreprise, composée de plus de 10 studios divers qui fabriquent des jeux, principalement mobiles. Cette échelle implique une forte densité de lancements de nouveaux jeux, quelque part autour de 3-4 jeux par an. Comme vous le savez, travailler avec un tel flux nécessite une grande capacité à évaluer rapidement et précisément les projets à chaque étape de leur création.
Et ici, la principale difficulté est associée aux projets dont les résultats sont controversés. Si tout est clair avec faible / fort, alors il y a toujours des problèmes à évaluer ce dernier, puisque la tâche quitte le plan de l'évaluation des indicateurs directs dans le plan de l'évaluation du potentiel potentiel du projet.
Par exemple, si le projet de rétention du premier jour a 20%, alors c'est certainement un projet faible qui doit être fermé. Et si c'est un jeu midcore avec Ret1 30%? Tout n'est pas si évident ici.
Ce jeu midcore, bien sûr, peut être fermé, mais il y a une chance que nous perdions un coup, car le potentiel du jeu peut ne pas encore être révélé et les développeurs ont besoin d'une autre année pour transformer le vilain petit canard en cygne.
Si vous donnez cette année aux développeurs, et que le beau cygne, au final, ne fonctionne pas, l'entreprise perdra de l'argent et des profits, car les développeurs pourraient créer un autre jeu cette année, qui deviendrait le cygne.
Pour sortir de cette fourchette avec compétence, vous devez être en mesure d'évaluer non pas l'état actuel du projet, mais son potentiel. Mais comment le voir, à en juger par les normes de l'industrie? Malheureusement, rien. La norme de l'industrie est trop superficielle et universelle pour «regarder dans l'âme» d'un seul projet. Pour voir le potentiel, juste une simple loupe, vous avez besoin d'un microscope puissant.
Ma pratique montre qu'aujourd'hui toutes les décisions sur les projets controversés sont prises sur la base de l'intuition, du crédit de confiance, ou par le biais du Soft Launch infiniment long, ce qui rend le processus décisionnel coûteux, imprévisible et parfois même douloureux. Par conséquent, je voudrais parler de ce «microscope» aujourd'hui et parler de mon expérience avec son utilisation.
Les opportunités pour une personne individuelle sont surévaluées
Nous commençons notre conversation en questionnant vos idées actuelles sur la capacité de voir le potentiel du projet et de prédire le succès de certains jeux. Nous avons tous, bien sûr, notre propre opinion sur cette question, mais, avec une forte probabilité, elle est erronée, car elle repose sur la perception subjective du projet, ce qui rend votre opinion otage de toutes sortes de distorsions cognitives.
Chez My.com, nous avons parcouru un long chemin avant de réaliser qu'il n'y a pas d'experts capables d'analyser le potentiel des jeux en streaming. Sans aucun doute, le succès se produit périodiquement, et les gens apparaissent immédiatement autour de lui, qui commencent à dire avec un regard intelligent comment ils ont cru en ce succès ou l'ont prédit. Mais si vous regardez l'histoire de toutes les déclarations de ces personnes, vous verrez de nombreuses conclusions qui n'ont pas abouti ... Alors comment résoudre ce problème?
J'ai personnellement trouvé une solution en utilisant nos propres antécédents. Mon studio fait partie de My.com et j'ai, comme tous les autres développeurs, accès aux statistiques non seulement de mes projets, mais aussi des projets des studios alliés. Parmi ceux-ci, j'ai identifié ceux qui répondent à mes critères de réussite et j'ai commencé à disséquer leurs données dans la recherche de formules de réussite communes.
Critères de réussite
Vous devez d'abord déterminer les critères du jeu, qui peuvent être considérés comme réussis. Dans mon système de coordonnées, ce sont des jeux qui gagnent 1 000 000 $ net par mois et ont une marge> 30% par an après la sortie mondiale.
My.com a de tels projets assez régulièrement, donc il y avait suffisamment de données à étudier et les premières conclusions ont été formulées très rapidement. Je les ai transformés en deux axiomes suivants:
- Il n'y a pas de jeu réussi sans marketing réussi.
- Un marketing réussi sans jeu réussi n'existe pas.
Oui, une étude de nos produits internes a montré que les produits réussis combinent toujours une histoire de marketing réussi et un jeu réussi. Bien que ces domaines ne soient pas directement dépendants les uns des autres, c'est à leur intersection que le niveau de réussite dont nous avons besoin est formé.
Par conséquent, je veux attirer votre attention sur la comparaison du succès de divers projets par des métriques de jeu isolément des métriques de marketing est absolument inutile. Cela revient à parler de la couleur d'un objet, compte tenu de son ombre.
Par conséquent, j'ai préparé une préparation supplémentaire au succès du point de vue du marketing et du point de vue des métriques de jeu.
Évaluer le succès d'un produit d'un point de vue marketing
Une analyse du marketing de nos jeux à succès a rapidement montré que leur formule de succès réside dans la capacité du projet à attirer de nombreuses inscriptions bon marché. En raison de ce volume, des objectifs de chiffre d'affaires ont été définis et une optimisation ultérieure a assuré la marge nécessaire.
Pour décrire l'effet qui vous permet d'attirer une grande quantité de trafic dans le projet, nous avons besoin d'un paramètre tel que le taux d'installation (IR) de la publicité. À mon avis. c'est cet indicateur qui reflète le plus clairement le succès marketing du jeu. Je le considère comme suit:
IR = CTR * CROù CTR est la conversion de l'impression au clic; CR - conversion d'un clic pour installer.
Ainsi, plus l'IR est élevé, plus le projet attire facilement les utilisateurs et moins cher ils le coûtent.
Pour obtenir un taux d'installation élevé, vous devez garantir une publicité de clic élevée et une conversion élevée à partir de la page latérale. Cela ne peut être réalisé que si la publicité et l'arrêt portent un message qui attire à la fois le public et forme les attentes correctes du produit. Cette dernière est nécessaire pour conserver l'utilisateur référé. Vous pouvez créer un message accrocheur, mais si cela ne justifie pas les attentes réelles des utilisateurs la prochaine fois que vous entrerez dans le jeu, ils partiront et vous ne pourrez pas récupérer les coûts d’attrait.
Ce graphique illustre bien la forte relation entre CTR et CR. Ici, vous pouvez voir le conflit même d'un message accrocheur et des attentes réelles du jeu, lorsque le lancement d'une campagne marketing avec un CTR très élevé provoque un effondrement de CR.
Comme le montre ma pratique, le premier signe de réussite d'un jeu est la présence d'un CTR élevé pour les publicités vidéo démontrant son gameplay (> 1%). Après cela, la tâche de la page latérale est de soutenir et de divulguer plus complètement le message formé par ces annonces vidéo. Si tout est fait correctement, nous obtenons alors une CR de l'ordre de 30 à 40%, et le taux d'installation lui-même sera de l'ordre de 0,4 à 0,5. Cette valeur peut être considérée comme un signe de réussite du projet du point de vue marketing, et il est nécessaire de faire face à son développement, même s'il existe un certain nombre d'autres problèmes.
Comment collecter les valeurs de taux d'installation?
Pour ce faire, je recommande de tester les annonces vidéo sur les grilles vidéo, car leur ciblage est assez général, et les résultats seront donc aussi impartiaux que possible. De plus, cette approche vous permettra de comparer différents projets entre eux. Mais ne vous y trompez pas et n'oubliez pas de prendre en compte l'étape du cycle de vie des projets comparés! Si vous comparez des projets d'âges différents, vous obtiendrez des conclusions incorrectes. Ne pas tenir compte du cycle de vie est une erreur très grave que même les professionnels font souvent. Par exemple, regardez comment le ROI des campagnes marketing pour nos deux hits a changé seulement un an après le lancement:
Une telle différence de rentabilité suggère qu'au début du projet, il attire le public cible, qui est très bon marché et paye bien. Mais au fil du temps, cela se termine et le retour sur investissement commence à diminuer, malgré les améliorations apportées au produit du projet au cours de la dernière année. Par conséquent, en comparant les projets entre eux, assurez-vous de faire un ajustement pour la durée de vie du projet.
Puis-je affecter le taux d'installation?
Étant donné que l'IR est le reflet de la réaction du public, il s'agit d'un apport externe qui ne peut pas être influencé, il ne peut être compté. Ceci est une conséquence du travail effectué par le producteur au stade de la préproduction, lorsque le concept de jeu, la date de mise en place et de sortie du produit sur le marché ont été approuvés. C'est la malédiction ou la bénédiction que le producteur a mise sur le projet lorsqu'il a donné le feu vert au développement.
Bien sûr, je n'en parle si catégoriquement qu'à la condition que:
- Le travail de positionnement du projet et de production de matériel promotionnel a été fait au bon niveau et ne contient pas d'erreurs grossières.
- Nous parlons du long terme. Parce que sur de courtes distances, le taux d'installation peut être périodiquement téléchargé grâce à la création de supports publicitaires particulièrement réussis, mais tôt ou tard, ils s'épuisent et le projet tombe à son niveau de base. Et à long terme, nous ne pouvons que ralentir la réduction du taux d'installation.
Ce graphique illustre bien l'incapacité d'influencer grandement l'IR. Nous voyons qu'au début le projet a une valeur IR élevée, mais après un certain temps il y a une forte correction à la baisse (la crème du public cible est collectée) et IR atteint son niveau de base. Après cela, une tendance à long terme se forme pour sa diminution progressive, malgré des activités publicitaires réussies périodiques.
Évaluer le succès d'un produit dans une perspective métrique de jeu
Contrairement aux mesures de marketing, les mesures de jeu sont très difficiles à comparer. Pendant tout mon temps dans l'entreprise, nous avons eu de nombreux holivars dans le but de développer un concept unique pour évaluer la qualité du jeu. Mais aucune de ces tentatives n'a réussi, car elles se sont toutes effondrées dans une distinction de genre.
Bien que tous nos produits soient appelés jeux, ce sont en fait des produits complètement différents, qui ne sont unis que par la présence d'un élément de divertissement. Tous les jeux divertissent les joueurs, mais chaque genre a sa propre manière. De là découle une règle absolument naturelle qui évalue correctement la qualité d'un jeu dans le cadre de son genre. Mais! Si vous analysez l'histoire des genres de jeux mobiles, vous verrez qu'ils évoluent constamment, et surtout des combinaisons explosives apparaissent lorsque les genres sont mélangés et forment de nouveaux genres et sous-genres.
Cela est dû à la concurrence sur le marché mobile, qui récompense tout d'abord les jeux qui sont les premiers à offrir une expérience de jeu unique qui peut être monétisée à long terme. Tout cela plonge les jeux mobiles dans un environnement d'une extrême élasticité, érodant ainsi la définition du genre et sa présentation sous la forme d'une sorte de métriques de jeu.
Par conséquent, lorsque nous parlons de jeux mobiles et de la formation de critères pour évaluer leurs métriques, nous nous trouvons dans un environnement extrêmement chaotique qui ne nous permet pas d'accepter des comparaisons raisonnées mathématiquement. Tout ce que nous pouvons faire dans ces circonstances est de comparer grossièrement les métriques de jeu par des valeurs de seuil, ce qui nous permettra de diviser les jeux en bons et mauvais, mais pas d'évaluer les jeux controversés en termes de leur potentiel potentiel.
Comment être? Y a-t-il une réponse motivée par les mathématiques, et non un crédit de confiance envers les développeurs? Je pense que oui.
Dans notre studio, nous ne sommes pas arrivés à cette compréhension tout de suite, et nous ne sommes pas venus systématiquement, mais plutôt par hasard, pour lesquels cela mérite d'être remercié grâce à Google Play - ses études de marché ont été le point de départ de la nôtre, ce qui nous a conduit à la réponse.
Cela s'est produit en 2017 au Brésil. Là, Google Play a organisé une conférence pour ses développeurs et a partagé une variété d'informations. Une des diapositives de cette présentation parlait de l'existence de 4 groupes de projets dont le succès se caractérise par une courbe de rétention dans les 10 premières minutes du jeu.
À cette époque, nous étions obsédés par le problème de l'amélioration de la rétention dans le jeu Juggernaut Wars, donc l'étude de Google Play nous a beaucoup inspiré, car elle suggérait d'examiner la rétention dans une perspective inhabituelle: quelle est sa valeur dans la première minute du jeu et quelle est la dynamique de croissance à chaque minute suivante.
Selon Google Play, plus la croissance d'une minute à l'autre est forte et plus la valeur initiale est élevée, plus le jeu est réussi. Armés de ce concept, nous avons analysé notre portefeuille, et cela a fonctionné! Nous avons obtenu le graphique suivant, dans lequel la position des courbes de nos meilleurs projets et une moyenne reflétaient très précisément leur succès ultérieur au box-office.
"Ouah!" - nous avons pensé à ce moment. Il s'avère que vous pouvez évaluer le caractère frappant du jeu dans les 10 premières minutes!
Pour ressentir l'importance de cette conclusion, concentrez-vous sur le fait que même une minute passée dans le jeu a une probabilité mathématique stable que l'utilisateur revienne le lendemain. Et si nous parlons d'un coup sûr, même cette minute suffit pour former une différence de rétention significative par rapport à un jeu sans coup sûr. Et que peut voir un joueur en cette minute? Presque rien, ce sera la première impression du cadre et de la mécanique de base. Il verra qu'il est impossible de changer sans refaire complètement le projet. Cela peut être comparé à la présence du jeu avec son propre ADN.
L'hypothèse est donc née de l'existence de l'ADN dans le projet, qui peut être interprété comme la métrique même qui peut exprimer mathématiquement le potentiel du jeu.
L'ADN du projet est un ensemble fondamental de qualités de jeu qui détermine la probabilité qu'un utilisateur revienne après la première minute, et détermine également le degré de croissance de la probabilité de revenir avec chaque minute suivante passée dans le jeu. Plus la valeur initiale est élevée et plus la croissance est forte d'une minute à l'autre, meilleur est l'ADN du jeu et plus fort est son potentiel.
Cette analyse au niveau micro vous permet d'effacer les frontières de genre et d'évaluer le projet de jeu presque au niveau physiologique. En évaluant l'envie du joueur de retourner au projet après une minute, ainsi que la mesure de la croissance de cette envie à chaque minute suivante, nous travaillons avec la réaction inconsciente du joueur. À un tel intervalle de temps, les données du jeu sont encore catastrophiquement petites pour que le joueur puisse faire un choix éclairé, mais inconsciemment, il le fait toujours. Si le concept du jeu et sa mise en œuvre sont suffisamment forts, il entraînera le joueur même à un niveau inconscient, et plus il restera dans le jeu, plus son influence sera forte.
À quel moment l'ADN peut-il être mesuré?
Ce concept commence à fonctionner lorsque le projet a au moins 10 minutes de gameplay de qualité de sortie.
Il s'avère que, si vous assurez une bonne performance, puis mesurez le coup du jeu, théoriquement, vous pouvez déjà au stade de la tranche verticale. Dans la pratique, il sera possible de mesurer au plus tôt Alpha fermé, car pour le traçage, il est nécessaire de fournir un échantillon de grande taille afin de lisser les éventuelles fluctuations. Cette étude s'appuie sur l'analyse de la rétention classique des 10 premières minutes et nécessite des cohortes représentatives d'utilisateurs pour chacune des 10 minutes. Et pour assurer la formation de toutes ces cohortes et réduire les risques de fluctuations, vous aurez besoin d'un minimum de 40 000 inscriptions. Une fois que vous pouvez fournir un tel volume d'inscriptions pour un gameplay de 10 minutes de qualité de sortie, vous pouvez découvrir l'ADN du projet.
Comment interpréter la signification de l'ADN?
En sortie, vous aurez une courbe dont les valeurs absolues n'ont de valeur que par rapport à d'autres courbes calculées dans les mêmes conditions. Lorsque le travail est en cours avec une suspension minute par minute, la tâche devient très dépendante du projet, lorsque les nuances des paramètres de connexion et de la déconnexion de l'utilisateur sur le serveur commencent à jouer un rôle énorme. Par conséquent, vous obtiendrez le maximum de données lors de la comparaison de projets réalisés dans le cadre de solutions de serveur similaires.
Mais même s'il n'y a rien à comparer, vous pouvez évaluer le projet du point de vue d'une croissance constante. Pour un jeu réussi, il est important que la rétention augmente avec chaque minute passée: plus les gens passent de temps dans le jeu, plus ils devraient l'aimer. S'il n'y a pas de croissance de la rétention, ou si son déclin est observé, alors c'est un signe de la présence de problèmes fondamentaux dans le jeu, que j'appelle des trous de ver. Voici un exemple de l'un de nos projets où ce trou de ver est prononcé.
On peut voir qu'en 10 minutes de jeu, la croissance de la rétention n'est pratiquement pas observée. Si dans nos jeux à succès il augmente de 250%, alors celui-ci n'est que de 20%. Dans le même temps, nous constatons que la détention de la deuxième minute est nettement inférieure à la détention de la première minute, ce qui suggère que le jeu non seulement ne captive pas le public, mais perd également considérablement les utilisateurs déjà intéressés. Tant que le projet aura un tel trou de ver, il ne pourra pas absorber efficacement le public.
Conclusion
En travaillant dans une grande entreprise qui combine plus de 10 studios différents, chacun travaillant sur plusieurs projets simultanément, j'ai eu l'occasion d'étudier toutes nos expériences positives et de regarder les histoires de réussite qui se sont produites du point de vue de l'analyse et de ma propre expérience.
Ma tâche consistait à apprendre à évaluer objectivement des projets non seulement du point de vue des projets franchement faibles / forts, mais aussi à formuler une approche pour évaluer des projets controversés en analysant leur potentiel potentiel, qui, pour un certain nombre de raisons, peut ne pas encore être divulgué.
J'espère que le travail que j'effectue aidera les développeurs à prendre des décisions éclairées sur des questions cruciales telles que le démarrage ou la clôture de projets. Après tout, tout travail sur le jeu n'est pas seulement du travail, mais aussi du temps. Et si les développeurs de jeux ne travaillent pas dur, alors le temps est la ressource la plus limitée, utilisez-la à bon escient. Bonne chance