Quels facteurs peuvent prédire le succès d'un jeu sur Steam?

Sur Reddit, j'ai vu beaucoup de discussions, de commentaires et de questions sur ce qui détermine le succès du jeu. Quelle est l'importance de la qualité? Le seul aspect déterminant est-il vraiment la grande popularité du jeu sur le marché avant sa sortie? Les démos aident-elles ou font-elles mal? Si les performances du jeu à la sortie se sont révélées médiocres, alors quelle est la probabilité de leur correction? Est-il possible de prédire au moins approximativement les ventes d'un jeu avant sa sortie?

En me préparant à sortir mon propre jeu , j'ai passé beaucoup de temps à surveiller les versions publiées dans le but de trouver des réponses à ces questions. J'ai compilé une feuille de calcul, enregistré les abonnés, la disponibilité de l'accès anticipé, le nombre de critiques pour la première semaine, le mois et le trimestre.

Maintenant, j'ai décidé de partager ces données dans l'espoir qu'elles aideront d'autres développeurs à comprendre et à prédire les ventes de leurs jeux.

Premières notes sur les données:

• L'une des sources de données les plus importantes est le nombre d'avis sur Steam. Il existe des preuves fiables qu'il est fortement corrélé avec le nombre d'exemplaires vendus, le ratio de «50 ventes par critique sur Steam» est souvent mentionné, mais la plage de valeurs est assez large. Il semble que la plupart des jeux Steam se situent entre 25 et 120 ventes par avis sur Steam, mais il y a aussi des valeurs aberrantes. De plus, les jeux avec un très petit nombre d'avis sont plus susceptibles d'être des valeurs aberrantes à cet égard. Mon jeu est le seul dans lequel j'ai des chiffres de vente clairs. Vous pouvez lire mon long article sur sa sortie sur Reddit , mais le plus important pour nous, c'est que j'ai vendu 1587 exemplaires la première semaine et 3580 exemplaires au premier trimestre.
• Nombre total de jeux dans la sélection: 115.
• J'ai choisi les jeux de façon semi-aléatoire dans les sections Populaire à venir et Tous les prochains. Cela incline davantage l'échantillon vers les jeux populaires, et je l'ai fait exprès: je voulais avoir une sélection diversifiée, mais pour que les jeux avec des ventes nulles ne le dominent pas complètement.
• Les jeux sont commandés par date de sortie, qui se situe entre le 26/10/18 et le 20/12/18.

Explication de la colonne

• Remise sur la sortie: première semaine de remise, 0,25 = 25% de remise
• Semaine, hypothèse: c'est mon hypothèse, faite avant la sortie du jeu, sur le nombre d'avis clients sur Steam qu'il aura après exactement une semaine.
• Semaine, valable: Nombre d'avis reçus par le jeu après 1 semaine.
• 3 mois: le nombre d'avis reçus par le jeu en 3 mois.
• Abonnés: le nombre d'abonnés au groupe de jeux avant sa sortie. Dans certains cas, ce paramètre a été corrigé juste avant la sortie, dans d'autres - une semaine avant.
• Note des avis: pourcentage d'avis positifs sur Steam après un mois. Les jeux doivent avoir au moins 20 avis pour obtenir une estimation.

Question 1: la qualité peut-elle prédire le succès?

J'ai récemment lu un article indiquant que la principale mesure de réussite d'un jeu indépendant est sa qualité.

La qualité, bien sûr, est une métrique subjective. Le moyen le plus évident de mesurer objectivement la qualité des jeux Steam est leur pourcentage d'avis positifs. Il s'agit du pourcentage d'avis des acheteurs de jeux qui ont donné une note positive au jeu. J'ai exclu tous les jeux qui n'avaient pas eu au moins 20 avis le premier mois, ce qui a réduit la sélection à 56 jeux.

La corrélation (Pearson) entre la note du jeu et le nombre d'avis trois mois après la sortie était de -0,2. Mais 0,2 (plus ou moins) n'est pas une corrélation aussi forte. Plus important encore, la corrélation de Pearson peut fluctuer si les données contiennent de grandes valeurs aberrantes. En regardant les jeux eux-mêmes, vous pouvez voir que la différence est un artefact d'éjection. Littéralement: l'Artefact de Valve a reçu le plus grand nombre d'avis après trois mois et l'une des notes les plus faibles (à l'époque, 53%). Lorsque j'ai supprimé ce jeu des données, la corrélation est essentiellement devenue nulle.

Un autre modèle de corrélation appelé coefficient de Spearman, qui effectue une corrélation de rang et minimise l'effet des grandes valeurs aberrantes, a montré un résultat similaire.

Conclusion: s'il existe une corrélation entre la qualité du jeu (mesurée en tant que note par les avis sur Steam) et le premier trimestre des ventes (mesurée par le nombre total d'avis), alors elle est trop petite pour être trouvée dans ces données.

Question 2: les démos, l'accès anticipé ou les remises affectent-ils le succès / l'échec au moment de la sortie du jeu?

Malheureusement, il y avait si peu de jeux qui avaient des démos avant la sortie (10) que seule une très forte corrélation pouvait nous dire quoi que ce soit. Il s'est avéré qu'aucune corrélation significative n'a été trouvée.

Il y avait plus de jeux avec accès anticipé (28), mais la corrélation était encore trop petite pour être significative.

Plus de la moitié du jeu avait une remise par semaine de sortie, et en fait il y a une corrélation négative modérée de -0,3 entre la remise et le nombre d'avis la première semaine. Cependant, il semble que cela soit principalement le résultat de la tendance des développeurs de jeux AAA (vendant le plus de copies) à ne pas faire de remises lors de la sortie du jeu. Si vous supprimez les jeux qui ont probablement rapporté plus d'un million de dollars la première semaine, la corrélation tombera à presque zéro.

Conclusion: pas assez de données. Aucune corrélation claire n'a été trouvée entre les démos, les remises d'accès anticipé ou de sortie et le nombre de critiques: même si elles aident ou nuisent aux ventes, l'influence n'est pas coordonnée au point d'être perceptible dans un tel échantillon.

Question 3: Le succès du jeu prédit-il le succès du jeu avant sa sortie (par exemple, le nombre d'abonnés sur Steam)?

Le nombre "d'abonnés" à n'importe quel jeu sur Steam peut être trouvé en trouvant son Game Center créé automatiquement. Avant la sortie du jeu, c'est un bon indicateur approximatif du niveau de sa popularité sur le marché.

La corrélation entre les abonnés peu de temps avant la publication et le nombre d'avis après 3 mois s'est avérée être de 0,89. Il s'agit d'une corrélation positive très forte. La corrélation de rang s'est également avérée élevée (0,85), ce qui nous indique que le résultat n'est pas uniquement dû à quelques jeux très attendus.

À l'exception d'une seule valeur aberrante (qui sera décrite ci-dessous), le rapport entre le nombre de critiques pendant 3 mois et le nombre d'abonnés avant la sortie du jeu était compris entre 0 (pour plusieurs jeux qui n'ont reçu aucune critique) et 1,8 avec une valeur médiane de 0,1. Si vous avez 1 000 abonnés juste avant la sortie, à la fin du premier trimestre, vous devriez vous attendre à «environ» 100 critiques.

J'ai remarqué qu'il y avait plusieurs jeux, dont le nombre d'abonnés semblait trop important par rapport aux indicateurs secondaires de la popularité du jeu sur le marché, par exemple, les fils de discussion sur les forums et l'attention sur Twitter. Après des recherches, je suis arrivé à la conclusion que Steam considère l'activation des clés avant la sortie en tant qu'abonnés. Si le développeur du jeu a distribué de nombreuses clés Steam avant la sortie (par exemple, en tant que récompenses dans Kickstarter ou dans le cadre d'un test bêta), il s'avère que le jeu a attiré plus d'abonnés qu'il n'en recevrait «organiquement».

Conclusion: les abonnés organiques collectés avant la sortie du jeu sont un sérieux indicateur de réussite continue.

Question 4: qu'en est-il du prix?

La corrélation entre le prix et le nombre d'avis après 3 mois est de 0,36, ce qui est une corrélation modérée. Je ne suis pas entièrement sûr de l'utilité de ces données: il est assez évident que les jeux avec un gros budget ont un gros budget marketing.

La corrélation entre le prix et les notes dans les avis est de -0,41. Il semble probable que les joueurs tiennent compte du prix dans leurs critiques et qu'il y a plus d'exigences pour un jeu à 60 $ que pour un jeu à 10 $.

Question 5: Les ventes de la première semaine prédisent-elles les résultats du premier trimestre?

La corrélation entre le nombre d'avis après 1 semaine et le nombre d'avis après 3 est de 0,99. La corrélation de Spearman est de 0,97. Il s'agit de la plus grande corrélation que j'ai trouvée dans ces données.

Si nous excluons les jeux vendus par un très petit nombre d'exemplaires (moins de 5 avis la première semaine), la plupart des jeux après 3 mois ont environ deux fois plus d'avis qu'après 1 semaine. On peut en déduire qu'au cours de la première semaine, autant d'exemplaires vendus seront vendus au total au cours des 12 prochaines semaines. La grande majorité des jeux ont un ratio de queue (revoir les ratios après 3 mois et après 1 semaine) allant de 1,3 à 3,2.

J'ai souvent vu des questions de développeurs qui avaient une mauvaise version de jeu sur Steam. Ils voulaient savoir ce qui pouvait être fait pour améliorer les ventes. Je suis sûr que le marketing après la sortie peut affecter les ventes futures, mais il semble que la première semaine trace toujours une ligne de résultats claire.

Conclusion: tout indique que la connexion existe

Question 6: La qualité aide-t-elle les ventes de détail du jeu?

Dans la question précédente, nous avons dit que malgré la forte corrélation des ventes de la première semaine avec le premier trimestre, les ratios varient toujours dans une large fourchette. Désignons comme coefficient de queue le rapport des revues après 3 mois aux revues après 1 semaine. La valeur la plus basse est 0,95 pour Pro Fishing Simulator, qui a même réussi à perdre une critique. Le coefficient maximum étant de 6,9, nous considérerons cette poussée extrêmement importante plus tard. Le pire "queue" correspond à un jeu avec un score de 22%, et le meilleur - à un score de 96%, et ce n'est probablement pas une coïncidence.

La corrélation globale entre le coefficient de queue et les évaluations Steam est de 0,42.

Conclusion: même en l'absence d'une corrélation claire entre la qualité et le nombre total d'avis / ventes, il existe une corrélation modérée entre la note du jeu et sa «queue». Cela nous indique que les «bons jeux» se révèlent mieux à long terme que les «mauvais jeux», mais l'influence de ce facteur est faible par rapport au facteur le plus important de la popularité des jeux sur le marché.

Question 7: est-il possible de prédire le succès d'un jeu avant sa sortie sans connaître les données des listes de souhaits?

Lorsque j'ai collecté des données pour chaque jeu, parfois avant sa date de sortie prévue, j'ai fait une prévision du nombre d'avis qu'elle recevrait au cours de la première semaine, et j'ai entré cette prévision dans une feuille de calcul.

Le principal facteur sur la base duquel j'ai fait une prévision était le nombre d'abonnés. Parfois, je corrigeais les prévisions lorsque je sentais que la valeur était incorrecte et utilisais des sources auxiliaires, par exemple, l'activité sur le forum Steam et l'attention sur Twitter.

La corrélation entre mes suppositions et la vraie valeur est de 0,96, et c'est une corrélation très forte. Comme vous pouvez le voir dans les données, mes prévisions sont pour la plupart à peu près vraies, sauf dans quelques cas où je me suis très trompé.

D'après mon expérience, en multipliant le nombre d'abonnés par 0,1, dans la plupart des cas, nous obtenons une estimation approximative du nombre d'avis au cours de la première semaine du premier trimestre. Si le jeu n'a pas au moins une question dans le forum de discussion pour 100 abonnés, cela peut indiquer qu'il y a un grand nombre d'abonnés «inorganiques», et l'évaluation doit être ajustée.

Conclusion: oui, à quelques exceptions près, en utilisant les données sur les abonnés et d'autres indicateurs, vous pouvez approximativement prédire les résultats de la première semaine. Étant donné la forte corrélation entre les ventes de la première semaine et du trimestre, vous pouvez obtenir une compréhension approximative des résultats du premier trimestre avant même la publication.

Dernière question: qu'en est-il des émissions que j'ai mentionnées?

Il y avait plusieurs jeux dans les données qui se démarquaient d'une manière ou d'une autre.

Rafale 1: Overdungeon . Peu avant la sortie, le jeu comptait 77 abonnés - un nombre plutôt faible, et sur la base de ces seules données, je m'attendrais à moins d'une douzaine de critiques la première semaine. En conséquence, il y en avait 86. Mais il y avait plus: le jeu avait une queue solide et a terminé le premier trimestre avec 572 critiques. Avec une marge importante, il présente le ratio le plus important de l'échantillon entre le nombre d'avis et le nombre d'abonnés.

Sur la base des critiques, vous pouvez comprendre qu'il s'agit d'un analogue de Slay the Spire, mais qu'il est très populaire en Asie. Il semble que 90% des critiques soient écrites en japonais ou en chinois. Si quelqu'un a une intuition sur les raisons du succès apparent inhabituel du jeu, alors je serais intéressé de les entendre.

Cela semble être le seul exemple clair de données de jeu avec un nombre minimum d'abonnés avant la sortie, qui a enregistré de solides ventes au premier trimestre.

Surge 2: 11-11 Mémoires racontées . Ce jeu avait peu de temps avant la sortie de 767 abonnés, dix fois plus que Overdungeon. Ce n'est pas encore beaucoup, même pour un petit jeu indépendant. Mais elle avait un bon facteur favorable: le directeur du jeu était Yoan Fanise, qui était le co-directeur du jeu populaire Valiant Hearts avec un thème similaire. Il a été animé par Aardman Studios, célèbre pour le dessin animé Wallace et Gromit. L'éditeur était Bandai Namco Europe, pas une entreprise inexpérimentée. Le doublage du jeu a été réalisé par Sebastian Koch et Elijah Wood. Le jeu a reçu de nombreuses bonnes critiques à la fois dans le jeu et dans la presse régulière. Il a actuellement une note de 95% d'avis positifs sur Steam.

Et malgré tout cela, personne ne l'a acheté. 24 heures après la sortie, elle n'a littéralement eu aucun avis sur Steam. Une semaine plus tard, il n'y en avait que 10. Trois mois plus tard, elle a montré la plus grande «queue» dans les données, mais n'a alors atteint que 69 avis. Maintenant, il y en a environ 100 - un coefficient de queue incroyable, mais le jeu s'est probablement avéré être un échec commercial.

C'est un bon exemple qu'un bon jeu + une bonne qualité de développement ne signifie pas toujours de bonnes ventes.

Notes: Les résultats les plus importants de cette analyse:

• Le succès du jeu sur Steam est très dépendant des performances de la première semaine
• Les indicateurs de la première semaine sont fortement corrélés à la popularité du jeu sur le marché avant sa sortie
• La qualité n'affecte pas grandement les performances de la première semaine, mais peut avoir un impact positif sur la queue des ventes de jeux.
• Toutes les conclusions concernant les ventes dépendent de la relation entre le nombre d'avis et les ventes.