Comment j'ai essayé d'améliorer Halo 2, mais je l'ai presque ruiné

Après sa sortie en 2004, Halo 2 est devenu instantanément le jeu multijoueur le plus populaire sur Xbox Live. Elle a conservé ce titre pendant près de deux ans, et vous pouvez même dire avec confiance que la principale raison de la survie du Xbox Live dans ses premières années était l'énorme popularité de ce seul jeu. Tout au long des six années de vie du jeu, plus de 6,6 millions de joueurs ont joué plus de 499 millions d'heures en multijoueur en ligne Halo 2 . L'équipe de développement de Bungie a pris un gros risque et a créé un nouveau type de jeu en ligne, qui a été un énorme succès et a ravi des millions de personnes.

Et donc je suis content de ne pas avoir tué ce jeu dans l'œuf.

Pendant le développement, Halo 2 a été baptisé "Prophets", car une nouvelle race extraterrestre a été ajoutée à l'univers Halo. À cette époque, la plupart des chercheurs de Microsoft ont fourni un support pour trois à cinq jeux, mais en raison du fait que ce projet était si important pour la première Xbox, pas moins de deux chercheurs à temps plein en expérience utilisateur, moi et Randy Pagulayan, ont été affectés à aider les développeurs de jeux. . Nous étions tous les deux des scientifiques expérimentés titulaires d'un doctorat en psychologie expérimentale et travaillons depuis longtemps au département de recherche des utilisateurs de jeux de Microsoft. Notre tâche consistait à utiliser des techniques qualitatives et quantitatives, par exemple, des études d'utilisabilité, des tests de jeu (test de jeu) et des enquêtes, permettant aux équipes de développement de comprendre comment leurs jeux seront acceptés après leur sortie.

C'est une histoire sur le moment où je n'ai pas pu devenir prophète, et mes tentatives de projeter des données de recherche pour l'avenir ont conduit à un conflit entre le département de recherche de Microsoft et l'équipe de conception de Bungie. Lorsque l'on parle de recherche par les utilisateurs de jeux, seuls les cas où nous avions raison sont mentionnés, cas où les données nous ont permis de corriger la conception des jeux. Mais cette histoire ne concerne pas un tel cas. Il s'agit de savoir comment deux chercheurs par ailleurs compétents ont tiré des conclusions erronées sur l'élément de conception innovante du jeu et ont donné de mauvaises recommandations, ainsi que comment le jeu, malgré cela, a réussi.

L'innovation

Avant Halo 2 , la plupart des jeux en ligne n'utilisaient pas de correspondance automatique des joueurs (matchmaking). Le lobby a été utilisé pour trouver d'autres personnes pour jouer en ligne. Les joueurs avaient une liste de lobbies, ils ont lu leurs brèves descriptions et ont choisi celui qui convenait. S'il s'avérait que le lobby était occupé par des hooligans ou des joueurs plus talentueux, alors vous pourriez revenir en arrière et choisir un nouveau lobby qui vous conviendrait le mieux.

Le grand avantage de ces systèmes de lobby était le contrôle. Le créateur du lobby avait la possibilité de personnaliser le jeu de manière flexible, en n'autorisant que les cartes et les modes qu'il aimait, et en rejetant les utilisateurs qui ne jouaient pas selon ses règles. Il était de coutume de voir le lobby déclarer fièrement: "sans tireurs d'élite" ou "_nom d'une carte spécifique_, chacun pour lui-même".

Le système proposé dans Halo 2 a enlevé tout le choix des joueurs, le remplaçant par un système dans lequel les joueurs ne pouvaient que choisir le type général de match (c'est-à-dire gratuit pour tous, Big Team Battle, etc.), après quoi Bungie a choisi carte, type de jeu et adversaires. L'image ci-dessous montre une capture d'écran d'une version préliminaire presque terminée d'Optimatch hopper. (La terminologie que nous avons utilisée dans le jeu n'a pas été conservée.)



Voici comment GameSpy a décrit le système Halo 2 dans un article publié avant la sortie du jeu:

«Une touche intéressante - tous les modes de jeu, les cartes, les véhicules et presque tout le reste seront déterminés par Bungie.

Bien que cela puisse sembler étrange au premier abord, c'est une bonne idée pour de nombreuses raisons. En veillant à ce que tous les joueurs soient optimisés de manière égale pour le même type de jeu, Bungie peut garantir le bon déroulement de tous les jeux. En outre, la société peut être sûre des cotes correctes, car presque tout le monde jouera sur les mêmes cartes avec environ le même nombre de joueurs. Ils pourront publier des mises à jour sur Xbox Live à tout moment, et tout le monde commencera à jouer à de nouveaux jeux. Le système de classement est déterminé par le type de matchs, c'est-à-dire que vous pouvez, par exemple, être à la 25e place en mode Assaut, mais seulement à la 78e en Slayer ... "

Cette description semble quotidienne et évidente aujourd'hui, mais elle s'est produite parce que le système a connu un tel succès qu'il est devenu la nouvelle norme pour les jeux multijoueurs. La victoire de Halo 2 était si écrasante qu'il est désormais difficile d'imaginer comment les jeux en ligne fonctionnaient auparavant.

Et je le répète encore une fois - je suis heureux de ne pas avoir été en mesure de le détruire.

La recherche

Notre tâche de recherche était de nous assurer que les joueurs comprennent le nouveau paradigme. C'était tellement différent de ce qui était implémenté dans le premier Halo que nous voulions introduire le nouveau design de vrais joueurs le plus tôt possible, en commençant par les prototypes papier et les descriptions de texte. Les joueurs ont vu des descriptions et des croquis d'interface de plusieurs options sur la façon de jouer à des jeux multijoueurs, y compris le nouveau système de matchmaking, mais sans le lobby traditionnel créé par les utilisateurs.

La réaction du nombre écrasant de participants a été la suivante: "Nous le comprenons, mais c'est dégoûtant". Les joueurs à qui nous avons parlé ont presque unanimement déclaré qu'ils voulaient le niveau de contrôle personnel que le système de lobbying leur accordait. Ils pensaient que les avantages du nouveau système de matchmaking ne valaient pas la peine d'abandonner l'ancien. C'est difficile à imaginer aujourd'hui, mais le principe «appuyez sur un bouton et faites-nous confiance» semblait utilisé pour choisir des joueurs trop anormaux et trop contrôlants.

Se considérant comme la véritable voix des utilisateurs, Randy et moi sommes allés voir Bungie et les avons informés que les joueurs étaient dégoûtés par le nouveau design et qu'ils devaient réfléchir à d'autres moyens de mettre en œuvre le multijoueur. Les concepteurs ont maintenu leur position, affirmant que leur vision de l'avenir était meilleure que le statu quo, et l'histoire a prouvé qu'ils avaient absolument raison. Les joueurs sont tombés amoureux du nouveau système et il est devenu l'étalon-or des jeux en ligne. L'étude du matchmaking Halo 2 a été le seul échec majeur de ma carrière (du moins pour l'instant).

Erreurs

Que s'est-il passé? Comment se fait-il que les résultats de la recherche soient en contradiction avec ce qui s'est réellement passé après la publication? La réponse réside dans deux erreurs interdépendantes: l'une a été faite par les participants à l'étude, l'autre par les chercheurs eux-mêmes.

L'erreur des participants a été la distorsion cognitive de la «prévision affective»: ils ont supposé qu'ils se sentiraient dans une situation hypothétique. Il existe une énorme quantité de littérature sur la façon dont de mauvaises personnes peuvent évaluer l'impact émotionnel de situations hypothétiques sur elles. Même des événements graves qui changent la vie, comme un handicap ou gagner à une loterie, sont difficiles à évaluer de manière abstraite.

Si vous aviez interrogé notre équipe de recherche à ce sujet à l'époque, vous auriez reçu la réponse: "Bien sûr, les gens ne savent pas prédire leurs émotions, mais nous ne le faisons pas." Au départ, notre étude posait la question suivante: les joueurs peuvent-ils comprendre ce système? C'est une question de recherche parfaitement acceptable, à laquelle nous avons pu répondre par un «oui» confiant. Mais lorsque les participants ont également commencé à exprimer leurs opinions sur le système, nous avons considéré ces opinions non pas comme des spéculations, mais comme de la vérité.

Le hic, c'est que les participants à l'étude n'ont jamais joué à un jeu de tir en ligne avec un véritable jumelage. Encore une fois, cela semble étrange aujourd'hui car le matchmaking est devenu une caractéristique standard de tous les jeux en ligne multi-joueurs. Mais à cette époque, les participants ne jouaient en multijoueur que sur le réseau local ou, au mieux, sur le réseau de l'auberge étudiante. Nous avons fait des recherches en 2003 lorsque moins de 16% des Américains avaient le haut débit. En fait, nous avons demandé aux participants de comparer leur expérience connue (lobby) avec l'inconnue (rapprochement honnête et précis au sein d'une grande communauté en ligne). Ils ont compris les forces et les faiblesses du système existant. Dans le cas du système de matchmaking proposé, ils ne pouvaient vraiment comprendre que ce qu'ils perdaient. Pour cette raison, le système proposé semblait un changement bien pire qu'il ne l'était réellement.

Par conséquent, lorsque les participants à l'étude nous ont dit qu'ils n'aimeraient pas utiliser un tel système, nous, les chercheurs, avons fait notre propre erreur et présenté leurs commentaires comme un reflet fidèle des sentiments de la plupart des futurs joueurs après avoir réellement joué au jeu. Cependant, après un débat houleux, Bungie a décidé d'ignorer nos objections et de passer à son nouveau système de matchmaking, qui s'est avéré être un choix absolument juste.

Bien sûr, lorsque les concepteurs de Bungie ont rejeté les données de l'équipe de recherche, ils n'ont pas signalé d'erreurs méthodologiques et n'ont pas exposé le biais cognitif. Ils avaient une vision de conception unique et claire basée sur des principes solides, et au cours des discussions animées qui ont suivi à l'intérieur du studio, ils ont obtenu la confiance des chefs de développement et de conception que c'était la façon de créer un excellent jeu multijoueur. L'un d'eux m'a secrètement dit plus tard qu'aucun résultat de nos recherches ne les convaincrait de changer de cap. Presque toujours, lorsque je transfère les données de recherche aux développeurs et qu'ils les rejettent de cette manière, après la sortie du jeu sur un ton professionnel, je dis: "Eh bien, je vous l'ai dit." Mais dans le cas de Halo 2 , le côté opposé s'est avéré avoir raison, et grâce à lui, le monde des jeux s'est amélioré.

Nous, les chercheurs, aurions dû présenter les résultats de manière plus différenciée. Nos données n'étaient correctes que si vous les regardez sous un certain angle: "C'est ce que certains joueurs diront lorsqu'ils entendent parler du système pour la première fois." Sur cette base, nous pourrions travailler avec l'équipe pour tester différentes façons d'introduire les joueurs dans le système afin d'améliorer leur première impression et d'augmenter la vitesse à laquelle les joueurs réaliseraient la vraie valeur de ce système. Dans un sens fondamental, les données n'étaient pas mauvaises, il suffisait de considérer leur valeur nominale.

Les leçons

Depuis lors, j'ai beaucoup réfléchi à cet incident, je vais donc en énumérer quelques leçons. J'espère que cette histoire permettra à d'autres de ne pas commettre spécifiquement ces erreurs et de commencer à commettre leurs propres erreurs, plus intéressantes et nouvelles.

Leçon 1: parfois les chercheurs doivent perdre dans les conflits

Les chercheurs UX ont tendance à croire qu'ils découvrent la vérité avec un «et» majuscule. Cela peut conduire à de grandes frictions lorsque d'autres participants au processus de développement refusent d'accepter nos conclusions. En fait, nous avons généralement raison, mais des résultats faussement positifs, faux négatifs et tout simplement incorrects sont toujours possibles.

L'opinion des chercheurs utilisateurs de jeux a toujours un poids significatif dans le processus de développement, même lorsque nous ne sommes pas plus idéaux que tous les autres employés. Nous devons défendre activement notre compréhension de l'expérience utilisateur, mais cela ne signifie pas que nous devons toujours gagner. En fait, je veux dire que, comme les joueurs de nos jeux, les chercheurs devraient avoir un niveau d'échec idéal. Si chaque étude réussit également, cela signifiera simplement que nous ne sommes pas assez innovants ou n'abordons pas des sujets de recherche complexes. Nous devons prendre des risques, ce qui signifie que parfois nous devons perdre.

Leçon 2: une erreur ne signifie pas la fin du travail avec les chercheurs

La recherche d'utilisateurs sur Halo 2 a été un travail très dur. Microsoft a fait un gros pari sur ce projet, lui donnant une telle ressource de chercheurs qui, à un autre moment, pourrait prendre en charge une demi-douzaine de jeux. Bungie Studios, bien connu pour sa sélection méticuleuse de partenaires, a fait un acte de foi, nous offrant un niveau d'accès sans précédent à son processus de développement au cours de l'un des crunchs les plus durs de son histoire. Randy et moi avions une énorme responsabilité: nous devions influencer les commentaires des utilisateurs sur la conception du jeu, ce qui était très important pour beaucoup de gens. Face aux notes sans équivoque des participants, horrifiés que le design affecte négativement les impressions de millions de joueurs, nous avons décidé que nous devions accepter la bataille. Mais nous nous sommes trompés et nous avons perdu.

Cette histoire s'est produite en 2003, au milieu du cycle de développement de Halo 2 , et nous avons fait beaucoup d'autres recherches réussies sur le jeu. Après sa sortie, Randy et moi avons plongé dans le processus de support de la suite, Halo 3 , qui est devenu l'un des projets de recherche d'utilisateurs de jeux les plus réussis. Les deux mêmes chercheurs, les mêmes designers, la même franchise, mais notre travail a fini sur la couverture du magazine Wired et est devenu un jalon important qui a fait de la recherche sur les utilisateurs une procédure incontournable pour l'industrie du jeu. En fait, cette étude et son échec ont contribué directement au succès futur. La direction de Bungie a conclu que la recherche doit être davantage intégrée au travail des concepteurs pour que cela ne se reproduise plus, et cette intégration est devenue la principale raison de notre succès avec Halo 3 . Quelques années plus tard, Bungie elle-même m'a même embauchée pour créer et gérer son département de recherche interne.

Les chercheurs ne sont pas parfaits, mais nos partenaires n'ont pas besoin de nous pour être parfaits. Ils ont besoin que nous leur transmettions honnêtement et pleinement les opinions des joueurs, afin que nous nous poussions à innover et à prendre des risques, à reconnaître nos erreurs et à nous y adapter.

Leçon 3: travaux de recherche et de conception sur le même domaine, mais selon des règles différentes

Les joueurs ne peuvent juger que par leurs propres sentiments: soit par leur expérience de jeu, soit par ce qu'ils voient juste devant eux dans le laboratoire. Le travail du chercheur étant de renforcer la voix des joueurs, nous avons les mêmes limites. Nos prophéties ne sont pas plus vraies que ce à quoi les joueurs réagissent.

Les concepteurs n'ont pas une telle restriction. Ils proposent des idées qui n'ont rien ou presque rien à voir avec ce qui s'est passé auparavant. Pour cette raison, de telles idées peuvent être difficiles à tester et à vérifier. Il existe des moyens d'évaluer de nouvelles idées, mais en tant que chercheurs, nous devons être conscients que ces méthodes sont beaucoup plus risquées que d'autres outils et mesurer nos conclusions.

C'est drôle qu'un bon contre-exemple de la présentation de nouveaux éléments de gameplay ait été clairement démontré par l'équipe Bungie lors du développement de Halo 2 . Le système de matchmaking discuté dans l'article n'était qu'une partie d'une liste beaucoup plus étendue de fonctionnalités multijoueurs apparues dans Halo 2 , et de nombreuses autres idées ont rencontré la même résistance. Pour convaincre le leadership sceptique de Microsoft, l'équipe de conception a créé une simulation vidéo de l'apparence du jeu avec des amis dans le produit fini. Bien que cette solution ne fonctionnerait pas avec le matchmaking, elle est devenue un exemple de combien d'efforts et de fiction sont nécessaires pour transmettre une vision d'un nouveau gameplay.

Leçon 4: commettre des erreurs méthodologiques et faire face à leurs conséquences est le meilleur moyen de comprendre la structure de la recherche

Bien sûr, je connaissais les problèmes de prédiction de l'affect avant cette étude. Mais je me suis quand même laissé emporter par l'opinion confiante des participants sur le nouveau système et j'ai pris leurs prédictions comme un fait. Ayant commis une telle erreur une fois et devant ses conséquences humiliantes, je suis devenu beaucoup moins enclin à la répéter.

Bien sûr, se souvenir des principes de la planification d'une recherche de qualité est correct et bon, mais vous ne les ressentirez jamais dans votre peau tant que vous n'aurez pas enfreint ces principes et que vous n'aurez personnellement rencontré les résultats. Peu importe que vous ayez violé les règles intentionnellement ou que les circonstances soient en partie à blâmer. Lorsque vous devez jeter des jours ou des semaines de dur labeur dans un seau, cela laisse des cicatrices qui vous rappellent. Aller au-delà des drapeaux peut être le meilleur moyen de comprendre pourquoi ces drapeaux sont nécessaires.

Mais vous constaterez également que parfois ... il n'y a pas de rétribution. Certaines règles de recherche qualitative se révèlent être des lois de la nature, tandis que d'autres ne sont que des recommandations. L'étude des utilisateurs du jeu est un domaine appliqué; le travail y est effectué à une vitesse vertigineuse, avec des ressources limitées et dans la confusion. Toutes les recherches ne seront pas un joyau de planification. Les dirigeants demandent des changements dans les méthodes de recherche, les participants sautent les réunions, les équipements tombent en panne et la tâche du chercheur est de choisir une méthode d'adaptation aux conditions les moins endommagées. Comprendre quels principes permettent la flexibilité et ceux qui ne peuvent pas être violés nous améliore en tant que chercheurs, nous permet de nous adapter et d'apporter un maximum d'avantages aux développeurs et à leurs jeux.

En conclusion

Les innovations de conception nécessitent des risques, et dans ce cas, le risque pris par l'équipe de conception de Bungie a fait ses preuves à maintes reprises. Une tâche importante de la recherche d'utilisateurs dans le processus de développement est de réduire ce risque de conception. La recherche permet aux concepteurs d'essayer de nouvelles choses tout en découvrant et en résolvant les problèmes potentiels avant qu'ils ne gênent les vrais joueurs. Mais à l'intérieur de notre profession, nous prenons également nos propres petits risques, en utilisant notre opinion personnelle dans le choix de la structure de recherche et s'il vaut la peine de se battre pour la solution des problèmes identifiés. Dans ce cas, notre choix spécifique ne s'est pas justifié, mais cela ne nie pas le fait que les risques de recherche sont nécessaires.Un bon chercheur doit toujours utiliser son expérience et son intuition pour sélectionner le niveau de risque approprié, qui convient de manière optimale aux concepteurs et qui profite aux joueurs.

Un merci spécial à Randy Pagulayan pour son aide dans la création de cet article et pour le courage qui lui a permis de partager ce fardeau de honte publique avec moi. Je remercie également Chris Butcher, David Candland, Curtis Creamer, Max Hoberman et Jason Jones de m'avoir aidé à rafraîchir cette histoire et de m'avoir conseillé sur la meilleure façon de la décrire.

À propos de l'auteur: 16 . , Halo, Age of Empires, Destiny, World of Warcraft, Overwatch Hearthstone. , , «Behavioral Game Design». ArenaNet. ArenaNet .