Cómo intenté mejorar Halo 2, pero casi lo arruiné

Tras su lanzamiento en 2004, Halo 2 se convirtió instantáneamente en el juego multijugador más popular en Xbox Live. Ella conservó este título durante casi dos años, e incluso se puede decir con confianza que la razón principal de la supervivencia de Xbox Live en sus primeros años fue la gran popularidad de este único juego. A lo largo de los seis años de vida del juego, más de 6.6 millones de jugadores han jugado más de 499 millones de horas en el modo multijugador en línea Halo 2 . El equipo de desarrollo de Bungie asumió un gran riesgo y creó un nuevo tipo de juego en línea, que fue un gran éxito y deleitó a millones de personas.

Y me alegro de no haber matado este juego de raíz.

Durante el desarrollo, Halo 2 recibió el nombre en código de "Profetas", porque se agregó una nueva raza alienígena al universo de Halo. En ese momento, la mayoría de los investigadores de Microsoft brindaban soporte para tres o cinco juegos, pero debido a que este proyecto era tan importante para la primera Xbox, dos investigadores de experiencia del usuario, yo y Randy Pagulayan, fuimos asignados para ayudar a los desarrolladores del juego durante todo el tiempo. . Ambos éramos científicos experimentados con doctorados en psicología experimental y durante mucho tiempo hemos estado en el departamento de Investigación de usuarios de juegos de Microsoft. Nuestra tarea consistía en utilizar técnicas cualitativas y cuantitativas, por ejemplo, estudios de usabilidad, pruebas de juego (pruebas de juego) y encuestas, permitiendo a los equipos de desarrollo comprender cómo se aceptarán sus juegos después del lanzamiento.

Esta es una historia sobre el momento en que no pude convertirme en profeta, y mis intentos de proyectar datos de investigación para el futuro llevaron a un conflicto entre el departamento de investigación de Microsoft y el equipo de diseño de Bungie. Cuando hablamos de la investigación realizada por los usuarios del juego, generalmente solo se mencionan los casos en los que teníamos razón, los casos en que los datos nos permitieron corregir el diseño de los juegos. Pero esta historia no se trata de tal caso. Se trata de cómo dos investigadores competentes, por lo demás, llegaron a conclusiones erróneas sobre el elemento de diseño innovador del juego y dieron malas recomendaciones, así como también cómo el juego, a pesar de esto, obtuvo éxito.

Innovación

Antes de Halo 2 , la mayoría de los juegos en línea no usaban la coincidencia automática de jugadores (emparejamiento). El lobby se utilizó para encontrar otras personas para jugar en línea. Los jugadores tenían una lista de lobbies, leían sus breves descripciones y elegían la apropiada. Si resultó que el lobby estaba ocupado por hooligans o jugadores más talentosos, entonces podrías regresar y elegir un nuevo lobby que sea más adecuado para ti.

La gran ventaja de tales sistemas de lobby era el control. El creador del lobby tenía la capacidad de personalizar el juego de manera flexible, permitiendo solo las cartas y modos que le gustaban, y expulsando a los usuarios que jugaban de acuerdo con sus reglas. Era costumbre ver el lobby, declarando con orgullo: "sin francotiradores" o "_nombre de una tarjeta específica_, cada uno por sí mismo".

El sistema propuesto en Halo 2 eliminó todas las opciones de los jugadores, reemplazándolo por un sistema en el que los jugadores solo podían elegir el tipo general de partido (es decir, Gratis para todos, Big Team Battle, etc.), después de lo cual Bungie eligió mapa, tipo de juego y oponentes. La siguiente imagen muestra una captura de pantalla de una versión preliminar casi completa de la tolva Optimatch. (La terminología que utilizamos en el juego no se conservó).



Así es como GameSpy describió el sistema Halo 2 en un artículo publicado antes del lanzamiento del juego:

“Un giro interesante: todos los modos de juego, mapas, vehículos y casi todo lo demás serán determinados por Bungie.

Aunque esto puede parecer extraño al principio, es una buena idea por muchas razones. Al garantizar que todos los jugadores estén optimizados por igual para el mismo tipo de juego, Bungie puede garantizar que todos los juegos funcionen sin problemas. Además, la compañía puede estar segura de las calificaciones correctas, porque casi todos jugarán en las mismas cartas con aproximadamente el mismo número de jugadores. Podrán publicar actualizaciones para Xbox Live en cualquier momento, y todos comenzarán a jugar juegos nuevos. El sistema de clasificación está determinado por el tipo de coincidencias, es decir, puede, por ejemplo, estar en el lugar 25 en el modo Asalto, pero solo en el 78 en Slayer ... "

Esta descripción parece cotidiana y obvia hoy, pero sucedió porque el sistema tuvo tanto éxito que se convirtió en el nuevo estándar para los juegos multijugador. La victoria de Halo 2 fue tan abrumadora que ahora es difícil imaginar cómo funcionaban antes los juegos en línea.

Y repito de nuevo: me alegro de no haber podido destruirlo.

Investigación

Nuestra tarea de investigación fue asegurarnos de que los jugadores entiendan el nuevo paradigma. Era tan diferente de lo que se implementó en el primer Halo que queríamos presentar el nuevo diseño de jugadores reales lo antes posible, comenzando con prototipos en papel y descripciones de texto. A los jugadores se les mostraron descripciones y bocetos de la interfaz de varias opciones sobre cómo jugar juegos multijugador, incluido el nuevo sistema de emparejamiento, pero sin el lobby tradicional creado por los usuarios.

La reacción del abrumador número de participantes fue esta: "Lo entendemos, pero es asqueroso". Los jugadores con los que hablamos informaron casi por unanimidad que querían el nivel de control personal que les dio el sistema de lobby. Creían que las ventajas del nuevo sistema de emparejamiento no valían la pena abandonar el viejo. Hoy es difícil de imaginar, pero el principio de "pulsar un botón y confiar en nosotros" parecía estar acostumbrado a elegir jugadores por sí mismos demasiado anormales y controlados.

Al considerarnos la verdadera voz de los usuarios, Randy y yo fuimos a Bungie y les informamos que los jugadores estaban disgustados por el nuevo diseño y que debían pensar en otras formas de implementar el modo multijugador. Los diseñadores se mantuvieron firmes, argumentando que su visión del futuro es mejor que el status quo, y la historia ha demostrado que tenían toda la razón. Los jugadores se enamoraron del nuevo sistema y se convirtió en el estándar de oro de los juegos en línea. Estudiar el emparejamiento de Halo 2 fue el único fracaso importante en mi carrera (al menos por ahora).

Errores

Que paso ¿Cómo sucedió que los resultados de la investigación estaban en contradicción con lo que realmente sucedió después del lanzamiento? La respuesta radica en dos errores interrelacionados: uno fue realizado por los participantes en el estudio, el otro por los propios investigadores.

El error de los participantes fue la distorsión cognitiva del "pronóstico afectivo": asumieron que se sentirían en una situación hipotética. Existe una gran cantidad de literatura sobre cómo las personas equivocadas pueden evaluar el impacto emocional de situaciones hipotéticas en ellas. Incluso los eventos graves que cambian la vida, como la discapacidad o ganar una lotería, son difíciles de evaluar de manera abstracta.

Si le hubiera preguntado a nuestro equipo de investigación sobre esto en ese momento, habría recibido la respuesta: "Por supuesto, las personas no saben cómo predecir sus emociones, pero nosotros no lo estamos haciendo". Inicialmente, nuestro estudio planteó la siguiente pregunta: ¿pueden los jugadores entender este sistema? Esta es una pregunta perfectamente aceptable para la investigación, a la que pudimos responder con un "sí" seguro. Pero cuando los participantes también comenzaron a expresar sus opiniones sobre el sistema, consideramos estas opiniones no como especulaciones, sino como verdades.

El problema fue que los participantes del estudio nunca jugaron un juego de disparos en línea con emparejamiento real. Una vez más, esto parece extraño hoy porque el emparejamiento se ha convertido en una característica estándar de cada juego multijugador en línea. Pero en ese momento, los participantes jugaban multijugador solo en la red local o, en el mejor de los casos, en la red del albergue estudiantil. Investigamos en 2003 cuando menos del 16% de los estadounidenses tenían banda ancha. De hecho, les pedimos a los participantes que compararan su experiencia conocida (lobby) con la desconocida (emparejamiento honesto y preciso entre una gran comunidad en línea). Entendieron las fortalezas y debilidades del sistema existente. En el caso del sistema de emparejamiento propuesto, realmente solo podían entender lo que estaban perdiendo. Debido a esto, el sistema propuesto parecía un cambio mucho peor de lo que realmente era.

Por lo tanto, cuando los participantes del estudio nos dijeron que no les gustaría usar dicho sistema, nosotros, los investigadores, cometimos nuestro propio error y presentamos sus comentarios como un reflejo exacto de los sentimientos de la mayoría de los futuros jugadores después de que realmente juegan el juego. Sin embargo, después de un acalorado debate, Bungie decidió ignorar nuestras objeciones y seguir adelante con su nuevo sistema de emparejamiento, que resultó ser una elección absolutamente correcta.

Por supuesto, cuando los diseñadores de Bungie rechazaron los datos del equipo de investigación, no señalaron errores metodológicos y no expusieron el sesgo cognitivo. Tenían una visión de diseño excepcionalmente clara basada en principios sólidos, y durante las acaloradas discusiones que siguieron dentro del estudio, los líderes de desarrollo y diseño les dieron una gran confianza de que esta era la forma de crear un excelente juego multijugador. Uno de ellos me dijo en secreto más tarde que ningún resultado de nuestra investigación los convencería de cambiar su curso. Casi siempre, cuando transfiero los datos de la investigación a los desarrolladores y ellos los rechazan de esta manera, después del lanzamiento del juego en un tono profesional, les digo: "Bueno, te lo dije". Pero en el caso de Halo 2 , el lado opuesto resultó ser correcto y, gracias a ello, el mundo del juego ha mejorado.

Nosotros, los investigadores, deberíamos haber presentado los resultados de manera más diferencial. Nuestros datos son correctos solo si los observa desde cierto ángulo: "Eso es lo que algunos jugadores dirán cuando escuchen sobre el sistema por primera vez". En base a esto, podríamos trabajar con el equipo para probar varias formas de introducir a los jugadores al sistema para mejorar su primera impresión y aumentar la velocidad con la que los jugadores se darían cuenta del verdadero valor de este sistema. En un sentido fundamental, los datos no eran malos, solo teníamos que considerar su valor nominal.

Las lecciones

Desde entonces, pensé mucho en este incidente, así que enumeraré algunas lecciones aprendidas de él. Espero que esta historia permita que otros no cometan específicamente estos errores y comiencen a cometer sus propios errores, más interesantes y nuevos.

Lección 1: a veces los investigadores tienen que perder en disputas

Los investigadores de UX tienden a creer que descubren la Verdad con una "Y" mayúscula. Esto puede conducir a una gran fricción cuando otros participantes en el proceso de desarrollo se niegan a aceptar nuestras conclusiones. De hecho, generalmente tenemos razón, pero siempre son posibles resultados falsos positivos, falsos negativos y simplemente incorrectos.

La opinión de los investigadores de usuarios de juegos siempre tiene un peso significativo en el proceso de desarrollo, incluso cuando no somos más ideales que todos los demás empleados. Debemos defender activamente nuestra comprensión de UX, pero esto no significa que siempre debemos ganar. De hecho, quiero decir que, al igual que los jugadores en nuestros juegos, los investigadores deberían tener un nivel ideal de fracaso. Si cada estudio es igualmente exitoso, simplemente significará que no somos lo suficientemente innovadores o que no abordamos temas de investigación complejos. Necesitamos correr riesgos, y esto significa que a veces tenemos que perder.

Lección 2: un error no significa el final del trabajo con investigadores

La investigación de usuarios de Halo 2 ha sido un trabajo muy duro. Microsoft hizo una gran apuesta en este proyecto, dándole un recurso de investigadores tan grande que en otro momento podría soportar media docena de juegos. Bungie Studios, conocido por su meticulosa selección de socios, ha dado un salto de fe, dándonos un nivel de acceso sin precedentes a su proceso de desarrollo durante uno de los crujidos más difíciles de su historia. Randy y yo teníamos una gran responsabilidad: teníamos que influir en los comentarios de los usuarios sobre el diseño del juego, lo cual era muy importante para mucha gente. Ante las calificaciones inequívocas de los participantes, horrorizados de que el diseño afectará negativamente las impresiones de millones de jugadores, decidimos que debemos aceptar la batalla. Pero nos equivocamos y perdimos.

Esta historia ocurrió en 2003, en la mitad del ciclo de desarrollo de Halo 2 , e hicimos muchas otras investigaciones exitosas sobre el juego. Después de su lanzamiento, Randy y yo nos sumergimos en el proceso de soporte de secuelas, Halo 3 , que se convirtió en uno de los proyectos de investigación de usuarios de juegos más exitosos. Los mismos dos investigadores, los mismos diseñadores, la misma franquicia, pero nuestro trabajo terminó en la portada de la revista Wired y se convirtió en un hito importante que convirtió la investigación de los usuarios en un procedimiento imprescindible para la industria del juego. De hecho, este estudio y su fracaso hicieron una contribución directa al éxito futuro. La gerencia de Bungie concluyó que la investigación debe estar más integrada con el trabajo de los diseñadores para evitar que esto suceda más, y esta integración se ha convertido en la razón principal de nuestro éxito con Halo 3 . Unos años más tarde, Bungie misma incluso me contrató para crear y administrar su departamento interno de investigación.

Los investigadores no son perfectos, pero nuestros socios no necesitan que seamos perfectos. Necesitan que les transmitamos honesta y plenamente las opiniones de los jugadores, para que podamos esforzarnos por innovar y asumir riesgos, reconocer nuestros errores y adaptarnos a ellos.

Lección 3: trabajo de investigación y diseño en el mismo campo, pero de acuerdo con diferentes reglas

Los jugadores solo pueden juzgar por sus propios sentimientos: ya sea por su experiencia de juego o por lo que ven frente a ellos en el laboratorio. Dado que el trabajo del investigador es fortalecer la voz de los jugadores, tenemos las mismas limitaciones. Nuestras profecías no son verdaderas más de lo que los jugadores reaccionan.

Los diseñadores no tienen esa restricción. Se les ocurren ideas que tienen poco o nada que ver con lo que sucedió antes. Debido a esto, tales ideas pueden ser difíciles de probar y verificar. Hay formas de evaluar nuevas ideas, pero como investigadores, debemos ser conscientes de que estos métodos son mucho más riesgosos que otras herramientas y medir nuestras conclusiones.

Es curioso que el equipo de Bungie haya demostrado claramente un buen contraejemplo de la presentación de nuevos elementos de juego durante el desarrollo de Halo 2 . El sistema de emparejamiento discutido en el artículo era solo una parte de una lista mucho más extensa de características multijugador que aparecieron en Halo 2 , y muchas otras ideas se encontraron con la misma resistencia. Para convencer al liderazgo escéptico de Microsoft, el equipo de diseño creó una simulación de video de cómo se verá el juego con amigos en el producto terminado. Aunque esta solución no funcionaría con el emparejamiento, se ha convertido en un ejemplo de cuánto esfuerzo y ficción se requieren para transmitir una visión de un nuevo juego.

Lección 4: cometer errores metodológicos y enfrentar sus consecuencias es la mejor manera de comprender la estructura de la investigación

Por supuesto, sabía sobre los problemas con la predicción del afecto antes de este estudio. Pero todavía me dejé llevar por la opinión confiada de los participantes sobre el nuevo sistema y tomé sus predicciones como un hecho. Habiendo cometido tal error una vez y enfrentando sus humillantes consecuencias, me sentí mucho menos inclinado a repetirlo.

Por supuesto, recordar los principios de planificación de una investigación de calidad es correcto y bueno, pero nunca los sentirá en su propia piel hasta que rompa estos principios y personalmente encuentre los resultados. No importa si violó las reglas intencionalmente o si las circunstancias fueron parcialmente culpables. Cuando tienes que tirar días o semanas de trabajo duro en un balde, deja cicatrices que te recuerdan a ti mismo. Ir más allá de las banderas puede ser la mejor manera de entender por qué estas banderas son necesarias.

Pero también encontrarás que a veces ... no hay retribución. Algunas reglas de investigación cualitativa resultan ser leyes de la naturaleza, mientras que otras son solo recomendaciones. El estudio de los usuarios del juego es un campo aplicado; el trabajo se lleva a cabo a una velocidad vertiginosa, recursos limitados y en confusión. No todas las investigaciones serán una joya de planificación. Los líderes están presionando para que se realicen cambios en los métodos de investigación, los participantes se saltan las reuniones, el equipo se descompone y la tarea del investigador es elegir un método de adaptación a las condiciones con el menor daño. Comprender qué principios permiten la flexibilidad y cuáles no se pueden violar nos mejora como investigadores, nos permite adaptarnos y brindar el máximo beneficio a los desarrolladores y sus juegos.

En conclusión

Las innovaciones de diseño requieren riesgos, y en este caso, el riesgo asumido por el equipo de diseño de Bungie se ha comprobado muchas veces. Una tarea importante de la investigación del usuario en el proceso de desarrollo es reducir este riesgo de diseño. La investigación permite a los diseñadores probar cosas nuevas mientras descubren y solucionan problemas potenciales antes de que se interpongan en el camino de jugadores reales. Pero dentro de nuestra profesión, también asumimos nuestros pequeños riesgos, utilizando nuestra opinión personal al elegir la estructura de investigación y si vale la pena luchar por la solución de los problemas identificados. En este caso, nuestra elección específica no se justificó, pero esto no niega el hecho de que los riesgos de investigación son necesarios.Un buen investigador siempre debe usar su experiencia e intuición para seleccionar el nivel de riesgo apropiado, que sea óptimo para los diseñadores y que beneficie a los jugadores.

Un agradecimiento especial a Randy Pagulayan por su ayuda en la creación de este artículo y por el coraje que le permitió compartir esta carga de vergüenza pública conmigo. También agradezco a Chris Butcher, David Candland, Curtis Creamer, Max Hoberman y Jason Jones por ayudarme a actualizar esta historia y aconsejarme sobre cómo describirla mejor.

Sobre el autor 16 . , Halo, Age of Empires, Destiny, World of Warcraft, Overwatch Hearthstone. , , «Behavioral Game Design». ArenaNet. ArenaNet .