Wie ich versucht habe, Halo 2 zu verbessern, es aber fast ruiniert habe

Nach seiner Veröffentlichung im Jahr 2004 wurde Halo 2 sofort zum beliebtesten Multiplayer-Spiel auf Xbox Live. Sie hat diesen Titel fast zwei Jahre lang behalten, und man kann sogar mit Zuversicht sagen, dass der Hauptgrund für das Überleben von Xbox Live in ihren frühen Jahren die enorme Beliebtheit dieses einzigen Spiels war. Während der sechsjährigen Spieldauer haben mehr als 6,6 Millionen Spieler mehr als 499 Millionen Stunden im Online-Multiplayer- Modus Halo 2 gespielt . Das Bungie-Entwicklungsteam ging ein großes Risiko ein und entwickelte eine neue Art von Online-Spiel, das ein großer Erfolg war und Millionen von Menschen begeisterte.

Und so bin ich froh, dass ich dieses Spiel nicht im Keim getötet habe.

Während der Entwicklung wurde Halo 2 mit dem Codenamen "Propheten" versehen, da dem Halo-Universum eine neue Alien-Rasse hinzugefügt wurde. Zu dieser Zeit unterstützten die meisten Forscher bei Microsoft drei bis fünf Spiele. Aufgrund der Tatsache, dass dieses Projekt für die erste Xbox so wichtig war, wurden zwei User Experience-Forscher, ich und Randy Pagulayan, zugewiesen, um den Entwicklern des Spiels für die gesamte Zeit zu helfen. . Wir waren beide erfahrene Wissenschaftler mit einem Doktortitel in experimenteller Psychologie und waren lange Zeit in der Abteilung Games User Research von Microsoft. Unsere Aufgabe war es, qualitative und quantitative Techniken zu verwenden, zum Beispiel Usability-Studien, Spieletests (Spieletests) und Umfragen, damit Entwicklungsteams verstehen, wie ihre Spiele nach der Veröffentlichung akzeptiert werden.

Dies ist eine Geschichte über die Zeit, als ich kein Prophet werden konnte und meine Versuche, Forschungsdaten für die Zukunft zu projizieren, zu einem Konflikt zwischen der Microsoft-Forschungsabteilung und dem Bungie-Designteam führten. Wenn wir über Nachforschungen von Spielbenutzern sprechen, werden normalerweise nur Fälle erwähnt, in denen wir Recht hatten, Fälle, in denen die Daten es uns ermöglichten, das Design der Spiele zu korrigieren. Aber in dieser Geschichte geht es nicht um einen solchen Fall. Es geht darum, wie zwei ansonsten kompetente Forscher falsche Schlussfolgerungen über das innovative Designelement des Spiels gezogen und schlechte Empfehlungen gegeben haben und wie das Spiel trotz alledem Erfolg hatte.

Innovation

Vor Halo 2 verwendeten die meisten Online-Spiele kein automatisches Spieler-Matching (Matchmaking). In der Lobby wurden andere Leute gefunden, die online spielen konnten. Die Spieler hatten eine Liste von Lobbys, sie lasen ihre kurzen Beschreibungen und wählten die entsprechende aus. Wenn sich herausstellen würde, dass die Lobby von Hooligans oder talentierteren Spielern besetzt ist, können Sie zurückgehen und eine neue Lobby auswählen, die besser zu Ihnen passt.

Der große Vorteil solcher Lobby-Systeme war die Kontrolle. Der Schöpfer der Lobby hatte die Möglichkeit, das Gameplay flexibel anzupassen, nur die Karten und Modi zuzulassen, die er mochte, und Benutzer, die nicht nach seinen Regeln spielten, auszuschließen. Es war üblich, die Lobby zu sehen und stolz zu erklären: "ohne Scharfschützen" oder "Name einer bestimmten Karte, jede für sich".

Das in Halo 2 vorgeschlagene System nahm allen Spielern die Wahl und ersetzte es durch ein System, in dem die Spieler nur die allgemeine Art des Spiels auswählen konnten (d. H. Kostenlos für alle, Big Team Battle usw.), wonach Bungie sich entschied Karte, Art des Spiels und Gegner. Das Bild unten zeigt einen Screenshot einer fast fertigen Vorabversion von Optimatch Hopper. (Die im Spiel verwendete Terminologie wurde nicht beibehalten.)



So hat GameSpy das Halo 2- System in einem Artikel beschrieben, der vor der Veröffentlichung des Spiels veröffentlicht wurde:

„Eine interessante Wendung - alle Spielmodi, Karten, Fahrzeuge und fast alles andere werden von Bungie bestimmt.

Obwohl dies zunächst seltsam erscheinen mag, ist es aus vielen Gründen eine gute Idee. Indem Bungie sicherstellt, dass alle Spieler gleichermaßen für dieselbe Art von Spiel optimiert sind, kann Bungie sicherstellen, dass alle Spiele reibungslos ablaufen. Außerdem kann sich das Unternehmen auf die richtigen Bewertungen verlassen, da fast jeder mit ungefähr der gleichen Anzahl von Spielern auf denselben Karten spielt. Sie können jederzeit Updates auf Xbox Live veröffentlichen und jeder wird neue Spiele spielen. Das Bewertungssystem wird durch die Art der Übereinstimmungen bestimmt, dh Sie können beispielsweise im Angriffsmodus auf dem 25. Platz stehen, im Slayer jedoch nur auf dem 78. Platz ... "

Diese Beschreibung scheint heute alltäglich und offensichtlich zu sein, aber sie geschah, weil das System so erfolgreich war, dass es zum neuen Standard für Multiplayer-Spiele wurde. Der Sieg von Halo 2 war so überwältigend, dass man sich kaum vorstellen kann, wie Online-Spiele zuvor funktionierten.

Und wieder wiederhole ich - ich bin froh, dass ich es nicht zerstören konnte.

Forschung

Unsere Forschungsaufgabe war es, sicherzustellen, dass die Spieler das neue Paradigma verstehen. Es war so anders als das, was im ersten Halo implementiert wurde, dass wir das neue Design von echten Spielern so früh wie möglich einführen wollten, beginnend mit Papierprototypen und Textbeschreibungen. Den Spielern wurden Beschreibungen und Schnittstellenskizzen verschiedener Optionen zum Spielen von Multiplayer-Spielen gezeigt, einschließlich des neuen Matchmaking-Systems, jedoch ohne die von den Benutzern erstellte traditionelle Lobby.

Die überwältigende Zahl der Teilnehmer reagierte wie folgt: "Wir verstehen es, aber es ist widerlich." Die Spieler, mit denen wir gesprochen haben, berichteten fast einstimmig, dass sie das Maß an persönlicher Kontrolle wollten, das das Lobby-System ihnen gab. Sie glaubten, dass die Vorteile des neuen Matchmaking-Systems es nicht wert waren, das alte aufzugeben. Es ist heute schwer vorstellbar, aber dann schien das Prinzip „Drücken Sie einen Knopf und vertrauen Sie uns“ daran gewöhnt zu sein, Spieler selbst zu abnormal und kontrollierend auszuwählen.

Randy und ich betrachteten uns als die wahre Stimme der Benutzer und gingen zu Bungie und sagten ihnen, dass die Spieler das neue Design ablehnten und dass sie über andere Möglichkeiten nachdenken mussten, um Multiplayer zu implementieren. Designer behaupteten sich und argumentierten, dass ihre Zukunftsvision besser sei als der Status Quo, und die Geschichte hat bewiesen, dass sie absolut Recht hatten. Die Spieler verliebten sich in das neue System und es wurde zum Goldstandard für Online-Spiele. Das Studium des Halo 2 Matchmaking war der einzige große Misserfolg in meiner Karriere (zumindest für den Moment).

Fehler

Was ist passiert? Wie kam es, dass die Forschungsergebnisse in einem solchen Widerspruch zu dem standen, was nach der Veröffentlichung tatsächlich geschah? Die Antwort liegt in zwei miteinander verbundenen Fehlern: Einer wurde von den Teilnehmern der Studie gemacht, der andere von den Forschern selbst.

Der Fehler der Teilnehmer war die kognitive Verzerrung der „affektiven Vorhersage“: Sie gingen davon aus, dass sie sich in einer hypothetischen Situation fühlen würden. Es gibt eine große Menge an Literatur darüber, wie falsche Menschen die emotionalen Auswirkungen hypothetischer Situationen auf sie bewerten können. Selbst schwerwiegende lebensverändernde Ereignisse wie Behinderung oder Lottogewinn sind abstrakt schwer zu bewerten.

Wenn Sie unser Forschungsteam zu diesem Zeitpunkt danach gefragt hätten, hätten Sie die Antwort erhalten: „Natürlich wissen die Menschen nicht, wie sie ihre Emotionen vorhersagen sollen, aber wir tun dies nicht.“ Unsere Studie warf zunächst die folgende Frage auf: Können Spieler dieses System verstehen? Dies ist eine durchaus akzeptable Frage für die Forschung, auf die wir mit einem zuversichtlichen "Ja" antworten konnten. Als die Teilnehmer aber auch anfingen, ihre Meinung zum System zu äußern, betrachteten wir diese Meinungen nicht als Spekulationen, sondern als Wahrheit.

Der Haken war, dass die Studienteilnehmer nie einen Online-Shooter mit echtem Matchmaking spielten. Auch dies scheint heute wieder seltsam, da Matchmaking zu einem Standardmerkmal jedes Online-Spiels für mehrere Spieler geworden ist. Zu dieser Zeit spielten die Teilnehmer Multiplayer nur im lokalen Netzwerk oder bestenfalls im Netzwerk des Studentenheims. Wir haben 2003 recherchiert, als weniger als 16% der Amerikaner Breitband hatten. Tatsächlich haben wir die Teilnehmer gebeten, ihre bekannten Erfahrungen (Lobby) mit den unbekannten zu vergleichen (ehrliches und genaues Matchmaking in einer großen Online-Community). Sie verstanden die Stärken und Schwächen des bestehenden Systems. Im Falle des vorgeschlagenen Matchmaking-Systems konnten sie wirklich nur verstehen, was sie verloren hatten. Aus diesem Grund schien das vorgeschlagene System eine viel schlimmere Änderung zu sein als es tatsächlich war.

Als die Studienteilnehmer uns sagten, dass sie ein solches System nicht verwenden möchten, machten wir, die Forscher, unseren eigenen Fehler und präsentierten ihre Kommentare als genaue Widerspiegelung der Gefühle der meisten zukünftigen Spieler, nachdem sie das Spiel tatsächlich gespielt haben. Nach einer hitzigen Debatte beschloss Bungie jedoch, unsere Einwände zu ignorieren und mit ihrem neuen Matchmaking-System fortzufahren, das sich als absolut richtige Wahl herausstellte.

Als die Bungie-Designer die Daten des Forschungsteams ablehnten, wiesen sie natürlich nicht auf methodische Fehler hin und deckten keine kognitiven Vorurteile auf. Sie hatten eine einzigartig klare Designvision, die auf soliden Prinzipien beruhte, und während der anschließenden hitzigen Diskussionen im Studio erhielten sie von den Entwicklungs- und Designleitern das kampferprobte Vertrauen, dass dies der Weg war, um ein exzellentes Multiplayer-Spiel zu erstellen. Einer von ihnen sagte mir später heimlich, dass keine Ergebnisse unserer Forschung sie überzeugen würden, ihren Kurs zu ändern. Fast immer, wenn ich die Forschungsdaten an die Entwickler übertrage und sie auf diese Weise ablehnen, sage ich nach der Veröffentlichung des Spiels in einem professionellen Ton: "Nun, ich habe es Ihnen gesagt." Aber im Fall von Halo 2 hat sich die Gegenseite als richtig herausgestellt, und dank dieser ist die Spielwelt besser geworden.

Wir, die Forscher, hätten die Ergebnisse differenzierter darstellen sollen. Unsere Daten waren nur dann korrekt, wenn Sie sie aus einem bestimmten Blickwinkel betrachten: "Das werden einige Spieler sagen, wenn sie zum ersten Mal von dem System hören." Auf dieser Grundlage könnten wir mit dem Team zusammenarbeiten, um verschiedene Möglichkeiten zu testen, wie Spieler in das System eingeführt werden können, um ihren ersten Eindruck zu verbessern und die Geschwindigkeit zu erhöhen, mit der Spieler den wahren Wert dieses Systems erkennen würden. Grundsätzlich waren die Daten nicht schlecht, wir mussten nur ihren Nennwert berücksichtigen.

Der Unterricht

Seitdem habe ich viel über diesen Vorfall nachgedacht, daher werde ich einige Lehren daraus ziehen. Ich hoffe, diese Geschichte wird es anderen ermöglichen, diese Fehler nicht spezifisch zu machen und ihre eigenen, interessanteren und neuen Fehler zu machen.

Lektion 1: Manchmal müssen Forscher bei Streitigkeiten verlieren

UX-Forscher neigen dazu zu glauben, dass sie die Wahrheit mit einem Großbuchstaben „Und“ entdecken. Dies kann zu großer Reibung führen, wenn andere Teilnehmer am Entwicklungsprozess sich weigern, unsere Schlussfolgerungen zu akzeptieren. Tatsächlich haben wir normalerweise Recht, aber falsch positive, falsch negative und einfach falsche Ergebnisse sind immer möglich.

Die Meinung von Spielbenutzerforschern hat im Entwicklungsprozess immer ein erhebliches Gewicht, auch wenn wir nicht idealer sind als alle anderen Mitarbeiter. Wir müssen unser Verständnis von UX aktiv verteidigen, aber das bedeutet nicht, dass wir immer gewinnen müssen. Tatsächlich möchte ich sagen, dass Forscher wie die Spieler in unseren Spielen ein ideales Misserfolgsniveau haben sollten. Wenn jede Studie gleich erfolgreich ist, bedeutet dies einfach, dass wir nicht innovativ genug sind oder uns nicht mit komplexen Forschungsthemen befassen. Wir müssen Risiken eingehen, und das bedeutet, dass wir manchmal verlieren müssen.

Lektion 2: Ein Fehler bedeutet nicht das Ende der Arbeit mit Forschern

Die Halo 2- Benutzerforschung war sehr harte Arbeit. Microsoft hat eine große Wette auf dieses Projekt abgeschlossen und ihm eine solche Ressource von Forschern zur Verfügung gestellt, dass zu einem anderen Zeitpunkt ein halbes Dutzend Spiele unterstützt werden könnten. Die Bungie Studios, die für ihre sorgfältige Auswahl von Partnern bekannt sind, haben einen Vertrauenssprung gemacht und uns einen beispiellosen Zugang zu ihrem Entwicklungsprozess während einer der schwierigsten Krisen in ihrer Geschichte ermöglicht. Randy und ich hatten eine große Verantwortung: Wir mussten das Feedback der Benutzer zum Design des Spiels beeinflussen, was für viele Menschen sehr wichtig war. Angesichts der eindeutigen Bewertungen der Teilnehmer, entsetzt darüber, dass das Design die Eindrücke von Millionen von Spielern negativ beeinflussen wird, haben wir beschlossen, den Kampf zu akzeptieren. Aber wir haben uns geirrt und verloren.

Diese Geschichte ereignete sich 2003, mitten im Halo 2- Entwicklungszyklus, und wir haben viele andere erfolgreiche Forschungen zum Spiel durchgeführt. Nach seiner Veröffentlichung stürzten sich Randy und ich in den Sequel-Support-Prozess Halo 3 , der zu einem der erfolgreichsten Forschungsprojekte für Spielbenutzer wurde. Dieselben zwei Forscher, dieselben Designer, dasselbe Franchise, aber unsere Arbeit endete auf dem Cover des Wired-Magazins und wurde zu einem wichtigen Meilenstein, der die Benutzerforschung zu einem unverzichtbaren Verfahren für die Spielebranche machte. Tatsächlich haben diese Studie und ihr Scheitern einen direkten Beitrag zum zukünftigen Erfolg geleistet. Das Bungie-Management kam zu dem Schluss, dass die Forschung stärker in die Arbeit der Designer integriert werden muss, damit dies nicht mehr geschieht. Diese Integration ist zum Hauptgrund für unseren Erfolg mit Halo 3 geworden . Einige Jahre später beauftragte mich Bungie sogar, ihre interne Forschungsabteilung aufzubauen und zu verwalten.

Forscher sind nicht perfekt, aber unsere Partner brauchen uns nicht, um perfekt zu sein. Wir müssen ihnen ehrlich und vollständig die Meinungen der Spieler vermitteln, damit wir uns dazu drängen, innovativ zu sein und Risiken einzugehen, unsere Fehler anzuerkennen und uns an sie anzupassen.

Lektion 3: Forschung und Design arbeiten auf demselben Gebiet, jedoch nach unterschiedlichen Regeln

Spieler können nur nach ihren eigenen Gefühlen beurteilen: entweder nach ihrer Spielerfahrung oder nach dem, was sie im Labor direkt vor sich sehen. Da es die Aufgabe des Forschers ist, die Stimme der Spieler zu stärken, haben wir die gleichen Einschränkungen. Unsere Prophezeiungen sind nicht wahrer als das, worauf die Spieler reagieren.

Designer haben keine solche Einschränkung. Sie kommen auf Ideen, die wenig oder gar nichts mit dem zu tun haben, was vorher passiert ist. Aus diesem Grund kann es schwierig sein, solche Ideen zu testen und zu verifizieren. Es gibt Möglichkeiten, neue Ideen zu bewerten, aber als Forscher müssen wir uns bewusst sein, dass diese Methoden viel riskanter sind als andere Instrumente, und unsere Schlussfolgerungen messen.

Es ist lustig, dass das Bungie-Team während der Entwicklung von Halo 2 ein gutes Gegenbeispiel für die Präsentation neuer Gameplay-Elemente deutlich gemacht hat. Das im Artikel diskutierte Matchmaking-System war nur ein Teil einer viel umfangreicheren Liste von Multiplayer-Funktionen, die in Halo 2 veröffentlicht wurden , und viele andere Ideen stießen auf denselben Widerstand. Um die skeptische Führung von Microsoft zu überzeugen, erstellte das Designteam eine Videosimulation, wie das Spiel mit Freunden im fertigen Produkt aussehen wird . Obwohl diese Lösung beim Matchmaking nicht funktionieren würde, ist sie ein Beispiel dafür geworden, wie viel Aufwand und Fiktion erforderlich sind, um eine Vision eines neuen Gameplays zu vermitteln.

Lektion 4: Methodische Fehler zu machen und sich ihren Konsequenzen zu stellen, ist der beste Weg, um die Struktur der Forschung zu verstehen

Natürlich wusste ich vor dieser Studie über die Probleme bei der Vorhersage von Affekten Bescheid. Trotzdem ließ ich mich von der zuversichtlichen Meinung der Teilnehmer über das neue System mitreißen und nahm ihre Vorhersagen als Tatsache. Nachdem ich einmal einen solchen Fehler gemacht hatte und mit seinen demütigenden Konsequenzen konfrontiert war, war ich viel weniger geneigt, ihn zu wiederholen.

Natürlich ist es richtig und gut, sich an die Prinzipien der Planung einer Qualitätsforschung zu erinnern, aber Sie werden sie nie in Ihrer eigenen Haut spüren, bis Sie diese Prinzipien brechen und persönlich auf die Ergebnisse stoßen. Es spielt keine Rolle, ob Sie absichtlich gegen die Regeln verstoßen haben oder ob die Umstände teilweise schuld waren. Wenn Sie Tage oder Wochen harter Arbeit in einen Eimer werfen müssen, bleiben Narben zurück, die an sich selbst erinnern. Über die Flags hinauszugehen ist möglicherweise der beste Weg, um zu verstehen, warum diese Flags überhaupt benötigt werden.

Aber Sie werden auch feststellen, dass es manchmal ... keine Vergeltung gibt. Einige Regeln der qualitativen Forschung erweisen sich als Naturgesetze, während andere nur Empfehlungen sind. Die Untersuchung von Spielbenutzern ist ein angewandtes Feld, dessen Arbeit mit rasender Geschwindigkeit, begrenzten Ressourcen und Verwirrung durchgeführt wird. Nicht jede Forschung wird ein Juwel der Planung sein. Die Führungskräfte drängen auf Änderungen der Forschungsmethoden, die Teilnehmer überspringen Besprechungen, die Ausrüstung fällt aus, und die Aufgabe des Forschers besteht darin, eine Methode zur Anpassung an die Bedingungen mit dem geringsten Schaden zu wählen. Wenn wir verstehen, welche Prinzipien Flexibilität ermöglichen und welche nicht verletzt werden können, verbessern wir uns als Forscher, können uns anpassen und Entwicklern und ihren Spielen den größtmöglichen Nutzen bringen.

Abschließend

Designinnovationen erfordern Risiken, und in diesem Fall hat sich das Risiko des Bungie-Designteams um ein Vielfaches bewährt. Eine wichtige Aufgabe der Benutzerforschung im Entwicklungsprozess ist es, dieses Entwurfsrisiko zu reduzieren. Nachforschungen ermöglichen es Designern, neue Dinge auszuprobieren und potenzielle Probleme zu entdecken und zu beheben, bevor sie echten Spielern im Weg stehen. In unserem Beruf gehen wir aber auch unsere eigenen kleinen Risiken ein, indem wir unsere persönliche Meinung bei der Auswahl der Forschungsstruktur verwenden und ob es sich lohnt, für die Lösung der identifizierten Probleme zu kämpfen. In diesem Fall hat sich unsere spezifische Wahl nicht gerechtfertigt, aber dies negiert nicht die Tatsache, dass Forschungsrisiken notwendig sind.Ein guter Forscher sollte immer seine Erfahrung und Intuition nutzen, um das geeignete Risiko auszuwählen, das für Designer optimal geeignet ist und den Spielern zugute kommt.

Besonderer Dank geht an Randy Pagulayan für seine Hilfe bei der Erstellung dieses Artikels und für den Mut, der es ihm ermöglicht hat, diese Last der öffentlichen Schande mit mir zu teilen. Ich danke auch Chris Butcher, David Candland, Curtis Creamer, Max Hoberman und Jason Jones, die mir geholfen haben, diese Geschichte aufzufrischen und mich zu beraten, wie ich sie am besten beschreiben kann.

Über den Autor: 16 . , Halo, Age of Empires, Destiny, World of Warcraft, Overwatch Hearthstone. , , «Behavioral Game Design». ArenaNet. ArenaNet .