Após seu lançamento em 2004, o
Halo 2 instantaneamente se tornou o jogo multiplayer mais popular no Xbox Live. Ela manteve esse título por quase dois anos, e você pode até dizer com confiança que a principal razão para a sobrevivência do Xbox Live em seus primeiros anos foi a enorme popularidade desse único jogo. Ao longo dos seis anos de vida do jogo, mais de 6,6 milhões de jogadores jogaram mais de 499 milhões de horas no multiplayer online
Halo 2 . A equipe de desenvolvimento da Bungie assumiu um grande risco e criou um novo tipo de jogo online, que foi um enorme sucesso e encantou milhões de pessoas.
E estou feliz por não ter matado este jogo pela raiz.
Durante o desenvolvimento,
Halo 2 foi codinome "Profetas", porque uma nova raça alienígena foi adicionada ao universo Halo. Naquela época, a maioria dos pesquisadores da Microsoft fornecia suporte para três a cinco jogos, mas devido ao fato de esse projeto ser tão importante para o primeiro Xbox, dois pesquisadores de experiência do usuário, eu e Randy Pagulayan, foram alocados para ajudar os desenvolvedores do jogo por tempo integral. . Nós dois éramos cientistas experientes, com doutorado em psicologia experimental, e trabalhamos há muito tempo no
departamento de Pesquisa de Usuários de Jogos da Microsoft. Nossa tarefa era usar técnicas qualitativas e quantitativas, por exemplo, estudos de usabilidade, testes de jogos (playtesting) e pesquisas, permitindo que as equipes de desenvolvimento entendessem como seus jogos serão aceitos após o lançamento.
Esta é uma história sobre a época em que não consegui me tornar profeta e minhas tentativas de projetar dados de pesquisa para o futuro levaram a um conflito entre o departamento de pesquisa da Microsoft e a equipe de design da Bungie. Ao falar sobre pesquisas de usuários de jogos, geralmente são mencionados apenas casos em que estávamos certos, casos em que os dados nos permitiram corrigir o design dos jogos. Mas essa história não é sobre esse caso. É sobre como dois pesquisadores competentes tiraram conclusões errôneas sobre o elemento de design inovador do jogo e deram recomendações ruins, bem como como o jogo, apesar disso, obteve sucesso.
Inovação
Antes do
Halo 2 , a maioria dos jogos online não usava correspondência automática de jogadores (criação de partidas). O Lobby foi usado para encontrar outras pessoas para jogar online. Os jogadores tinham uma lista de lobbies, liam suas breves descrições e escolhiam a apropriada. Se o lobby tiver sido ocupado por hooligans ou jogadores mais talentosos, você poderá voltar e escolher um novo lobby que seja mais adequado para você.
A grande vantagem de tais sistemas de lobby era o controle. O criador do lobby tinha a capacidade de personalizar de maneira flexível a jogabilidade, permitindo apenas os cartões e modos de que ele gostava e expulsando usuários que não jogavam de acordo com suas regras. Era costume ver o saguão, orgulhosamente declarando: "sem franco-atiradores" ou "_nome de um cartão específico_, cada um por si".
O sistema proposto no
Halo 2 retirou todas as opções dos jogadores, substituindo-o por um sistema no qual os jogadores só podiam escolher o tipo geral de partida (ou seja, gratuito para todos, Big Team Battle etc.), após o que a Bungie escolheu mapa, tipo de jogo e oponentes. A imagem abaixo mostra uma captura de tela de uma versão de pré-lançamento quase concluída do funil Optimatch. (A terminologia que usamos no jogo não foi preservada.)
Veja como o GameSpy
descreveu o sistema Halo 2 em um artigo lançado antes do lançamento do jogo:
“Uma reviravolta interessante - todos os modos de jogo, mapas, veículos e quase tudo o mais serão determinados pela Bungie.
Embora isso possa parecer estranho a princípio, é uma boa ideia por vários motivos. Ao garantir que todos os jogadores sejam otimizados igualmente para o mesmo tipo de jogo, a Bungie pode garantir que todos os jogos funcionem sem problemas. Além disso, a empresa pode ter certeza das classificações corretas, porque quase todo mundo joga nas mesmas cartas com o mesmo número de jogadores. Eles poderão postar atualizações no Xbox Live a qualquer momento e todos começarão a jogar novos jogos. O sistema de classificação é determinado pelo tipo de correspondência, ou seja, você pode, por exemplo, estar no 25º lugar no modo Assalto, mas apenas no 78º no Slayer ... "
Essa descrição parece cotidiana e óbvia hoje, mas aconteceu porque o sistema foi tão bem-sucedido que se tornou o novo padrão para jogos multiplayer. A vitória do
Halo 2 foi tão esmagadora que agora é difícil imaginar como os jogos online funcionavam antes.
E novamente repito - fico feliz por não ter sido capaz de destruí-lo.
Pesquisa
Nossa tarefa de pesquisa foi garantir que os jogadores entendessem o novo paradigma. Era tão diferente do que foi implementado no primeiro
Halo que queríamos apresentar o novo design de jogadores reais o mais cedo possível, começando com protótipos de papel e descrições de texto. Os jogadores receberam descrições e esboços de interfaces de várias opções sobre como jogar jogos multiplayer, incluindo o novo sistema de matchmaking, mas sem o lobby tradicional criado pelos usuários.
A reação do grande número de participantes foi a seguinte: "Nós entendemos, mas é nojento". Os jogadores com quem conversamos relataram quase que por unanimidade que queriam o nível de controle pessoal que o sistema de lobby lhes dava. Eles acreditavam que as vantagens do novo sistema de matchmaking não valiam a pena abandonar o antigo. Hoje é difícil imaginar, mas o princípio "aperte um botão e confie em nós" parecia acostumado a escolher jogadores sozinhos e anormais demais.
Considerando-se a verdadeira voz dos usuários, Randy e eu fomos à Bungie e informamos que os jogadores estavam com nojo do novo design e que precisavam pensar em outras maneiras de implementar o multiplayer. Os designers se mantiveram firmes, argumentando que sua visão do futuro é melhor que o status quo, e a história provou que eles estavam absolutamente certos. Os jogadores se apaixonaram pelo novo sistema e este se tornou o padrão-ouro dos jogos online. Estudar
Halo 2 matchmaking foi a única grande falha na minha carreira (pelo menos por enquanto).
Erros
O que aconteceu? Como aconteceu que os resultados da pesquisa estavam em contradição com o que realmente aconteceu após o lançamento? A resposta está em dois erros inter-relacionados: um foi cometido pelos participantes do estudo e outro pelos próprios pesquisadores.
O erro dos participantes foi a distorção cognitiva da “previsão afetiva”: eles assumiram que se sentiriam em uma situação hipotética. Existe uma quantidade enorme de literatura sobre como as pessoas erradas podem avaliar o impacto emocional de situações hipotéticas sobre elas. Mesmo eventos graves de mudança de vida, como incapacidade ou ganhar na loteria, são difíceis de avaliar abstratamente.
Se você tivesse perguntado a nossa equipe de pesquisa sobre isso na época, teria recebido a resposta: "É claro que as pessoas não sabem como prever suas emoções, mas não estamos fazendo isso". Inicialmente, nosso estudo fez a seguinte pergunta: os jogadores podem entender esse sistema? Essa é uma pergunta perfeitamente aceitável para pesquisa, à qual pudemos responder com um "sim" confiante. Mas quando os participantes também começaram a expressar suas opiniões sobre o sistema, consideramos essas opiniões não como especulações, mas como verdade.
O problema foi que os participantes do estudo nunca jogaram um jogo de tiro on-line com encontros reais. Mais uma vez, isso parece estranho hoje, porque o matchmaking se tornou um recurso padrão de todos os jogos online para vários jogadores. Mas, naquela época, os participantes estavam jogando multiplayer apenas na rede local ou, na melhor das hipóteses, na rede do albergue estudantil. Fizemos pesquisas em 2003, quando menos de 16% dos americanos tinham banda larga. De fato, pedimos aos participantes que comparassem sua experiência conhecida (lobby) com a desconhecida (correspondência honesta e precisa entre uma grande comunidade online). Eles entenderam os pontos fortes e fracos do sistema existente. No caso do sistema proposto de matchmaking, eles realmente só conseguiam entender o que estavam perdendo. Por causa disso, o sistema proposto parecia uma mudança muito pior do que realmente era.
Portanto, quando os participantes do estudo nos disseram que não gostariam de usar esse sistema, nós, os pesquisadores, cometemos nosso próprio erro e apresentamos seus comentários como um reflexo preciso dos sentimentos da maioria dos futuros jogadores depois que eles realmente jogam o jogo. No entanto, após um acalorado debate, a Bungie decidiu ignorar nossas objeções e seguir em frente com seu novo sistema de encontros, que acabou sendo uma escolha absolutamente certa.
Obviamente, quando os designers da Bungie rejeitaram os dados da equipe de pesquisa, eles não apontaram erros metodológicos e não expuseram o viés cognitivo. Eles tinham uma visão de design única e clara, baseada em princípios sólidos, e durante as discussões acaloradas que se seguiram no estúdio, eles obtiveram uma forte confiança dos líderes de desenvolvimento e design de que esse
era o caminho para criar um excelente jogo multiplayer. Um deles me disse secretamente mais tarde que nenhum resultado de nossa pesquisa os convenceria a mudar de rumo. Quase sempre, quando transfiro os dados da pesquisa para os desenvolvedores e eles os rejeitam dessa maneira, após o lançamento do jogo em um tom profissional, eu digo: "Bem, eu te disse." Mas no caso de
Halo 2 , o lado oposto estava certo e, graças a isso, o mundo do jogo se tornou melhor.
Nós, os pesquisadores, deveríamos ter apresentado os resultados de maneira mais diferenciada. Nossos dados estavam corretos apenas se você os observar de um certo ângulo: "É o que alguns jogadores dirão quando souberem do sistema pela primeira vez". Com base nisso, poderíamos trabalhar com a equipe para testar várias maneiras de apresentar os jogadores ao sistema, a fim de melhorar sua primeira impressão e aumentar a velocidade com que os jogadores perceberiam o verdadeiro valor desse sistema. Em um sentido fundamental, os dados não eram ruins, apenas tivemos que considerar seu valor nominal.
As lições
Desde então, pensei muito sobre esse incidente, por isso vou listar algumas lições aprendidas com ele. Espero que essa história permita que outras pessoas não cometam esses erros especificamente e comecem a cometer seus próprios, mais interessantes e novos erros.
Lição 1: às vezes os pesquisadores precisam perder nas disputas
Os pesquisadores de UX tendem a acreditar que descobrem a
Verdade com uma maiúscula "E". Isso pode levar a um grande atrito quando outros participantes do processo de desenvolvimento se recusam a aceitar nossas conclusões. De fato, geralmente estamos certos, mas sempre são possíveis resultados falso positivo, falso negativo e simplesmente incorretos.
A opinião dos pesquisadores de usuários de jogos sempre tem peso significativo no processo de desenvolvimento, mesmo quando não somos mais ideais do que todos os outros funcionários. Devemos defender ativamente nossa compreensão do UX, mas isso não significa que devemos sempre vencer. Na verdade, quero dizer que, como os jogadores em nossos jogos, os pesquisadores devem ter um nível ideal de falha. Se cada estudo for igualmente bem-sucedido, isso significa simplesmente que não somos inovadores o suficiente ou não lidamos com tópicos de pesquisa complexos. Precisamos correr riscos, e isso significa que às vezes temos que perder.
Lição 2: um erro não significa o fim do trabalho com pesquisadores
A pesquisa de usuários do
Halo 2 tem sido um trabalho muito difícil. A Microsoft fez uma grande aposta neste projeto, oferecendo a ele um recurso de pesquisadores que, em outro momento, poderia suportar meia dúzia de jogos. A Bungie Studios, conhecida por sua seleção meticulosa de parceiros, deu um salto de fé, oferecendo um nível sem precedentes de acesso ao seu processo de desenvolvimento durante uma das dificuldades mais difíceis de sua história. Randy e eu tínhamos uma enorme responsabilidade: tivemos que influenciar o feedback do usuário sobre o design do jogo, o que foi muito importante para muitas pessoas. Diante das classificações inequívocas dos participantes, horrorizados pelo fato de o design afetar negativamente as impressões de milhões de jogadores, decidimos que precisamos aceitar a batalha. Mas estávamos enganados e perdemos.
Essa história aconteceu em 2003, no meio do ciclo de desenvolvimento do
Halo 2 , e fizemos muitas outras pesquisas bem-sucedidas sobre o jogo. Após o seu lançamento, Randy e eu mergulhamos no processo de suporte a sequências,
Halo 3 , que se tornou um dos projetos de pesquisa de usuários de jogos de maior sucesso. Os mesmos dois pesquisadores, os mesmos designers, a mesma franquia, mas nosso trabalho acabou na capa
da revista Wired e se tornou um marco importante que tornou a pesquisa de usuários um procedimento obrigatório para a indústria de jogos. De fato, este estudo e seu fracasso contribuíram diretamente para o sucesso futuro. A gerência da Bungie concluiu que a pesquisa precisa ser mais integrada ao trabalho dos designers para que isso não aconteça mais, e essa integração se tornou a principal razão do nosso sucesso com o
Halo 3 . Alguns anos depois, a própria Bungie até me contratou para criar e gerenciar seu departamento interno de pesquisa.
Os pesquisadores não são perfeitos, mas nossos parceiros não precisam que sejamos perfeitos. Eles precisam que transmitamos honestamente e totalmente a eles as opiniões dos jogadores, para nos esforçarmos para inovar e assumir riscos, reconhecer nossos erros e nos adaptar a eles.
Lição 3: pesquisa e design funcionam no mesmo campo, mas de acordo com regras diferentes
Os jogadores podem julgar apenas por seus próprios sentimentos: pela experiência de jogo ou pelo que vêem bem na frente deles no laboratório. Como o trabalho do pesquisador é fortalecer a voz dos jogadores, temos as mesmas limitações. Nossas profecias são verdadeiras não mais do que as reações dos jogadores.
Os designers não têm essa restrição. Eles apresentam idéias que têm pouco ou nada a ver com o que aconteceu antes. Por esse motivo, essas idéias podem ser difíceis de testar e verificar. Existem maneiras de avaliar novas idéias, mas, como pesquisadores, devemos estar cientes de que esses métodos são muito mais arriscados que outras ferramentas e medir nossas conclusões.
É engraçado que um bom contra-exemplo da apresentação de novos elementos de jogabilidade tenha sido claramente demonstrado pela equipe da Bungie durante o desenvolvimento do
Halo 2 . O sistema de organização de partidas discutido no artigo era apenas uma parte de uma lista muito mais extensa de recursos para vários jogadores que apareceram no
Halo 2 , e muitas outras idéias tiveram a mesma resistência. Para convencer a liderança cética da Microsoft, a equipe de design criou uma
simulação em vídeo de como o jogo ficará com os amigos no produto final. Embora essa solução não funcione com a criação de partidas, tornou-se um exemplo de quanto esforço e ficção são necessários para transmitir uma visão de uma nova jogabilidade.
Lição 4: cometer erros metodológicos e enfrentar suas consequências é a melhor maneira de entender a estrutura da pesquisa
Obviamente, eu sabia dos problemas em prever o efeito antes deste estudo. Mas eu ainda me deixei levar pela opinião confiante dos participantes sobre o novo sistema e tomei suas previsões como um fato. Tendo cometido esse erro uma vez e confrontado com suas consequências humilhantes, fiquei muito menos inclinado a repeti-lo.
É claro que lembrar dos princípios do planejamento de uma pesquisa de qualidade é correto e bom, mas você nunca os sentirá em sua própria pele até que você quebre esses princípios e encontre os resultados pessoalmente. Não importa se você violou as regras intencionalmente ou se as circunstâncias foram parcialmente responsáveis. Quando você tem que jogar dias ou semanas de trabalho duro em um balde, isso deixa cicatrizes que lembram você. Ir além das bandeiras pode ser a melhor maneira de entender por que essas bandeiras são necessárias.
Mas você também descobrirá que, às vezes ... não há retribuição. Algumas regras da pesquisa qualitativa acabam sendo leis da natureza, enquanto outras são apenas recomendações. O estudo de usuários de jogos é um campo aplicado; o trabalho é realizado a uma velocidade vertiginosa, recursos limitados e confusos. Nem toda pesquisa será uma jóia do planejamento. Os líderes estão pressionando por mudanças nos métodos de pesquisa, os participantes pulam as reuniões, os equipamentos quebram e a tarefa do pesquisador é escolher um método de adaptação às condições com o menor dano. Entender quais princípios permitem flexibilidade e quais não podem ser violados nos melhora como pesquisadores, nos permite adaptar e trazer o máximo benefício aos desenvolvedores e seus jogos.
Em conclusão
As inovações de design exigem riscos e, nesse caso, o risco assumido pela equipe de design da Bungie já se comprovou várias vezes. Uma tarefa importante da pesquisa do usuário no processo de desenvolvimento é reduzir esse risco de design. A pesquisa permite que os designers tentem coisas novas enquanto descobrem e corrigem problemas em potencial antes que eles atrapalhem jogadores reais. Mas, dentro de nossa profissão, também assumimos pequenos riscos, usando nossa opinião pessoal na escolha da estrutura da pesquisa e se vale a pena lutar pela solução dos problemas identificados. Nesse caso, nossa escolha específica não se justificou, mas isso não nega o fato de que riscos de pesquisa são necessários. Um bom pesquisador deve sempre usar sua experiência e intuição para selecionar o nível apropriado de risco,ideal para designers e beneficiários de jogadores., . , , , , , .: 16 . , Halo, Age of Empires, Destiny, World of Warcraft, Overwatch Hearthstone. , , «Behavioral Game Design». ArenaNet. ArenaNet .