Setelah dirilis pada tahun 2004,
Halo 2 langsung menjadi game multipemain paling populer di Xbox Live. Dia mempertahankan gelar ini selama hampir dua tahun, dan Anda bahkan dapat mengatakan dengan keyakinan bahwa alasan utama untuk kelangsungan hidup Xbox Live di tahun-tahun awalnya adalah popularitas besar dari satu-satunya permainan ini. Sepanjang enam tahun masa permainan, lebih dari 6,6 juta pemain telah bermain lebih dari 499 juta jam di multiplayer online
Halo 2 . Tim pengembangan Bungie mengambil risiko besar dan menciptakan jenis permainan online baru, yang merupakan kesuksesan besar dan menyenangkan jutaan orang.
Jadi saya senang saya tidak membunuh game ini sejak awal.
Selama pengembangan,
Halo 2 diberi nama sandi "Prophets," karena ras alien baru ditambahkan ke alam semesta Halo. Pada saat itu, sebagian besar peneliti di Microsoft memberikan dukungan untuk tiga hingga lima game, tetapi karena fakta bahwa proyek ini sangat penting untuk Xbox pertama, dua peneliti pengalaman pengguna, saya dan Randy Pagulayan, dialokasikan untuk membantu para pengembang game untuk waktu penuh. . Kami berdua adalah ilmuwan berpengalaman dengan gelar doktor dalam psikologi eksperimental dan telah lama berada di
departemen Penelitian Pengguna Game Microsoft. Tugas kami adalah menggunakan teknik kualitatif dan kuantitatif, misalnya, studi kegunaan, pengujian game (uji coba), dan survei, memungkinkan tim pengembangan untuk memahami bagaimana permainan mereka akan diterima setelah rilis.
Ini adalah kisah tentang waktu ketika saya tidak dapat menjadi seorang nabi, dan upaya saya untuk memproyeksikan data penelitian untuk masa depan menyebabkan konflik antara departemen penelitian Microsoft dan tim desain Bungie. Ketika berbicara tentang penelitian oleh pengguna game, biasanya hanya kasus di mana kami benar disebutkan, kasus ketika data memungkinkan kami untuk memperbaiki desain game. Tetapi kisah ini bukan tentang kasus seperti itu. Ini adalah tentang bagaimana dua peneliti yang kompeten membuat kesimpulan yang salah tentang elemen desain inovatif dari permainan dan memberikan rekomendasi yang buruk, serta bagaimana permainan, meskipun demikian, mendapatkan kesuksesan.
Inovasi
Sebelum
Halo 2 , sebagian besar game online tidak menggunakan pencocokan pemain otomatis (matchmaking). Lobi digunakan untuk mencari orang lain untuk bermain online. Para pemain memiliki daftar lobi, mereka membaca deskripsi singkat mereka dan memilih yang sesuai. Jika ternyata lobi tersebut dihuni oleh hooligan atau lebih banyak pemain berbakat, maka Anda bisa kembali dan memilih lobi baru yang lebih cocok untuk Anda.
Keuntungan besar dari sistem lobi semacam itu adalah kontrol. Pembuat lobi memiliki kemampuan untuk menyesuaikan gameplay secara fleksibel, hanya memungkinkan kartu dan mode yang dia sukai, dan membuang pengguna yang bermain tidak sesuai dengan aturannya. Sudah biasa melihat lobi, dengan bangga menyatakan: "tanpa penembak jitu" atau "_name dari card_ spesifik, masing-masing untuk dirinya sendiri."
Sistem yang diusulkan dalam
Halo 2 mengambil semua pilihan pemain, menggantikannya dengan sistem di mana pemain hanya dapat memilih jenis pertandingan umum (mis. Gratis untuk semua, Pertempuran Tim Besar, dll.), Setelah itu Bungie memilih peta, jenis permainan dan lawan. Gambar di bawah ini menunjukkan tangkapan layar dari versi Optimatch hopper yang hampir selesai. (Terminologi yang kami gunakan dalam game tidak dipertahankan.)
Inilah cara GameSpy
menggambarkan sistem Halo 2 dalam sebuah artikel yang dirilis sebelum peluncuran game:
“Sentuhan yang menarik - semua mode permainan, peta, kendaraan, dan hampir semua hal lainnya akan ditentukan oleh Bungie.
Meskipun ini mungkin tampak aneh pada awalnya, itu adalah ide yang bagus karena berbagai alasan. Dengan memastikan bahwa semua pemain dioptimalkan secara sama untuk jenis permainan yang sama, Bungie dapat memastikan bahwa semua permainan berjalan dengan lancar. Juga, perusahaan dapat memastikan peringkat yang benar, karena hampir semua orang akan bermain di kartu yang sama dengan jumlah pemain yang sama. Mereka dapat memposting pembaruan ke Xbox Live kapan saja, dan semua orang akan mulai memainkan game baru. Sistem peringkat ditentukan oleh jenis pertandingan, yaitu, Anda dapat, misalnya, berada di tempat ke-25 dalam mode Assault, tetapi hanya di 78 dalam Slayer ... "
Deskripsi ini tampak sehari-hari dan jelas hari ini, tetapi itu terjadi karena sistemnya begitu sukses sehingga menjadi standar baru untuk permainan multi-pemain. Kemenangan
Halo 2 begitu luar biasa sehingga sekarang sulit membayangkan bagaimana game online bekerja sebelumnya.
Dan lagi saya ulangi - saya senang bahwa saya tidak dapat menghancurkannya.
Penelitian
Tugas penelitian kami adalah memastikan bahwa pemain memahami paradigma baru. Itu sangat berbeda dari apa yang diterapkan pada
Halo pertama sehingga kami ingin memperkenalkan desain baru pemain sungguhan sedini mungkin, dimulai dengan prototipe kertas dan deskripsi teks. Para pemain ditampilkan deskripsi dan sketsa antarmuka dari beberapa opsi tentang cara memainkan game multi-pemain, termasuk sistem perjodohan baru, tetapi tanpa lobi tradisional yang dibuat oleh pengguna.
Reaksi dari sejumlah besar peserta adalah ini: "Kami memahaminya, tetapi itu menjijikkan." Para pemain yang kami ajak bicara dengan suara bulat melaporkan bahwa mereka menginginkan tingkat kontrol pribadi yang diberikan oleh sistem lobi kepada mereka. Mereka percaya bahwa keuntungan dari sistem perjodohan baru tidak layak ditinggalkan yang lama. Sulit dibayangkan hari ini, tetapi prinsip “push one button and trust us” sepertinya digunakan untuk memilih pemain yang terlalu abnormal dan mengendalikan.
Menganggap diri kami sebagai suara sebenarnya dari para pengguna, Randy dan saya pergi ke Bungie dan memberi tahu mereka bahwa para pemain merasa jijik dengan desain baru dan bahwa mereka perlu memikirkan cara-cara lain untuk mengimplementasikan multiplayer. Desainer berdiri di tanah mereka, dengan alasan bahwa visi mereka tentang masa depan lebih baik daripada status quo, dan sejarah telah membuktikan bahwa mereka benar-benar benar. Pemain jatuh cinta dengan sistem baru dan itu menjadi standar emas game online. Mempelajari perjodohan
Halo 2 adalah satu-satunya kegagalan besar dalam karier saya (setidaknya untuk saat ini).
Kesalahan
Apa yang terjadi Bagaimana bisa terjadi bahwa hasil penelitian itu begitu bertentangan dengan apa yang sebenarnya terjadi setelah rilis? Jawabannya terletak pada dua kesalahan yang saling terkait: satu dibuat oleh peserta dalam penelitian, yang lain oleh para peneliti itu sendiri.
Kesalahan peserta adalah distorsi kognitif dari "peramalan afektif": mereka berasumsi bahwa mereka akan merasa dalam situasi hipotetis. Ada sejumlah besar literatur tentang bagaimana orang yang salah dapat mengevaluasi dampak emosional dari situasi hipotetis pada mereka. Bahkan peristiwa serius yang mengubah hidup, seperti kecacatan atau memenangkan lotre, sulit untuk dievaluasi secara abstrak.
Jika Anda bertanya kepada tim peneliti kami tentang hal ini pada saat itu, Anda akan menerima jawabannya: "Tentu saja, orang tidak tahu bagaimana memprediksi emosi mereka, tetapi kami tidak melakukan ini." Awalnya, penelitian kami mengajukan pertanyaan berikut: dapatkah pemain memahami sistem ini? Ini adalah pertanyaan yang bisa diterima untuk penelitian, yang dapat kami jawab dengan yakin "ya." Tetapi ketika para peserta juga mulai mengungkapkan pendapat mereka tentang sistem, kami menganggap pendapat ini bukan sebagai spekulasi, tetapi sebagai kebenaran.
Yang menarik adalah bahwa peserta studi tidak pernah memainkan penembak online dengan perjodohan nyata. Sekali lagi, ini tampak aneh hari ini karena perjodohan telah menjadi fitur standar dari setiap game online multi-pemain. Tetapi pada saat itu, para peserta bermain multiplayer hanya di jaringan lokal atau, paling banter, di jaringan asrama siswa. Kami melakukan penelitian pada tahun 2003 ketika kurang dari 16% orang Amerika memiliki broadband. Bahkan, kami meminta peserta untuk membandingkan pengalaman mereka yang diketahui (lobi) dengan yang tidak diketahui (perjodohan yang jujur dan akurat di antara komunitas online besar). Mereka memahami kekuatan dan kelemahan sistem yang ada. Dalam kasus sistem perjodohan yang diusulkan, mereka benar-benar hanya bisa mengerti apa yang mereka kehilangan. Karena itu, sistem yang diusulkan tampak perubahan yang jauh lebih buruk daripada yang sebenarnya.
Oleh karena itu, ketika para peserta dalam penelitian mengatakan kepada kami bahwa mereka tidak ingin menggunakan sistem seperti itu, kami, para peneliti, membuat kesalahan kami sendiri dan menyajikan komentar mereka sebagai refleksi akurat dari perasaan sebagian besar pemain di masa depan setelah mereka benar-benar memainkan permainan. Namun, setelah perdebatan sengit, Bungie memutuskan untuk mengabaikan keberatan kami dan melanjutkan dengan sistem perjodohan barunya, yang ternyata menjadi pilihan yang benar-benar tepat.
Tentu saja, ketika desainer Bungie menolak data dari tim peneliti, mereka tidak menunjukkan kesalahan metodologis dan tidak mengekspos bias kognitif. Mereka memiliki visi desain yang jelas dan unik berdasarkan pada prinsip-prinsip yang kuat, dan selama diskusi hangat berikutnya di dalam studio, mereka mendapat kepercayaan yang diperkeras dari para pemimpin pengembangan dan desain bahwa ini
adalah cara untuk menciptakan permainan multipemain yang sangat baik. Salah satu dari mereka diam-diam memberi tahu saya bahwa tidak ada hasil penelitian kami yang akan meyakinkan mereka untuk mengubah arah. Hampir selalu, ketika saya mentransfer data penelitian ke pengembang dan mereka menolaknya dengan cara ini, setelah rilis game dengan nada profesional, saya berkata: "Yah, saya bilang." Tetapi dalam kasus
Halo 2 , sisi yang berlawanan ternyata benar, dan berkat itu, dunia game menjadi lebih baik.
Kami, para peneliti, seharusnya mempresentasikan hasil yang lebih berbeda. Data kami benar hanya jika Anda melihatnya dari sudut tertentu: "Itulah yang akan dikatakan beberapa pemain ketika mereka mendengar tentang sistem untuk pertama kalinya." Berdasarkan hal ini, kami dapat bekerja dengan tim untuk menguji berbagai cara untuk memperkenalkan pemain ke sistem untuk meningkatkan kesan pertama mereka dan meningkatkan kecepatan yang dengannya pemain akan menyadari nilai sebenarnya dari sistem ini. Dalam arti mendasar, data itu tidak buruk, kami hanya harus mempertimbangkan nilai nominalnya.
Pelajaran
Sejak itu, saya banyak berpikir tentang kejadian ini, jadi saya akan membuat daftar beberapa pelajaran yang didapat dari kejadian ini. Saya harap cerita ini akan memungkinkan orang lain untuk tidak secara khusus membuat kesalahan ini dan mulai membuat kesalahan mereka sendiri, lebih menarik dan baru.
Pelajaran 1: terkadang peneliti harus kalah dalam sengketa
Peneliti UX cenderung percaya bahwa mereka menemukan
Kebenaran dengan modal “Dan.” Ini dapat menyebabkan gesekan besar ketika peserta lain dalam proses pengembangan menolak untuk menerima kesimpulan kami. Faktanya, kita biasanya benar, tetapi hasil positif palsu, negatif palsu dan hasil yang salah selalu mungkin terjadi.
Pendapat para peneliti pengguna game selalu membawa bobot yang signifikan dalam proses pengembangan, bahkan ketika kita tidak lebih ideal daripada semua karyawan lainnya. Kita harus secara aktif mempertahankan pemahaman kita tentang UX, tetapi ini tidak berarti bahwa kita harus selalu menang. Sebenarnya, saya ingin mengatakan bahwa, seperti para pemain dalam permainan kami, para peneliti harus memiliki tingkat kegagalan yang ideal. Jika setiap studi sama-sama sukses, itu hanya berarti bahwa kita tidak cukup inovatif atau tidak membahas topik penelitian yang kompleks. Kita perlu mengambil risiko, dan ini berarti bahwa kadang-kadang kita harus kalah.
Pelajaran 2: kesalahan tidak berarti akhir dari kerja dengan para peneliti
Riset pengguna
Halo 2 merupakan kerja yang sangat sulit. Microsoft membuat taruhan besar pada proyek ini, memberikannya sumber daya peneliti sehingga di lain waktu dapat mendukung setengah lusin game. Bungie Studios, yang terkenal karena pemilihan mitranya yang teliti, telah mengambil lompatan keyakinan, memberi kami tingkat akses yang belum pernah terjadi sebelumnya ke proses pengembangannya selama salah satu krisis paling sulit dalam sejarahnya. Randy dan saya memiliki tanggung jawab besar: kami harus memengaruhi umpan balik pengguna pada desain game, yang sangat penting bagi banyak orang. Dihadapkan dengan peringkat yang jelas dari para peserta, ngeri bahwa desain akan secara negatif mempengaruhi tayangan jutaan pemain, kami memutuskan bahwa kami harus menerima pertempuran. Tapi kami salah dan kami kalah.
Kisah ini terjadi pada tahun 2003, di tengah siklus pengembangan
Halo 2 , dan kami melakukan banyak penelitian sukses lainnya pada permainan. Setelah dirilis, Randy dan saya terjun ke proses dukungan sekuel,
Halo 3 , yang menjadi salah satu proyek penelitian pengguna game paling sukses. Dua peneliti yang sama, desainer yang sama, waralaba yang sama, tetapi pekerjaan kami berakhir di sampul
majalah Wired dan menjadi tonggak penting yang membuat riset pengguna prosedur yang harus dimiliki untuk industri game. Faktanya, penelitian ini dan kegagalannya memberikan kontribusi langsung untuk kesuksesan masa depan. Manajemen Bungie menyimpulkan bahwa penelitian perlu lebih terintegrasi dengan karya desainer sehingga ini tidak terjadi lagi, dan integrasi ini telah menjadi alasan utama kesuksesan kami dengan
Halo 3 . Beberapa tahun kemudian, Bungie sendiri bahkan mempekerjakan saya untuk membuat dan mengelola departemen riset internalnya.
Para peneliti tidak sempurna, tetapi pasangan kita tidak membutuhkan kita untuk menjadi sempurna. Mereka membutuhkan kita untuk jujur dan sepenuhnya menyampaikan kepada mereka pendapat para pemain, sehingga kita mendorong diri kita untuk berinovasi dan mengambil risiko, untuk mengakui kesalahan kita dan beradaptasi dengan mereka.
Pelajaran 3: penelitian dan desain bekerja di bidang yang sama, tetapi sesuai dengan aturan yang berbeda
Pemain dapat menilai hanya dengan perasaan mereka sendiri: baik dengan pengalaman bermain game mereka, atau dengan apa yang mereka lihat tepat di depan mereka di laboratorium. Karena tugas peneliti adalah untuk memperkuat suara para pemain, kami memiliki keterbatasan yang sama. Nubuat kami benar, tidak lebih dari reaksi para pemain.
Desainer tidak memiliki batasan seperti itu. Mereka datang dengan ide-ide yang sedikit atau tidak ada hubungannya dengan apa yang terjadi sebelumnya. Karena itu, ide-ide seperti itu bisa sulit untuk diuji dan diverifikasi. Ada cara untuk mengevaluasi ide-ide baru, tetapi sebagai peneliti, kita harus menyadari bahwa metode ini jauh lebih berisiko daripada alat lain, dan mengukur kesimpulan kami.
Sangat lucu bahwa contoh tandingan yang baik dari presentasi elemen gameplay baru jelas ditunjukkan oleh tim Bungie selama pengembangan
Halo 2 . Sistem perjodohan yang dibahas dalam artikel itu hanya satu bagian dari daftar fitur multipemain yang jauh lebih luas yang muncul di
Halo 2 , dan banyak ide lain bertemu dengan perlawanan yang sama. Untuk meyakinkan kepemimpinan skeptis Microsoft, tim desain membuat
simulasi video tentang bagaimana permainan akan terlihat dengan teman-teman di produk jadi. Meskipun solusi ini tidak akan bekerja dengan perjodohan, itu telah menjadi contoh seberapa banyak upaya dan fiksi diperlukan untuk menyampaikan visi gameplay baru.
Pelajaran 4: membuat kesalahan metodologis dan menghadapi konsekuensinya adalah cara terbaik untuk memahami struktur penelitian
Tentu saja, saya tahu tentang masalah dengan memprediksi pengaruh sebelum penelitian ini. Tetapi saya masih membiarkan diri saya terbawa oleh pendapat para peserta tentang sistem baru dan menganggap prediksi mereka sebagai fakta. Setelah membuat kesalahan seperti itu sekali dan dihadapkan dengan konsekuensi yang memalukan, saya menjadi kurang cenderung mengulanginya.
Tentu saja, mengingat prinsip-prinsip perencanaan penelitian yang berkualitas adalah benar dan baik, tetapi Anda tidak akan pernah merasakannya di kulit Anda sendiri sampai Anda melanggar prinsip-prinsip ini dan secara pribadi menemukan hasilnya. Tidak masalah jika Anda sengaja melanggar aturan atau jika situasinya sebagian disalahkan. Ketika Anda harus membuang berhari-hari atau berminggu-minggu kerja keras ke dalam ember, itu meninggalkan bekas yang mengingatkan Anda pada diri sendiri. Melampaui bendera mungkin merupakan cara terbaik untuk memahami mengapa bendera ini diperlukan sama sekali.
Tetapi Anda juga akan menemukan bahwa kadang-kadang ... tidak ada retribusi. Beberapa aturan penelitian kualitatif berubah menjadi hukum alam, sementara yang lain hanya rekomendasi. Studi tentang pengguna game adalah bidang terapan, pekerjaan di dalamnya dilakukan dengan kecepatan sangat tinggi, sumber daya terbatas, dan dalam kebingungan. Tidak setiap penelitian akan menjadi permata perencanaan. Para pemimpin mendorong perubahan dalam metode penelitian, para peserta lewati pertemuan, kerusakan peralatan, dan tugas peneliti adalah memilih metode adaptasi dengan kondisi dengan kerusakan paling sedikit. Memahami prinsip mana yang memungkinkan fleksibilitas dan mana yang tidak dapat dilanggar meningkatkan kami sebagai peneliti, memungkinkan kami untuk beradaptasi dan membawa manfaat maksimal bagi pengembang dan permainan mereka.
Kesimpulannya
Inovasi desain membutuhkan risiko, dan dalam hal ini, risiko yang diambil oleh tim desain Bungie telah berulang kali terbukti. Tugas penting penelitian pengguna dalam proses pengembangan adalah untuk mengurangi risiko desain ini. Penelitian memungkinkan desainer untuk mencoba hal-hal baru sambil menemukan dan memperbaiki masalah potensial sebelum mereka menghalangi pemain nyata. Namun di dalam profesi kami, kami juga mengambil risiko kecil kami sendiri, menggunakan pendapat pribadi kami dalam memilih struktur penelitian dan apakah perlu diperjuangkan untuk solusi dari masalah yang diidentifikasi. Dalam hal ini, pilihan spesifik kami tidak membenarkan dirinya sendiri, tetapi ini tidak meniadakan fakta bahwa risiko penelitian diperlukan.
Seorang peneliti yang baik harus selalu menggunakan pengalaman dan intuisinya untuk memilih tingkat risiko yang sesuai, yang secara optimal cocok untuk desainer dan yang menguntungkan pemain.Terima kasih khusus kepada Randy Pagulayan untuk bantuannya dalam membuat artikel ini dan untuk keberanian yang memungkinkannya untuk berbagi beban rasa malu publik ini dengan saya. Saya juga berterima kasih kepada Chris Butcher, David Candland, Curtis Creamer, Max Hoberman dan Jason Jones karena telah membantu saya menyegarkan cerita ini dan menasihati saya tentang cara menggambarkannya dengan baik.Tentang penulis: 16 . , Halo, Age of Empires, Destiny, World of Warcraft, Overwatch Hearthstone. , , «Behavioral Game Design». ArenaNet. ArenaNet .