Faktor-faktor apa yang dapat memprediksi keberhasilan gim di Steam?

Di Reddit, saya melihat banyak diskusi, komentar dan pertanyaan tentang apa yang menentukan keberhasilan permainan. Seberapa pentingkah kualitas? Apakah satu-satunya aspek yang menentukan benar-benar popularitas permainan di pasar sebelum dirilis? Apakah demo membantu atau melukai? Jika kinerja game saat rilis ternyata buruk, lalu apa kemungkinan koreksi mereka? Apakah mungkin untuk setidaknya memperkirakan penjualan game sebelum dirilis?

Bersiap untuk merilis game saya sendiri , saya menghabiskan banyak waktu memantau rilis yang dirilis dalam upaya untuk menemukan jawaban atas pertanyaan-pertanyaan ini. Saya mengumpulkan spreadsheet, mencatat pelanggan, ketersediaan akses awal, jumlah ulasan untuk minggu pertama, bulan dan kuartal.

Sekarang saya memutuskan untuk membagikan data ini dengan harapan mereka akan membantu pengembang lain memahami dan memprediksi penjualan game mereka.

Catatan pertama pada data:

• Salah satu sumber data paling penting adalah jumlah ulasan tentang Steam. Ada bukti yang dapat dipercaya bahwa itu sangat berkorelasi dengan jumlah salinan yang terjual, rasio "50 penjualan per ulasan tentang Steam" sering disebutkan, tetapi kisaran nilainya cukup luas. Tampaknya sebagian besar game Steam berada dalam kisaran 25 hingga 120 penjualan per tinjauan Steam, tetapi outlier juga terjadi. Selain itu, game dengan jumlah ulasan yang sangat kecil lebih cenderung outlier dalam hal ini. Game saya adalah satu-satunya di mana saya memiliki angka penjualan yang jelas. Anda dapat membaca posting panjang saya tentang pembebasannya di Reddit , tetapi yang paling penting bagi kami adalah saya menjual 1.587 eksemplar di minggu pertama dan 3.580 eksemplar di kuartal pertama.
• Total jumlah permainan dalam seleksi: 115.
• Saya memilih game semi-acak dari bagian Popular Mendatang dan Semua Mendatang. Ini cenderung sampel lebih ke arah permainan populer, dan saya sengaja melakukannya: Saya ingin memiliki pilihan yang beragam, tetapi sehingga game dengan nol penjualan tidak akan sepenuhnya mendominasi itu.
• Permainan dipesan berdasarkan tanggal rilis, yang berada dalam kisaran 10/26/18 hingga 12/20/18.

Penjelasan Kolom

• Rilis diskon: diskon minggu pertama, 0,25 = diskon 25%
• Week, asumsi: ini asumsi saya, dibuat sebelum perilisan game, tentang berapa banyak ulasan pelanggan tentang Steam yang akan didapat setelah tepat satu minggu.
• Minggu, valid: Jumlah ulasan yang diterima oleh permainan setelah 1 minggu.
• 3 bulan: jumlah ulasan yang diterima oleh game dalam 3 bulan.
• Pelanggan: jumlah pelanggan ke grup permainan sebelum dirilis. Dalam beberapa kasus, parameter ini diperbaiki tepat sebelum rilis, dalam kasus lain - seminggu sebelum itu.
• Skor ulasan: Persentase ulasan positif tentang Steam setelah satu bulan. Game harus memiliki setidaknya 20 ulasan untuk mendapatkan perkiraan.

Pertanyaan 1: dapatkah kualitas memprediksi keberhasilan?

Baru-baru ini saya membaca posting yang menyatakan bahwa metrik kesuksesan utama untuk sebuah game indie adalah kualitasnya.

Kualitas, tentu saja, adalah metrik subjektif. Cara paling jelas untuk mengukur kualitas secara objektif untuk permainan Steam adalah dengan persentase ulasan positifnya. Ini adalah persentase ulasan pembeli game yang memberi nilai positif pada game. Saya mengecualikan semua game yang tidak memiliki setidaknya 20 ulasan di bulan pertama, yang mengurangi pilihan menjadi 56 game.

Korelasi (Pearson) antara peringkat permainan dan jumlah ulasan tiga bulan setelah rilis adalah -0,2. Tapi 0,2 (plus atau minus) bukan korelasi yang kuat. Lebih penting lagi, korelasi Pearson dapat berfluktuasi jika data mengandung outlier besar. Melihat permainan itu sendiri, Anda dapat melihat bahwa perbedaannya adalah artefak ejeksi. Secara harfiah: Artifact Valve memiliki jumlah ulasan terbesar setelah tiga bulan dan salah satu peringkat terendah (pada saat itu 53%). Ketika saya menghapus game ini dari data, korelasinya pada dasarnya menjadi nol.

Model korelasi alternatif yang disebut koefisien Spearman, yang melakukan korelasi peringkat dan meminimalkan efek outlier besar, menunjukkan hasil yang sama.

Kesimpulan: jika ada korelasi antara kualitas game (diukur sebagai peringkat oleh ulasan pada Steam) dan kuartal pertama penjualan (diukur dengan jumlah total ulasan), maka terlalu kecil untuk ditemukan dalam data ini.

Pertanyaan 2: apakah demo, akses awal atau diskon memengaruhi keberhasilan / kegagalan pada saat peluncuran game?

Sayangnya, ada begitu sedikit game yang memiliki demo sebelum rilis (10) sehingga hanya korelasi yang sangat kuat yang bisa memberi tahu kami apa pun. Ternyata, tidak ada korelasi signifikan yang ditemukan.

Ada lebih banyak game dengan akses awal (28), tetapi korelasinya lagi terlalu kecil untuk menjadi signifikan.

Lebih dari setengah permainan memiliki diskon per minggu rilis, dan sebenarnya ada korelasi negatif moderat -0,3 antara diskon dan jumlah ulasan di minggu pertama. Namun, tampaknya ini terutama akibat kecenderungan pengembang game AAA (menjual salinan terbanyak) untuk tidak membuat diskon selama rilis game. Jika Anda menghapus game yang kemungkinan besar menghasilkan lebih dari $ 1 juta di minggu pertama, korelasinya akan turun hingga hampir nol.

Kesimpulan: tidak cukup data. Tidak ada korelasi yang jelas ditemukan antara demo, akses awal atau diskon rilis dan jumlah ulasan: bahkan jika mereka membantu atau merusak penjualan, pengaruhnya tidak begitu terkoordinasi sehingga terlihat dalam sampel seperti itu.

Pertanyaan 3: Apakah kesuksesan game memprediksi keberhasilan game sebelum rilis (misalnya, jumlah pelanggan di Steam)?

Jumlah "pelanggan" untuk game apa pun di Steam dapat ditemukan dengan menemukan Game Center yang dibuat secara otomatis. Sebelum rilis game, ini adalah indikator perkiraan yang baik dari tingkat popularitasnya di pasar.

Korelasi antara pelanggan sesaat sebelum rilis dan jumlah ulasan setelah 3 bulan ternyata menjadi 0,89. Ini adalah korelasi positif yang sangat kuat. Korelasi peringkat juga ternyata tinggi (0,85), dan ini memberitahu kita bahwa hasilnya tidak hanya disebabkan oleh beberapa game yang sangat dinanti.

Dengan pengecualian pencilan tunggal (yang akan dijelaskan di bawah), rasio antara jumlah ulasan selama 3 bulan dan jumlah pelanggan sebelum rilis game berada dalam kisaran dari 0 (untuk beberapa game yang tidak menerima ulasan tunggal) hingga 1,8 dengan nilai median 0,1. Jika Anda memiliki 1.000 pelanggan tepat sebelum rilis, maka pada akhir kuartal pertama Anda harus mengharapkan "sekitar" 100 ulasan.

Saya perhatikan bahwa ada beberapa game, jumlah pelanggan yang tampak terlalu besar dibandingkan dengan indikator sekunder dari popularitas game di pasar, misalnya, utas diskusi di forum dan perhatian di Twitter. Setelah meneliti, saya sampai pada kesimpulan bahwa Steam mempertimbangkan aktivasi kunci sebelum rilis sebagai pelanggan. Jika pengembang game membagikan banyak kunci Steam sebelum rilis (misalnya, sebagai hadiah di Kickstarter atau sebagai bagian dari uji beta), ternyata game tersebut menarik lebih banyak pelanggan daripada yang akan diterima "organik".

Kesimpulan: pelanggan organik yang dikumpulkan sebelum rilis game adalah indikator serius kesuksesan yang berkelanjutan.

Pertanyaan 4: bagaimana dengan harga?

Korelasi antara harga dan jumlah ulasan setelah 3 bulan adalah 0,36, yang merupakan korelasi sedang. Saya tidak sepenuhnya yakin akan kegunaan data ini: cukup jelas bahwa game dengan anggaran besar memiliki anggaran pemasaran yang besar.

Korelasi antara harga dan peringkat dalam ulasan adalah -0,41. Tampaknya para pemain mempertimbangkan harga dalam ulasan mereka, dan bahwa ada lebih banyak persyaratan untuk game $ 60 daripada untuk game $ 10.

Pertanyaan 5: Apakah penjualan minggu pertama memprediksi hasil kuartal pertama?

Korelasi antara jumlah ulasan setelah 1 minggu dan jumlah ulasan setelah 3 adalah 0,99. Korelasi Spearman adalah 0,97. Ini adalah korelasi terbesar yang saya temukan dalam data ini.

Jika kami mengecualikan game yang dijual dengan jumlah salinan yang sangat kecil (kurang dari 5 ulasan di minggu pertama), maka sebagian besar game setelah 3 bulan memiliki ulasan dua kali lebih banyak daripada setelah 1 minggu. Dari sini dapat diasumsikan bahwa pada minggu pertama jumlah salinan terjual sebanyak yang akan dijual secara total selama 12 minggu ke depan. Sebagian besar gim memiliki rasio ekor (rasio peninjauan setelah 3 bulan dan setelah 1 minggu) mulai dari 1,3 hingga 3,2.

Saya sering melihat pertanyaan dari pengembang yang memiliki rilis game yang buruk di Steam. Mereka ingin tahu apa yang bisa dilakukan untuk meningkatkan penjualan. Saya yakin pemasaran setelah rilis dapat memengaruhi penjualan di masa mendatang, tetapi tampaknya minggu pertama masih menarik garis hasil yang jelas.

Kesimpulan: semuanya mengatakan bahwa koneksi ada

Pertanyaan 6: Apakah kualitas membantu penjualan game?

Dalam pertanyaan sebelumnya, kami mengatakan bahwa meskipun terdapat korelasi kuat antara penjualan minggu pertama dengan kuartal pertama, rasio masih bervariasi dalam kisaran yang luas. Mari kita tunjukkan sebagai koefisien ekor rasio ulasan setelah 3 bulan untuk ulasan setelah 1 minggu. Nilai terendah adalah 0,95 untuk Pro Fishing Simulator, yang bahkan berhasil kehilangan satu ulasan. Koefisien maksimum adalah 6,9, kita akan mempertimbangkan lonjakan yang sangat besar ini nanti. "Ekor" terburuk berkaitan dengan permainan dengan skor 22%, dan yang terbaik - skor 96%, dan ini kemungkinan besar bukan kebetulan.

Korelasi keseluruhan antara koefisien ekor dan peringkat Steam adalah 0,42.

Kesimpulan: meskipun tidak ada korelasi yang jelas antara kualitas dan jumlah total ulasan / penjualan, ada korelasi moderat antara peringkat game dan "ekor" -nya. Ini mengisyaratkan kepada kita bahwa "game bagus" menunjukkan diri mereka dalam jangka panjang lebih baik daripada "game buruk", tetapi pengaruh faktor ini kecil dibandingkan dengan faktor yang lebih penting dalam popularitas game di pasar.

Pertanyaan 7: apakah mungkin untuk memprediksi keberhasilan permainan sebelum dirilis tanpa mengetahui data di wishlist?

Ketika saya mengumpulkan data untuk setiap game, kadang-kadang sebelum tanggal rilis yang direncanakan, saya membuat perkiraan tentang berapa banyak ulasan yang akan dia terima di minggu pertama, dan memasukkan perkiraan ini dalam spreadsheet.

Faktor utama yang menjadi dasar ramalan saya adalah jumlah pelanggan. Kadang-kadang saya mengoreksi ramalan ketika saya merasa bahwa nilainya tidak benar dan menggunakan sumber tambahan, misalnya, aktivitas di forum Steam dan perhatian di Twitter.

Korelasi antara dugaan saya dan nilai sebenarnya adalah 0,96, dan ini adalah korelasi yang sangat kuat. Seperti yang dapat Anda lihat dalam data, perkiraan saya sebagian besar hampir benar, kecuali dalam beberapa kasus di mana saya sangat keliru.

Dalam pengalaman saya, mengalikan jumlah pelanggan dengan 0,1, dalam banyak kasus kami mendapatkan perkiraan perkiraan jumlah ulasan pada minggu pertama kuartal pertama. Jika game tidak memiliki setidaknya satu pertanyaan di forum diskusi untuk setiap 100 pelanggan, maka ini mungkin mengindikasikan bahwa ada sejumlah besar pelanggan "anorganik", dan penilaian perlu disesuaikan.

Kesimpulan: ya, dengan beberapa pengecualian, menggunakan data pelanggan dan indikator lainnya, Anda dapat memperkirakan hasil minggu pertama. Mengingat korelasi yang kuat antara penjualan minggu pertama dan kuartal, Anda bisa mendapatkan pemahaman tentang hasil kuartal pertama bahkan sebelum rilis.

Pertanyaan terakhir: bagaimana dengan emisi yang saya sebutkan?

Ada beberapa game dalam data yang menonjol dalam satu atau lain cara.

Burst 1: Overdungeon . Sesaat sebelum rilis, game ini memiliki 77 pelanggan - jumlah yang sedikit, dan hanya berdasarkan data ini, saya akan mengharapkan kurang dari selusin review di minggu pertama. Hasilnya, ada 86 dari mereka, tetapi ada lebih dari itu: permainan memiliki ekor yang kuat dan menyelesaikan kuartal pertama dengan 572 ulasan. Dengan margin yang besar, ia memiliki rasio terbesar dalam sampel antara jumlah ulasan dan jumlah pelanggan.

Berdasarkan ulasan, Anda dapat memahami bahwa ini adalah analog dari Slay the Spire, tetapi sangat populer di Asia. Tampaknya 90% ulasan ditulis dalam bahasa Jepang atau Cina. Jika ada yang punya firasat tentang alasan keberhasilan yang tidak biasa dari permainan, maka saya akan tertarik untuk mendengarnya.

Ini tampaknya menjadi satu-satunya contoh yang jelas dari data game dengan jumlah pelanggan minimum sebelum rilis, yang memiliki penjualan kuat di kuartal pertama.

Surge 2: 11-11 Memories Retold . Game ini memiliki tak lama sebelum rilis 767 pelanggan, sepuluh kali lebih banyak dari Overdungeon. Ini masih tidak terlalu banyak bahkan untuk game indie kecil. Tapi dia punya faktor yang menguntungkan: direktur gim itu adalah Yoan Fanise, yang merupakan co-direktur gim populer Valiant Hearts dengan tema serupa. Film ini dianimasikan oleh Aardman Studios, terkenal dengan kartun Wallace dan Gromit. Penerbitnya adalah Bandai Namco Europe, bukan perusahaan yang tidak berpengalaman. Akting suara dari permainan dilakukan oleh Sebastian Koch dan Elijah Wood. Gim ini telah menerima banyak ulasan bagus di gim dan pers reguler. Saat ini memiliki peringkat ulasan positif 95% tentang Steam.

Dan terlepas dari semua ini, tidak ada yang membelinya. 24 jam setelah rilis, dia benar-benar tidak memiliki ulasan tentang Steam. Seminggu kemudian, hanya ada 10. Tiga bulan kemudian, ia menunjukkan "ekor" terbesar dalam data, tetapi itupun hanya mencapai 69 ulasan. Sekarang ada sekitar 100 dari mereka - koefisien ekor yang luar biasa, tetapi permainan yang paling mungkin berubah menjadi kegagalan komersial.

Ini adalah contoh yang bagus bahwa permainan yang bagus + kualitas pengembangan yang baik tidak selalu berarti penjualan yang baik.

Catatan: Temuan paling penting dari analisis ini:

• Keberhasilan permainan di Steam sangat tergantung pada kinerja minggu pertama
• Indikator minggu pertama sangat berkorelasi dengan popularitas permainan di pasar sebelum rilis
• Kualitas tidak terlalu memengaruhi kinerja minggu pertama, tetapi dapat berdampak positif pada ekor penjualan game.
• Semua kesimpulan tentang penjualan tergantung pada hubungan antara jumlah ulasan dan penjualan.