Selama 13 tahun terakhir saya telah bekerja di My.Com. Ini adalah perusahaan yang sangat besar, terdiri dari lebih dari 10 studio berbeda yang membuat game, terutama mobile. Skala ini menyiratkan kepadatan tinggi peluncuran game baru, sekitar 3-4 game setahun. Seperti yang Anda ketahui, bekerja dengan aliran seperti itu membutuhkan kemampuan hebat untuk dengan cepat dan akurat mengevaluasi proyek pada setiap tahap penciptaannya.
Dan di sini kesulitan utama terkait dengan proyek yang menunjukkan hasil yang kontroversial. Jika semuanya jelas dengan lemah / kuat, maka selalu ada masalah dengan mengevaluasi yang terakhir, karena tugas meninggalkan bidang mengevaluasi indikator langsung di pesawat menilai potensi potensi proyek.
Misalnya, jika proyek Retensi hari pertama memiliki 20%, maka ini jelas merupakan proyek yang lemah yang perlu ditutup. Dan jika itu adalah game midcore dengan Ret1 30%? Semuanya tidak begitu jelas di sini.
Game midcore ini, tentu saja, bisa ditutup, tetapi kemudian ada kemungkinan kita akan kehilangan hit, karena potensi gamenya mungkin belum terungkap dan pengembang perlu satu tahun lagi untuk mengubah bebek jelek menjadi angsa.
Jika Anda memberikan tahun ini kepada pengembang, dan angsa yang indah, pada akhirnya, tidak berhasil, perusahaan akan kehilangan uang dan kehilangan keuntungan, karena pengembang bisa membuat game lain tahun ini, yang akan menjadi angsa.
Untuk keluar dari persimpangan ini secara kompeten, Anda harus dapat menilai bukan keadaan proyek saat ini, tetapi potensinya. Tetapi bagaimana melihatnya, dilihat dari standar industri? Sayangnya, tidak ada apa-apa. Standar industri terlalu dangkal dan universal untuk "melihat ke dalam jiwa" dari satu proyek. Untuk melihat potensinya, hanya kaca pembesar sederhana, Anda membutuhkan mikroskop yang kuat.
Praktik saya menunjukkan bahwa hari ini semua keputusan tentang proyek kontroversial dibuat atas dasar intuisi, kepercayaan, atau melalui Soft Launch yang sangat panjang, yang membuat proses pengambilan keputusan mahal, tidak dapat diprediksi, dan kadang-kadang bahkan menyakitkan. Karena itu, saya ingin berbicara tentang "mikroskop" ini hari ini dan berbicara tentang pengalaman saya dengan penggunaannya.
Peluang untuk seorang individu terlalu tinggi
Kami memulai percakapan kami dengan mempertanyakan ide-ide Anda saat ini tentang kemampuan untuk melihat potensi proyek dan memprediksi keberhasilan game tertentu. Kita semua, tentu saja, memiliki pendapat kita sendiri tentang masalah ini, tetapi, dengan probabilitas tinggi, itu keliru, karena bergantung pada persepsi subjektif dari proyek, yang membuat pendapat Anda menjadi sandera bagi semua jenis distorsi kognitif.
Kami di My.com telah berjalan jauh sebelum kami menyadari bahwa tidak ada pakar yang dapat menganalisis potensi permainan streaming. Tidak diragukan lagi, kesuksesan terjadi secara berkala, dan orang-orang segera muncul di sekitarnya, yang mulai menceritakan dengan cerdas bagaimana mereka percaya pada kesuksesan ini atau meramalkannya. Tetapi jika Anda melihat sejarah semua pernyataan orang-orang ini, Anda akan melihat banyak kesimpulan yang tidak mengarah pada kesuksesan ... Jadi bagaimana masalah ini bisa diselesaikan?
Saya pribadi menemukan solusi menggunakan rekam jejak kami sendiri. Studio saya adalah bagian dari My.com, dan saya, seperti semua pengembang lainnya, memiliki akses ke statistik tidak hanya dari proyek saya, tetapi juga dari proyek studio sekutu. Dari jumlah tersebut, saya mengidentifikasi orang-orang yang memenuhi kriteria kesuksesan saya, dan mulai membedah data mereka dalam mencari formula kesuksesan bersama.
Kriteria keberhasilan
Pertama, Anda perlu menentukan kriteria untuk permainan, yang dapat dianggap berhasil. Dalam sistem koordinat saya, ini adalah game yang menghasilkan dari $ 1.000.000 bersih per bulan dan memiliki margin> 30% setahun setelah rilis global.
My.com memiliki proyek seperti itu secara cukup teratur, sehingga ada cukup data untuk dipelajari dan kesimpulan pertama dibentuk dengan sangat cepat. Saya mengubahnya menjadi dua aksioma berikut:
- Tidak ada permainan yang sukses tanpa pemasaran yang sukses.
- Pemasaran yang sukses tanpa permainan yang sukses tidak ada.
Ya, sebuah penelitian tentang produk internal kami menunjukkan bahwa produk yang sukses selalu menggabungkan sejarah pemasaran yang sukses dan permainan yang sukses. Meskipun bidang-bidang ini tidak saling tergantung secara langsung, pada titik temu inilah tingkat keberhasilan yang kita butuhkan terbentuk.
Oleh karena itu, saya ingin menarik perhatian Anda untuk membandingkan keberhasilan berbagai proyek dengan metrik game secara terpisah dari metrik pemasaran sama sekali tidak berguna. Ini sama dengan berbicara tentang warna suatu benda, mengingat bayangannya.
Oleh karena itu, saya menyiapkan persiapan lebih lanjut untuk sukses dari sudut pandang pemasaran dan dari sudut pandang metrik game.
Mengevaluasi kesuksesan produk dari perspektif pemasaran
Analisis pemasaran game-game kami yang sukses dengan cepat menunjukkan bahwa formula kesuksesan mereka terletak pada kemampuan proyek untuk menarik banyak pendaftaran murah. Karena volume ini, target pendapatan dibentuk, dan optimasi berikutnya memastikan margin yang diperlukan.
Untuk menggambarkan efek yang memungkinkan Anda menarik sejumlah besar lalu lintas ke dalam proyek, kami membutuhkan parameter seperti Pasang Nilai (IR) iklan. Menurut saya. Indikator inilah yang paling jelas mencerminkan keberhasilan pemasaran permainan. Saya menganggapnya sebagai berikut:
IR = CTR * CRDi mana RKT adalah konversi dari tayangan ke klik; CR - konversi dari klik untuk menginstal.
Dengan demikian, semakin tinggi IR, semakin mudah proyek menarik pengguna dan semakin murah biayanya.
Untuk mendapatkan Tingkat Instal tinggi, Anda perlu memastikan iklan klik-tayang tinggi dan konversi tinggi dari halaman samping. Ini dapat dicapai hanya jika iklan dan penghentian membawa pesan yang pada saat yang sama menangkap audiens dan membentuk harapan yang benar dari produk. Yang terakhir diperlukan untuk menjaga pengguna yang dirujuk. Anda dapat membuat pesan yang menarik, tetapi jika itu tidak membenarkan ekspektasi nyata pengguna saat Anda memasuki permainan berikutnya, mereka akan pergi dan Anda tidak akan dapat menutup biaya untuk menarik mereka.
Grafik ini menggambarkan dengan baik hubungan kuat antara CTR dan CR. Di sini Anda dapat melihat konflik pesan yang sangat menarik dan harapan nyata dari permainan, ketika peluncuran kampanye pemasaran dengan RKT yang sangat tinggi menyebabkan runtuhnya CR.
Seperti yang ditunjukkan oleh praktik saya, tanda pertama kesuksesan sebuah game adalah adanya RKT tinggi untuk iklan video yang menunjukkan gameplay-nya (> 1%). Setelah itu, tugas halaman samping adalah untuk mendukung dan lebih sepenuhnya mengungkapkan pesan yang dibentuk oleh iklan video ini. Jika semuanya dilakukan dengan benar, maka kita mendapatkan CR di wilayah 30-40%, dan Install Rate itu sendiri akan berada di wilayah 0.4-0.5. Nilai ini dapat dianggap sebagai tanda bahwa proyek dari sudut pandang pemasaran akan berhasil, dan perlu untuk berurusan dengan pengembangannya, bahkan jika ada sejumlah masalah lain.
Bagaimana cara mengumpulkan nilai Nilai Instal?
Untuk melakukan ini, saya sarankan menguji iklan video di kisi-kisi video, karena penargetannya cukup umum, dan oleh karena itu hasilnya akan sama tidak biasnya. Juga, pendekatan ini akan memungkinkan Anda untuk membandingkan proyek yang berbeda satu sama lain. Tapi jangan salah di sini dan jangan lupa untuk memperhitungkan tahap siklus hidup dari proyek yang dibandingkan! Jika Anda membandingkan proyek dari berbagai usia, maka Anda akan mendapatkan kesimpulan yang salah. Tidak menganggap siklus hidup adalah kesalahan besar yang bahkan sering dilakukan oleh para profesional. Misalnya, lihat bagaimana ROI kampanye pemasaran untuk dua hit kami berubah hanya setahun setelah peluncuran:
Perbedaan besar dalam pengembalian menunjukkan bahwa pada awal proyek itu menarik audiens target, yang sangat murah dan membayar dengan baik. Tetapi seiring berjalannya waktu, itu berakhir, dan pengembaliannya mulai turun bahkan meskipun ada peningkatan produk dari proyek selama setahun terakhir. Oleh karena itu, membandingkan proyek satu sama lain, pastikan untuk membuat penyesuaian untuk masa pakai proyek.
Bisakah saya memengaruhi Angka Pasang?
Karena IR adalah refleksi dari reaksi audiens, ini adalah input eksternal yang tidak dapat dipengaruhi, itu hanya dapat dihitung. Ini adalah konsekuensi dari pekerjaan yang dilakukan oleh produsen pada tahap Pra-Produksi, ketika konsep permainan, pengaturan dan tanggal rilis produk di pasar disetujui. Ini adalah kutukan atau berkah yang diberikan produser pada proyek ketika dia memberi pengembangan "lampu hijau".
Tentu saja, saya membicarakan hal ini dengan sangat jelas hanya dengan syarat:
- Pekerjaan memposisikan proyek dan produksi materi promosi dilakukan pada tingkat yang tepat dan tidak mengandung kesalahan besar.
- Kita berbicara tentang jangka panjang. Karena pada jarak pendek, Tingkat Pemasangan dapat diunduh secara berkala melalui pembuatan bahan iklan yang sangat berhasil, tetapi cepat atau lambat bahan-bahan tersebut akan hangus dan proyek jatuh ke tingkat dasarnya. Dan dalam jangka panjang, kita hanya bisa memperlambat penurunan dalam Install Rate.
Grafik ini menggambarkan dengan baik ketidakmampuan untuk sangat memengaruhi IR. Kami melihat bahwa pada awalnya proyek memiliki nilai IR yang tinggi, tetapi setelah beberapa saat ada koreksi yang kuat ke bawah (krim khalayak target dikumpulkan) dan IR mencapai tingkat dasarnya. Setelah ini, kecenderungan jangka panjang terbentuk untuk penurunan bertahap meskipun kegiatan periklanan yang berhasil secara berkala.
Mengevaluasi kesuksesan produk dari perspektif metrik game
Tidak seperti metrik pemasaran, metrik game sangat sulit untuk dibandingkan. Sepanjang waktu saya di perusahaan, kami memiliki banyak holivar dalam upaya mengembangkan konsep tunggal untuk menilai kualitas permainan. Tetapi tidak satu pun dari upaya ini yang berhasil, karena semuanya menabrak perbedaan genre.
Meskipun semua produk kami disebut permainan, pada kenyataannya mereka adalah produk yang sama sekali berbeda, yang disatukan hanya dengan kehadiran elemen hiburan. Semua game menghibur pemain, tetapi setiap genre memiliki caranya sendiri. Dari sini mengikuti aturan yang benar-benar alami yang mengevaluasi kualitas permainan dengan benar dalam kerangka genre-nya. Tapi! Jika Anda menganalisis sejarah genre game mobile, Anda akan melihat bahwa mereka terus berkembang, dan terutama kombinasi eksplosif muncul ketika genre dicampur dan membentuk genre dan subgenre baru.
Hal ini disebabkan oleh persaingan di pasar ponsel, yang memberikan penghargaan, pertama-tama, game-game yang merupakan yang pertama memberikan pengalaman bermain unik yang dapat dimonetisasi dalam jangka panjang. Semua ini membenamkan game mobile dalam lingkungan elastisitas ekstrem, sehingga mengikis definisi genre dan penyajiannya dalam bentuk semacam metrik game.
Oleh karena itu, ketika kita berbicara tentang permainan seluler dan pembentukan kriteria untuk mengevaluasi metrik mereka, kita menemukan diri kita dalam lingkungan yang sangat kacau yang tidak memungkinkan kita untuk menerima perbandingan yang masuk akal secara matematis. Yang dapat kita lakukan dalam keadaan ini adalah membandingkan secara kasar metrik game dengan nilai ambang, yang akan memungkinkan kita untuk membagi game menjadi baik dan buruk, tetapi tidak untuk mengevaluasi game kontroversial dalam hal potensi potensial mereka.
Bagaimana menjadi? Apakah ada jawaban yang beralasan oleh matematika, dan bukan kredit kepercayaan pada pengembang? Saya pikir ada.
Di studio kami, kami tidak langsung sampai pada pemahaman ini, dan kami datang bukan secara sistematis, melainkan karena kebetulan, yang patut untuk diucapkan terima kasih kepada Google Play - riset pasarnya adalah titik awal bagi kami sendiri, yang mengarahkan kami ke jawabannya.
Ini terjadi pada 2017 di Brasil. Di sana, Google Play menyelenggarakan konferensi untuk para pengembangnya dan berbagi berbagai informasi. Salah satu slide presentasi ini berbicara tentang keberadaan 4 kelompok proyek yang keberhasilannya ditandai oleh kurva retensi dalam 10 menit pertama permainan.
Pada saat itu, kami terobsesi dengan masalah meningkatkan retensi dalam permainan Juggernaut Wars, jadi studi Google Play sangat menginspirasi kami, karena menyarankan untuk melihat retensi dari perspektif yang tidak biasa: seberapa tinggi nilainya pada menit pertama permainan dan apa dinamika pertumbuhan pada setiap menit berikutnya.
Menurut Google Play, semakin kuat pertumbuhan dari menit ke menit dan semakin tinggi nilai awal, semakin memukul permainan. Berbekal konsep ini, kami menganalisis portofolio kami, dan itu berhasil! Kami mendapat grafik berikut, di mana posisi kurva proyek-proyek utama kami dan satu rata-rata sangat akurat mencerminkan kesuksesan box office berikutnya.
"Wow!" - kami pikir pada saat itu. Ternyata Anda dapat mengevaluasi hitiness permainan dalam 10 menit pertama!
Untuk merasakan pentingnya kesimpulan ini, fokuslah pada fakta bahwa bahkan satu menit yang dihabiskan dalam permainan memiliki probabilitas matematika yang stabil dari pengguna yang kembali keesokan harinya. Dan jika kita berbicara tentang hit, maka bahkan menit ini sudah cukup untuk membentuk perbedaan yang signifikan dalam retensi relatif terhadap game yang tidak hit. Dan apa yang bisa dilihat pemain di menit ini? Hampir tidak ada, ini akan menjadi kesan pertama dari pengaturan dan mekanik dasar. Dia akan melihat bahwa tidak mungkin untuk berubah tanpa sepenuhnya mengulangi proyek. Ini bisa dibandingkan dengan keberadaan game dengan DNA sendiri.
Jadi hipotesis lahir tentang keberadaan DNA dalam proyek, yang dapat diartikan sebagai metrik yang secara matematis dapat mengekspresikan potensi permainan.
Project DNA adalah seperangkat kualitas permainan mendasar yang menentukan probabilitas pengguna kembali setelah menit pertama, dan juga menentukan tingkat pertumbuhan dalam probabilitas kembali dengan setiap menit berikutnya yang dihabiskan dalam permainan. Semakin tinggi nilai awal dan semakin kuat pertumbuhan dari menit ke menit, semakin baik DNA permainan dan semakin kuat potensinya.
Analisis tingkat mikro ini memungkinkan Anda untuk menghapus batas genre dan mengevaluasi proyek game hampir di tingkat fisiologis. Mengevaluasi keinginan pemain untuk kembali ke proyek setelah satu menit, serta mengukur pertumbuhan keinginan ini dengan setiap menit berikutnya, kami bekerja dengan reaksi bawah sadar pemain. Pada interval waktu seperti itu, data gim masih sangat kecil bagi pemain untuk membuat pilihan, tetapi secara tidak sadar ia masih membuatnya. Jika konsep permainan dan implementasinya cukup kuat, maka itu akan menyeret pemain bahkan pada tingkat yang tidak disadari, dan semakin lama ia berada dalam permainan, semakin kuat akan pengaruhnya.
Pada titik mana DNA dapat diukur?
Konsep ini mulai bekerja ketika proyek memiliki setidaknya 10 menit gameplay kualitas rilis.
Ternyata, jika Anda memastikan kinerja yang tepat, maka ukur hit permainan, secara teoritis, Anda sudah bisa pada tahap Vertical Slice. Dalam praktiknya, akan dimungkinkan untuk mengukur tidak lebih awal dari Alpha Tertutup, karena untuk memplot perlu menyediakan ukuran sampel yang besar untuk memperlancar fluktuasi yang mungkin terjadi. Studi ini didasarkan pada analisis retensi klasik 10 menit pertama dan membutuhkan kohort representatif pengguna untuk masing-masing 10 menit. Dan untuk memastikan pembentukan semua kohort ini dan mengurangi risiko fluktuasi, Anda membutuhkan minimal 40.000 pendaftaran. Setelah Anda dapat memberikan volume pendaftaran sebesar itu untuk gameplay kualitas rilis 10 menit, Anda dapat mengetahui DNA proyek tersebut.
Bagaimana cara mengartikan makna DNA?
Pada output, Anda akan memiliki kurva yang nilai absolutnya hanya bernilai jika dibandingkan dengan kurva lain yang dihitung dalam kondisi yang sama. Ketika pekerjaan sedang berlangsung dengan penahanan menit demi menit, tugas menjadi sangat spesifik untuk proyek, ketika nuansa pengaturan login dan pengguna keluar di server mulai memainkan peran besar. Oleh karena itu, Anda akan mendapatkan data maksimum ketika membandingkan proyek yang dibuat dalam kerangka solusi server yang serupa.
Tetapi bahkan jika tidak ada yang bisa dibandingkan, Anda dapat mengevaluasi proyek dari sudut pandang pertumbuhan yang konstan. Untuk permainan yang sukses, penting agar retensi tumbuh dengan setiap menit yang dihabiskan: semakin banyak orang menghabiskan waktu dalam permainan, semakin mereka harus menyukainya. Jika tidak ada pertumbuhan dalam retensi, atau penurunannya diamati, maka ini adalah tanda adanya masalah mendasar dalam permainan, yang saya sebut lubang cacing. Berikut adalah contoh dari salah satu proyek kami di mana lubang cacing ini diucapkan.
Dapat dilihat bahwa dalam 10 menit permainan, pertumbuhan retensi praktis tidak diamati. Jika dalam game hit kami itu tumbuh 250%, maka yang ini hanya 20%. Pada saat yang sama, kita melihat bahwa memegang menit kedua secara signifikan lebih rendah daripada menahan pada menit pertama, dan ini menunjukkan bahwa permainan tidak hanya tidak memikat penonton, tetapi juga sangat kehilangan pengguna yang sudah tertarik. Selama proyek memiliki lubang cacing seperti itu, ia tidak akan dapat secara efektif menyerap penonton.
Kesimpulan
Bekerja di sebuah perusahaan besar yang menggabungkan lebih dari 10 studio berbeda, yang masing-masing bekerja pada beberapa proyek secara bersamaan, saya mendapat kesempatan untuk mempelajari semua pengalaman positif kami dan melihat kisah sukses yang telah terjadi dari sudut pandang analitik dan pengalaman saya sendiri.
Tugas saya adalah belajar mengevaluasi proyek secara objektif tidak hanya dari sudut pandang proyek yang benar-benar lemah / kuat, tetapi juga merumuskan pendekatan untuk mengevaluasi proyek kontroversial dengan menganalisis potensi mereka, yang, karena sejumlah alasan, mungkin belum diungkapkan.
Saya berharap bahwa pekerjaan yang saya lakukan akan membantu pengembang membuat keputusan berdasarkan informasi tentang isu-isu penting seperti awal atau penutupan proyek. Lagi pula, pekerjaan apa pun pada permainan tidak hanya bekerja, tetapi juga waktu. Dan jika pengembang game tidak bekerja keras, maka waktu adalah sumber daya yang paling terbatas, gunakan dengan bijak. Semoga beruntung