Hai, Habrovsk. Besok kita akan meluncurkan kursus "Manajer Produk proyek-TI" . Untuk mengantisipasi dimulainya kursus, kami segera berbagi dengan Anda pengalaman para guru kami yang ada.
Salah satu alat paling populer dari manajer produk adalah tes A / B, dan
webinar berikutnya di OTUS dikhususkan untuk topik ini. Tiga ahli mengambil bagian sekaligus:
Sergey Koloskov - Manajer Produk di OZON.
Alexander Povarov - Manajer Produk di TransferWise.
Andrey Mende - Pemilik Produk di Booking.com.
Diskusi itu ternyata substantif dan panas. Dibahas:
- Dalam kasus apa yang terbaik untuk menggunakan tes A / B?
- Bagaimana cara mendefinisikan metrik dan menginterpretasikan hasil dengan benar?
- Bagaimana saya bisa membahayakan tes A / B?
- Apa yang bisa menjadi alternatif untuk tes A / B?
- apa yang lebih baik untuk melakukan pengujian?
- kasus fintech, e-commerce, dan pasar.
Menariknya, mereka benar-benar menyetujui batas penerapan tes A / B. Tapi mari kita bicara tentang semuanya secara berurutan.
Apa itu tes A / B?
Pengujian A / B adalah metode riset pemasaran yang terkenal. Secara sederhana, kami membagi pemirsa di situs menjadi beberapa kohort yang sama atau tidak sama dan melakukan satu perubahan / peningkatan di situs, sebagai hasilnya kami menemukan halaman mana yang lebih efektif menyelesaikan tugas bisnis dan produk secara keseluruhan. Kami memeriksa dalam kerangka satu tes tidak lebih dari satu hipotesis (maksimum dua).
Contoh nyata uji A / B untuk OZON:
Dalam contoh ini, kami meluncurkan tombol pembelian satu klik untuk beberapa kategori produk. Selama percobaan, mereka melihat metrik dan corong, menguji hipotesis tentang apakah akan lebih baik bagi pengguna untuk menggunakan skrip dalam satu klik, tanpa "menjatuhkan" "Sampah", yaitu, tanpa membuat gerakan yang tidak perlu. Kategori produk tidak dipilih secara acak - ini tentang produk yang, menurut statistik, paling sering dibeli hanya dengan satu produk.
Sebagai aturan, selama pengujian A / B, kami melihat
metrik , di antaranya:
- konversi (berbagi tindakan utama);
- indikator keuangan (pertumbuhan GMV, pendapatan, tagihan rata-rata);
- metrik perilaku (klik, transisi).
Inilah dashboard asli di OZON untuk kejelasan:
Harap perhatikan bahwa mungkin untuk menyesuaikan
segmen , yang juga penting untuk pengujian A / B, karena kami dapat melihat audiens mana yang dipengaruhi oleh peningkatan tertentu. Misalkan ini adalah pengguna dari Moskow berusia 35 hingga 50 tahun dengan rata-rata cek lebih dari 2500 rubel dan anak dalam keluarga.
Menggunakan Tes A / B di Booking.com (Andrey Mende)
Menurut Andrei Mende , di dalam Booking.com ada keyakinan kuat bahwa perusahaan mencapai keberhasilannya melalui pengujian. Ini termasuk tes A / B, yang tanpanya
hampir tidak ada yang dilakukan di Booking.com sekarang. Jumlah versi yang tersedia secara bersamaan dari situs web Booking.com sangat besar, dan tes A / B berbeda di sini, dan hampir semua yang berhubungan dengan produk diuji, dan setiap perubahan dilakukan hanya setelah pengujian A / B. Omong-omong, pendekatan ini membantu menghindari begitu banyak omong kosong.
Tetapi ada sisi lain dari koin: statistik jangka panjang dari Booking.com menunjukkan bahwa
90% dari hipotesis gagal sesuai dengan hasil tes . Dan ini sebenarnya bagus, karena memungkinkan Anda untuk memastikan sisa 10%. Namun, Anda tidak boleh mencoba semua hipotesis secara berturut-turut, bermain dalam semacam lotere, karena Anda menghabiskan waktu dan uang untuk mengembangkan dan menguji hipotesis apa pun.
Mari kita menganalisis kasus yang aneh: misalnya, di situs ada
pencarian daftar
dan pencarian peta . Menurut statistik, pengguna yang mencari berdasarkan peta memiliki tingkat konversi yang lebih tinggi. Ini dicatat oleh produk "pintar", yang tidak gagal untuk mengambil keuntungan. Dia mulai mengirim pengunjung ke kartu dengan berbagai cara, kadang-kadang bahkan berbahaya. Misalnya, pengguna berasal dari pencarian - menemukan diri mereka di peta, membandingkan sesuatu, - sekali lagi, tombol "Tampilkan di peta" ditampilkan dengan sangat membantu, dll. Banyak waktu dihabiskan untuk inovasi, tetapi
hasilnya nol . Dan jika pengguna tidak datang ke kartu atas inisiatifnya sendiri, tidak ada yang berhasil.
Sangat sering itu semakin buruk, tidak pernah menjadi lebih baik . Dan semua karena kami memiliki contoh
bias Seleksi (sampel bias) yang bagus:
Di sini Anda dapat mengingat
kisah terkenal tentang pesawat terbang , beberapa di antaranya kembali ke pangkalan, sementara yang lain tidak. Lubang-lubang pada kasing mereka dipelajari untuk memahami di mana lebih banyak armor diperlukan. Kita berbicara tentang apa yang disebut
kesalahan pemilihan sistematis ketika ada banyak data untuk satu kelompok ("survivor") dan praktis tidak ada data untuk yang lain ("survivor"), sebagai akibatnya peneliti mencoba mencari fitur-fitur umum di antara "survivor" dan diabaikan. bahwa informasi yang tidak kalah pentingnya bersembunyi di antara yang "mati".
Situasinya mirip dengan kami: kami mempelajari orang-orang yang mencapai tahap pemesanan pada Booking.com melalui kartu, tetapi tidak mempelajari orang-orang yang tidak mencapai tahap ini. Akibatnya, kesimpulan palsu ditarik.
Mari kita lanjutkan. Apa budaya yang sangat berguna di mana tes A / B memainkan peran penting:
Keuntungan dari tes A / B sudah jelas:
- Pertama, banyak hal yang diuji dan ada basis pengetahuan yang tepat. Jika ide “brilian” datang kepada Anda, Anda dapat mengetahui dalam 15 detik bahwa ide cemerlang Anda telah terjadi pada salah satu produk dua tahun lalu, terlebih lagi, ia berhasil mengujinya dan gagal total. Bagaimana bisa orang tidak mengingat yang klasik:
"Dengarkan apa yang aku semprotkan tadi malam dengan cahaya lampu listrik yang berkedip-kedip:" Aku ingat saat yang indah, kamu muncul di hadapanku, seperti penglihatan sekilas, seperti seorang jenius kecantikan murni. " Sangat bagus Berbakat? Dan hanya pada waktu subuh, ketika baris terakhir ditambahkan, saya ingat bahwa ayat ini sudah ditulis oleh A. Pushkin. Pukulan yang luar biasa dari sisi klasik! Hah? "
Kutipan dari Ostap Bender dari novel The Golden Calf, I. Ilf, E. Petrov
- Kedua, nyaman untuk bekerja dalam budaya seperti itu, karena hampir tidak ada persaingan pendapat. Solusi produk, seperti yang mereka katakan, mengkristal keluar, termasuk melalui pengujian. Dan tidak masalah siapa Anda, senior atau junior - selama Anda tidak memiliki tes yang bagus, Anda tidak akan melakukan perubahan apa pun.
- Ketiga, pembelajaran mesin dan algoritma mesin pintar sangat populer sekarang. Dan Machine learning dan tes A / B hanyalah campuran bahan peledak yang akan menentukan pengembangan produk dalam waktu dekat.
Pandangan yang berbeda pada tes A / B dari startup (Alexander Povarov)
Menurut Alexander Povarov , keberhasilan Booking.com tentu saja patut dipuji. Tetapi jika kita berbicara tentang tes kualitas, mereka akan membutuhkan banyak data. Booking.com memiliki khalayak luas dan kemampuan untuk bereksperimen dengan banyak hal sekaligus. Jika kita berbicara tentang beberapa proyek berukuran sedang, maka sangat sering data dan lalu lintas tidak cukup dalam proyek semacam itu. Jika lalu lintas lebih tinggi daripada atap, maka ini bukan obat mujarab, karena pengguna dapat datang ke situs Anda untuk menyelesaikan berbagai kasus pengguna, yang terkait dengan spesifikasi produk. Jika ini adalah bank Internet, maka seseorang datang untuk membayar telepon, dan seseorang melihat pernyataan itu. Dan sebagainya. Selain itu, Anda sering menguji dengan uji A / B hanya dengan satu tindakan pengguna.
Untuk membuat kesimpulan singkat, maka pengujian A / B memiliki
batasan berikut:
- membutuhkan banyak data;
- Hanya cocok untuk kasus pengguna yang homogen;
- fokus pada satu langkah (klik).
Poin berikutnya -
pengujian A / B tidak memberikan pertumbuhan berganda :
- peningkatan konversi 1 pp (misalnya, 1% → 2%);
- bahkan setelah 30 iterasi tidak tumbuh 1% → 31%;
- corong tetangga cenderung memburuk;
- konversi akan meningkat, tetapi dalam satu langkah.
Jika kita berbicara tentang produk yang kompleks, kemudian bermain dengan tes A / B,
Anda cenderung mengaitkan corong tetangga , dan konversi ke mereka mungkin jatuh. Contoh paling umum adalah ketika beberapa fitur dijual di halaman promo layanan besar. Menyoroti satu, konversi ke yang lain pasti akan berlalu. Tetapi bahkan jika semuanya berjalan dengan baik, Anda akan memulai riwayat berinteraksi dengan pengguna yang menggunakan produk Anda setiap hari dan semua konversi yang entah bagaimana Anda tingkatkan tidak memengaruhi sama sekali.
Dengan demikian, menurut Alexander Povarov, lebih baik menggunakan sumber daya manajer produk
untuk menumbuhkan produk beberapa kali . Idealnya, Anda harus mencari titik pertumbuhan produk yang akan membantu tumbuh hingga puluhan persen.
Apa yang bisa mengarahkan energi Anda ke:
- peningkatan pengalaman pengguna;
- penciptaan nilai tambahan;
- meningkatkan unit ekonomi;
- mencari produk / model bisnis baru.
Kami dapat mengatakan dengan yakin bahwa
fitur produk berkali-kali lebih baik daripada optimasi pendaratan . Sebagai contoh,
Yandex.Money meluncurkan kartu plastik berwarna, yang sangat keren dan dengan satu lapisan transparan. Mereka hanya diluncurkan, dan orang-orang merespons dengan permintaan tinggi, karena mereka hanya menginginkan kartu seperti itu untuk diri mereka sendiri. Dan tidak diperlukan tes A / B. Yaitu, corong keluaran telah tumbuh dan kini berada pada tingkat yang jauh lebih tinggi, dan produk itu sendiri sebagai layanan keuangan tidak berubah sama sekali!
Ya, tidak setiap fitur belanjaan akan memberikan peningkatan puluhan persen. Di sisi lain, tidak ada peningkatan dalam pengujian A / B yang akan menghasilkan banyak pertumbuhan.
Dan satu hal lagi:
audiens baru akan memberikan lebih dari peningkatan konversi . Untuk lebih memahami hal ini, mari berikan contoh kasus nyata untuk TransferWise:
Pada gambar di atas kita melihat bentuk pembayaran, yang mungkin ditanyakan oleh manajer produk berpengalaman. Dan, kemungkinan besar, dia akan benar, karena dengan bantuan tes A / B, dimungkinkan untuk membuat formulir ini lebih menyenangkan dan bahkan meningkatkan konversi, katakanlah, enam bulan kemudian, dengan beberapa iterasi.
Namun, TransferWise telah mengambil jalur untuk menemukan poin pertumbuhan produk. Di bawah ini adalah grafik di mana indikator MNU diperbaiki - jumlah pengguna baru yang bergabung:
Apa alasan pertumbuhannya? Faktanya adalah bahwa perusahaan terlibat dalam transfer uang, dan untuk salah satu negara tidak ada dukungan untuk pembayaran kartu, tetapi lalu lintas dari sana diamati. Setelah menambahkan kemampuan untuk mendukung peta untuk negara ini, kami menerima lebih banyak wawasan dan meningkatkan basis pengguna aktif kami. Dan
bentuk pembayaran kami yang
jauh dari optimal tetap tidak optimal . Bagaimanapun, kami tidak akan pernah mencapai pertumbuhan seperti itu jika kami menghabiskan setengah tahun untuk mengoptimalkan bentuk pembayaran.
Ini sekali lagi menunjukkan bahwa sama pentingnya untuk berkonsentrasi pada
pertumbuhan penting produk , yaitu, pada hal-hal yang mengubah produk Anda, membawa pengguna baru.
Jadi, apakah Anda memerlukan tes A / B atau tidak?
Setelah para dosen berbicara, tibalah saatnya untuk diskusi yang hidup, yang lebih baik ditonton
langsung . Kami akan segera meringkasnya.
Fitur dan batas aplikasi tes A / B:- khalayak luas (DAU, MAU);
- tidak lebih dari satu (maksimum dua) hipotesis dalam ujian;
- keberhasilan produk dalam 10% pengujian pada tingkat pertumbuhan satu poin persentase dan kurangnya hasil dalam 90% pengujian;
- pengaruh terbatas pada metrik metrik bisnis ini;
- ketidakmampuan untuk produk B2B dan penerapan terbatas untuk produk fintech (di mana setiap klik pada akun).
Pada saat yang sama, tentu saja, pengujian terpisah adalah jawaban yang paling transparan untuk setiap pertanyaan dan kesempatan untuk tidak menggunakan intuisi dan tidak berpikir untuk pengguna. Selain itu, tes A / B juga merupakan teman yang baik, atas dasar itu Anda bisa mendapatkan wawasan untuk produk yang ada. Dan juga, berkat tes A / B, metrik produk dan NPS ditingkatkan, sehingga disarankan untuk selalu menggunakan tes jika murah, dan jika kami mencari titik pertumbuhan pada produk yang ada.
Tapi tetap saja, tes A / B lebih tentang memeras maksimal dari model dan produk bisnis saat ini.
Dan di mana mencari produk dan pertumbuhan bisnis (Sergey Koloskov)?Dia berada di CustDev, menganalisis pesaing (melalui Web Sejenis yang sama), menganalisis produknya (ketika menganalisis corong utama dan metrik terkait di mana wawasan dicari dan ditemukan), analitik pasar, dan merancang skenario pengguna (CJM, tempat Anda dapat melihat apa yang diinginkan, dan apa yang mengganggu pengguna).
Misalnya, salah satu keputusan elegan yang dibuat sekali di OZON setelah menganalisis pesaing dan melakukan sesi wawancara dan merancang skenario pengguna adalah
Trade-in on technology . Idenya bukan hal baru, tetapi memberikan poin baru pertumbuhan bisnis. Dan sebenarnya, bagaimana jika pacar Anda menginginkan iPhone baru, sedangkan versi sebelumnya, yang dibeli, juga, untuk uang hasil jerih payah Anda, belum tertutup debu? Solusinya sederhana - dapatkan diskon besar untuk iPhone baru, kembalikan yang lama. Untuk melakukan ini, Anda bahkan tidak perlu meninggalkan rumah:
Ini adalah produk yang memberi pertumbuhan pada bisnis yang menjadi dasar kerja manajer produk. Ini adalah pekerjaan yang membawa uang perusahaan bahwa produk harus menjadi prioritas utama. Ini harus selalu diingat.
Mungkin dengan catatan positif ini dan selesai. Jika topiknya menarik,
tonton video lengkapnya . Pada saat yang sama, Anda akan melihat kasing tambahan dan detail lainnya.
Dan sampai jumpa di lapangan !