Mungkin, hanya pemasar dan manajer produk terhijau yang belum pernah mendengar tentang tes A / B, tetapi bahkan spesialis yang berpengalaman kadang tidak tahu bagaimana melakukannya dan apa yang harus dilakukan dengan hasilnya. Karena inilah Anda sering dapat mendengar bahwa pengujian A / B tidak berfungsi dan umumnya tidak berguna.
Untuk menghilangkan rumor, kami berbicara dengan praktisi analitik A / B dari agensi Agima, Sergey Filatov, dan dia memberi tahu kami tentang cara kerja metodologi pengujian A / B, alat yang membantu untuk melakukan tes untuk aplikasi seluler, dan tentang prospek yang membuka penguasaan ini. kumpulan keterampilan.
Tes A / B sebenarnya adalah penelitian yang ditujukan untuk memilih opsi terbaik dari beberapa. Masalahnya adalah bahwa istilah ini sangat luas: ini adalah tes oleh pemasar, dan jenis analisis produk digital. Ini sering menimbulkan kebingungan ketika Anda melihat kasus bahwa "perusahaan melakukan pengujian A / B", dan Anda perlu memahami mana yang umum atau teknis. Kami akan berbicara secara khusus tentang pengujian A / B untuk mengevaluasi fungsionalitas aplikasi seluler. (Namun, pengetahuan ini dapat dengan mudah ditransfer ke bidang riset pemasaran.)
Materi ini adalah bagian dari seri yang disiapkan untuk peluncuran kursus bersama di Skillbox Online University dan Agima, Fullstack Mobile Developer . Kami sudah berbicara tentang cara masuk ke AppStore pertama kali , dan bagaimana mengembangkan antarmuka aplikasi , memberikan beberapa diskon sepuluh persen dan empat diskon 20% dalam prosesnya.
Mereka yang telah menyelesaikan dua teka-teki dan menginginkan lebih (untuk meningkatkan diskon kumulatif), hari ini mereka akan mendapatkan teka-teki tentang alat pengujian. Cari dia dalam teks! Dan sisa dari habroiser masih dapat memesan kursus untuk 10.000 rubel lebih murah menggunakan kode promo Habr (ingat bahwa ini tidak menambah hingga diskon yang ditawarkan oleh rebuses terurai).
Pengujian A / B biasanya dianggap sebagai alat analitis yang memungkinkan Anda untuk mengevaluasi pengaruh perubahan produk terhadap konversinya - peningkatan jumlah arahan yang ditransfer ke pesanan. Konversi di sini tidak harus berarti pembelian sesuatu: ini adalah transisi pengguna dari satu tahap ke tahap lainnya saat ia melewati corong pesanan, dan setiap interaksinya dengan bentuk dan elemen layanan di sepanjang jalan.
Tes A / B diperlukan untuk:
- pilih dari beberapa opsi untuk layar atau halaman yang terbaik;
- mengevaluasi kemungkinan mengubah indikator tertentu dari produk Anda;
- menghitung efektivitas penggantian elemen-elemen tertentu pada halaman atau layar;
- memahami cara meningkatkan konversi di setiap tahap corong penjualan, dan karenanya, menambah jumlahnya;
- di dalam aplikasi seluler, tes A / B memberikan peluang untuk meningkatkan pengalaman pengguna, memungkinkan Anda untuk lebih mudah mengatur elemen dan membuat konten lebih menarik dan lebih bermanfaat bagi pengguna.
Pernyataan masalah
Setiap tes A / B dimulai dengan hipotesis. Mereka datang dalam dua bentuk. Yang pertama adalah lebih banyak pemasaran, yang bertujuan untuk meningkatkan lalu lintas, jumlah orang yang melakukan tindakan tertentu dan mengklarifikasi audiens mana yang menjadi fokus aplikasi. Dalam hal ini, itu bukan fungsi dari aplikasi itu sendiri yang diuji sebagai saluran pemasaran dan konversi dari setiap alat iklan. Kami akan fokus pada jenis hipotesis kedua.
Itu terletak pada fakta bahwa dengan mengubah satu atau lainnya fungsi internal - elemen atau blok, hubungan antara mereka atau logika interaksi mereka - kita dapat mencapai perubahan dalam indikator aplikasi tertentu (namun, semua ini berlaku untuk situs).
Hipotesis ini mungkin menyangkut elemen yang terletak di layar layanan, atau koneksi layar di dalamnya. Sayangnya, pengujian koneksi antara layar secara teknis bermasalah karena kesulitan dalam mengatur tes, jadi biasanya analis dibatasi untuk bekerja pada blok tertentu dan layar individual.
Inti dari pengujian A / B dalam hal ini adalah bahwa satu kelompok pengguna ditampilkan satu opsi untuk lokasi atau konfigurasi antarmuka, dan yang kedua untuk yang lain.
Dan inilah rebusnya! Ingatlah bahwa bahasa Inggris di sini dapat mengganggu bahasa Rusia, dan subjek dari teka-teki ini adalah ponsel. Dan jangan lupa bahwa kami akan dengan cermat memonitor komentar dan menghapus tips dan jawaban dari mereka! Prolog, dienkripsi dalam rebus, harus dipanggil ketika manajer kami menghubungi Anda setelah Anda mengirim aplikasi untuk kursus. Diskon untuk teka-teki yang dipecahkan dirangkum di antara mereka sendiri (dengan memperhitungkan artikel ini sudah ada tiga dari mereka), tetapi tidak dengan diskon di situs. Anda tidak harus menunda terlalu banyak - promo ini berlaku hingga 30 Agustus 2018.
Dari hasil yang diinginkan untuk mencari solusi
Hipotesis semacam ini memiliki satu aturan umum: pada awalnya, indikator akhir tertentu ditetapkan, yang ingin kita tambah atau kurangi. Hipotesis dapat dirumuskan berdasarkan laporan dan informasi analitis serupa lainnya, tetapi seringkali dibuat tanpa persiapan khusus, berdasarkan asumsi heuristik pengembang.
Kami mulai dengan merumuskan masalah yang ingin kami selesaikan: konversi rendah, sejumlah kecil klik pada satu atau elemen lainnya, tidak adanya gesekan atau gulir dokumen.
Kemudian kami memilih tindakan spesifik yang berpotensi mengarah pada hasil yang diinginkan. Ini dapat menambahkan tombol baru, mengubah susunan blok di layar, atau, misalnya, mengubah pengaturan menu dari "burger" di sebelah kiri ke bilah sisi bawah, seperti yang dilakukan di Instagram.
Contoh bagaimana efektivitas perubahan yang diuji dalam aplikasi Optimizely dievaluasi.Artinya, kita mulai menemukan berbagai cara untuk mempengaruhi indikator utama. Jadi hipotesis mengambil bentuk yang lengkap.
Komponen wajib dari hipotesis:
- rumus "jika - maka";
- kata kerja - itu menggambarkan tindakan yang kita lakukan sehubungan dengan elemen yang dipilih;
- deskripsi hasil yang diharapkan.
" Jika kita meningkatkan ukuran font dan mengecat kembali tombol berwarna hijau, konversi akan meningkat sebesar 15% ."
Kualitas berubah menjadi kuantitas
Menggunakan tes A / B, Anda dapat melakukan dua jenis studi: kualitatif dan kuantitatif.
Penelitian kualitatif bertujuan untuk bekerja dengan pengalaman emosional seseorang, untuk mengetahui apakah ia menyukai solusi yang kami gunakan: apakah itu nyaman untuk persepsi, apakah itu mempengaruhi waktu interaksi atau tidak. Tes semacam itu bertujuan untuk mengetahui perasaan apa yang dialami pengguna saat bekerja dengan aplikasi atau layanan.
Studi kuantitatif ditujukan untuk meningkatkan angka tertentu dalam indikator target: volume klik pada tombol, kiat untuk meningkatkan kemungkinan penjualan, dan sebagainya. Ini adalah perhitungan kering klik, lalu lintas, penjualan, lalu lintas di corong.
Semua indikator yang perlu ditemukan harus dikonversi ke metrik numerik. Misalnya, pertanyaan "apakah pengguna tertarik pada konten" berubah menjadi indikator jumlah waktu yang dihabiskan di layar, kedalaman gulir, klik pada elemen kunci tertentu.
Penting! Ikuti aturan: satu layar - satu percobaan. Jangan menguji dua hipotesis yang terkait dengan item pada layar yang sama secara bersamaan. Selain itu, ada dua hipotesis yang terkait dengan satu elemen, jika tidak, Anda tidak akan dapat berurusan dengan hasilnya (jika deskripsi hipotesis berarti "bertukar dua elemen" - ini adalah satu tindakan).
Jenis tes A / B dan kedalaman studi
Tes multivarian melibatkan kombinasi beberapa opsi. Misalnya, kami memiliki blok yang terdiri dari tombol dan ajakan untuk bertindak. Dalam hal ini, Anda dapat membentuk semua jenis kemungkinan tombol ini dengan panggilan yang berbeda. Tetapi penting untuk diingat bahwa pengujian semacam itu hanya cocok untuk aplikasi besar dengan jumlah lalu lintas yang besar.
Tes terpisah adalah tes seluruh layar untuk memahami yang mana yang menyebabkan respons lebih besar. Misalnya, Anda dapat membandingkan berbagai versi tutorial layar pembuka untuk memahami apakah pengguna membaca kiat yang telah Anda siapkan atau lewati, langsung ke fungsionalitas aplikasi.
Dalam kerangka uji A / B elemen-bijaksana yang biasa, Anda dapat mengevaluasi tajuk, tautan, lokasi menu, kualitas ajakan untuk bertindak, keberadaan dan keefektifan berbagai blok dan ilustrasi fungsional atau teks, interaksi pengguna dengan aplikasi tergantung pada perangkat dan pengguna yang mendapatkannya selama pengujian. versi aplikasi adaptif.
Ada tes A / B / C / N, di mana kita tidak harus memilih hanya dari dua opsi. Mereka juga tidak cocok untuk semua layanan: mereka memerlukan banyak lalu lintas, jika tidak pengujian tidak akan melewati ambang keandalan statistik. Agar kita dapat yakin bahwa perubahan pada indikator kunci itu tidak disengaja, cukup pengguna harus mengunjungi layar.
Untuk proyek kecil, yang ketika pengujian hanya menawarkan opsi A dan B, mungkin ada cukup ribuan orang yang melakukan tindakan. Untuk yang besar, jumlahnya bisa jauh lebih besar.
Durasi percobaan biasanya dari dua minggu hingga satu setengah bulan. Ini diperlukan untuk memastikan bahwa tidak ada faktor eksternal yang memengaruhi jalannya: misalnya, kampanye iklan, kondisi cuaca, atau yang lainnya. (Cuaca di sini tidak hanya tentang suasana hati pengguna, tetapi juga tentang kenyataan bahwa, misalnya, untuk aplikasi pengiriman, penting untuk mempertimbangkan apakah hujan turun sekarang atau tidak - ini mempengaruhi konversi).
Jika produk Anda (atau item tes tertentu di dalamnya) tidak bergantung pada cuaca, mode, atau aktivitas pemasaran pesaing, maka kesimpulan tentang kesesuaian perubahan dapat dibuat sudah dari tindakan seribu pengguna pertama. Setelah mengumpulkan data, Anda dapat mulai menafsirkannya dan memperkenalkan perubahan yang ternyata dibenarkan.
Alat Pengujian A / B
Jauh lebih mudah untuk melakukan percobaan di situs karena fleksibilitas pengaturannya dari panel kontrol, tetapi, untungnya, ada beberapa solusi untuk seluler yang menjadikan dirinya sebagai praktik terbaik.
Optimizely adalah salah satu alat paling populer. Ini memiliki antarmuka yang intuitif dan menyenangkan, editor visual dan integrasi luas dengan kelas, memiliki kemampuan bawaan untuk mengedit fungsionalitas elemen dan menggantungnya dengan melampirkan acara baru ke dalamnya. Namun, layanan ini tidak tersedia untuk semua pengembang karena harganya yang tinggi.
The Five Second Test lebih relevan untuk melakukan penelitian kegunaan dan mempelajari efektivitas dan kelengkapan desain blok dan elemen tertentu.
Konversi Eksperimen adalah platform yang paling terjangkau, biaya berlangganan layanan mulai dari $ 9 per bulan. Pada saat yang sama, ia memiliki editor visual yang memungkinkan tester untuk bekerja dengan elemen tanpa memiliki ketrampilan seorang programmer. Ada lebih sedikit metrik yang tersedia dan bukan analitik internal canggih, tetapi untuk mengkonfigurasi tes A / B dengan cepat dan menjalankannya, program ini sangat cocok.
Apptimize memiliki sistem analitik internal dan SDK yang lebih canggih, yang cukup mudah dikuasai. Ada juga editor visual.
Eksperimen Google Analytics berfokus pada aplikasi seluler berbasis web dan aplikasi hibrid.
Tes A / B dan pembaruan aplikasi
Hanya beberapa tahun yang lalu, untuk menjalankan tes A / B, tidak perlu mempublikasikan versi aplikasi yang diperbarui: perubahan dilakukan dengan cepat dengan memasukkan cuplikan tertentu ke dalam kode. Namun, karena fakta bahwa pendekatan ini menghindari kebijakan keamanan dan pembatasan Apple dan Google, fitur ini tertutup bagi pengembang. Hari ini, untuk melakukan tes A / B, Anda perlu meluncurkan versi terbaru aplikasi Anda.
Apa yang harus dipelajari dan di mana harus tumbuh
Untuk melakukan pengujian A / B, tidak perlu menjadi seorang analis yang keren - cukup untuk memahami indikator dan menarik kesimpulan yang tepat atas dasar mereka.
Salah satu keterampilan utama seorang spesialis yang melakukan tes A / B adalah kemampuan untuk menafsirkan indikator kuantitatif menjadi yang kualitatif dan, sebaliknya, menguraikan hipotesis kualitatif menjadi angka yang tersedia untuk analisis.
Spesialis awal harus menjadi lebih akrab dengan aturan analitik produk, karena praktiknya lebih dekat dengan pengujian A / B daripada apa yang digunakan dalam analisis web dan e-commerce.
Berguna untuk mempelajari metodologi yang fleksibel, khususnya startup garis. Untuk tester, produk menjadi "startup internal" -nya. Jadi, keputusan seperti itu akan cocok untuknya. Banyak informasi berguna tentang melakukan penelitian dapat diperoleh dengan mengunjungi inkubator bisnis dan acara mereka; itu juga merupakan sumber inspirasi yang kuat. Di sana Anda dapat hidup untuk melihat banyak pilihan untuk tes A / B - yang otomatis dan tradisional seperti survei dan wawancara mendalam.
Tentu saja, keterampilan dalam bekerja dengan angka juga diperlukan - mulai dari mengadakan jajak pendapat hingga pengalaman dalam matematika terapan dan ilmu komputer. Tanpa ini, Anda akan mengalami masalah dalam memproses hasil tes.
Semua keterampilan ini akan memungkinkan dari waktu ke waktu, jika ada keinginan, untuk bergerak menuju bekerja dalam pemasaran sebagai ahli strategi, analisis UI / UX atau ke posisi pemilik produk, dan bahkan untuk membuat proyek Anda sendiri. Ke mana pun keraguan muncul, di mana tidak jelas ke mana harus pergi, ke mana menemukan tanah, untuk menyelidiki audiens dan suasana hatinya, di semua bidang ini pengetahuan yang diperoleh selama pengujian A / B dapat digunakan.
Jadi, setelah belajar bagaimana beralih dari mengumpulkan data awal ke hipotesis, mengembangkan solusi dan mengujinya dengan analisis selanjutnya - yang, pada dasarnya, tersembunyi di balik jangka pendek "pengujian A / B", Anda akan dapat menemukan lebih banyak perspektif. dari sekedar pengembangan peran QA atau analis.
Skillbox merekomendasikan kursus tematik:
Kami mengingatkan Anda: Untuk semua pembaca Habr - diskon 10.000 rubel saat mendaftar untuk kursus Skillbox menggunakan kode promosi Habr.
Masih ada beberapa bahan dari seri kami tentang pengembangan ponsel, dan sekarang saatnya untuk bertanya: apa yang ingin Anda baca? Beri tahu kami di komentar topik mana yang berkaitan dengan ponsel yang tampaknya penting, tetapi tidak diungkapkan secara memadai, dan kami akan mencoba memuaskan minat Anda.