Manajer pertumbuhan Skyscanner, Caterina Toniolo, berbicara di
Epic Growth Conference tentang bagaimana tim menguji hipotesis dan bereksperimen untuk meningkatkan pertumbuhan aplikasi seluler.
Tonton video dan baca catatan di bawah potongan.
Situs web Skyscanner dikunjungi oleh 60 juta pengguna unik per bulan, dan aplikasi tersebut telah diunduh oleh lebih dari 70 juta orang. Produk ini memungkinkan Anda untuk mencari penerbangan di berbagai perangkat, tidak hanya desktop dan seluler, tetapi juga melalui Cortana, Alexa, Apple Watch.
Tantangan Utama untuk Strategi Mobile Pertama
Sebelum memulai percobaan, perlu untuk menentukan metrik utama dalam produk. Untuk Skyscanner, "metrik pemandu" adalah Nilai Transaksi Total atau total harga transaksi untuk periode 12 bulan. Untuk tim, ini berarti perlu untuk meningkatkan nilai total transaksi dalam 12 bulan ke depan.
Dalam praktiknya, Skyscanner menggunakan model pemasaran AARRR, yang mencakup apa yang disebut metrik "bajak laut": atraksi, aktivasi, retensi, rujukan, dan pendapatan. Retensi, seperti untuk sebagian besar perusahaan, adalah metrik paling penting yang menunjukkan persentase pengguna yang kembali ke produk.
Tim pertumbuhan Skyscanner secara maksimal berfokus pada strategi Mobile First, karena semakin banyak pengguna perjalanan vertikal menggunakan aplikasi mobile, daripada laptop, untuk merencanakan perjalanan mereka.
Namun, ada banyak kendala untuk strategi Mobile First. Dalam kasus Skyscanner, kendala terletak pada produk itu sendiri, yang pada awalnya dikembangkan sebagai situs web dan bukan sebagai aplikasi. Masalah lain yang belum terselesaikan adalah lintas platform, efek halo, atribusi, diplink, dan bekerja dengan data.
Efek lintas platform dan halo
Pertama-tama, sebelum meluncurkan tes, produk perlu menghitung LTV (nilai seumur hidup). Untuk melakukan ini, Anda perlu memahami perilaku pengguna di berbagai perangkat. Tetapi, jika otorisasi bersifat opsional, seperti di Skyscanner, ini menjadi tugas yang menakutkan.
Poin penting lainnya adalah pemahaman tentang efek halo dan bagaimana hal itu mempengaruhi uang perusahaan, yaitu: berapa banyak yang dihabiskan untuk menarik pengguna ke aplikasi dan meningkatkan keterlibatan organik. Untuk ini, sangat penting untuk memahami perilaku pengguna umum dan skor LTV.
Atribusi
Model atribusi paling populer adalah klik terakhir, atribusi klik terakhir, tetapi tidak bekerja untuk semua perusahaan.
Misalnya, Skyscanner telah mencapai titik di mana atribusi klik terakhir telah berhenti berfungsi. Skyscanner adalah produk dengan margin rendah, dan perusahaan berusaha untuk memaksimalkan sumber dayanya. Oleh karena itu, tim menentukan sendiri model atribusi multi-sentuh, yang memungkinkan Anda untuk meningkatkan skala pertumbuhan.
Deeplink
Sangat penting untuk memberikan kenyamanan maksimal bagi pengguna saat berinteraksi dengan situs web atau aplikasi, atau saat beralih di antara platform ini. Tetapi bekerja dengan deeplink tidak semudah menggunakan tautan web biasa.
Data
Di satu sisi, ada pasar aplikasi yang menyediakan berbagai sumber dan tipe data yang berguna. Di sisi lain, tim harus melakukan upaya besar untuk memproses semuanya dan memastikan bahwa ini bukan data yang terfragmentasi.
Pengujian Hipotesis dan Eksperimen Pertumbuhan di Skyscanner
Di perusahaan mana pun, pertumbuhan harus selalu dipraktikkan. Semakin banyak Anda menguji, semakin banyak Anda menemukan peluang untuk tumbuh.
Percobaan efek Halo
Hipotesis: jika jumlah unit berbayar per hari meningkat di pasar India, jumlah unit organik juga akan meningkat.
Metrik: unduhan organik.
Hasil: sebagai hasil dari lima iterasi tes, kami berhasil mencapai efek halo optimal: satu unit organik dengan 1,6 unit berbayar. Tim menguji berbagai opsi pengeluaran per hari untuk menemukan yang terbaik. Kami mulai dengan 500 instalasi berbayar per hari, butuh lima instalasi berbayar untuk membuat satu organik. Tetapi setelah level optimal 2.400 instalasi berbayar ditemukan, tingkat pertumbuhan tetap di 1.6.
Eksperimen Optimasi Aplikasi di App Store
Skyscanner bereksperimen tentang peluang pertumbuhan di pasar Rusia.
Hipotesis 1: Jika Anda menambahkan kata kunci yang relevan ke iTunes Connect, Anda dapat meningkatkan peringkat kata kunci ini di App Store.
Hipotesis 2: kata kunci dalam deskripsi aplikasi di App Store akan membantu meningkatkan peringkat aplikasi dan jumlah unduhan dari Rusia.
Kami menganalisis deskripsi aplikasi dalam bahasa Rusia dan menemukan bahwa dari 100 karakter yang tersedia, kami hanya menggunakan 95 karakter. Salah satu kata berjumlah 12 karakter (14% dari seluruh panjang deskripsi!). Kami memutuskan untuk menggunakan dua kata, bukan satu.
Menggunakan kata sifat adalah potensi lain untuk pertumbuhan. Berkat mereka, Anda dapat memberikan variasi kata kunci yang jauh lebih besar. Tentu saja, ada kata kunci frekuensi tinggi seperti "mobil". Namun, mereka akan sangat bersaing dengan kata-kata lain dan tidak akan serelevan mungkin. Selain itu, kami mulai mempertimbangkan kata kunci yang ditawarkan secara otomatis di iOS.
Hasilnya, tim membuat daftar kata kunci baru. Indikator utama keberhasilan adalah peningkatan peringkat, metrik organik adalah metrik sekunder. Menurut hipotesis, keberhasilan akan berupa peningkatan peringkat dengan mengganti setidaknya 50% dari kata kunci.
Metode: Skyscanner menerapkan uji-dua sampel dan menggunakan dua set data berbeda dengan tingkat kepercayaan 95% untuk membandingkannya satu sama lain dan mencari tahu mana yang akan menang. Kelompok pertama mempelajari peringkat rata-rata tiga bulan sebelum dimulainya percobaan. Kelompok kedua mempelajari data yang diperoleh selama percobaan, satu bulan setelah tes.
Hasil: tim meningkatkan peringkat lebih dari 50% dari kata kunci.
Sebagai hasilnya, kami mendapatkan satu kesimpulan lagi: peluang untuk optimasi ada di mana-mana, bahkan di tempat yang tidak Anda harapkan.
Kiat: lakukan uji-t dua sampel.
Eksperimen Optimasi Aplikasi di Google Play
Hipotesis: jika Anda meletakkan bendera RF pada ikon aplikasi di Google Play, ini akan meningkatkan jumlah instalasi organik dari Rusia.
Tim Skyscanner telah membuat hipotesis nol - ini adalah hipotesis yang peneliti coba bantah, buktikan sebaliknya. Untuk membantah hipotesis tersebut, Skyscanner menetapkan efek minimum yang dapat terdeteksi - 14 hari setelah memulai tes, lihat peningkatan tanaman organik sebesar 4,25%.
Hasil: dengan bendera pada ikon di Google Play, jumlah instalasi organik versi lokal aplikasi menurun sebesar 4,8%. Kami gagal, tetapi kami mendapat pelajaran penting.
Eksperimen optimasi berbayar untuk menarik pengguna
Hipotesis: Dengan optimasi berbayar, Anda dapat meningkatkan konversi.
Menggunakan ID anonim di pelacak seluler AppsFlyer, kami melacak konversi di aplikasi dan mengoptimalkan biaya ID yang menunjukkan kinerja terbaik.
Metrik: Pertumbuhan ROI.
Hasil: pada iterasi pertama, ROI tumbuh sebesar 3%. Sebagai hasil dari optimasi lebih lanjut dari pengeluaran untuk ID anonim dengan indikator yang paling efektif, ROI meningkat sebesar 66%. Eksperimen ini diakui sebagai salah satu yang paling efektif di Skyscanner dan sekarang dipraktikkan setiap bulan.
Eksperimen Optimasi Rating
Hipotesis: jika Anda mengundang pengguna untuk menilai secara langsung dalam aplikasi, jumlah peringkat di App Store akan meningkat.
Di aplikasi seluler Skyscanner, Anda dapat meninggalkan umpan balik dalam dua langkah. Pada tahap pertama, pengguna ditanya apakah mereka menyukai aplikasi tersebut. Mereka yang menjawab positif ditawari untuk menempatkan bintang di App Store. Di sini, tim memutuskan untuk menghapus langkah pertama dan mengarahkan pengguna langsung ke App Store. Tujuan percobaan adalah untuk meningkatkan jumlah ulasan dan unduhan organik. Sebelum percobaan, peringkat rata-rata adalah 4,36 poin.
Metrik: jumlah total ulasan, peringkat bintang rata-rata di aplikasi dan jumlah unduhan organik.
Hasil: peringkat rata
- rata tidak berubah, tetapi jumlah ulasan telah meningkat sebesar 48%. Setelah itu, diputuskan untuk mengulangi pengujian pada skala seluruh produk seluler Skyscanner.
Kami juga melihat peningkatan muatan organik, tetapi kami tidak menemukan tautan langsung ke percobaan.
Interaksi dan percobaan keterlibatan
Hipotesis: jika Anda menempatkan arah Star Wars di baris pencarian, tingkat keterlibatan pengguna akan meningkat.
Percobaan dilakukan selama satu hari, pada Paskah. Di bilah pencarian, bersama dengan rekomendasi dan penawaran menguntungkan, planet-planet dari alam semesta Star Wars dengan deskripsi, ilustrasi, dan harga diciptakan.
Hasil: tingkat interaksi dengan string pencarian meningkat sebesar 27,5%. Selain itu, peluang pertumbuhan diidentifikasi dengan elemen ini.
Baca lebih banyak laporan tentang pertumbuhan produk di saluran Telegram
@epicgrowth .
Transkrip kinerja dipublikasikan di
VC .