Tim produk Yandex.Navigator berbagi percobaan apa yang sedang dilakukan, bagaimana pekerjaan diatur secara internal, bagaimana produk tersebut diuangkan, dan pendekatan apa yang digunakannya dalam analitik prediktif.
Pembicaraan Epic adalah proyek
Pertumbuhan Epic di mana kami berkomunikasi dengan tim tentang proses yang sudah mapan, menguji hipotesis produk, analitik, dan banyak lagi. Proyek ini diambil dengan dukungan platform analitis
AppMetrica .
Tim
Lyosha Gozhev, analis produk senior dan Misha Vysokovsky, kepala Yandex.NavigatorBagaimana tim produk Yandex.Navigator diatur?
Di dalam Navigator, kami memiliki beberapa tim produk, yang masing-masing memiliki fokus sendiri. Fokus menentukan arah pengembangan produk. Misalnya, satu tim memandu rute, yang lain berfokus pada skrip pencarian. Tidak seperti tim produk yang terbentuk, fokus dapat berubah seiring waktu. Biasanya, setiap tim memiliki manajer produk, perancang, dan pengembang.
Kami sekarang memiliki dua analis, sehingga mereka bekerja untuk beberapa tim produk. Sebagian besar tugas analis dibagi menjadi dua jenis.
Jenis pertama adalah tugas adhoc yang perlu dihitung dengan cepat, atau tugas yang membutuhkan verifikasi penulisan kode. Tipe kedua adalah tugas penelitian yang perlu diselami oleh seluruh tim. Dalam tugas semacam itu tidak ada pemisahan antara kontraktor dan pelanggan. Seluruh proses tugas penelitian sangat mirip dengan mem-bypass pohon yang sedang tumbuh: kami menghasilkan hipotesis, dan kemudian mengujinya. Selama penolakan atau konfirmasi mereka, hipotesis baru muncul.
Eksperimen Produk
Berikan contoh percobaan yang berhasil?
Kami mencoba menebak ke mana seseorang akan pergi dan menawarkannya "saran tujuan". Misalnya, pengguna membuka navigator, dan aplikasi menawarkan untuk mengikuti rute yang paling sering. Sekarang kami sudah memiliki sekitar 13% dari rute yang dibangun. Indikator ini terus tumbuh. Kami terlibat dalam meningkatkan model prediktif, melihat bagaimana pengaruhnya dan seberapa nyamannya bagi pengguna.
Contoh lain dari percobaan yang sukses adalah desain ulang antarmuka menggunakan pita listrik biasa. Karena kami memiliki produk tertentu, pengujian I. navigator yang duduk di meja adalah buang-buang waktu. Pada titik tertentu, kami melihat antarmuka Y. Navigator dan menyadari bahwa ia memiliki banyak informasi duplikat.
Kami berpikir: “Dengar, layar ketiga di atas adalah panel hitam besar. Mungkin kita harus membuangnya dan tanpanya semuanya akan baik-baik saja? ” Pilihan termudah adalah dengan mengambil selotip listrik biasa dan merekatkan pelat atas.
Umpan balik pertama yang muncul adalah "Saya mengerti ke mana harus pergi, tetapi tidak jelas kapan saya akan datang." Kami mengambil gunting dan memotongnya sedikit sehingga waktu kedatangan terlihat. Kami terkejut dengan umpan balik positif. Orang-orang dengan tenang sampai ke suatu tempat tanpa informasi yang disegel dengan pita listrik hitam, saat mengemudi di sepanjang rute yang tidak dikenal.
Berapa banyak hipotesis yang diuji per minggu?
Sebelumnya, kami menggunakan pendekatan pengujian hipotesis setiap hari Senin dari dua hingga empat jam. Tujuannya adalah untuk membiasakan para manajer produk menguji beberapa hipotesis baru, menguji solusi baru, menyiapkan prototipe, dan melakukan wawancara mendalam. Setelah kami menyadari bahwa itu biasa bagi semua orang, kami mengubah sistem.
Kami melakukan ini dalam bentuk acara pada hari Jumat, di mana semua orang berbagi kesan mereka tentang pengujian hipotesis. Kami membawa produk tidak hanya dari Navigator, tetapi juga dari Geoservices. Kami mengumpulkan peringkat karyawan di mana setiap orang menerima bintang untuk penelitian mereka.
Ini setelah tim kecil pertama mengambil kursus dalam pemikiran desain. Itu adalah kursus online, tetapi dengan bagian offline yang mengharuskan seluruh tim untuk menyelesaikan tugas. Ketika kami menyadari bahwa pendekatan ini populer di dalam perusahaan, kami mulai mengadakan kursus bagi para manajer produk dari Geoservices sendiri. Kami berhasil mengimplementasikan inisiatif ini, dan di masa depan itu membantu pertumbuhan internal karyawan.
Kami melakukan semua hipotesis analitik dalam sistem manajemen tugas. Oleh karena itu, ini membantu kami menganalisis jumlah mereka dan menerapkan perhitungan yang dilakukan untuk penelitian di masa depan. Rata-rata, dalam seperempat, kami memiliki lusinan tugas berbeda untuk menghasilkan hipotesis, kemudian mengonfirmasi atau membantahnya. Anda mungkin dapat mengevaluasinya dalam ratusan.
Bagaimana dengan percobaan yang gagal?
Kasus dengan parkir. Sekarang navigator diatur hanya untuk membawa Anda ke tujuan akhir Anda dan tidak membantu, misalnya, menemukan tempat parkir gratis untuk mobil. Kami memutuskan untuk secara bertahap mendekati ini. Pertama, kami menambahkan lapisan kemacetan di mana kami menunjukkan di mana Anda bisa berdiri, lalu kami menambahkan harga untuk tempat parkir, lalu pembayaran untuk tempat parkir.
Kami ingin membuat produk ini menguntungkan bagi pengguna. Tetapi tugas menunjukkan ruang parkir gratis tidak mudah bagi kami. Kami menguji berbagai hipotesis untuk melacak ruang parkir. Tetapi semua hipotesis tidak dikonfirmasi. Sekarang kami memutuskan untuk menggunakan layanan ini dalam rute mikro. Rute mikro - membangun rute melingkar kecil di sekitar titik tujuan sehingga pengguna tidak tersesat dan menemukan tempat parkir.
Kasus yang tidak berhasil bagi kami adalah eksperimen di mana, ketika menganalisis metrik, kami melihat bahwa orang sering mulai masuk ke pengaturan untuk menonaktifkan fitur baru. Ini terjadi ketika kami mengganti antarmuka yang akrab dengan yang lain, lebih dirancang, menurut pendapat kami. Akibatnya, orang mulai menggunakan navigator lebih sedikit.
Setelah pengujian, kami memastikan bahwa informasi yang paling penting harus ditampilkan di satu tempat, dan tidak digandakan di seluruh produk.
Analisis
Pendekatan apa yang Anda gunakan dalam analitik prediktif?
Kami memiliki penawaran yang didasarkan pada perjalanan pengguna sebelumnya dan menawarkan rute yang disimpan secara otomatis. Ini adalah pembelajaran mesin dalam produk.
Kami juga menggunakan model peramalan klasik. Kami membedakan komponen dari perilaku pengguna - ini adalah musim, waktu, termasuk melihat potongan mingguan, kami mempertimbangkan kriteria wilayah dan melakukan tren. Merangkum semua ini, kami mendapatkan ramalan untuk masa depan.
Karena kami memiliki dua wilayah - Rusia dan Turki, frekuensi penggunaan produk bervariasi. Misalnya, di Rusia pemirsa bertambah pada hari kerja, dan di Turki pada akhir pekan.Kami juga memiliki perkiraan metrik KPI penting dan yang berpotensi menjadi metrik KPI.
Kami menggunakan data perkiraan tidak hanya dalam analitik, tetapi juga dalam pengembangan. Ketika kami memperkirakan kemacetan lalu lintas berdasarkan waktu rute, tren untuk satu setengah jam berikutnya diperhitungkan. Perkembangan ini diperkenalkan melalui eksperimen, bekerja dengan audiens.
Bagi kami, salah satu metrik utama adalah kualitas. Karenanya, kami mempertimbangkan kesalahan relatif dari indikator ini dan melihat bagaimana indikator telah berubah setelah pengenalan prakiraan lalu lintas. Kami juga memperhitungkannya dalam berbagai kondisi. Misalnya, riwayat penggunaan produk selama jam sibuk di jalan atau digunakan saat kemacetan semakin meningkat. Ini penting karena situasi di jalan berubah dengan sangat cepat, dan navigator harus dapat memperhitungkan hal ini.
Ketika kita melihat potongan data, kita memperhitungkan statistik akun tidak hanya untuk sepanjang hari, tetapi juga memperhitungkan setiap potongan individu, yang bisa sangat berbeda dari dinamika positif sepanjang hari.
Monetisasi
Apakah model monetisasi Yandex.Navigator?Sekarang layanan geoservice di Yandex adalah unit bisnis yang terpisah. Karenanya, kami mencoba menemukan bentuk monetisasi yang bagus untuk Yandex.Navigator. Kami melakukan beberapa percobaan, meluncurkan beberapa tahun yang lalu pin di sepanjang rute - ini adalah format yang paling ringan, ia memberi tahu dengan baik tentang lokasi di mana bisnis Anda berada.
Kami juga mencari format yang berbeda, bagaimana Anda dapat secara asli membantu pengiklan menjangkau pengendara di dalam navigator. Selain itu, kami menggunakan format iklan seperti papan iklan yang menggantung di antarmuka produk saat mengikuti rute.
Kami memiliki proyek khusus yang menciptakan emosi dalam diri seseorang. Bersama dengan pengiklan, kami membuat pesan tentang apa yang harus dilakukan seseorang dalam waktu dekat. Misalnya, kami memiliki proyek khusus yang menggunakan suara tambahan di navigator. Atau, misalnya, pada seratus tahun Porshe, kami mengganti panah kursor yang membawa Anda sepanjang rute dengan model Porsche.
Kami mencoba menyarankan ke mana seseorang harus pergi. Sebagai contoh, sekarang kami sedang menguji format ini ketika pengguna telah membangun rute, dan kami tahu bahwa ada MacAuto di jalan. Jika waktu rute tidak jauh berbeda, maka kami akan menawarkan kepadanya, dengan bantuan satu tombol, untuk menambahkan Makavto ke skrip.
Ini adalah format yang keren. Pertama, karena dia memiliki konversi yang tinggi, dan kedua, karena dia sangat kontekstual.
Tentang pendidikan
Sumber daya apa untuk pendidikan mandiri yang Anda baca?Hal-hal yang memperluas cakrawala profesional saya dan tidak terkait langsung dengan bidang pekerjaan membantu saya. Misalnya, perusahaan IDEO, yang merupakan pencipta utama penelitian tentang pemikiran desain di dunia. Mereka memiliki panduan di mana mereka membuat daftar penelitian apa yang mereka gunakan dengan kasus Kit Desain.
Ini sangat mirip dengan pendekatan pemrograman ketika algoritma baru ditemukan. Mereka diciptakan dengan meminjam dari hal-hal yang sudah ada dalam kehidupan.
Lebih banyak laporan tentang pemasaran produk dapat ditemukan di saluran Telegram
@epicgrowth .