Semua perusahaan saat ini menyukai data besar, dan hampir setiap perusahaan pasti akan memiliki departemen analis ilmu data. Namun, tidak ada pemahaman yang jelas dalam industri tentang siapa analis produk dan bagaimana hal itu berbeda dari ilmuwan data atau peneliti UX yang berfokus pada metode kuantitatif.
Semakin banyak, ada divisi analis produk yang:
- menetapkan tujuan dan metrik, menentukan vektor pengembangan produk
- menyelidiki sifat fenomena, mengidentifikasi hubungan sebab akibat
- membangun algoritma prediksi
Misalnya, struktur serupa di Memang terlihat serupa :
Dalam artikel ini, saya ingin mengambil sedikit abstrak dari spesialis yang secara khusus terlibat dalam pembelajaran mesin, dan berbicara tentang visi peran analisis produk dalam Wrike dan tentang tugas-tugas yang harus dilakukan oleh tim produk kami setiap hari.
Kualitatif versus Kuantitatif
Sebagai aturan, pengembang dan piemas menyukai angka: data kuantitatif membantu untuk secara akurat menangkap keadaan saat ini, menunjukkan dinamika, menilai prospek pasar. Seringkali dilupakan bahwa angka-angka itu sendiri tidak memberikan kesempatan untuk memberikan jawaban tentang motivasi orang, tentang akar penyebab pilihan mereka dan tindakan selanjutnya.
Kualitatif sebelum Kuantitatif: Bagaimana Metode Kualitatif Mendukung Ilmu Data yang Lebih Baik
Karenanya, di Wirke, kami tidak menggambarkan pembagian yang jelas antara analis yang mengorganisasikan penelitian kualitatif dan kuantitatif. Sebaliknya, menurut pendapat kami, dalam tim kecil (ada sekitar 10 dari kami), kami harus dapat menggabungkan keterampilan ini sebanyak mungkin, menggunakan metode kuantitatif untuk mengembangkan ide-ide analisis kualitatif , yang sering dilakukan bersama dengan manajer produk dan perancang.
Bahkan, ketika datang ke penelitian, kami memiliki dua harapan dari analis. Dia harus dapat:
- menemukan poin pertumbuhan produk yang menjanjikan
- memvalidasi masalah dengan merumuskan dan menskalakannya
Selanjutnya, kita akan berbicara lebih banyak tentang dua harapan ini dan menunjukkan bagaimana tepatnya analis memenuhi peran penghubung antara pemahaman bisnis tentang masalah dan metode kuantitatif yang membantu mereka mengukur dan memvalidasi.
1. Temukan poin pertumbuhan produk
Analis adalah orang yang menemukan titik pertumbuhan produk yang menjanjikan dengan meningkatkan masalah dan tugas.
Langkah pertama dalam memahami tugas apa pun untuk analis produk adalah menentukan kelas masalah yang dimilikinya. Tiga jenis penelitian biasanya dibedakan:
- Penemuan masalah - ketika kita tidak tahu masalah apa yang dimiliki pengguna di luar fungsi produk tertentu. Ini biasanya tahap wawancara.
- Validasi masalah - ketika kita tampaknya tahu bahwa ada tugas-tugas tertentu, tetapi kami ingin memverifikasi bahwa sejumlah besar pengguna memilikinya. Ini adalah tahap berbagai survei.
- Validasi solusi (validasi solusi) - ketika kami memeriksa solusi spesifik yang telah kami buat atau buat prototipe. Tahap prototyping atau pengujian beta.
Analis terlibat dalam ketiga tahap penelitian, namun, fokus utama dalam pekerjaan biasanya jatuh pada validasi masalah dan solusi. Misalkan seorang manajer produk, bersama dengan seorang analis dan seorang pemasar, melakukan dua puluh wawancara dengan pelanggan yang berbeda. Bagaimana kami memahami bahwa kesimpulan ini dapat dipercaya dan masalah-masalah yang telah disuarakan memang relevan untuk semua pengguna? Bagaimana memastikan obyektivitas potensi pengembangan yang ditemukan dengan menilai skala? Dengan kata lain, bagaimana kita memverifikasi bahwa apa yang kita temukan dalam wawancara benar-benar merupakan titik pertumbuhan potensial untuk produk?
Di sinilah ternyata memaksimalkan penggunaan alat dan pengetahuan bekerja dengan data yang menghubungkan penelitian kualitatif dan kuantitatif. Untuk memahami skala dan menemukan cara yang paling benar untuk menentukannya - ini adalah kompetensi utama seorang analis produk. Berikut ini hanya satu contoh kecil di mana pendekatan analitis memungkinkan kami untuk mengubah proses pengumpulan rasa sakit pelanggan kami dan sebaliknya mendekati validasinya oleh tim produk.
Kenali dan analisis percakapan
Wrike memiliki divisi manajer akun (manajer keberhasilan pelanggan ) yang tugas utamanya adalah mendukung pelanggan bukan untuk tujuan penjualan, tetapi untuk meningkatkan pengalaman mereka dalam menggunakan produk. Mereka memanggil pelanggan melalui video, mendiskusikan rasa sakit mereka saat ini, menceritakan praktik terbaik, menyarankan putaran kerja, dan melaporkan status pengembangan fitur baru. Semua percakapan ini direkam untuk waktu yang lama dan praktis tidak digunakan oleh organisasi makanan - piema lebih suka berkomunikasi secara pribadi dengan manajer akun untuk mendapatkan gambaran umum tentang rasa sakit pelanggan. Ini dapat menambahkan elemen "telepon rusak" dan tidak selalu mengungkapkan konteks di mana pengguna dihadapkan dengan masalah ini.
Salah satu proyek inisiatif analisis produk adalah pengembangan saluran pipa, yang mengubah percakapan menjadi format teks yang dapat dimengerti. Dengan menggunakan Google Speech API, serta beberapa model tambahan untuk tanda baca, kami dapat dengan cepat mendapatkan gagasan tentang sejauh mana beberapa masalah dan persyaratan untuk fungsionalitas berdasarkan pada banyak percakapan manajer dengan klien, daripada wawancara tunggal . Berkat sumber sederhana ini, dimungkinkan untuk melakukan pencarian skala penuh untuk kata kunci yang terkait dengan beberapa fungsi atau masalah, mengevaluasi sifat pengguna yang membutuhkan solusi tertentu, dan juga memahami konteks di mana ini paling sering muncul. Sekarang kami juga menguji model analisis sentimental yang membantu kami secara otomatis menangkap tingkat kepuasan rata-rata dengan bagian-bagian tertentu dari suatu produk dan memberi tahu tim produk tentang hal itu.
Analis adalah orang yang dapat merumuskan masalah pada tingkat abstraksi yang tepat, mengukurnya dan memeriksa signifikansi, menawarkan rekomendasi untuk tindakan.
Terlepas dari tahap penelitian, ada berbagai tingkat hipotesis (kami akan membahasnya secara rinci di bawah) yang membantu untuk mengevaluasi interaksi pengguna dengan produk dan membangun rencana pengembangan lebih lanjut. Di sini, tugas sering muncul untuk menilai dengan benar tingkat hipotesis yang diperlukan, dan memilih alat untuk mengumpulkan informasi atau validasinya. Padahal, prosesnya adalah sebagai berikut:
- Perumusan hipotesis - misalnya: "penting bagi pengguna-admin dari kohort tertentu untuk dapat menagih berdasarkan laporan mingguan."
- Mengumpulkan statistik penggunaan - tugas analitik klasik - adalah memahami apakah angka mampu merespons hipotesis yang dirumuskan di atas.
- Pengumpulan umpan balik - melakukan penelitian melalui pemasaran, milis atau melalui alat umpan balik internal
- Analisis dan validasi hasil - memeriksa hasil pada stat. relevansi
Mari kita membahas paragraf ketiga, karena seringkali dia yang membedakan seorang analis produk dari hanya orang yang fasih dalam statistik.
Koleksi umpan balik
Banyak perusahaan percaya bahwa setelah mereka membuat sistem logging, kencangkan layanan analitik seperti Google Analytics ke produk mereka, persiapan platform untuk analisis berakhir di sini. Namun, sayangnya, dengan pendekatan ini, elemen yang paling penting dilupakan - kebutuhan akan umpan balik dari pengguna, kemampuan untuk bertanya padanya pada waktu yang tepat tentang tugasnya dan kesulitan yang dihadapinya.
Dengan demikian, sangat penting bahwa tim memiliki alat yang cukup untuk menginterogasi pengguna secara tidak mencolok dan mengumpulkan umpan balik dari mereka, tidak hanya melalui semacam survei pemasaran, tetapi juga melalui mekanisme internal.
Kami menggunakan alat QFF internal (formulir umpan balik kualitatif) untuk merumuskan dan memvalidasi hipotesis dan mempertimbangkan kemungkinan skenario pengalaman pengguna sebagai piramida tiga tahap (produk → fitur → interaksi):
- Tingkat produk
- Tingkat fungsionalitas
- Tingkat interaksi spesifik
Mari kita membahas masing-masing dengan sedikit lebih detail dan menunjukkan metrik apa yang kita gunakan untuk memahami masalah mereka.
1. Tingkat Produk
Di sini, penting bagi kita untuk memahami bagian terluas, paling lintas fungsional dari corong pengalaman pengguna. Ini adalah keinginan untuk menemukan jawaban atas pertanyaan-pertanyaan paling global, apakah itu memuaskan dengan produk secara keseluruhan atau dengan serangkaian fungsi untuk menyelesaikan satu tugas (misalnya, mengoordinasikan hari libur mungkin memerlukan interaksi fungsionalitas kalender, status tugas, algoritma penjadwalan, dll.).
Tidak ada metrik yang diatur secara jelas yang perlu diterapkan dalam situasi seperti itu, selalu ada nuansa. Namun, sebagai aturan, pada tingkat abstraksi ini, kita berbicara tentang metrik NPS (skor promotor bersih) atau SUS (skala usabilitas sistem). Metrik tidak dapat dibantah, tetapi, sebagai aturan, mereka tetap merupakan standar industri dan membantu mengarahkan diri sendiri untuk menetapkan tujuan pada skala beberapa kuartal.
2. Tingkat fungsionalitas
Pada level ini, kami mengajukan pertanyaan yang lebih spesifik yang berhubungan langsung dengan fungsional tertentu. Dari contoh di atas - kita sudah dapat melihat secara terpisah bukan pada masalah “mengoordinasikan hari libur” secara umum, tetapi hanya mengambil bagian tertentu dari produk, misalnya, kalender. Seberapa nyaman mereka untuk persepsi? Mengapa orang menggunakannya?
Bergantung pada tahap penelitian kami, tidak hanya pertanyaan mungkin berbeda, tetapi juga indikator yang kami kumpulkan dari pengguna kami. Yang paling sederhana adalah tingkat kepuasan, yang dapat dibaca dari tugas ke tugas menggunakan skala yang berbeda (tiga emotikon atau skala Likert), CES (skor upaya pelanggan) - seberapa sulit atau mudah bagi pengguna untuk mengimplementasikan beberapa tugas.
3. Tingkat interaksi
Tugas tingkat ini adalah untuk mengevaluasi iterasi spesifik yang dilakukan pengguna dengan produk (misalnya, mengklik tombol). Pada saat yang sama, penting bahwa hasil dari interaksi ini adalah tindakan atau solusi tertentu yang tidak dapat kita ukur atau kendalikan. Sebagai aturan, di sini kita berbicara tentang tingkat kepuasan dan adopsi keputusan-keputusan tertentu berikut: misalnya, apakah manajer, melihat kalender, mengerti ketika karyawan sedang berlibur? Apakah format ekspor data cocok untuk pengguna? Karena semua tindakan lebih lanjut hanya terjadi di kepala pengguna, atau di luar produk kami, kami tidak memiliki metode lain untuk mengevaluasi iterasi.
Bahkan, tingkat penilaian interaksi adalah upaya untuk mengevaluasi metrik CSAT (kepuasan pelanggan), yang sering digunakan dalam dukungan dan layanan lain di mana Anda perlu menilai peristiwa tertentu. Pada saat yang sama, metrik seperti CES juga dapat digunakan di sini, tetapi dalam formulasi yang lebih "lokal".
Analisis dan validasi hasil
Setelah kami memperbaiki hipotesis, merumuskan pertanyaan, dan melakukan survei validasi pada tingkat pengalaman pengguna yang sesuai dengan produk, muncul tugas yang sekali lagi membutuhkan bakat khusus dari analis - kali ini di bidang statistik dan pengujian hipotesis.
Bahkan, setelah setiap survei, analis harus memastikan dengan tingkat kepercayaan apa Anda dapat mempercayai hasil, termasuk hasil pekerjaan Anda. Apakah faktor pekerjaan di perusahaan besar mempengaruhi jawabannya? Dan posisi karyawan itu?
Semua hipotesis ini secara hati-hati diperiksa menggunakan alat yang diperlukan: seperti melakukan tes A / B dengan benar, itu persis pendekatan yang berlaku dalam setiap situasi tertentu yang secara langsung bergantung pada analis. Sebagai aturan, analisis regresi sering dapat digunakan, namun, itu bukan satu-satunya solusi universal Ini memiliki bidang aplikasi dan interpretasinya sendiri. Metode khusus selalu atas kebijaksanaan analis.
Alih-alih sebuah kesimpulan
Di atas, kami hanya mengungkapkan dua kasus utama dalam pekerjaan analis, dan pada saat yang sama kami tidak sengaja berbicara tentang semua tahapan pekerjaannya - deskripsi terperinci dari semua jenis penelitian, perumusan hipotesis dan pengumpulan data yang benar layak artikel terpisah. Namun, kami percaya bahwa bahkan perumusan harapan tingkat tinggi dari analitik dan memperbaiki metode kunci dari pekerjaannya akan secara signifikan memperkuat tim produk mana pun dan membantu membuat produk yang lebih baik.
Kemampuan untuk menemukan titik pertumbuhan dalam data (tidak peduli seberapa tidak terstrukturnya), merumuskannya dengan benar menjadi hipotesis, skala dan memvalidasi untuk semua pengguna saat ini dan di masa depan - ini adalah kualitas yang membedakan analis produk kami. Oleh karena itu, kami tahu pasti bahwa persyaratan tersebut memberikan hasil yang paling nyata dan tidak membiarkannya masuk ke dalam rutinitas operasi, dan oleh karena itu kami dengan berani merekomendasikan prinsip-prinsip ini kepada tim lain.
Dan jika Anda ingin berbicara tentang analisis kuantitatif, data besar, dan infrastruktur yang mendukung semua analisis di Wrike, kunjungi kami di sebuah pertemuan di kantor St. Petersburg . Ya, atau kunjungi saja.