Contoh bekerja dengan metode ICE dari manajer produk Google dan Microsoft

Bekerja dengan prioritas adalah tugas yang memerlukan persiapan, pengalaman, dan pertimbangan berbagai teknologi, pendekatan ilmiah, serta metode hak cipta.

Artikel ini adalah terjemahan dari bahan dari Hackernoon.com. Penulisnya menawarkan penggunaan alatnya sendiri untuk menilai prioritas dalam kerangka ICE Scoring. Artikel ini menjelaskan pendekatan secara terperinci dan membahas contoh sederhana dan dapat diakses yang dapat dipahami oleh manajer produk mana pun.



Itamar Gilad adalah konsultan manajemen produk terkenal dan pembicara sukses. Dalam pengalaman bertahun-tahunnya - posisi senior dalam manajemen produk di Google, Microsoft dan perusahaan terkenal lainnya. Kami menawarkan terjemahan dari artikelnya:

Misalkan Anda mengelola produk untuk bisnis kecil dan pelanggannya. Tujuan Anda adalah meningkatkan keterlibatan dan retensi pelanggan. Anda memiliki dua ide dalam agenda:

• Penerapan bilah alat utama (dasbor), yang memungkinkan pemilik bisnis melacak statistik keterlibatan dan semua tren.
• Chatbot (chatbot) untuk mengotomatisasi komunikasi dengan pelanggan.

Gagasan dengan bilah alat muncul beberapa kali dalam negosiasi dengan pelanggan, dan Anda merasa memiliki potensi bagus, tetapi ada risiko bahwa itu hanya akan digunakan oleh pengguna yang berpengalaman.

Gagasan dengan chatbot menyenangkan di seluruh perusahaan, dan manajemen cukup optimis tentang hal itu. Juga, fitur ini terlihat unggul bagi pelanggan.

Apa yang akan kamu pilih?

Masalah prioritas ini adalah inti dari manajemen produk. Biaya untuk membuat pilihan yang salah bisa sangat besar dan termasuk biaya pengembangan, penyebaran, pemeliharaan, serta biaya tidak terencana lainnya.

Kita sering tergoda untuk mengambil keputusan berdasarkan sinyal yang tidak meyakinkan: pendapat mayoritas, pendapat bos, tren industri, dll. Tetapi waktu menunjukkan bahwa sinyal-sinyal ini akurat pada tingkat generator angka acak.

Posting ini tentang, menurut pendapat saya, menemukan ide-ide terbaik. Ini terdiri dari tiga bagian:

• Indikator ICE
• Tingkat kepercayaan
• Pemeriksaan tambahan

Penilaian ICE

ICE Scoring adalah metode pengaturan prioritas yang pertama kali digunakan oleh Sean Ellis, yang dikenal karena partisipasi aktifnya dalam pengembangan perusahaan seperti DropBox dan Eventbrite, dan promosi istilah Growth Hacking. ICE awalnya dirancang untuk memprioritaskan eksperimen pertumbuhan, tetapi segera digunakan untuk mengevaluasi ide apa pun.

Di ICE, Anda mengevaluasi gagasan dengan cara ini:

• Pengaruhnya menunjukkan bagaimana gagasan itu akan secara positif memengaruhi indikator kunci yang Anda coba tingkatkan.
• Kemudahan implementasi atau kesederhanaan adalah penilaian tentang berapa banyak upaya dan sumber daya yang diperlukan untuk mengimplementasikan ide ini.
• Keyakinan menunjukkan seberapa percaya diri Anda dalam mengevaluasi dampak dan kemudahan implementasi.

Nilai di ICE dinilai pada skala 1 hingga 10 sehingga semua faktor menyeimbangkan skor total. Dengan nilai 1-10, Anda dapat berarti apa saja, yang utama adalah bahwa nilai-nilai tersebut konsisten satu sama lain.



Sekarang mari kita lihat contoh bagaimana ini bekerja.

ICE dulu

Jadi, Anda memutuskan untuk menghitung poin ICE untuk dua gagasan: dasbor dan chatbot. Pada tahap awal ini, Anda menggunakan makna kotor semata-mata atas dasar intuisi Anda sendiri.
Dampak - Anda menganggap bahwa dasbor akan secara signifikan meningkatkan retensi pengguna, tetapi hanya yang berpengalaman - Anda memberikan 5 dari 10. Chatbot, di sisi lain, dapat menjadi solusi inovatif bagi banyak pelanggan, sehingga Anda memberikannya 8 dari 10.

Kemudahan implementasi - Anda memperkirakan bahwa 10 orang-minggu akan diperlukan untuk dasbor, dan 20 untuk chatbot. Kemudian Anda akan menerima perkiraan yang lebih baik dari tim. Anda menggunakan tabel sederhana ini (dipilih oleh Anda dan tim Anda) untuk mengubah nilai Anda menjadi Mudah:



Dengan demikian, bilah alat mendapat nilai Ease 4 dari 10 dan chatbot mendapat nilai 2.

Perhitungan Keyakinan

Hanya ada satu cara untuk menghitung kepercayaan - ini adalah mencari bukti yang mendukung. Untuk melakukan ini, saya membuat alat yang dapat dilihat di bawah ini. Ini mencantumkan jenis umum tes dan bukti yang mungkin Anda miliki dan tingkat kepercayaan yang mereka berikan: hasil pengujian, tanggal peluncuran, kepercayaan pribadi, dukungan tematis, pendapat orang lain, data pasar, dll.

Saat menggunakan alat ini, pertimbangkan indikator mana yang sudah Anda miliki, berapa banyak dan apa yang Anda butuhkan untuk lebih percaya diri.



Jika bukti bukti lain dimungkinkan dalam produk atau industri Anda, silakan membuat versi alat ini sendiri.

Mari kita kembali ke contoh untuk mengevaluasi alat dalam aksi.

Bukti dukungan untuk chatbot: kepercayaan pribadi (Anda pikir ini adalah ide yang bagus), dukungan tematik (industri juga percaya bahwa ini adalah ide yang baik) dan pendapat orang lain (atasan dan kolega Anda menganggap ini ide yang baik). Ini memberikan nilai kepercayaan umum 0,1 dari 10 atau Near Zero Confidence. Alat ini jelas tidak menganggap pendapat sebagai indikator yang andal.

Bagaimana dengan dashboard? Berikut ini adalah kepercayaan pribadi (Anda pikir ini adalah ide yang baik) dan dukungan sesekali (beberapa klien telah meminta ini). Ini sebenarnya meningkatkan nilai kepercayaannya menjadi 0,5 dari 10, yang merupakan kepercayaan rendah. Sayangnya, pelanggan tidak memprediksi perilaku masa depan mereka dengan baik.

Penilaian ICE dalam kasus ini:



Pada titik ini, bilah alat terlihat seperti ide terbaik, tetapi alat kami menunjukkan bahwa Anda tidak terlalu percaya diri. Tidak ada cukup informasi untuk membuat keputusan.

Validasi dan kelayakan

Selanjutnya, Anda bertemu dengan kolega Anda yang bertanggung jawab untuk pengembangan dan UX, dan bersama-sama Anda mulai mengevaluasi kedua ide tersebut. Sepintas kedua proyek ini tampak layak. Pengembang utama menawarkan perkiraan kasar biaya tenaga kerja: bekerja dengan toolbar akan memakan waktu 12 orang-minggu untuk rilis, dan dengan chatbot - 16 orang-minggu. Menurut skala Kemudahan Anda, ini memberikan kemudahan implementasi dalam 4 dan 3 masing-masing.

Secara paralel, Anda melakukan perhitungan terperinci. Setelah diperiksa lebih dekat, dashboard terlihat sedikit kurang menjanjikan dan mendapat 3. Chatbot masih melihat 8.
Menggunakan alat kepercayaan menunjukkan bahwa kedua gagasan sekarang lulus tes Estimasi & Rencana dan mendapatkan kepercayaan diri. Sekarang bilah alat bergerak ke 0.8 dan obrolan bot ke 0.4.



Chatbot sedikit direhabilitasi. Namun, tingkat kepercayaan rendah karena alasan yang baik - ini terutama angka entah dari mana, dan Anda mengerti bahwa lebih banyak bukti perlu dikumpulkan.

Data pasar

Anda mengirim kuesioner kepada pelanggan yang ada, meminta mereka untuk memilih satu dari 5 kemungkinan fitur baru, termasuk chatbot dan toolbar. Dapatkan ratusan jawaban. Hasilnya sangat positif untuk chatbot - ini adalah fungsi No. 1 dalam kuesioner, dan 38% responden memilihnya. Dashboard mengambil tempat ke-3 dengan 17% suara.

Ini memberikan kedua fitur dukungan pasar, tetapi skor chatbot 1,5 lebih tinggi. Untuk panel kontrol, kepercayaan diri juga meningkat, tetapi hanya menjadi 1.



Jelas, chatbot telah banyak maju. Tampaknya kolega dan data industri Anda terbukti benar. Haruskah data ini diterima sebagai 100%? Mungkin tidak - proyek ini cukup mahal, dan kita semua memiliki kepercayaan rata-rata. Sayangnya, hasil survei tidak memberikan sinyal yang sangat terbuka. Kami terus bekerja.

Kata untuk pelanggan

Untuk mempelajari lebih lanjut, Anda menjalankan studi khusus pada 10 pelanggan yang ada, menunjukkan kepada mereka prototipe interaktif dari kedua fitur. Secara paralel, Anda melakukan wawancara telepon dengan 20 peserta survei yang telah memilih salah satu dari dua fitur yang diusulkan.

Studi ini menunjukkan gambaran yang lebih menarik:

• 8 dari 10 peserta penelitian menemukan bahwa dashboard bermanfaat dan mengatakan mereka akan menggunakannya setidaknya seminggu sekali. Pemahaman mereka tentang fungsi ini berkorelasi baik dengan apa yang ada dalam pikiran Anda pada awalnya, dan mereka tidak memiliki masalah dalam menggunakannya. Wawancara melalui telepon mengkonfirmasi pemahaman dan keinginan untuk menggunakan fitur rata-rata seminggu sekali.
• 9 dari 10 peserta penelitian mengatakan mereka akan bersedia menggunakan chatbot. Tingkat antusiasme mereka sangat tinggi - semua orang segera mengerti mengapa ini bisa berguna dan banyak yang bertanya kepadanya sesegera mungkin. Namun, ada masalah dengan kegunaan, dan beberapa pelanggan menyatakan kekhawatiran bahwa pelanggan mereka tidak akan menyukai jawaban bot yang diulang dan "diretas".

Penelitian berkualitas ini memberi Anda lebih banyak bahan untuk dipikirkan. Bilah alat tampaknya lebih populer daripada yang Anda harapkan. Chatbot sekarang lebih mirip proyek dengan tingkat risiko tinggi dan harga tinggi. Mempertimbangkan alat kepercayaan kami, Anda masing-masing menetapkan nilai kepercayaan toolbar dan chatbot 3 dan 2.5.

Anda mengkonfigurasi efek seperti ini: 6 untuk dasbor dan 9 untuk chatbot. Akhirnya, berdasarkan penelitian kegunaan, Anda menyadari bahwa mendapatkan UI berkualitas untuk chatbot akan membutuhkan lebih banyak pekerjaan - Anda mengurangi Kemudahan menjadi 2.



Tabel telah mengalami perubahan lagi, dan sekarang bilah alat memimpin.
Anda membawa hasil ke tim Anda dan kepemimpinan Anda. Menurut hasil ICE, bilah alat harus dinyatakan sebagai pemenang, namun, di sisi lain, indikator kepercayaan untuk kedua fitur jauh dari tinggi. Tidak ingin melepaskan fitur yang berpotensi bagus, tim memutuskan untuk melanjutkan pengujian keduanya.

Tes akhir dan pemenang!

Anda memutuskan untuk memulai dengan membuat versi chatbot untuk produk minimum yang layak (MVP). Pengembangan memakan waktu 6 minggu, dan Anda menjalankan MVP untuk 200 responden yang setuju untuk mengambil bagian dalam tes. 167 orang mengaktifkan fitur ini, tetapi penggunaannya turun tajam setiap hari, dan pada akhir minggu kedua Anda hanya memiliki 24 pengguna aktif.

Dalam jajak pendapat berikutnya, gambar yang jelas muncul - chatbot lebih sulit digunakan, jauh lebih tidak berguna daripada yang diharapkan peserta, dan, lebih buruk lagi, itu menciptakan negatif bagi pelanggan yang menghargai kontak pribadi.

Anda dapat memperbaiki chatbot MVP dan membuatnya jauh lebih berguna bagi pelanggan Anda, tetapi ini membutuhkan waktu sekitar 40-50 minggu kerja.

Juga jelas bahwa pelanggan yang jauh lebih sedikit dari yang diperkirakan sebelumnya akan menyebut fitur ini bermanfaat. Oleh karena itu, Anda mengurangi dampak dari 9 menjadi 2. Ini secara signifikan mengubah fitur, sehingga Anda tidak bisa lagi mempercayai hasil penelitian pengguna, jadi kurangi kepercayaan menjadi 0,5 menggunakan alat kepercayaan.

Anda meluncurkan toolbar MVP pada 200 klien lain dalam 5 minggu. Hasilnya sangat bagus: 87% peserta menggunakan fitur ini, banyak dari mereka setiap hari. Umpan balik sangat positif. Anda memahami bahwa dampaknya lebih tinggi dari yang Anda harapkan - 8 poin daripada 6. Tim pengembangan memperkirakan bahwa akan diperlukan 10 orang-minggu lagi untuk meluncurkan toolbar secara penuh, sehingga kemudahan penerapannya menjadi 4. Sebagai hasilnya, Anda meningkatkan peringkat kepercayaan dari 3 hingga 6.5.



Prioritas menjadi sangat sederhana pada titik ini. Sekarang semua orang setuju bahwa dasbor adalah fitur yang tepat untuk pengembangan produk. Anda menyimpan fitur chatbot di bank ide Anda, tetapi secara alami akan tetap "di bagian bawah", mengingat ICE rendah.

Kesimpulan

1. Berhentilah berinvestasi dalam ide-ide buruk
Contoh kami menunjukkan betapa berisiko mempertaruhkan fitur yang membutuhkan banyak usaha dan didasarkan pada perasaan, pendapat, data industri, tren pasar, dll. Sebagian besar gagasan ternyata ternyata jauh lebih berguna dan lebih mahal daripada yang kita pikirkan sebelum mengembangkan. Satu-satunya cara nyata untuk menemukan ide-ide terbaik adalah dengan mengujinya dan mengurangi tingkat ketidakpastian.

2. Khawatir tentang manfaatnya, bukan hasilnya.
Menambahkan langkah prioritas fitur akan mengurangi kecepatan pengembangan produk - tampaknya begitu sepintas lalu. Tapi sebenarnya itu tidak berkurang, tetapi meningkatkan kecepatan. Berkat penilaian kepercayaan, Anda tidak melakukan beberapa fitur buruk. Ini juga memfokuskan tim pada tujuan jangka pendek tertentu dan meningkatkan produktivitas tim. Proses ini memungkinkan kita untuk belajar tentang produk, konsumen, pasar dan pada akhirnya mendapatkan produk yang lebih baik yang telah diuji pada pengguna nyata. Karenanya, lebih sedikit kejutan yang menunggu kami di hari peluncuran.

3. Dorong berbagai pendekatan
Sebenarnya, kita sering harus memilih bukan di antara dua gagasan, tetapi di antara puluhan gagasan. Kami mengurangi biaya pengembangan ide berdasarkan kepercayaan di dalamnya. Hal ini memungkinkan kami untuk menguji banyak ide berbeda secara paralel dan menghindari jebakan yang terkait dengan perencanaan jangka panjang tradisional.



Dalam contoh ini, tim menguji 4 ide secara paralel, melakukan beberapa proyek (kotak kuning), yang masing-masing secara bertahap memperbaiki ide dan mengujinya untuk meningkatkan kepercayaan diri.

4. Dapatkan lokasi manajemen dan pemangku kepentingan
Biasanya, ketika saya menjelaskan metode ini, orang-orang paling khawatir tentang bagaimana mendapatkan persetujuan dari manajemen mereka dan para pemangku kepentingan untuk menerapkan proses penentuan prioritas seperti itu.

Bisakah kita membatasi kekuatan mereka terhadap produk? Anda akan terkejut. Saya mendengar banyak dari manajer bahwa mereka terpaksa membenamkan diri dalam proses pengambilan keputusan produk karena kurangnya pilihan yang kuat. Pilihan yang lemah atau kuat, tentu saja, adalah konsep subyektif, tetapi sampai Anda melihat situasi nyata dengan bukti nyata dan tingkat kepercayaan yang jelas dalam mengevaluasi fitur tersebut.

Di sisi lain, pada saat CEO memaksa Anda untuk melakukan ide super Anda, tunjukkan padanya bagaimana ide tersebut dievaluasi menggunakan faktor-faktor pengaruh, upaya dan kepercayaan diri, bagaimana indikator ICE pada ide ini dibandingkan dengan indikator ide lain, dan bagaimana kami dapat menguji dia untuk mengklarifikasi faktor kepercayaan diri.

Anda dapat membaca tentang kekurangan metode ICE, serta tentang metode alternatif penentuan prioritas dalam artikel terakhir kami " RICE dan ICE Scoring: Teknik Prioritas Sederhana untuk Manajer Produk Lanjutan ".

Apakah artikel ini membantu Anda? Apakah Anda ingin membaca materi dari penulis ini? Silakan bagikan ini di komentar.