CEO Rick.ai Ilya Krasinsky menjawab pertanyaan yang diajukan oleh manajer produk dalam format tanya jawab di Epic Growth Conference.
Lihat dekripsi di bawah potongan.
Apa teknik yang efektif untuk menilai prospek fitur?
Fitur apa pun selalu menurunkan metrik. Kami mengotomatisasikan skenario tertentu dari perilaku manusia. Jika persentase orang yang memahami manfaat fitur dan memanfaatkannya praktis nol, maka nilai fitur akan minimal.
Ada kerugian setelah meluncurkan fitur baru dalam produk: kode basis data tumbuh, muncul bug dan cacat baru, pengguna diberikan sesi pertama yang lebih sulit dan aktivasi lebih sulit.
Ada teknik penilaian. Anda mengambil aliran pengguna yang akan menggunakan fitur ini. Jadi, Anda dapat mengevaluasi berapa banyak konversi dan pendapatan dari pengguna berbayar akan berubah. Selanjutnya, Anda dapat menghitung jenis arus kas yang dibawa fitur baru kepada Anda.
Pada titik mana saya harus mengatakan "cukup sudah cukup"? Atau apakah Anda harus melompat dan mencoba sampai kekurangan dana menghentikan startup saya?
Seringkali perkembangan perusahaan terhambat oleh kurangnya dana. Dalam hal ini, bisnis menjadi bagi Anda bukan aset, tetapi sebuah koper tanpa pegangan, yang sangat disayangkan, tetapi juga sulit untuk diseret.
Dengan demikian, dalam situasi ini, peras maksimal hingga Anda menembak “kuda mati” ini, karena lain kali Anda akan membutuhkan dua hingga lima tahun untuk lebih dekat ke titik perkembangan Anda saat ini. Tentukan keterampilan dan pengalaman apa yang masih bisa Anda bawa ke diri sendiri dan jangan takut untuk menyingkirkan pemberat.
Kapan, menurut Anda, lebih dari 50% perusahaan (setidaknya IT) akan beralih ke analisis robotik dengan analogi dengan Rick.ai? Apa hambatan utama saat ini?
Masalah utama analitik saat ini:
Sejumlah besar perusahaan sudah memiliki divisi Big Data. Sebagian besar unit-unit ini terlibat dalam penyimpanan data, dalam yang lebih kecil - kompilasi algoritma. Biasanya ada kesenjangan teknologi antara manajer puncak, manajer produk, dan analis sains data. Para pelaku bisnis sering tidak mengerti pertanyaan apa yang harus ditanyakan analitik.
Pada dasarnya, data ini tidak konsisten, yaitu, mereka sudah mengandung kesalahan pada tahap pengumpulan.
Analitiknya sangat rapuh, sangat mudah dipatahkan. Karenanya, pertanyaan kuncinya adalah apakah Anda memiliki sistem pemantauan bawaan untuk analitik robot.
Hambatan utama untuk transisi ke analisis robot adalah bahwa data tidak menumpuk di sistem yang Anda gunakan dan, oleh karena itu, memberikan angka yang salah. Oleh karena itu, setiap kesimpulan dan keputusan manajerial juga akan bohong.
Sampai masalah ini diselesaikan pada tingkat integrasi dan aliran data, semua orang mungkin akan menggergaji Death Star mereka sendiri, percaya bahwa itu berhasil. Saya sudah melihat lima sistem seperti itu dalam hidup saya, dan setiap kali pengembang menemukan bug dan cacat di dalamnya.
Saran saya: duplikat data sehingga Anda memiliki sistem analisis yang berbeda dan Anda dapat memverifikasi angka satu sama lain. Satu sistem adalah hal yang sangat tidak dapat diandalkan, kesalahan terjadi dengan sangat mudah.
Bagaimana prospek ML dalam analitik prediktif?
Dua jenis pembelajaran mesin perlu dibedakan:
- Dikompilasi dalam bahasa pemrograman Python.
- Disusun menggunakan presentasi PowerPoint.
Jenis yang terakhir jauh lebih banyak digunakan. Namun, sayangnya, dalam praktiknya penerapannya sangat buruk. Presentasi ini tidak diterjemahkan dengan baik menjadi produk yang berfungsi. Karena itu, masalah utama pembelajaran mesin adalah orang melihat kotak hitam di pintu keluar.
Saya percaya bahwa untuk waktu yang lama orang tidak dapat memproses arus informasi seperti itu. Saya melihat apa yang kita semua lakukan dengan cara ini: apakah akan ada kotak hitam, seperti model atribusi yang Google lakukan, atau semacam sistem yang akan menganalisis data dan menjelaskan kepada orang tersebut bagaimana dia menganalisis apa yang ada di bagian ini (perusahaan , domain, konversi).
Seberapa besar kemungkinan alat untuk menguji hipotesis sebelum menerapkan perubahan pada produk?
Anda sudah memilikinya: "Google spreadsheet" atau Excel.
Sebagian besar hipotesis tidak dapat mengubah metrik tunggal, tidak dapat melakukan hal baik kepada pengguna, mereka perlu ditembak. Dan dari 50 hipotesis, jika Anda meninggalkan tujuh, Anda memiliki peluang untuk berhasil.
Pada tahun 2019, jelas bahwa seseorang masih menganggap lebih buruk daripada kalkulator. Tetapi tampaknya seseorang tahu bagaimana memunculkan ide-ide yang tidak standar.
Apa pertanyaan untuk menanyakan produk pada saat wawancara?
Cara termudah: berbicara dengan sepuluh profesional industri dalam format jaringan di konferensi. Anda akan menerima daftar lima puluh pertanyaan. Tinggalkan pertanyaan yang Anda sukai dan Anda akan mendapatkan semacam kerangka kerja.
Bagaimana di tim kami:- Seseorang harus memiliki tingkat energi yang tinggi. Jika seseorang kekurangan energi, maka seluruh tim akan menjadi beracun.
- Seseorang harus sistemik dan dengan pengalaman refleksi. Mengembangkan keterampilan sistematis sangat mahal dan memakan waktu. Itu diperiksa cukup sederhana: tanyakan seseorang tentang pengalaman sebelumnya, termasuk negatif, dan kesimpulan apa yang dia buat dari pengalaman ini.
Sekitar 50% orang berkata, “Terima kasih, pertanyaan bagus! Aku akan memikirkannya. ” Ini berarti bahwa selama setahun terakhir, ketika situasi ini terjadi, mereka tidak melakukan pekerjaan ini. Mereka tidak punya kebiasaan seperti itu.
- Seorang pria seharusnya tidak takut. Dalam perjalanan kerja, sejumlah besar keputusan harus dibuat, kemungkinan besar, produknya akan salah. Adalah penting bahwa dia tidak takut untuk melakukan ini.
Bagaimana mengukur efek tambahan dari penargetan ulang?
Analisis pemicu. Anda mengambil segmen pengguna, melihat semua sesi pengguna dan rangkaian acara. Bagilah orang menjadi dua kelompok: mereka yang berada dalam penargetan ulang, dan mereka yang tidak.
Dalam praktiknya, Anda perlu memahami bahwa kami tidak pernah memiliki tugas untuk mengukur sesuatu secara akurat. Seringkali ini tidak ada gunanya. Jika investasi Anda dalam penargetan ulang kurang dari jumlah pekerjaan yang baru saja saya jelaskan, maka pekerjaan menganalisis penargetan ulang akan lebih mahal daripada hanya melakukannya.
Anda memerlukan model atribusi yang akurat. Mari kita lihat konsep-konsepnya: tidak perlu secara akurat menghubungkan pendapatan ini atau itu dengan kampanye iklan apa pun. Kami hanya memiliki empat keputusan manajemen:
- nonaktifkan proses, jangan konvergen sama sekali; kita menghabiskan terlalu banyak, hampir tidak mendapatkan apa-apa;
- dapat sedikit dimodifikasi;
- jangan menyentuh;
- untuk memperkuat.
Mengapa Anda memecat produk?
- Jika model dunianya tidak sesuai dengan kenyataan.
- Jika hipotesisnya lemah dan berkorelasi buruk dengan pengguna kami.
- Jika Anda tidak suka berkomunikasi dengan pengguna.
- Jika Anda tidak suka membuat koridor, rumah adat.
- Jika Anda tidak menguji hipotesis Anda.
- Jika menggunakan toolkit yang tidak relevan.
- Ini berarti bahwa dia akan sangat keliru dalam kesimpulan, tidak ingin belajar melakukan dengan benar dan tidak mengikuti kerangka kerja terbaru yang terjadi di industri, yang berarti dia telah tertinggal.
Anda melakukan eksperimen, 95% kegagalan, beberapa keberhasilan, terus-menerus mudah rusak dan sakit di kepala. Bagaimana menjadi
Agravitasi terjadi pada akhir tahun. Pada akhir tahun, orang-orang mengingat tujuan yang mereka tetapkan untuk diri mereka sendiri.
Artinya - Anda harus bisa kalah. Saya perlu mengulangi lagi: ada banyak percobaan, jadi saya tidak memperhitungkan dan tidak mengerti sesuatu. Kami mengubah unit ekonomi, mengubah pendekatan, meningkatkan konversi, tetapi ini tidak berarti bahwa proyek akan baik-baik saja.
Dorong dukungan dan perawatan dalam tim. Salah satu keterampilan yang saat ini saya kembangkan dalam diri saya: bagaimana menjelaskan kepada manajer produk, perancang, pemasar, analis bahwa mereka melakukan semua kesalahan, tetapi pada saat yang sama sehingga mereka tidak menyerah dan mereka pergi bekerja pada hari berikutnya dengan kata-kata: "Ok, ketujuh kalinya kita akan mengulang semuanya, dan kita akan berhasil."
Tim makanan paling keren di Rusia?
Saya percaya ada banyak dari mereka. Misalnya, Ultimate Guitar, Skyeng, RealtimeBoard. Di balik kesuksesan perusahaan-perusahaan tersebut tidak hanya orang pertama yang di mata publik, tetapi juga para pelaku yang melakukan pekerjaan luar biasa setiap hari.
Keren berteman dengan mereka. Ini hanya kereta gratis tempat Anda mendapatkan ide, buku, dan kerangka kerja baru. Oleh karena itu, untuk mengelilingi diri saya dengan daftar orang-orang seperti itu, menurut saya, adalah salah satu tugas penting.
Praktik keterampilan produk profil yang lebih sempit di
Epic Workshop Day .