Kami telah menyiapkan bagi para pembaca Habra terjemahan
artikel oleh tim Uber Labs. Rekan-rekan Uber menggambarkan proses kerja analis yang sangat terspesialisasi (di bidang ilmu perilaku) dalam sebuah perusahaan besar, bagaimana mereka berinteraksi dengan jenis analis lain (peneliti UX, analis produk) dan kolega dari tim lain (produk, pengembangan internal), yang mereka memecahkan masalah dan bagaimana mereka mendekati mereka. Komentar tentang materi oleh Gleb Sologub, direktur analitik di Skyeng.
Di Uber Labs, kami berusaha untuk menggunakan ide dan metode ilmu perilaku untuk menciptakan program dan produk yang intuitif dan menyenangkan. Anggota tim kami memiliki gelar dalam bidang psikologi, pemasaran dan ilmu kognitif, memiliki pengetahuan tentang bidang subjek - seperti pengambilan keputusan, motivasi dan pelatihan, kemungkinan metodologis dalam desain eksperimen, dan ahli dalam pemodelan statistik dan pendekatan kausal. Pengetahuan ini memungkinkan kami untuk menganalisis secara mendalam masalah peningkatan tingkat kepuasan pelanggan, dan berkat pengalaman kami di bidang metodologi dan statistik, kami dapat mengukur dampak kepuasan terhadap bisnis (salah satu pendekatan ini adalah
pemodelan perantara ).
Dalam artikel ini, kami akan menjelaskan bagaimana tim kami menerapkan pengetahuan teoretis tentang perilaku manusia dalam praktik, serta bagaimana dan mengapa kami bekerja dengan tim produk dan pemasaran untuk meningkatkan pengalaman pengguna pelanggan kami. Khususnya, kita akan melihat contoh dengan produk
POOL Express yang baru diluncurkan.
Jalan kami ke ilmu perilaku (tentang data)
Pada 2014, Uber diluncurkan hampir setiap hari di kota baru. Kelompok kerja di masing-masing wilayah harus memahami strategi dan produk komunikasi mana yang paling berhasil di wilayah tersebut, tetapi kebanyakan dari mereka tidak memiliki pengalaman dalam desain eksperimen dan statistik. Untuk mengatasi masalah ini, kami menciptakan Uber Labs - tim peneliti dengan latar belakang psikologi, pemasaran, dan ilmu kognitif. Tim terpusat ini akan menggunakan kemampuannya dalam metodologi dan desain percobaan dan menganalisis data melalui pemodelan hierarkis untuk meningkatkan produk kami untuk kepentingan penumpang dan pengemudi di berbagai wilayah.
Konsultasi individu efektif, tetapi kami perlu meningkatkan keahlian ini ke rangkaian produk kami yang terus berkembang. Setelah membuat template kalkulator untuk menghitung ukuran sampel dan analisis statistik menggunakan
Riny's Shiny , kami memberikan kesempatan kepada tim non-teknis untuk menggunakan pengetahuan kami untuk tugas-tugas mereka. Alat-alat ini, untuk bekerja dengan mana hanya perlu mengunggah data awal mereka, termasuk pemeriksaan bawaan untuk asumsi statistik dan kepatuhan model, serta pemilihan otomatis metode analitik yang sesuai untuk set data tertentu. Pada output, pengguna menerima hasil analisis dan penjelasan yang jelas tentang hasil ini. Kemudian, bersama dengan tim platform pengembangan eksperimental, kami menciptakan
proses untuk menganalisis dan memverifikasi data dalam
alat pengujian A / B kami . Ini memudahkan tim lain untuk menganalisis data secara efisien.
Ketika perusahaan tumbuh dan berkembang, menciptakan area baru untuk pengembangan produk, kami menyadari bahwa kami dapat memperkuat pengaruh kami dengan bekerja secara langsung dengan tim pengembangan. Pada awal 2017, kami mulai menerapkan pengetahuan terapan tentang perilaku selain statistik. Kami beralih dari pendekatan pasif dan mendukung ide-ide yang sudah dirumuskan menjadi ide aktif: kami mulai menggunakan pengetahuan kami di bidang pembelajaran dan menghafal, yang memungkinkan kami untuk mengusulkan solusi konkret berdasarkan penelitian ilmiah yang ada. Selain eksperimen, kami mulai mendukung arahan baru: strategi produk, desain program, pengoptimalan konten, dan pengukuran dampak bisnis.
Berkat pelatihan kami, spesialis perilaku berpengalaman dalam metode penelitian kualitatif dan kuantitatif. Bidang kegiatan kami diperluas, kami tidak lagi menjadi peneliti, berubah menjadi ahli dalam analisis data dan memutuskan untuk fokus pada metode penelitian kuantitatif sebagai komponen penting dari pekerjaan kami dengan data. Departemen UX Uber mempekerjakan spesialis berkualifikasi tinggi yang terlibat dalam penelitian berkualitas. Dengan berfokus pada metode kuantitatif, seperti menguji ide-ide yang valid secara teoritis melalui eksperimen dan menerapkan pendekatan statistik baru, kami melengkapi ekosistem penelitian Uber yang lebih luas.
Alur kerja kami: bagaimana kami menerapkan ide dan metode
Kami mengatur alur kerja kami sehingga kami tidak hanya membantu menyelesaikan masalah melalui konseling pada saat tertentu, tetapi juga memberikan efektivitas jangka panjang dengan meningkatkan pengetahuan dan metode di bidang ilmu perilaku menggunakan templat dan platform khusus. Kami akan memberi tahu Anda lebih banyak tentang proses ini.
1. Konsultasi adalah pendekatan yang paling efektif untuk menyelesaikan masalah taktis di tingkat produk atau fungsi tertentu. Kami bekerja secara langsung dengan produk, pemasaran, dan tim data lainnya dan memberikan rekomendasi ilmiah untuk memecahkan masalah yang mereka hadapi.
2. Untuk memberikan pengaruh yang lebih besar pada pembentukan produk dan strategi analitis, tim kami membuat konten dan pedoman pengembangan, serta templat R dan Python, yang memungkinkan kolega kami di Uber untuk secara independen mempelajari dan mereproduksi metode kami.
3. Akhirnya, kami bekerja dengan tim di seluruh perusahaan untuk memberikan akses sekali klik ke wawasan analitis dan metodologi kami. Sebagai contoh, kita dapat bekerja dengan tim yang mengembangkan platform untuk eksperimen pada
alat untuk analisis pasca- eksperimen
.Konseling kami sering melibatkan penerapan pengetahuan teoretis untuk masalah yang akan kami jelaskan dalam contoh di bawah ini. Dalam pekerjaan kami, kami mengambil pendekatan kuantitatif untuk memecahkan masalah seperti itu. Semua pekerjaan kami dengan data dibangun seputar pertanyaan tentang perilaku pengguna dan dibagi menjadi tiga kategori: penilaian kuantitatif konstruksi dan proses psikologis, penerapan metode ilmu perilaku dan analisis eksperimental.
Pertama, kami menggunakan data Uber untuk mengukur konstruksi psikologis dan proses yang menentukan perilaku. Untuk melakukan ini, kami mengadaptasi metode yang ada dari ilmu-ilmu masyarakat dan perilaku, seperti
analisis faktor , atau mengembangkan yang baru. Untuk mengatasi masalah yang lebih sulit, kami menerapkan beberapa metode yang kurang umum digunakan dalam ilmu data, misalnya, pendekatan
pemodelan perantara yang dikembangkan oleh kami atau
analisis deret waktu terputus . Akhirnya, kami menganalisis data berbagai eksperimen, mulai dari tes A / B standar hingga metode yang digunakan ketika uji A / B tidak mungkin atau tidak diinginkan, misalnya,
eksperimen dengan promosi acak .
Dalam sains, penelitian paling sering digunakan untuk mengembangkan teori lebih lanjut, daripada memecahkan masalah yang diterapkan. Untuk tim kami, salah satu aspek terpenting dari transisi dari pengetahuan teoretis ke tugas bisnis tertentu adalah kemampuan untuk menerapkan penelitian terapan untuk meningkatkan pengalaman pengguna.
Mulai bekerja dengan tim produk di bidang ilmu perilaku, kita dihadapkan dengan fakta bahwa bahkan ketika konsep-konsep itu tampaknya mudah dipahami dan digunakan, penerapannya yang tidak sistematis dapat menyebabkan konsekuensi yang tidak terduga. Oleh karena itu, selalu perlu untuk mempertimbangkan
konteks situasional dan individual. Sebagai contoh, dalam ilmu perilaku ada fenomena akrab dari
keengganan yang akrab bagi banyak orang. Sekilas, intinya jelas: orang sering lebih suka menghindari kerugian daripada mendapatkan manfaat. Namun, ada banyak situasi di mana menghadirkan sesuatu sebagai kerugian dapat membuat marah atau marah pengguna, bukannya memotivasi dia. Misalnya, pengguna lama dari program loyalitas, yang semua pengalaman dengan aplikasi didasarkan pada mendapatkan poin, mungkin marah jika mereka mengatakan kepadanya bahwa ia akan kehilangan poin jika ia tidak segera melakukan pembelian. Bahkan tren umum, seperti keengganan kerugian, dapat memiliki konsekuensi yang tidak terduga atau negatif jika Anda bekerja dengan mereka di luar konteks. Tidak peduli seberapa besar potensi keberhasilan pendekatan Anda, kami menyarankan Anda untuk mencoba lebih memahami dan memprediksi hasil penggunaannya dengan lebih akurat.
Kasus: POOL Ekspres
Karena ilmu perilaku sebagian besar situasional, banyak dari pekerjaan kami adalah untuk menyarankan tim mengembangkan produk tertentu. Kolaborasi kami dengan tim POOL Ekspres adalah contoh bagaimana tim ilmu perilaku terapan menerapkan penelitian teoretis untuk pengembangan produk.
Pada awal 2018, Uber meluncurkan
Express POOL . Seperti
uberPOOL , Express POOL melibatkan bepergian bersama dan berbagi biaya dengan penumpang di sepanjang perjalanan. Tidak seperti uberPOOL, uberX, dan produk ridersharing kami yang lain, saat menggunakan Express POOL Anda harus menunggu sedikit lebih lama untuk tujuan mobil yang cocok dan berjalan ke tempat pendaratan yang ditunjukkan. Perubahan tersebut memungkinkan untuk membuat rute yang lebih langsung dan efisien, yang pada gilirannya membuat perjalanan lebih mudah diakses.
Penumpang terbiasa dengan kenyataan bahwa mobil dengan cepat tiba tepat di tempat mereka berada, oleh karena itu, ketika mengembangkan produk, perhatian khusus diberikan pada bagaimana pengguna berinteraksi dengan produk baru. Menjadi jelas bahwa banyak aspek yang perlu diperbaiki: pelanggan membatalkan perjalanan antara permintaan dan pemilihan opsi yang sesuai. Penumpang harus menunggu lebih lama, dan pembatalan terjadi lebih sering daripada saat menggunakan produk lain.
Kami biasanya memulai proses konsultasi dengan bertemu dengan tim yang mengerjakan produk untuk memahami masalahnya. Tim ini mencakup manajer produk, manajer pemasaran, peneliti pengalaman pengguna, insinyur, dan spesialis data produk. Kami meninjau dan mempertimbangkan penelitian awal tim, seperti tes kegunaan. Dalam kasus Express Pool, setelah terhubung ke proyek, kami mempelajari detail yang dijelaskan di atas.
Setelah mempelajari konteks dan memahami masalah umum, kami melakukan tinjauan literatur khusus dengan analisis mendalam tentang data yang tersedia dari ilmu perilaku untuk menentukan metodologi untuk menyelesaikan masalah ini. Jadi, tenggelam dalam konteksnya, kami mengubah pengetahuan kami menjadi skenario perubahan nyata untuk tim produk dan merekomendasikan cara untuk menguji perkembangan ini.
Dalam hal ini, kami mulai mempelajari literatur
tentang ilmu perilaku untuk mempelajari lebih lanjut tentang bagaimana orang memahami waktu dan harapan. Kami telah mengidentifikasi tiga konsep yang penting untuk memahami waktu tunggu:
penolakan tidak bertindak ,
transparansi tindakan, dan
efek dari gradien target . Konsep penolakan tidak bertindak jelas: orang takut tidak bertindak dan ingin terus-menerus sibuk. Kami juga menemukan bahwa transparansi tindakan atau pengungkapan kepada pengguna tentang apa yang terjadi pada permintaan mereka pada suatu waktu tertentu meningkatkan peringkat konsumen terhadap produk tersebut. Akhirnya, efek gradien tujuan ditandai oleh peningkatan motivasi dan upaya besar yang siap dilakukan orang ketika mereka merasa bahwa mereka sedang mendekati tujuan mereka.
Mengingat hal ini, kami menyarankan untuk menunjukkan kemajuan sambil menunggu, mencerminkan setiap langkah dalam aplikasi, misalnya, menunjukkan teman yang dipilih dan memberi tahu klien tentang mobil mana yang ditemukan.
Informasi tambahan, seperti penjelasan tentang prinsip penghitungan waktu kedatangan, dapat diperoleh dengan mengklik ikon informasi. Tim POOL Ekspres menguji ide-ide ini dengan pengujian A / B dan mencatat pengurangan 11% dalam jumlah pembatalan setelah memanggil mesin.
Fig. 1. Desain uji antarmuka pengguna POOL Ekspres menunjukkan langkah-langkah terperinci dan menggunakan ikon untuk mendapatkan informasi lebih lanjut tentang status pesanan.Seperti dijelaskan dalam contoh ini, setelah studi rinci tentang karakteristik perilaku manusia, kami mengembangkan ide-ide prioritas berdasarkan asumsi tentang dampak potensial dan risiko yang mungkin terjadi. Untuk menguji ide-ide kami, kami mengorganisir dan melakukan eksperimen, dan kemudian menganalisis data. Seluruh proses proyek penelitian kami, terwujud dalam pekerjaan kami pada Express POOL, ditunjukkan pada Gambar 2:
Gambar 2. Biasanya, alur kerja kami dimulai dengan pernyataan masalah dan diakhiri dengan eksperimen.
1. Definisi masalah
Dapatkan informasi tentang masalah dari tim mitra.
2. Analisis mendalam dan pencelupan dalam ilmu perilaku
Merumuskan masalah dalam istilah yang relevan dari bidang ilmu perilaku.
3. Perumusan ide berdasarkan pengetahuan ilmiah yang ada
Untuk mengusulkan ide spesifik untuk suatu produk berdasarkan hasil penelitian ilmiah.
4. Prioritas
Bersama dengan tim lain, memprioritaskan ide, dengan mempertimbangkan hasil ekonomi yang diharapkan dan risiko yang mungkin terjadi.
5. Eksperimen
Lakukan eksperimen untuk menguji ide (kembangkan opsi eksperimen, tentukan audiens target, analisis data yang diterima, dll.).Menerapkan Ilmu Perilaku Membantu Menambahkan Nilai Produk
Pekerjaan kami pada Express POOL menunjukkan nilai unik yang penelitian kami di bidang karakteristik perilaku manusia, yang didukung oleh beberapa dekade percobaan ilmiah di bidang ini, mewakili produk di masa depan. Berbekal informasi ini, kami bekerja sama dengan para peneliti UX dan analis produk yang menggunakan keterampilan mereka untuk menyelesaikan masalah selain yang sedang kami teliti. Misalnya, selama percobaan kami dengan Express POOL, analis produk memantau dengan cermat metrik aplikasi dan menemukan peluang untuk meningkatkan tingkat pembatalan pesanan setelah permintaan. Peneliti UX melakukan tes perjalanan untuk memahami penyebab kesulitan penumpang dan memahami masalahnya. Sebagai peneliti data perilaku, kami menggunakan pengetahuan dan metodologi kami untuk mengusulkan solusi untuk masalah yang dapat diuji secara empiris.
Kami memperhitungkan serangkaian keahlian khusus kami dan bagaimana kami dapat menambah nilai pada produk ketika kami memilih tim yang bekerja sama dengan kami dan proyek mana yang kami lakukan. Di tingkat global, kami menyusun rencana prioritas untuk tahun ini, ditentukan oleh kinerja ekonomi produk yang diinginkan. Pada tingkat yang lebih terperinci, tim pengembangan memberikan informasi mengenai area produk mana yang memiliki masalah paling mendesak. Berdasarkan ini, kami memilih proyek mana dan dalam urutan apa kami akan melakukan bersama dengan tim lain. Penting untuk dicatat bahwa tim kami mempertimbangkan bidang pengembangan ini dari sudut pandang ilmu perilaku, menentukan di mana menggunakan pengetahuan terapan kami dan pengalaman analisis kuantitatif. Dalam beberapa kasus, ini dapat berarti pengucilan dari prioritas eksperimen tersebut yang memerlukan dasar teori atau penelitian kualitatif yang kuat yang tidak memerlukan keterampilan metodologis kami. Kami mencapai hasil yang serius, selalu berusaha untuk memberikan pengaruh maksimum pada bisnis dan pada tingkat relevansi penerapan ilmu perilaku.
Temuan Kunci
Dalam jangka panjang, seiring Uber mengembangkan peluang pengembangan baru dan meningkatkan produk yang ada, kami berharap tim kami memiliki banyak peluang untuk menggunakan ilmu perilaku untuk menawarkan layanan terbaik yang memungkinkan bagi pengguna kami. Pada 2019, kami akan terus berkolaborasi dengan tim lain dalam proyek inovatif dan sangat efektif, dan kami juga akan berinvestasi dalam meningkatkan pengetahuan kami untuk membuat ilmu perilaku lebih mudah diakses. Kami senang dapat terus aktif menerapkan pengetahuan teoretis dan metodologis kami dan meningkatkan efektivitas fungsi, program, dan platform yang dibuat di perusahaan kami.
Komentar dari Gleb Sologub, Direktur Analytics di Skyeng
Di Skyeng, metode ilmu perilaku diperhitungkan dan digunakan dalam persiapan percobaan dan tes A / B pada berbagai halaman arahan, dalam pengembangan aplikasi seluler dan platform web kami untuk melakukan pelajaran.
Misalnya, melalui tes A / B, kami baru-baru ini menemukan bagaimana efek priming mempengaruhi pilihan paket pelajaran untuk siswa kami dan keputusan mereka untuk membeli, tergantung pada lokasi opsi di halaman pembayaran. Memahami mekanisme motivasi membantu kita memilih skema motivasi terbaik untuk guru dan manajer penjualan. Dan kami mewujudkan pengetahuan di bidang metodologi pengajaran di antarmuka khusus, yang memungkinkan untuk meningkatkan efektivitas guru.
Saya pikir tidak banyak perusahaan di dunia yang mampu mempertahankan tim analis perilaku yang terpisah. Kami di Skyeng berusaha mendidik para peneliti yang ada sehingga mereka terus-menerus memperluas gudang metode mereka dan tahu bagaimana memilih yang mereka butuhkan untuk tugas tertentu. Omong-omong, tim analisis kami berkembang - ada lowongan menarik !
Foto oleh meo dari Pexels