Kami terus berbicara tentang bagaimana crowdsourcing digunakan di Yandex dan perusahaan besar lainnya. Dalam
posting sebelumnya
, kami berbicara tentang drone dan kualitas pencarian produk.
Hari ini Anda akan belajar tentang penerapan
Toloka untuk pelatihan Alice, memperbarui Direktori dan memoderasi komentar. Semua subpos dapat diklik dan mengarah ke pencatatan laporan. Ayo pergi!
Yandex.Directory adalah basis data besar organisasi dengan kontak, foto, ulasan, dan data lainnya. Agar tetap terbaru, Anda harus mengumpulkan dan memproses informasi dalam jumlah besar.
Toloka mengatasi dengan baik tugas-tugas ini - rata-rata 50 ribu per bulan menyelesaikan 15 juta tugas Direktori. Diantaranya adalah desktop, yang diselesaikan di rumah, dan lapangan, yang membutuhkan eksekusi di jalan.
Di desktop Tolok, lusinan jenis markup dibuat untuk Direktori, seperti memoderasi foto pengguna atau menguraikan menu kafe dan restoran untuk mencari perusahaan dengan hidangan.
Tidak semua organisasi memiliki telepon dan situs untuk mengklarifikasi informasi dari jarak jauh. Untuk memperbarui data pada organisasi tersebut, tolokers turun ke jalan dan melakukan tugas menggunakan smartphone. Peta ini menunjukkan misi lapangan yang diselesaikan selama beberapa bulan terakhir, lebih dari satu juta poin.
Beberapa juta orang berbicara dengan Alice setiap hari. Semua orang menyelesaikan tugasnya: ia mempelajari cuaca, menerima informasi, atau sekadar mengobrol. Agar Alice mengerti dan membantu semua orang, dia perlu belajar mengenali ucapan, dan ini membutuhkan banyak data.
Toloka membantu dalam mengumpulkan data ini. Sebagai contoh, salah satu tugasnya adalah mendengarkan rekaman audio dan mendekripsi. Dalam waktu sekitar satu jam pengoperasian toloker, Anda bisa mendapatkan 5 jam rekaman audio yang ditandai.
Jika Anda meminta seseorang untuk mengenali rekaman audio, kesalahannya adalah 5-6% dari kata-kata yang salah dikenali. Jika Anda memberikan satu tugas kepada beberapa pemain, menjadi mungkin untuk memilih opsi terbaik. Kesalahan dalam data akhir dapat dikurangi menjadi 1-2%.
Memahami apa yang dikatakan pengguna tidak cukup. Anda masih perlu menjawab dengan benar. Jawaban Alice memiliki beberapa aspek kualitas. Dia harus merespons dengan tepat, jangan menghubungi pengguna untuk "Anda", jangan kasar dan jangan berbicara tentang dirinya sendiri dengan cara yang maskulin. Semua metrik ini direpresentasikan sebagai tugas pada Tolok. Tolocker menentukan apakah suatu jawaban memiliki salah satu atau lebih dari sifat yang ditunjukkan.
Namun tidak selalu aspek kualitas dapat diformalkan. Jadi, sintesis ucapan harus alami, dengan intonasi yang benar, tanpa cacat teknis. Ini adalah parameter subyektif yang sulit dibayangkan dalam bentuk model penilaian. Karena itu, di Tolok, pemain diundang untuk mendengarkan dua versi dari satu kalimat dan memilih yang terbaik.
Yandex.Bus adalah layanan yang menyediakan layanan untuk penumpang dan operator. Kadang-kadang ada pengemudi yang tidak bermoral yang mengambil penumpang di halte, tidak menuliskan tiket untuk mereka, dan mengambil uang yang diterima untuk diri mereka sendiri. Akibatnya, operator kehilangan pendapatan, yang sangat terlihat pada rute panjang.
Mengorganisir pekerjaan pengendali di sepanjang rute, misalnya, dari Ufa ke Moskow, cukup mahal. Menelepon penumpang dan menanyakan berapa banyak orang yang ada di dalam bus, jika pengemudi menjemput seseorang di sepanjang jalan, tidak efisien. Cara lain adalah dengan memasang counter orang di pintu masuk bus. Tetapi pada jarak yang jauh, di mana ada banyak halte, orang-orang terus-menerus masuk dan keluar, yang memberikan kesalahan nyata. Setiap orang yang "hilang" berpotensi kehilangan 2,5-10% dari pendapatan penerbangan. Selain itu, pengemudi masih dapat dengan mudah menipu pembawa dengan menutupi sensor.
Tim Yandex.Bus mengambil keputusan untuk melampirkan kamera IP sudut lebar ke router di bus, secara berkala mengambil foto kompartemen penumpang dan mengirimkannya ke ruang kontrol. Jadi untuk setiap penerbangan, foto terakumulasi, di mana Anda dapat melihat pada titik berapa banyak penumpang di kabin. Ngomong-ngomong, semua wajah penumpang secara algoritmik "tersapu". Masih mempelajari cara memproses foto, yaitu, menghitung jumlah penumpang. Pada tahap ini, muncul masalah: gambar tidak selalu menjadi berkualitas tinggi, karena pemotretan berlangsung dalam gerakan, seringkali dalam kegelapan. Selain itu, hanya ada satu kamera di bus, wajah tidak selalu ada di foto. Tidak mungkin menemukan model yang sudah jadi yang mampu menghitung jumlah orang dalam gambar seperti itu; terlalu lama untuk menulis sendiri.
Para pengembang beralih ke tolokers. Foto-foto salon dikirim ke Toloka dengan tugas menghitung jumlah orang di sana. Biaya solusi kurang dari $ 150. Untuk menghitung satu penerbangan, Anda membutuhkan 7 rubel.
Percobaan dilakukan pada empat bus selama 300 penerbangan. Ternyata 9% dari hasil berkeliling operator. Sekarang semakin banyak operator Yandex.Bus terhubung ke sistem ini.
Rambler Group mengembangkan lebih dari 20 proyek, termasuk feed berita dan situs tematik, di mana masing-masing pengguna memberikan komentar. Ini meningkatkan waktu yang dihabiskan di situs dan kedalaman pandangan, yang bermanfaat bagi sumber daya.
Tetapi ada sisi lain dari koin: publikasi bertanggung jawab atas isi komentar. Untuk memeriksanya, Anda memerlukan staf moderator. Karena komentar muncul terus-menerus, moderator harus bekerja sepanjang waktu, yang mahal dan cukup sulit.
Dalam mencari solusi, Rambler Group menoleh ke Tolok. Pertama, mereka meluncurkan percobaan: mereka memilih 24.717 komentar yang diproses oleh moderator reguler dan menciptakan kembali aliran sebenarnya dari komentar-komentar ini ke Toloka. Satu tugas termasuk 10 komentar, 3 menit diberikan untuk pemrosesan mereka. Untuk mengontrol kualitas moderasi, satu tugas ditawarkan kepada tiga pemain. Biaya ditetapkan ke minimum - 1 sen.
Hasil:
Sumber daya Grup Rambler memiliki sistem pasca-moderasi: komentar apa pun segera masuk ke situs, Anda harus menghapus yang salah secepat mungkin. Ternyata, tolokers memproses 10 komentar dalam satu menit, dan moderator reguler - 12. Selain itu, percobaan menunjukkan bahwa menggunakan layanan tolokers adalah 60% lebih menguntungkan daripada mempertahankan staf moderator untuk setiap publikasi.
Eksperimen itu dianggap berhasil, tetapi kondisinya berubah sedikit. Satu tugas sekarang ditawarkan kepada dua pemain, jika pendapat mereka berbeda, mereka menghubungkan yang ketiga. Jumlah komentar dalam penugasan ditingkatkan dari 10 menjadi 15. Ini memungkinkan untuk mengurangi biaya dengan 35% lainnya.
Menggunakan API, komentar secara otomatis dikirim ke Toloka, dimoderasi dan dikembalikan dengan vonis. Sekarang komentar tentang semua proyek Grup Rambler dikelola melalui Toloka.