Bagaimana Methodius menjadi Anna: pengalaman mengembangkan dan meluncurkan pengklasifikasi pesan suara. Bagian 2

Sasaran dan tujuan

Izinkan saya mengingatkan Anda bahwa pada artikel pertama kami mendapatkan model dengan kualitas yang memuaskan kami dan sampai pada kesimpulan bahwa itu tidak layak untuk membangun jaringan saraf segera, itu tidak akan banyak manfaat dari data yang salah. Untuk menghindari pemborosan waktu dan energi, cukup dengan menganalisis kesalahan pada model "sederhana".

Pada artikel ini, kita akan berbicara tentang derivasi model kerja secara produktif.

Tes classifier pertama. Dari Methodius ke Anna

Jadi, setelah menganalisis kesalahan, mereka mendapatkan kualitas yang dapat diterima dan memutuskan untuk membawa model menjadi produktif. Kami menggunakan model ini sebagai layanan web, menambahkan panggilan layanan telepon selama panggilan. Dan jika sebelum itu kita bergumul dengan kerumitan khas tugas-tugas kecil (markup, ketidakseimbangan), metode untuk mengatasinya diketahui, maka kesenangan pun dimulai.

Tanpa berpikir lama, kami memutuskan untuk memulai dengan robot Methodius, yang akan bertemu pelanggan dengan suara robot.


Hari tes pertama menunjukkan bahwa orang tidak senang dengan robot.

19% pelanggan menutup telepon, 58% tidak mengatakan apa-apa dan tidak menjawab Methodius. Untuk beberapa alasan, hanya setelah angka-angka ini kami berpikir bahwa sebelum memulai layanan, kami harus berpikir tentang apa yang robot akan tanyakan, dengan suara apa, apakah itu robot atau “operator”, dengan kata lain, kami harus berpikir tentang mengintegrasikan model ke dunia nyata. pengguna. Ini ternyata yang paling sulit.

Integrasi Periksa daftar

Kami telah menyusun daftar periksa untuk mengintegrasikan sistem dengan dunia nyata. Jadi, sebelum memulai layanan semacam ini dalam suatu produk, Anda perlu memikirkan:

• Tujuan dialog
• Frasa bot
• Volume teks / ucapan dari bot
• Identifikasi akhir dari replika pelanggan
• Skenario interaksi

Selanjutnya, saya jelaskan masing-masing poin.

Poin penting pertama adalah memahami apa yang ingin kita dapatkan dengan mengimplementasikan robot. Kami segera menjawab: "permintaan yang dirumuskan untuk dukungan teknis." Tetapi bagaimana cara bertanya sehingga pengguna mengerti apa yang mereka inginkan darinya adalah cerita yang berbeda. Kami menyerbu setiap frase, jika hanya jumlah orang yang menjawab bot bertambah. Kesimpulan utama yang kami dapatkan mengenai frasa robot:

• Frasa bot tidak boleh mengandung suara pasif
• Frasa bot harus pendek
• Di akhir setiap frasa, harus jelas apa yang harus dilakukan pengguna. Anda perlu menggunakan pertanyaan panduan pada setiap tahap komunikasi dengan bot. Dalam pengalaman kami, saya dapat mengatakan bahwa perbedaan antara frasa "Saya mendengarkan Anda" dan "Apa pertanyaan Anda?" ada!
• Ungkapan terakhir dalam komunikasi dengan bot adalah penting, sehingga klien memahami apa yang harus ia harapkan selanjutnya. Dalam kasus kami, pada akhir komunikasi, robot dengan jelas mengatakan: "Saya akan mentransfer panggilan Anda ke spesialis tentang masalah ini", sehingga klien memahami nilai berkomunikasi dengan robot.

Selanjutnya, kami memutuskan untuk bereksperimen dengan suara robot, jadi kami mendapatkan seorang gadis, Maria.


Hasil tes dengan Maria memberi kami harapan.

Sudah lebih banyak orang yang menjawab robot, ada 27% orang yang diam, bukan 58%, tetapi mereka tetap ingin mengurangi jumlah mereka. Kami mendengarkan contoh-contoh dari uji coba dan mengungkapkan kasus menarik ketika orang tidak punya waktu untuk menyelesaikan atau bahkan tidak punya waktu untuk mulai berbicara. Contoh di atas adalah di mana Mary menyela klien, tidak menunggu akhir jawaban.

Ada orang yang diam-diam sengaja, mereka tahu bahwa ini adalah robot dan sedang menunggu operator. Kami berurusan dengan mereka secara terpisah. Dan ada orang yang tidak bisa menjawab karena jumlah waktu yang diberikan sangat kecil. Kami memahami bahwa tidak sopan untuk menginterupsi, karena loyalitas pelanggan berkurang.

Kami memutuskan untuk melakukan eksperimen dalam memilih durasi merekam respons klien. Itu perlu untuk memilih durasi perekaman yang optimal sehingga sebanyak mungkin frasa menjadi informatif, yaitu, mereka mengandung teks yang bermakna yang dapat diklasifikasikan. Tabel menunjukkan persentase frasa informatif untuk berbagai durasi pencatatan respons klien.

Eksperimen telah menunjukkan bahwa 10 detik sudah cukup untuk merumuskan permintaan.

Tetapi membatasi waktu hanyalah salah satu cara untuk menyelesaikan merekam respons klien, ada yang lain. Mendeteksi keheningan atau menentukan akhir isyarat dengan intonasi pembicara adalah metode yang lebih efektif. Deteksi redaman wicara telah diterapkan di dunia, pengembang dipandu oleh intonasi. Tetapi setelah beberapa percobaan dengan waktu perekaman respons spesifik, kami memutuskan untuk mendeteksi keheningan menggunakan Asteriska, ini sudah cukup untuk mendapatkan hasil yang baik.


Tampaknya semuanya sudah baik-baik saja, robot mendengarkan sebanyak yang diperlukan, menerima suara baru dan nama "Anna". Tetapi tes lain dengan perbaikan seperti itu menunjukkan pengurangan signifikan dalam jumlah tabung yang ditinggalkan. Jumlah orang yang diam juga berkurang, tetapi saya ingin yang lebih baik.

Tanpa berpikir dua kali, kami memutuskan untuk memodifikasi skrip untuk interaksi bot dengan klien. Jika klien tidak menjawab (diam) dan kami mendeteksi ini dalam tiga detik, maka Anna akan bertanya lagi. Karena deteksi keheningan yang digunakan sebelumnya, ternyata mudah disadari. Garis besar terakhir dari skenario dialog disajikan di bawah ini.



Ini dilakukan untuk meramaikan percakapan dan mengulangi pertanyaan robot ketika pengguna mungkin belum pernah mendengar kalimat pertama dari Anna.



Akibatnya, implementasi seperti itu menjadi produktif, dengan 4% pipa terbengkalai dan hanya 6% orang yang diam. Kami melakukan ini selama sekitar 6 bulan, tampaknya modelnya sudah siap, diklasifikasikan dengan baik, tetapi sulit untuk diterapkan.

Posting Kesimpulan

Model jadi adalah satu-satunya hal yang bisa dilakukan, itu akan menjadi produktif ketika Anda memahami pengguna Anda bagaimana dan apa yang mereka katakan, apakah mereka siap untuk berkomunikasi dengan robot.
Hanya setelah itu, penerapan model tidak akan sulit dan indikator bisnis akan naik.

Pengenalan Anna. Ringkasan

Klasifikasi panggilan telah mengurangi waktu panggilan. Itu berkurang 15 detik, dan ini adalah 350 panggilan diproses per hari. Itu berkurang karena fakta bahwa operator segera menjawab pertanyaan yang diberikan kepada mereka dari robot, dan tidak menghabiskan waktu mendengarkan klien. Tapi ini bukan yang utama.

Klasifikasi panggilan memungkinkan operator untuk menerima panggilan pada topik tertentu. Apa yang penting karena masalah yang saya tulis di bagian pertama artikel : variasi topik tidak memungkinkan operator untuk dengan cepat terhubung, pertama-tama perlu mempelajari jawaban atas semua pertanyaan pelanggan. Setelah pengenalan sistem, pelatihan operator mulai memakan waktu 1 minggu, bukan 3 bulan. Operator, tentu saja, terus belajar, tetapi sudah dapat menerima panggilan pada topik yang dia pelajari di minggu pertama.

Sampai jumpa di artikel berikutnya, di mana saya akan berbicara tentang kasus lain menggunakan pengklasifikasi suara, yaitu, bagaimana robot Anna mengurangi jumlah transfer antara dukungan teknis dan departemen penjualan.