Bagaimana Methodius menjadi Anna: pengalaman mengembangkan dan meluncurkan pengklasifikasi pesan suara. Bagian 3

Seri Objektif


Biarkan saya mengingatkan Anda bahwa di posting pertama dan kedua , kami mendapat model untuk mengklasifikasikan panggilan dukungan teknis dan belajar bagaimana output ke produktif tanpa mengumpulkan semua penggaruk. Kami sampai pada kesimpulan bahwa sebelum membangun model yang kompleks, Anda perlu memahami kelengkapan dan keakuratan data Anda. Dan kesimpulan No. 2 menjadi ini: memahami pengguna Anda dan kemudian memulai layanan akan jauh lebih mudah.

Pada artikel ini kita akan berbicara tentang kasus kedua, yang mana robot suara Anna membantu kami menyelesaikannya.

Kasus No. 2. Tugas dan data


Setelah kami memahami logika orang dan mendapatkan tonjolan ketika memperkenalkan pengelompokan suara pertama, kami terinspirasi untuk memecahkan masalah lain.

Masalah.


34% panggilan dari departemen penjualan ditransfer ke layanan dukungan teknis. Saya ingin mengurangi jumlah transfer antar departemen. Pertama, mari kita cari tahu cara kerjanya sebelumnya? Ada panggilan ke pusat panggilan perusahaan, pemeriksaan dilakukan apakah nomor ini diketahui atau tidak (apakah ada di CRM kami). Jika nomor tersebut diketahui oleh perusahaan, maka ini sudah menjadi klien kami, mereka mengirim panggilan ke dukungan teknis, jika nomor itu tidak dikenal, maka panggilan tersebut dialihkan ke bagian penjualan.

gambar

Pemeriksaan seperti itu tidak menyelesaikan masalah. Namun demikian, departemen penjualan masih mentransfer bagian ketiga dari panggilan ke dukungan teknis, karena tidak semua nomor pelanggan akrab dengan kami. Setidaknya kita masing-masing memiliki dua kartu SIM. Atau bukan orang yang meninggalkan kontak mereka yang memanggil koneksi yang ada, tetapi kerabatnya, tetapi pertanyaannya adalah teknis, meskipun nomor untuk perusahaan tidak dikenal.

Dengan demikian, diperlukan untuk mengembangkan sistem yang secara otomatis mendistribusikan panggilan antara dukungan teknis dan departemen penjualan berdasarkan teks yang diucapkan oleh penelepon. Diagram di bawah ini secara skematis menunjukkan algoritma pemrosesan panggilan.

gambar

Data kira-kira sama dengan untuk solusi kasus pertama . Frase yang diakui dari panggilan yang diterima oleh departemen penjualan ditandai untuk adanya transfer ke departemen dukungan teknis. Dengan cara ini, kami ingin memisahkan masalah teknis dari masalah pembelian / koneksi.

Solusi kasus


Kami melatih berbagai model dan mendapatkan kualitas berikut.
AlgoritmaKelasskor-f
Logregpenjualan0,78
Logregdukungan0,69
Hutan acakpenjualan0,75
Hutan acakdukungan0,62
SVMpenjualan0,71
SVMdukungan0,62
XGBoostpenjualan0,61
XGBoostdukungan0,57
CNNpenjualan0,76
CNNdukungan0,63

Seperti dapat dilihat dari tabel, kualitasnya buruk. Anda perlu menentukan penjualan dengan kualitas setinggi mungkin, karena ini adalah loyalitas pelanggan di masa depan. Sangat tidak mungkin untuk mentransfer seseorang yang ingin membeli layanan kami ke dukungan teknis.

Kesulitan keputusan. Tata ulang


Untuk meningkatkan kualitas klasifikasi, kami memutuskan untuk memeriksa apakah kelas dipisahkan oleh kosakata yang digunakan di dalamnya. Melakukan analisis.

Tabel kata yang sering digunakan sebelum alokasi ulang
gambar

Seperti yang Anda lihat, sebagian besar kata-kata tersebut umum untuk kedua kelas. Diharapkan bahwa semua kata teknis akan berada di kelas dukungan teknis, tetapi ternyata di kelas "Penjualan" bahkan ada kata "reboot". Kami mulai memahami alasan untuk ini. Ternyata sering kali operator departemen penjualan memberi nasihat tentang masalah teknis ringan, tanpa menerjemahkan ke dalam dukungan teknis, hal ini mengakibatkan markup yang salah.

Kami mengalokasikan kembali dataset dan kembali menurunkan kata-kata teratas untuk masing-masing kelas.
Tabel kata yang sering digunakan setelah tata letak ulang
gambar

Menjadi lebih baik, semua kata "teknis" di kelas "dukungan teknis" sudah ada, dan kata-kata yang menyertai penjualan berada di kelas "penjualan". Kami melihat ini pada kualitas klasifikasi.
AlgoritmaKelasf-score adalahf-score, menjadi
Logregpenjualan0,780,94
Logregdukungan0,690,87
Hutan acakpenjualan0,750,92
Hutan acakdukungan0,620,82
SVMpenjualan0,710,93
SVMdukungan0,620,86
XGBoostpenjualan0,610,91
XGBoostdukungan0,570,78
CNNpenjualan0,760,93
CNNdukungan0,630,86

Seperti dapat dilihat dari tabel, kualitasnya buruk. Anda perlu menentukan penjualan dengan kualitas setinggi mungkin, karena ini adalah loyalitas pelanggan di masa depan. Sangat tidak mungkin untuk mentransfer seseorang yang ingin membeli layanan kami ke dukungan teknis.

Kasus No. 2. Kesimpulan


Apa kesimpulan dari artikel tersebut? Pahami proses bisnis yang Anda pengaruhi . Ya, bisa dikatakan bahwa penting untuk memahami data, karena itu sebabnya kami mulai mempartisi ulang. Tetapi jika kita menemukan sebelumnya dalam proses melakukan panggilan, kita akan segera mengetahui bahwa operator departemen penjualan secara teknis cerdas dan tidak selalu mentransfer panggilan ke dukungan teknis. Jadi, mengambil kehadiran terjemahan sebagai markup bukanlah keputusan yang tepat. Kesimpulan - memahami proses bisnis jauh lebih berguna daripada menguasai algoritma yang kompleks dan memecahkan masalah teknis kecil.

Hasil dari serangkaian artikel


Kami telah menerapkan sistem yang memahami subjek pertanyaan pelanggan dan mengarahkan panggilan. Kami mencari tahu apa yang ditanyakan penelepon, dan jika pertanyaannya teknis, maka kami memilih operator dukungan teknis yang memahami topik ini. Jika pertanyaan terhubung, maka transfer ke departemen penjualan.



Mengapa kita membutuhkan semua ini? Apa yang telah Anda raih? Pertama, kami mengurangi jumlah transfer antar departemen. Grafik menunjukkan bahwa pada 19 dan 20 Januari ada hari pengujian, dan mulai 7 Februari, penggolong diluncurkan secara berkelanjutan.

gambar

Dan kedua, kami berhasil mengembangkan sistem yang nyaman untuk berkomunikasi dengan robot. Contoh audio terbaru dalam artikel kedua adalah buktinya.

Kesimpulan dari ketiga posting tersebut


  1. Menangani data dan markup
  2. Memahami pengguna sistem
  3. Pahami proses bisnis sebelum mengubahnya
  4. Pelajari cara menguji dengan cepat dan merespons hasil

Kesimpulan terakhir muncul setelah kami menyadari berapa banyak waktu yang kami habiskan dari pengaturan tugas hingga peluncuran sistem yang sebenarnya. Saya berharap semua orang memperpendek siklus pengujian hipotesis dan membawa pekerjaan mereka ke produksi lebih cepat.

Apa selanjutnya Rencana kami


Kami berencana untuk memahami tidak hanya frasa pertama klien, tetapi juga yang berikut, untuk mempertahankan percakapan dan tidak membawa panggilan "ringan" ke operator.

gambar

gambar

gambar

Source: https://habr.com/ru/post/id474020/


All Articles