Pelajaran pengantar gratis adalah fitur Sekolah Skyeng. Seorang siswa potensial dapat berkenalan dengan platform di atasnya, memeriksa level bahasa Inggrisnya, dan akhirnya, bersenang-senanglah. Untuk sekolah, pelajaran pengantar adalah bagian dari corong penjualan, diikuti dengan pembayaran pertama. Hal ini dilakukan oleh ahli metodologi pelajaran pengantar - orang khusus yang menggabungkan seorang guru dan tenaga penjualan, waktunya dibayar terlepas dari apakah klien membeli paket pertama atau tidak, dan apakah ia muncul sama sekali untuk pelajaran tersebut. Absensi adalah kejadian yang sangat umum karena harga pelajaran menjadi terlalu tinggi.
Dalam artikel ini, kami akan menjelaskan bagaimana, dengan bantuan model analitis dan pengalaman maskapai penerbangan, kami dapat mengurangi biaya pelajaran pengantar hampir setengahnya.
Corong penjualan Skyeng terdiri dari lima langkah: mendaftar di situs, memanggil lini pertama penjualan dengan entri ke pelajaran pengantar, pelajaran pengantar, membunyikan baris kedua penjualan, membayar paket pertama. Sebelumnya, setelah panggilan pertama, kami menetapkan waktu pelajaran untuk metodologi pelajaran pengantar tertentu, yang sedang menunggu siswa pada waktu itu. Jika seseorang mendaftar dan tidak datang, ahli metodologi membuang-buang waktu, dan uang sekolah - untuk membayar kali ini. Ketidakhadiran terjadi rata-rata dalam setengah kasus; sepertiga pelanggan membeli paket pertama setelah pelajaran pengantar. Dengan demikian, konversi dari pencatatan ke pelajaran pendahuluan menjadi pembayaran hanya 0,15. Pelajaran pengantar yang berhasil (dikonversi menjadi pembayaran) dalam skema lama menghabiskan biaya 4.000 rubel, dan kami harus melakukan sesuatu untuk itu.
Anda dapat menolaknya, tetapi dalam hal ini, konversi akhir dari timah ke pembayaran akan turun secara signifikan, yang tidak sesuai dengan kami. Kami harus mencari solusi lain, membangun model, menghitung, dan bereksperimen.
Panekuk pertama
Kami beralih ke pengalaman maskapai, khususnya untuk praktik pemindahbukuan. Operator tahu bahwa 100% penumpang yang telah membeli tiket jarang berada dalam penerbangan, dan memanfaatkannya dengan menjual lebih banyak tiket daripada kursi di pesawat. Jika tiba-tiba semua penumpang tiba untuk mendarat, Anda dapat menemukan sukarelawan di antara mereka yang siap terbang untuk sanggul berikutnya di penerbangan berikutnya. Maskapai penerbangan dengan demikian meningkatkan laba mereka, dan kami dapat mengurangi biaya dengan metode serupa.
Jadi: kami menolak catatan untuk orang tertentu, kami membuat kumpulan metodologi dari pelajaran pengantar, kami menyebarkan aplikasi di antara mereka dengan harapan bahwa setengah tidak akan muncul. Dan jika lebih banyak telah datang, kami sarankan Anda mendaftar untuk hari lain. Kami meluncurkan MVP tersebut ke dalam pengujian dan segera menyadari bahwa kami telah melakukan segala kesalahan.
Setengah dari mereka yang memasuki pelajaran pengantar adalah statistik, pada kenyataannya, proporsinya sangat bervariasi tergantung pada waktu, hari, saluran dari mana orang itu berasal. Selain itu, lebih dari 80% siswa potensial, dalam menanggapi proposal untuk menunda pelajaran, baik langsung jatuh, atau tidak datang dengan catatan kedua. Semua ini dapat mengarah pada kenyataan bahwa pada hari-hari buruk kita akan kehilangan sepertiga pelanggan. Tes dimatikan dan melakukan segala sesuatu dengan cara yang cerdas.
Model, prakiraan, polinomial
Pertama-tama, perlu untuk mengetahui apa yang menentukan proporsi mereka yang memasuki pelajaran pengantar. Pengamatan pertama adalah bahwa itu tergantung pada saluran pemasaran dari mana orang itu berasal. Kami membagi saluran ini dari sudut pandang konversi menjadi pembayaran menjadi "panas", di mana konversi lebih tinggi, "hangat" dan "dingin", di mana lebih rendah; ternyata "suhu saluran" mempengaruhi konversi ke output dari pelajaran pendahuluan dengan cara yang hampir sama.
Melanjutkan analogi penerbangan, kami membuat “meja check-in” yang berbeda untuk arahan dari saluran yang berbeda, menempatkannya dengan koefisien yang sesuai dengan probabilitas historis saluran ini yang keluar: 0.8, 0.4 dan 0.2. Untuk saluran "panas", kami mengalokasikan lebih banyak ahli metodologi, "dingin" - kurang. Ini bekerja lebih baik, tetapi masih pada hari-hari buruk ada lebih dari 20% dari "keberangkatan" (situasi di mana lebih banyak klien menghadiri pelajaran pengantar daripada ada metodologi gratis). Mereka mencoba meningkatkan koefisien dengan menambahkan margin 0,1: di satu sisi, semakin kita mengeluarkan para metodologi, semakin sedikit kita kehilangan pelanggan, di sisi lain - biaya untuk melakukan pelajaran pengantar semakin meningkat.
Dari pengamatan ini, MVP kedua tumbuh. Untuk setiap siswa yang terdaftar, kami membuat perkiraan tentang kemungkinannya pergi ke pelajaran pendahuluan. Kami membuat distribusi probabilitas gabungan dan interval kepercayaan dengan tingkat kepercayaan 95%. Untuk kasus yang jarang terjadi ketika lebih banyak klien keluar dari yang direncanakan, kami memiliki kumpulan ahli metodologi - guru yang saat ini terlibat dalam pekerjaan yang tidak mendesak seperti memeriksa esai.
Untuk menghitung perkiraan siswa tertentu, kami membangun model statistik berdasarkan data historis kami dan mempertimbangkan beberapa faktor: saluran, wilayah, anak / dewasa, klien swasta / perusahaan, waktu mulai merekam hingga pelajaran pengantar.
Model beroperasi dengan konsep-konsep berikut:
- slot : tanggal dan waktu pelajaran pengantar;
- faktor koreksi : probabilitas keluar abnormal pada hari dan jam ini;
- bobot aplikasi : probabilitas yang dapat diterima untuk keluar dari klien;
- Keberangkatan : Aplikasi yang tidak terlayani (klien keluar, semua metodologi sibuk);
- metodologi sederhana : ternyata kurang dari yang diperkirakan, orang duduk diam;
- pembatasan :% pada interval kepercayaan, setelah model melarang penambahan pesanan ke slot.
Setiap slot berisi metodologi N, dan slot itu sendiri memiliki faktor koreksi k (dengan basis 100). Jumlah metodologi yang tersedia untuk model didefinisikan sebagai putaran (N * k / 100). Ketika sebuah aplikasi muncul, model menentukan bobotnya , melihat jumlah bobot yang sudah ada dalam slot, dan menentukan slot yang tersedia jika, sebagai akibat dari penambahan aplikasi ini, jumlah bobot aplikasi dalam slot tidak melebihi jumlah metodologi. Metrik untuk mengevaluasi model adalah: proporsi keberangkatan (diperlukan untuk meminimalkan), pemuatan slot (dimaksimalkan), waktu tunggu untuk pelajaran pengantar oleh klien (diminimalkan). Parameter model variabel termasuk berat dan batasan aplikasi .
Untuk memprediksi berapa banyak pelanggan yang akan dirilis, rumus untuk produk probabilitas digunakan:
Mempertimbangkan semua kemungkinan kombinasi output, kami mendapatkan distribusi probabilitas yang sangat dekat. Distribusi untuk seratus pelanggan terlihat seperti ini:
Menerapkan interval kepercayaan untuk itu, kita dapat menyesuaikan agresivitas model. Misalnya, menggeser batasan ke kiri akan meningkatkannya, mis. kami melepaskan lebih banyak klien dengan jumlah metodologi yang sama, dan pergeseran ke kanan menguranginya, karena Pembatasan dipicu sebelumnya. Contoh dengan batasan 90% dan 57%:
Selain itu, agresivitas model dapat disesuaikan dengan faktor koreksi: penurunan menguranginya, peningkatan menaikkannya. Ini berguna ketika kita tahu bahwa pada hari / jam tertentu, faktor eksternal tertentu dapat membuat kelainan.
Rumus dengan penggandaan probabilitas menunjukkan dirinya dengan baik dalam tes, tetapi sulit dari sudut pandang komputasi, jadi kami menulis ulang dengan polinomial:
Kerugian dari model ini meliputi:
- karena berdasarkan pada data historis, itu tidak merespon dengan baik terhadap perubahan tiba-tiba yang keluar;
- jika ahli metodologi memiliki acara force majeure dan dia keluar dari slot, ini adalah keberangkatan yang hampir dijamin, manajer perlu segera menugaskan kembali pelajaran;
- jika penandaan dinamis dari "panas" saluran turun, model secara keliru memperkirakan kemungkinan klien keluar.
Sebagai hasil dari penggunaan model ini, kami menerima penghematan biaya hingga 45% pada pelajaran pengantar dengan kerugian minimal bagi pelanggan.
Kenapa tidak belajar mesin?
Karena model statistik berfungsi dengan baik, dan alih-alih meningkatkan keakuratan perkiraan yang ada menggunakan ML, lebih menguntungkan untuk mengarahkan upaya pengembang ML ke tugas lain.
Misalnya, kami sedang mengembangkan sistem penilaian untuk pelanggan potensial, yang mirip dengan sistem perbankan. Dengan menggunakan skoring, bank menentukan probabilitas pembayaran kembali pinjaman, dan kita dapat menentukan probabilitas pembayaran pertama. Jika sangat rendah, tidak perlu menghabiskan sumber daya untuk mengatur pelajaran pengantar; jika, sebaliknya, sangat tinggi, Anda dapat segera mengirim klien ke halaman pembayaran.
Tapi cerita ini untuk lain waktu.