Halo, Habr! Dalam artikel ini, kami, konsultan praktik analitik departemen dukungan penjualan, akan mempertimbangkan pentingnya menilai dengan benar kualitas pemodelan dalam menyelesaikan masalah analitis. Sebagai bagian dari pekerjaan kami, kami sering harus menyelesaikan masalah membangun model prediksi berdasarkan data pelanggan. Pada saat yang sama, tidak hanya deskripsi masalah analitis yang mungkin berasal dari pelanggan, tetapi juga prosedur untuk menilai kualitas model yang dikembangkan. Dan kadang-kadang terjadi bahwa pelanggan menawarkan untuk membandingkan landak dengan ular. Paling sering ini dapat ditemui ketika data dibagi menjadi pelatihan dan sampel uji, karena pengumpulan data untuk kedua sampel mungkin sedikit berbeda.
Inilah situasi yang kami miliki dalam salah satu kasus di mana pelanggan ingin menguji "kekuatan" komunikasi yang ditargetkan.
Pernyataan masalah
Bank melakukan kampanye satu kali, di mana ia menelepon bagian dari pelanggannya (~ 10 ribu pelanggan) dan menawarkan untuk membeli produk pinjaman tertentu. Pada akhir kampanye, data dikumpulkan tentang
tanggapan terhadap komunikasi. Bank menjelaskan kepada kami tidak hanya tugas itu sendiri, yang harus diselesaikan, tetapi juga menunjukkan bagaimana dan pada data apa model harus dibangun, serta bagaimana memeriksa kualitas.
Apa yang dituntut dari kita:
- Bangun model untuk memprediksi respons komunikasi.
- Untuk membangun model, gunakan data tentang pelanggan yang tidak berpartisipasi dalam kampanye. Untuk ini, bank memberi kami data anonim untuk semua pelanggan, tidak termasuk dari sampel pelanggan yang berpartisipasi dalam kampanye satu kali.
- Sebagai acara target ketika membangun model, gunakan fakta melamar produk pinjaman, yang diusulkan sebagai bagian dari kampanye.
Kualitas model yang dibangun seharusnya diperiksa pada klien yang berpartisipasi dalam kampanye. Yaitu jika model memperkirakan bahwa klien cenderung untuk membeli produk pinjaman dan bahwa pelanggan menerima respons positif dari hasil komunikasi, maka dianggap bahwa model tersebut memprediksi respons dengan benar.
Kekhawatiran pertama
Sudah pada tahap diskusi tentang metode penilaian kualitas, kekhawatiran telah disuarakan tentang kesalahan metode penilaian ini. Ada dua alasan untuk kesalahan ini.
Pertama, variabel target yang berbeda pada tahap membangun model dan pada tahap menilai kualitasnya. Sebuah model untuk
memprediksi fakta mengajukan permohonan produk pinjaman tanpa komunikasi apa pun dibangun, dan kualitasnya diperiksa oleh hasil penerapan model pada tugas
meramalkan respons terhadap komunikasi .
Kedua, klien yang berpartisipasi dalam kampanye bisa sangat berbeda dari semua klien (karena masuk akal untuk menganggap bahwa klien dipilih sesuai dengan beberapa kriteria untuk berpartisipasi dalam kampanye).
Meskipun ada kekhawatiran, kami sepakat untuk mencoba membangun model dengan pernyataan masalah saat ini. Namun, kami meminta bagian dari data dengan hasil panggilan pelanggan untuk digunakan sebagai sampel (tes) independen.
Pemodelan
Sementara kami menunggu bagian dari data dengan hasil panggilan, kami membangun model pada pelanggan yang tidak berpartisipasi dalam kampanye (~ 200 ribu pelanggan, sekitar 5% membeli produk pinjaman). Hasil yang baik diperoleh (Gini ~ 0,75 dalam pelatihan, validasi dan sampel uji).
Kemudian kami mengunggah data dari pelanggan yang berpartisipasi dalam kampanye. Model yang dibangun sebelumnya diterapkan pada data ini. Ketika menerapkan model pada bagian sampel ini, hasilnya meninggalkan banyak yang harus diinginkan (Gini = 0,16).
Distribusi
Kami mulai memilah sampel pelanggan yang berpartisipasi dalam kampanye, dan menemukan bahwa distribusi data dalam banyak variabel tidak sesuai dengan distribusi data pelanggan yang tidak berpartisipasi dalam kampanye.
Seperti inilah distribusi itu
NDA tidak mengizinkan penandaan pada as.
Karena itulah penjelasan tentang hasil yang buruk. Mereka mencoba membangun model pada bagian pelanggan yang berpartisipasi dalam kampanye (sekitar 5 ribu - respons = 8%). Hasilnya buruk (tidak cukup data - indikator kualitas buruk - Gini ~ 0,3).
Masalahnya
Akibatnya, beberapa asumsi dibuat dari hasil simulasi sedikit:
- Variabel target yang berbeda (ingat bahwa kita sedang belajar menentukan kecenderungan untuk membeli produk pinjaman, dan kami memperkirakan respons terhadap komunikasi ).
- Sampel pelanggan yang berpartisipasi dalam kampanye tidak dibuat secara acak, itulah sebabnya distribusi prediktor di dalamnya mungkin berbeda dari distribusi dalam populasi umum semua pelanggan bank.
- dalam sampel klien yang tidak berpartisipasi dalam kampanye, ada klien yang tidak dapat mengajukan pinjaman
- pelanggan yang berpartisipasi dalam kampanye sebenarnya tidak memiliki produk pinjaman: hanya 2% yang memiliki entri dalam sejarah pembayaran pinjaman, dibandingkan dengan 19% dari pelanggan yang tidak berpartisipasi dalam kampanye.
- Tidak ada data yang cukup tentang hasil kampanye untuk menggunakannya untuk membangun model.
Pemecahan masalah
- Itu selalu diperlukan di awal untuk menentukan kriteria yang benar untuk mengevaluasi hasil.
- Variabel target harus sama.
- Data yang mereka usulkan untuk dipelajari, dan yang mereka ajukan untuk menguji hasilnya, harus dari satu populasi umum.
- Penting untuk membahas ruang lingkup proyek terlebih dahulu (dan bahwa mereka berlaku untuk pelatihan dan sampel uji).
- Kurangnya data adalah perubahan dalam tugas (cukup) atau harapan komunikasi baru.
Ringkasan
Argumen di atas disajikan kepada rekan kerja dari bank dan tugas tersebut diputuskan untuk diulang.
Dalam pernyataan masalah yang baru, kami harus memprediksi respons terhadap kampanye reguler. Namun, kali ini kami memiliki data komunikasi untuk kampanye yang sama sebelumnya. Hasilnya adalah proyek yang berhasil (dimungkinkan untuk meningkatkan respons lebih dari 2 kali).
Kesimpulan
Sebagai hasilnya, kami kembali ke dasar-dasar pemodelan:
- Selalu penting untuk memahami apakah model yang kita buat sesuai dengan apa yang diinginkan pelanggan dari kita. Dalam hal ini, untuk memprediksi respons terhadap komunikasi, perlu memiliki data komunikasi.
- Data harus dari populasi yang sama. Jika model akan dilatih pada pola yang sama, dan dalam sampel uji untuk menemukan pola lain, maka ada sedikit peluang untuk mendapatkan skor kualitas yang baik pada sampel uji.