Pengujian multivarian (A / B / N, atau split) adalah cara paling populer untuk menguji milis. Alat ini telah terbukti efektif, tetapi memiliki kelemahan terkait terutama pada kenyataan bahwa pengujian dan pengiriman utama dipisahkan dalam waktu.
Untuk bagian kami, DashaMail memutuskan untuk mempengaruhi situasi dan menemukan pendekatan berbeda untuk menguji surat, yang memungkinkan kami untuk secara bersamaan menguji dan mengoptimalkan pengiriman. Dia menggunakan teori Bayesian, teknologi jaringan saraf dan pembelajaran mesin - sebagai hasilnya, semua ini memungkinkan untuk meningkatkan keterbukaan surat dengan rata-rata 20%.
Latar belakang
Salah satu alat untuk meningkatkan efektivitas buletin email adalah pengujian. Banyak faktor yang mempengaruhi keterbukaan surat-surat dan keterlibatan audiens, termasuk subjek pesan, nama pengirim, waktu distribusi, dll.
Belum lama ini, di salah satu sesi curah pendapat, kami sampai pada kesimpulan bahwa algoritma pembelajaran mesin yang sekarang populer dapat membuat perbedaan dalam pengujian pengiriman surat, yaitu, secara positif memengaruhi keterbukaan dan keterlibatan. Pengujian terpisah yang terkenal tidak berarti sempurna, seperti yang kita inginkan, tetapi sebenarnya ada opsi untuk perbaikan.
Tes A / B / N adalah pilihan tes hipotesis utama dalam pemasaran email. Kesulitan utama: hasil tes tersebut selalu dapat dianalisis hanya setelah fakta. Ini membuat keseluruhan proses cukup panjang dan memakan waktu: pertama Anda perlu mengirimkan beberapa opsi pengiriman surat, kemudian mempelajari hasilnya, mengoptimalkan parameter pengujian, dan mengirim ulang. Dan mungkin ada banyak iterasi seperti itu.
Tetapi bagaimana jika Anda menciptakan cara untuk secara simultan menguji dan mengoptimalkan? Pikiran inilah yang melahirkan alat pengujian Gestalt di DashaMail.
Pendekatan Bayesian: uji dan optimalkan dengan cepat
Respons pelanggan terhadap berbagai opsi pesan yang diterima pada waktu yang berbeda dapat sangat bervariasi. Pilihan yang menang, ditentukan sebagai hasil dari uji multivarian, saat mengirim surat utama mungkin tidak seefektif itu.
Untuk menghindari masalah ini dan untuk dapat memperhitungkan semua parameter penting pengiriman secara real time, pendekatan Bayesian untuk pengambilan keputusan dan evaluasi statistik digunakan. Ya, kami di DashaMail sangat menyukai matematika dan teori probabilitas.
Bayes vs A / B / N tes
Dengan tes A / B / N, di satu sisi, semuanya sederhana, dan di sisi lain, akurasinya bisa sangat diragukan. Segalanya tampak cukup jelas: jika kita perlu menguji, misalnya, keefektifan pengiriman surat dengan desain yang berbeda, maka, dalam hal dua opsi, kita dapat mengirim salah satu basis pelanggan salah satunya, dan yang lain - yang kedua. Kemudian menganalisis hasilnya.
Tetapi Anda harus memahami jumlah minimum pengguna yang harus dilihat oleh kedua opsi untuk mendapatkan hasil yang signifikan secara statistik. Memang, jika cukup untuk mengalokasikan hanya 20% dari basis pelanggan untuk tes, maka untuk 80% sisanya kita akan dapat meluncurkan versi surat yang paling efektif dan mendapatkan hasil terbaik. Tetapi tidak ada jaminan bahwa pemilihan sederhana dua kelompok 10% akan memberikan hasil yang benar. Jika dalam satu versi surat ada lebih banyak warna merah, maka mungkin orang-orang yang tidak suka warna ini secara tidak sengaja jatuh ke dalam kelompok 10% pengguna. Apalagi, jika lebih banyak orang berpartisipasi dalam tes, opsi ini bisa menang. Jadi kita sampai pada konsep kesalahan jenis pertama dan kedua - ada
cukup banyak artikel tentang mereka di Habré. Kesalahan ini memiliki kemungkinan terjadinya sendiri.
Akibatnya, analisis metode pengujian ini mengarah pada fakta bahwa itu sama sekali tidak menghilangkan ketidakpastian, yaitu, tes tidak memberikan jawaban yang tepat untuk pertanyaan "Apa yang lebih baik?" Pekerjaan telah dilakukan, tetapi belum menjadi lebih jelas.
Berbeda dengan metode ini, yang disebut bandit multi-bersenjata Bayesian digunakan. Inti dari metode ini adalah memungkinkan Anda tidak hanya untuk melakukan tes hipotesis, tetapi juga untuk mendapatkan jawaban atas pertanyaan yang lebih mungkin lebih efektif. Dan yang penting: perkiraan berubah secara dinamis dengan cara yang sama dengan ukuran sampel untuk setiap hipotesis ditentukan secara waktu nyata (yaitu berapa banyak lalu lintas / surat yang harus dikirim untuk menguji opsi tertentu).
Bayangkan sebuah situasi ketika kami datang ke kasino dengan mesin slot jenis "bandit satu-bersenjata". Kami memiliki jumlah uang yang terbatas, waktu juga tidak terbatas. Diperlukan secepat mungkin untuk menentukan mesin "menjanjikan", sementara pada saat yang sama dengan biaya minimal. Ini adalah tugas bandit multi-bersenjata. Ada banyak pilihan untuk menyelesaikannya, salah satunya didasarkan pada pengambilan sampel Thompson dan teorema Bayes, dijelaskan secara rinci dalam
artikel ini tentang Habré .
Untuk milis, ini berfungsi sebagai berikut. Dalam proses pengujian dua atau lebih hipotesis (opsi distribusi), kami tidak ingin mengirim terlalu banyak surat dengan parameter kehilangan yang jelas (dalam tes A / B Anda perlu mengirim bagian yang sama). Tetapi pada saat yang sama, saya juga ingin mengikuti variasi seperti itu, karena ada kemungkinan bahwa seiring waktu mereka akan mulai bekerja dengan lebih baik (pada awalnya, tidak ada keberuntungan) dan bahkan mungkin menjadi pemimpin - dan kemudian lebih banyak lalu lintas akan mendatangi mereka.
Teori ini membentuk dasar dari alat baru yang disebut pengujian Gestalt.
Perbedaan utama dari pengujian A / B tradisional: terlepas dari kenyataan bahwa sebagian besar huruf menggunakan opsi menang, opsi lain selalu memiliki peluang terakhir, karena jika pola perilaku pelanggan berubah, Anda perlu bereaksi dan mengirim opsi yang paling sesuai dengan situasi tepat waktu.
Selain itu, pengujian Gestalt adalah kemampuan untuk menggunakan pemasaran emosional dalam buletin, menciptakan tema yang berbeda untuk pewarnaan emosional surat itu. Cara kerjanya seperti ini: pemasar email yang mengirim buletin menetapkan topik dasar, maka Anda dapat memilih untuk menguraikan kembali topik ini dalam emosi yang berbeda - mungkin ada hingga sepuluh opsi (ketakutan, syukur, dll.).
Jaringan saraf memparafrasekan teks topik, menggunakan warna emosional yang diberikan, dan menawarkannya untuk dipertimbangkan. Dalam hal ini, pemasar email dapat melakukan perubahan atas kebijakannya sendiri.
Contoh emosi dan topik masing-masing, serta indikator penemuan untuk masing-masing:
Setelah mulai, sistem mulai mengirim surat dalam kelompok - setiap paket berisi semua opsi yang diusulkan. Semua pengiriman membutuhkan waktu sekitar 10 jam, satu bungkus setiap setengah jam. Seperti yang Anda lihat, alat ini tidak cocok untuk stok jangka pendek yang perlu dikirim dengan cepat. Sebaliknya, Anda dapat mempertimbangkan opsi promosi jangka menengah atau distribusi konten. Statistik tersedia untuk setiap opsi - sehingga Anda dapat segera melihat mana yang lebih baik.
Dalam contoh di bawah ini, sehubungan dengan penemuan dan klik, varian dengan tema yang ditulis ulang oleh jaringan saraf dalam emosi "cinta" mengarah: "Anda adalah yang paling cantik di kantor! -30% untuk model kantor dari pilihan kami. " Namun, ini juga menunjukkan yang tertinggi di antara semua opsi lain, tingkat berhenti berlangganan. Ini mungkin mengindikasikan bahwa isi surat itu lebih lemah dari topiknya atau kami dapat menarik perhatian segmen pelanggan yang sebelumnya tidur.
Karena pengiriman surat dengan pengujian Gestalt diperpanjang dalam waktu, pengujian saat pengiriman tertentu juga dilakukan secara otomatis. Selain itu, layanan ini mengingat apa emosi dari buletin dan pada waktu apa setiap pelanggan tertentu merespons lebih baik, dan selama pengiriman berikutnya menggunakan fungsi ini akan disesuaikan dengannya. Oleh karena itu, seiring waktu, efektivitas penggunaan pengujian Gestalt meningkat.
Mengapa ini berhasil?
Gagasan alat pengujian baru ini adalah alat ini memungkinkan Anda mempertimbangkan fakta bahwa penerima merespons lebih baik terhadap pesan yang dipersonalisasi dan berwarna daripada mengeringkan teks.
Pada saat yang sama, dalam pengujian Gestalt, metode pembelajaran mesin diterapkan untuk semua varian topik. Opsi paling sukses selama tes digunakan paling aktif, tetapi peserta pembanding lainnya juga mendapat sedikit lalu lintas. Ini memungkinkan Anda untuk memantau pola perilaku pelanggan dari waktu ke waktu: sering terjadi bahwa topik, yang memberikan kinerja yang baik pada satu waktu, kehilangan sisa opsi dengan ledakan. Jika sistem "mendeteksi" perubahan pola semacam itu, buletin akan dioptimalkan dengan cepat untuk mempertahankan efisiensi maksimum.
Pola perilaku dianalisis untuk setiap pelanggan. Berdasarkan sejarah penemuan penerima tertentu, waktu pengiriman individu dipilih untuknya. Pola sementara juga dapat berubah - misalnya, seseorang dapat mengubah waktu mulai dan akhir hari kerja dan kemampuan untuk memeriksa surat pribadi dapat terjadi di waktu lain. Fungsi gestalt secara otomatis menyesuaikan dengan perubahan tersebut.
Poin penting: tes Gestalt adalah metode yang membutuhkan sejumlah data tertentu, jika tidak maka akan sulit untuk mempertahankan efisiensi tinggi. Itu sebabnya hanya tersedia untuk database 10 ribu alamat ke atas.
Kesimpulan: hasil apa yang bisa Anda andalkan
Kedengarannya masuk akal, tetapi hasil apa yang benar-benar dapat Anda andalkan dengan alat pengujian yang diusulkan? Mari kita lihat sebuah contoh. Ini adalah bagaimana laporan tentang penggunaan fungsi Gestalt untuk pengiriman surat terlihat: itu mencakup tingkat terbuka akhir (OR), hasilnya relatif terhadap topik dasar dan perbandingan dengan indikator yang akan dicapai dengan tes multivariat reguler dengan distribusi huruf yang sama berdasarkan subjek.
Menurut statistik dari pelanggan DashaMail, kenaikan rata-rata dalam tarif pembukaan untuk buletin dengan tes Gestalt adalah 20%. Seiring waktu, keefektifan penggunaan fungsi ini tumbuh, ketika sistem belajar dan mengingat pada jam berapa dan emosi mana pelanggan tertentu merespons dengan lebih baik, dan sebagai hasilnya dapat meningkatkan tingkat buka (OR) dari pengiriman hingga 1,5-2 kali lipat dibandingkan dengan tema dasar.
Mungkin Anda punya pertanyaan: apa hubungan istilah gestalt dengan itu? ... Tidak, kami tidak menutup gestalt kami, tetapi memutuskan untuk mengembangkan alat untuk bereksperimen dengan formulir pengiriman. Dan diterjemahkan dari bahasa Jerman, "gestalt" adalah "bentuk". Dengan demikian, dimungkinkan melalui eksperimen dengan formulir untuk datang ke milis yang ideal.
Untuk mengikuti tren terkini dalam pemasaran email di Rusia, untuk menerima peretasan bermanfaat dan materi kami - berlangganan halaman Facebook DashaMail dan baca blog kami.