Rilis pertama alat pengujian pencarian produk terbuka

Beberapa posting terbaru telah membahas cara yang menjanjikan dan cukup sederhana untuk mengevaluasi kualitas pencarian produk menggunakan niat. Kami segera memperkenalkan alat otomatis terbuka untuk pengujian semacam ini - Kualitas Pencarian Berbasis Intent . Gagasan ini bermula dari penggunaan pertanyaan "terfokus" yang telah disiapkan sebelumnya, yang nilainya terletak pada keterusterangan dan interpretasi yang tidak ambigu.



Jika Anda tertarik dengan pendekatan ini, pastikan untuk memperhatikan postingan "Saya bermaksud membeli" atau cara termudah untuk mengevaluasi kualitas pencarian bahan makanan . Transisi dari pengujian A / B standar ke pengujian menggunakan niat mungkin tidak tampak jelas.

Inti dari pendekatan


Kueri "terfokus" menyediakan cara yang sangat sederhana dan cukup andal untuk memvalidasi hasil pencarian. Dalam perkiraan pertama, omong-omong, implementasinya dapat dikurangi untuk memeriksa keberadaan semua kata kunci dari permintaan atas nama produk yang dikembalikan.

Secara alami, posisi produk dalam edisi akhir juga penting. Untuk mencari di aplikasi seluler, misalnya, hasil pertama dan beberapa yang berikutnya jauh lebih penting. Untuk pencarian reguler (desktop yang akrab) semuanya bermuara pada hasil yang relevan di halaman pertama.

Seberapa baik pencarian Walmart?


Saya bermaksud membeli - pendekatan yang sangat kuat, karena tidak memerlukan validasi "manual" hasil pencarian. Mari kita coba mencari tahu seberapa bagus Walmart (dalam hal ini, kami akan terus menggunakan paket kueri untuk merek fiskars). Jadi, "kapak pemotong baja fiskars":



Dan mari kita mengotomatisasi semuanya


Pada prinsipnya, hasilnya tampak bagus, tetapi jika Anda perhatikan lebih dekat, Anda dapat dengan mudah melihat opsi yang sama sekali tidak relevan. Sangat mudah untuk melakukan pemeriksaan yang diperlukan tanpa campur tangan manusia, lihat laporan:



Hasilnya negatif, karena di set terakhir ada terlalu banyak produk yang benar-benar tidak relevan (dia tidak perlu pisau dan mengambil parang juga). Secara alami, fungsi evaluasi mudah diganti dengan yang kurang "agresif". Dalam versi mendatang, kami berharap dapat menerapkan penilaian produk yang lebih fleksibel dan memperluas fungsionalitas dasar.

Putusan


Dalam versi saat ini, Walmart tidak terkesan, peringkat Fiskars-nya tidak terlalu tinggi:



Jangan berpikir bahwa semuanya sangat buruk. Dalam banyak, bahkan bukan kasus yang paling sepele, hasilnya benar, tetapi untuk lebih meningkatkan pencarian, hanya perlu menyoroti semua poin yang berpotensi bermasalah. Menggunakan alat yang diusulkan selalu ada peluang:

  • beralih ke penilaian lain
  • hapus permintaan yang tidak menyenangkan
  • perbaiki pencarian :)

Kami memberi Anda kesempatan untuk mengevaluasi kerumitan pertanyaan:



Referensi


  1. Kualitas Pencarian Berbasis Intent
  2. API Kualitas Pencarian
  3. "Saya bermaksud membeli" atau cara termudah untuk mengevaluasi kualitas pencarian bahan makanan
  4. Sepeda gas atau pencarian produk aneh (e-commerce)

Source: https://habr.com/ru/post/id443740/


All Articles