Wikipedia belajar untuk secara otomatis mendeteksi pengeditan artikel yang salah menggunakan AI

Sumber: Wikimedia

Ensiklopedia online Wikipedia telah menerima alat baru - layanan dengan elemen AI yang akan membantu mendeteksi secara otomatis pengeditan materi sumber yang salah. Layanan ORES (Objective Revision Evaluation Service) akan memeriksa semua pengeditan untuk spam atau trolling. Pencipta ORES adalah Wikimedia Foundation. Pengembang mengatakan bahwa layanan baru berfungsi seperti kacamata x-ray (maka gambar pengumuman. Sistem sekarang akan menyoroti segala sesuatu yang tampak mencurigakan dan kemudian mengirimkannya ke editor manusia untuk verifikasi. Jika administrator memutuskan untuk tidak menggunakan edit, pengguna yang mengusulkannya akan menerima pemberitahuan Sistem ini lebih ramah pengguna karena tidak ada pemberitahuan yang dikirim ke pengguna saat ini.

Tim ensiklopedia mengajarkan sistem untuk membedakan antara suntingan yang tidak disengaja dan apa yang disebut "suntingan yang merusak". Pelatihan ini dilakukan pada contoh bahan nyata. Sekarang layanan baru sudah dapat digunakan.

Contoh layanan ditunjukkan di bawah ini. Ini menunjukkan bagaimana editor melihat materi (kiri) dan apa yang dilihat ORES (kanan). Probabilitas bahwa teks tersebut normal adalah 0,0837. Peluang kerusakan teks yang disengaja adalah 0,9163. Akibatnya, editor manusia memahami bahwa mereka benar-benar mencoba untuk merusak teks. Bahkan, kalimat "Llamas tumbuh di pohon" tidak bisa disebut pengeditan yang benar.

ores.wmflabs.org/scores/enwiki/damaging/642215410



Dan di sini adalah contoh penilaian "faktor manusia"

ores.wmflabs.org/scores/enwiki/damaging/638307884



Ini bukan alat pertama yang berfungsi untuk kepentingan ensiklopedia online. Sebelumnya, sistem seperti itu juga mencoba mengajarkan cara bekerja, tetapi layanan lama tidak melihat perbedaan antara "pengeditan berbahaya" dan kesalahan manusia yang umum.

Waktu analisis teks rata-rata adalah sekitar 100 milidetik. Sekarang didukung oleh 14 bahasa. Sudah melakukan 45 juta evaluasi. Ini tidak banyak, karena jumlah suntingan Wiki per hari mencapai setengah juta. Layanan baru ini akan membantu editor dengan cepat dan efisien mengevaluasi semua pengeditan yang ditawarkan oleh pengguna.

Source: https://habr.com/ru/post/id387355/