Seorang peneliti pembelajaran mesin dari Virginia Institute of Technology telah mengusulkan cara untuk meninjau makalah ilmiah menggunakan AI, mengevaluasi penampilan teks dan grafik dalam dokumen. Apakah metodenya untuk menilai "kelengkapan" karya ilmiah cukup untuk mempercepat proses tinjauan sejawat independen?
Di bidang pembelajaran mesin, ada longsoran penelitian. Insinyur di Google Cliff Young membandingkan situasi ini dengan
hukum Moore , diadaptasi untuk publikasi tentang masalah AI - jumlah makalah akademik tentang topik ini yang muncul di situs web arXiv berlipat ganda setiap 18 bulan.
Dan situasi ini menciptakan masalah ketika meninjau karya - peneliti berpengalaman di bidang AI sama sekali tidak cukup untuk membaca dengan cermat setiap karya baru. Bisakah para ilmuwan mempercayakan AI dengan menerima atau menolak pekerjaan?
Pertanyaan menarik ini diajukan oleh sebuah
laporan yang baru-baru ini dipublikasikan di situs web arXiv; penulis karya tersebut, peneliti pembelajaran mesin Jia-Bin Huang menyebutnya "Deep Work Gestalt".
Juan menggunakan jaringan saraf convolutional, alat pembelajaran mesin yang umum digunakan untuk pengenalan gambar, untuk menyaring 5.000 karya yang diterbitkan sejak 2013. Juan menulis bahwa menurut hanya satu penampilan karya - campuran teks dan gambar - jaringan sarafnya dapat membedakan karya "baik" yang layak dimasukkan dalam arsip ilmiah dengan akurasi 92%.
Bagi para peneliti, ini berarti bahwa dalam penampilan dokumen mereka ada beberapa hal yang memainkan peran paling penting: gambar-gambar cerah di halaman depan makalah penelitian dan mengisi semua halaman dengan teks, sehingga tidak ada ruang kosong di akhir halaman terakhir.
Jaringan saraf convolutional Juan mencerna ribuan makalah ilmiah yang disetujui dan tidak disetujui, menciptakan "peta panas" kekuatan dan kelemahan. Kesalahan terbesar dari karya-karya itu tidak lolos seleksi: kurangnya gambar berwarna dan ruang kosong di akhir halaman terakhir.
Juan mendasarkan karyanya pada karya lain dari 2010, ditulis oleh Carven von Bearnensquash dari University of Phoenix. Karya itu tidak menggunakan pelatihan mendalam, teknologi tradisional visi komputer, untuk menemukan cara untuk "mengevaluasi sekilas penampilan umum" dari karya itu dan menyimpulkan apakah layak untuk menyetujui pekerjaan itu.
Menggunakan ide ini, Juan memberi makan komputer 5.818 karya, diterima di dua konferensi utama tentang visi komputer, CVPR dan ICCV selama lima tahun terakhir. Juan juga mengumpulkan karya-karya yang dipresentasikan pada lokakarya konferensi, yang memainkan peran karya yang ditolak - karena tidak ada akses ke karya yang ditolak di konferensi.
Juan melatih jaringan untuk mengaitkan pekerjaan di masa lalu dan tidak di masa lalu dengan hasil biner dari "baik" dan "buruk" untuk mengisolasi tanda-tanda "kelengkapan" atau gestalt dari mereka. Gestalt adalah keseluruhan yang melebihi ukuran jumlah bagian-bagiannya. Inilah yang pelopor pembelajaran mesin Terry Seinowski disebut “persepsi terorganisir universal,” sesuatu yang lebih bermakna daripada bukit dan jurang di daerah yang dekat dengan Anda.
Jaringan terlatih kemudian diuji pada subset pekerjaan yang belum pernah dilihat sebelumnya. Pelatihan ini menyeimbangkan positif palsu - pekerjaan diterima yang pantas ditolak - dengan penolakan palsu, pekerjaan ditolak yang layak diterima.
Dengan membatasi jumlah pekerjaan "baik", tetapi ditolak, 0,4% —yaitu, hanya 4 pekerjaan - jaringan mampu menolak setengah dari pekerjaan "buruk" dengan benar, yang perlu ditolak.
Penulis bahkan berpikir untuk memberi makan karyanya sendiri dari jaringan sarafnya sendiri. Akibatnya, jaringan saraf menolaknya: “Kami menerapkan classifier terlatih untuk pekerjaan ini. Jaringan kami dengan kejam memperkirakan bahwa dengan probabilitas 97% pekerjaan ini harus ditolak tanpa tinjauan independen. "
Mengenai persyaratan kosmetik ini - gambar-gambar indah dalam artikel - Juan tidak hanya menggambarkan hasil pekerjaan. Ia juga menawarkan kode yang memungkinkan Anda untuk membuat karya yang terlihat bagus. Dia memasukkan pekerjaan "baik" ke dalam basis data pelatihan jaringan kompetitif generatif, yang dapat membuat rencana baru, belajar dari contoh.
Juan juga menawarkan komponen ketiga, "mengubah" karya yang ditolak menjadi karya yang dapat diterima, "secara otomatis memberikan saran tentang apa yang perlu diubah dalam karya yang masuk," misalnya, "menambahkan gambar untuk menarik perhatian dan gambar di halaman terakhir".
Juan menyarankan bahwa proses persetujuan pekerjaan seperti itu bisa menjadi "pra-filter" untuk meringankan beban pengulas, karena ia dapat melihat ribuan pekerjaan dalam beberapa detik. Namun, "tidak mungkin bahwa pengklasifikasi seperti itu akan digunakan pada konferensi nyata," penulis menyimpulkan.
Salah satu batasan karya yang dapat memengaruhi penggunaannya adalah bahwa meskipun penampilan karya, gestalt visualnya, cocok dengan hasil historis, ini tidak menjamin keberadaan nilai nyata dalam karya tersebut.
Menurut Juan, "mengabaikan konten karya, kita dapat dengan tidak adil menolak karya dengan material yang bagus dan desain visual yang buruk, atau menerima karya yang tidak berharga yang terlihat bagus."