Kasus kecurangan pertama di dunia dalam penelitian AI

Imagenet Challenge adalah kompetisi internasional untuk sistem pengenalan pola. Sesuai dengan kondisinya, program komputer harus mengenali dan mengklasifikasikan sejumlah objek dalam gambar digital, mengidentifikasi satu dari 1000 kategori tematik.

Banyak perusahaan besar berpartisipasi dalam kompetisi, yang mengalokasikan anggaran besar untuk perkembangan seperti itu. Oleh karena itu, berita tentang kecurangan perusahaan Cina Baidu menyebabkan skandal nyata: mereka mengatakan ini adalah kasus penipuan pertama dalam pengembangan sistem kecerdasan buatan. Akibatnya, Baidu dikecualikan dari kompetisi Imagenet untuk tahun depan.

Imagenet Challenge dibandingkan dengan tes Turing untuk sistem AI, meskipun tugas di sini bukan dalam percakapan yang bermakna, tetapi dalam pengenalan pola. Tapi ini juga tugas yang sangat penting bagi AI.

Dalam sebuah artikel ilmiah , insinyur Baidu menggambarkan superkomputer yang konon menunjukkan hasil yang lebih baik dalam pengenalan objek daripada desain sebelumnya, termasuk yang dari Google dan Microsoft. Orang Cina mengatakan program mereka menunjukkan tingkat kesalahan rekor rendah 4,58%, sedangkan angka Google adalah 4,82% dan Microsoft 4,9%.

Baidu memposting publikasi di Arxiv.org secara elektronik. Artikel dipublikasikan di situs ini tanpa verifikasi sebelumnya. Situasi ini diperburuk oleh fakta bahwa beberapa hari kemudian berita tentang "pencapaian" insinyur Cina dicetak ulang oleh Tinjauan Teknologi MIT dan publikasi ilmiah lainnya. Hanya tiga minggu kemudian, fakta kecurangan terungkap, dan artikel itu diperbarui.

Investigasi menunjukkan bahwa Baidu telah mendaftarkan setidaknya 30 akun untuk berpartisipasi dalam Imagenet Challenge dan selama enam bulan terakhir telah mengirimkan lebih dari 200 aplikasi dengan hasil, termasuk lebih dari 40 aplikasi selama periode lima hari pada Maret 2015.

Baidu kemudian meminta maaf secara terbuka atas tindakannya.

Kisah ini sekali lagi menunjukkan bahwa penelitian di bidang pengenalan pola sekarang menjadi salah satu arahan utama dalam TI, bahkan jika perusahaan besar tidak malu menggunakan trik seperti itu untuk menempatkan diri mereka di depan persaingan.

Source: https://habr.com/ru/post/id380701/