Komputer mengungguli orang dalam tes verbal IQ

Lebih dari seratus tahun yang lalu, psikolog Jerman William Stern (William Stern) mengusulkan tes untuk menilai kecerdasan seseorang, yang disebut tes IQ. Sejak itu, tes IQ telah menjadi cukup luas sebagai metodologi standar untuk menilai kecerdasan anak-anak ketika memasuki sekolah, serta untuk mengevaluasi kandidat pekerjaan dewasa.

Tes IQ biasanya berisi tiga jenis pertanyaan: 1) pertanyaan tentang logika, di mana Anda perlu mengenali pola dalam urutan gambar; 2) pertanyaan matematika, di mana Anda perlu mendefinisikan pola dalam urutan angka; 3) tugas verbal berdasarkan analogi dan klasifikasi, sebagai sinonim dan antonim.

Peneliti dari Microsoft Research di Beijing, bersama dengan rekan-rekan dari Universitas Sains dan Teknologi Cina, telah mengembangkan teknologi AI yang dapat memecahkan jenis masalah ketiga yang tercantum di atas ( artikel ilmiah ).

Komputer tidak akan pernah bisa menguasai dan menyelesaikan tugas yang dirumuskan dalam bentuk verbal. Setidaknya mereka melakukannya jauh lebih buruk daripada manusia. Perkembangan Microsoft Research sedang mengubah banyak hal. Program mereka, berdasarkan pada sistem pembelajaran yang mendalam, untuk pertama kalinya melebihi hasil rata-rata yang ditunjukkan oleh orang-orang ketika menyelesaikan tugas verbal dari tes IQ.

Pada tahun-tahun sebelumnya, para ilmuwan menggunakan teknik penambangan data untuk menganalisis sejumlah besar teks untuk menemukan koneksi tertentu di antara kata-kata. Secara khusus, teknik ini memungkinkan Anda untuk menyusun kamus dengan indikator statistik seberapa sering kata-kata tertentu berada di dekatnya. Ini memungkinkan Anda untuk menentukan hubungan kata satu sama lain.

Akibatnya, setiap kata dalam sistem seperti itu dianggap sebagai vektor dalam ruang parameter multidimensi. Sistem vektor seperti itu dapat diproses dengan metode matematika: bandingkan, tambah, kurangi satu sama lain, seperti vektor biasa. Misalnya, persamaan serupa menjadi mungkin: "raja - laki-laki + perempuan = ratu".

Pendekatan ini terbukti efektif. Misalnya, Google menggunakan penambangan data dalam sistem terjemahan teks otomatis, membandingkan vektor kata dalam berbagai bahasa.

Tetapi dalam kasus tes IQ verbal, tugasnya rumit, karena di sini satu kata dapat memiliki beberapa makna. Compiler tes khusus melakukannya untuk memperumit tugas.

Sekelompok peneliti dari Microsoft Research menemukan solusi untuk masalah ini menggunakan penggalian data yang sama: program mereka menentukan kata-kata mana yang paling sering ditemukan di setiap kata dalam array teks, dan kemudian menentukan arti yang mungkin dari kata ini, berdasarkan informasi yang diterima. Ini dilakukan dengan menghitung vektor dari kalimat yang dihasilkan. Untuk program, matriks frekuensi kemunculan kata pertama kali dikompilasi, dan kemudian, berdasarkan kumpulan teks (artikel Wikipedia), untuk setiap kata, diindikasikan vektor kemunculan kata-kata lain.



Para ilmuwan mengatakan bahwa program ini menunjukkan hasil yang lebih baik daripada kebanyakan orang. Orang-orang disurvei di situs web Mechanical Turk.



Menurut tabel, hasilnya kira-kira di tengah antara hasil, yang menunjukkan hasil rata-rata untuk bujangan dan master.

Source: https://habr.com/ru/post/id380839/