Menentukan tingkat AI adalah salah satu yang paling sulit, tetapi juga salah satu masalah paling penting di bidang ilmu komputer. Jika Anda tidak dapat mengatakan dengan pasti apakah mesin yang dibuat hari ini lebih pintar daripada mesin yang dibuat kemarin, lalu bagaimana Anda dapat menentukan bahwa Anda sedang mengalami kemajuan?
Pada pandangan pertama, sepertinya ini bukan masalah sama sekali. "Tentu saja, AI semakin pintar," adalah salah satu pandangan tentang masalah tersebut. “Lihat saja semua uang ini dan orang-orang berbakat yang bergegas ke industri. Lihatlah pencapaian, seperti mengalahkan orang di GO, dan segala macam tugas yang tidak dapat diselesaikan 10 tahun yang lalu, tetapi hari ini mereka telah menjadi hal biasa, seperti pengenalan gambar. Apakah ini benar-benar tidak mengalami kemajuan?
Pandangan lain adalah bahwa pencapaian ini bukanlah indikator kecerdasan yang baik. Ya, kekalahan orang dalam catur dan Go sangat mengesankan, tetapi apa bedanya, bahkan jika komputer paling pintar kalah saat memecahkan masalah umum untuk anak-anak atau tikus?
Kritik ini datang dari peneliti kecerdasan buatan François Cholet, seorang insinyur perangkat lunak Google dan seorang tokoh terkenal dalam komunitas pembelajaran mesin. Cholet adalah pencipta Keras, perpustakaan yang sangat populer untuk membuat jaringan saraf. Dia juga telah menulis banyak tutorial pembelajaran mesin dan mengelola
akun Twitter populer yang mengomentari berbagai acara industri.
Dalam sebuah artikel baru-baru ini, "
Tentang Mengukur Kecerdasan, " Cholet juga berpendapat bahwa dunia AI harus memutuskan apa itu kecerdasan dan apa yang tidak. Menurut Cholet, jika peneliti ingin membuat kemajuan dalam menciptakan kecerdasan buatan universal, maka mereka harus berhenti melihat tolok ukur populer, seperti video game atau permainan papan, dan Anda harus mulai berpikir tentang keterampilan yang benar-benar membuat orang lebih pintar, seperti kemampuan kita untuk menggeneralisasi dan beradaptasi.
Dalam sebuah wawancara pada The Verge yang hampir diambil, Cholet menjelaskan pemikirannya tentang hal ini, menjelaskan mengapa ia percaya bahwa pencapaian saat ini di bidang AI telah "terdistorsi", bagaimana kita dapat mengukur kecerdasan di masa depan, dan mengapa cerita menyeramkan tentang AI yang sangat cerdas ( yang diceritakan oleh Elon Musk dan lainnya) menempati banyak perhatian yang tidak masuk akal dalam imajinasi publik.
Wawancara telah sedikit diedit untuk kejelasan.
Dalam artikel Anda, Anda menjelaskan dua konsep kecerdasan yang berbeda yang telah mempengaruhi bidang AI. Yang pertama menggambarkan kecerdasan sebagai kemampuan untuk berhasil dalam berbagai tugas, sedangkan yang kedua memberikan prioritas pada kemampuan beradaptasi dan generalisasi, yaitu, kemampuan AI untuk merespons tantangan baru. Konsep mana yang lebih berpengaruh sekarang, dan apa konsekuensi dari ini?Dalam 30 tahun pertama sejarah industri, konsep pertama adalah yang paling populer: kecerdasan sebagai seperangkat program statis dan basis pengetahuan eksplisit. Saat ini, pendulum telah berayun sangat kuat ke arah yang berlawanan: intelek diwakili sebagai "batu tulis bersih" atau, jika metafora yang lebih tepat digunakan, "jaringan saraf dalam yang baru saja diinisialisasi". Sayangnya, konsep ini hampir tidak dipertanyakan dan belum banyak diselidiki. Masalah-masalah ini telah dibahas sejak lama di komunitas ilmiah - secara harfiah selama beberapa dekade - tetapi sekarang saya tidak melihat kesadaran di antara orang-orang yang terlibat dalam pembelajaran mendalam, mungkin karena sebagian besar dari mereka datang ke bidang ini setelah 2016.
Monopoli intelektual hanya dari satu sudut pandang tidak pernah baik, terutama sebagai jawaban untuk pertanyaan ilmiah yang kurang dipahami. Ini membatasi serangkaian pertanyaan yang diajukan. Ini membatasi jumlah ide yang mungkin ditanyakan orang. Saya pikir para peneliti sekarang menjadi sadar akan fakta ini.
Dalam artikel Anda, Anda juga berpendapat bahwa meningkatkan AI membutuhkan definisi kecerdasan yang lebih akurat. Anda mengklaim bahwa para peneliti sekarang fokus pada tolok ukur dan uji statistik, seperti memenangkan video game dan permainan papan. Mengapa Anda melewatkan IQ ini?Faktanya adalah bahwa memilih ukuran seperti itu, Anda akan menggunakan semua celah yang tersedia (Pintasan, jalur singkat) untuk mencapainya. Misalnya, jika Anda memilih permainan catur sebagai ukuran kecerdasan (ini dari tahun 1970-an hingga 1990-an), Anda berakhir dengan sistem yang memainkan catur dan tidak ada yang lain. Tidak ada alasan untuk percaya bahwa sistem ini akan baik untuk hal lain. Akibatnya, Anda mendapatkan pohon pencarian dan minimal, itu tidak mengatakan apa-apa tentang kecerdasan manusia. Saat ini, penguasaan penguasaan dalam video game seperti Dota atau StarCraft jatuh ke dalam perangkap intelektual yang sama.
Mungkin ini tidak jelas, karena pada manusia, keterampilan dan kecerdasan berkaitan erat. Pikiran manusia dapat menggunakan kecerdasan universal untuk menguasai keterampilan khusus untuk tugas itu. Orang yang benar-benar hebat dalam catur dapat dianggap cukup pintar, karena, secara tidak langsung, kita tahu bahwa mereka mulai dari awal dan harus menggunakan kecerdasan universal mereka untuk belajar cara bermain catur. Mereka tidak dipaksa bermain catur. Jadi, kita tahu bahwa mereka dapat mengarahkan kecerdasan universal mereka ke tugas-tugas lain dan belajar bagaimana melakukan tugas-tugas ini dengan cara yang sama. Itulah fleksibilitas.
Tetapi dengan mobil sedikit berbeda. Mesin dapat dirancang untuk bermain catur. Dengan demikian, kesimpulan yang kami buat tentang orang - "bisa bermain catur, oleh karena itu, harus pintar" - runtuh. Dan asumsi antropomorfik kita tidak bisa lagi diterapkan. Kecerdasan universal dapat menguasai keterampilan khusus tugas, tetapi tidak ada jalan untuk kembali dari keterampilan khusus tugas ke kecerdasan universal. Tentu saja Jadi, dalam mobil, keterampilan dan kecerdasan adalah dua hal yang sangat berbeda. Anda dapat mencapai keterampilan sewenang-wenang dalam tugas-tugas sewenang-wenang jika Anda dapat mengumpulkan data dalam jumlah tak terbatas tentang suatu tugas (atau menghabiskan sumber daya teknik dalam jumlah tak terbatas). Dan itu masih tidak membawa Anda bahkan satu inci lebih dekat ke kecerdasan universal.
Poin kunci di sini adalah bahwa tidak ada masalah di mana, mencapai keterampilan tinggi akan menjadi tanda kecerdasan. Hanya jika tugas itu bukan meta-tugas, dan untuk menyelesaikannya akan diperlukan untuk memperoleh keterampilan baru dalam berbagai masalah yang sebelumnya tidak diketahui. Begitulah cara saya mengusulkan pengukuran kecerdasan.
Jika tes saat ini tidak membantu kami mengembangkan AI dengan kecerdasan yang lebih universal dan fleksibel, mengapa mereka begitu populer?Tidak ada keraguan bahwa upaya untuk mengalahkan orang-orang juara di video game terkenal terutama karena fakta bahwa proyek-proyek tersebut dapat menarik banyak perhatian media. Jika publik tidak tertarik pada "prestasi" yang mencolok ini, yang dapat dengan mudah dibayangkan sebagai kemajuan yang seharusnya dicapai dalam mencapai manusia super, para peneliti akan melakukan sesuatu yang lain.
Ini membuat saya sedikit sedih, karena penelitian harus menjawab pertanyaan ilmiah terbuka, dan tidak terlibat dalam PR. Jika saya bermaksud "menyelesaikan" Warcraft 3 pada tingkat manusia super, menggunakan pelatihan yang mendalam, Anda dapat benar-benar yakin bahwa semuanya akan berhasil asalkan kami memiliki bakat untuk pengembangan dan daya komputasi yang memadai (yang akan membutuhkan biaya puluhan juta dolar untuk menyelesaikan masalah seperti itu). Tetapi setelah melakukan ini, apa yang saya pelajari tentang kecerdasan atau fleksibilitas? Tidak ada Dalam skenario kasus terbaik, saya akan mendapatkan pengetahuan teknik untuk meningkatkan pembelajaran yang mendalam. Karena itu, saya tidak menganggap ini sebagai penelitian ilmiah, karena itu tidak mengajarkan apa yang belum kita ketahui. Kami tidak menjawab satu pertanyaan terbuka. Jika pertanyaannya adalah: "Bisakah kita memainkan X pada tingkat manusia super?", Jawabannya tegas: "Ya, jika Anda dapat menghasilkan banyak situasi pelatihan dan menyajikannya dalam model pembelajaran mendalam yang agak ekspresif." Kami sudah tahu ini selama beberapa waktu sekarang. (
Sebenarnya, saya mengatakan ini sebelum AI mencapai tingkat juara di Dota 2 dan Starcraft. )
Apa, menurut Anda, pencapaian nyata dari proyek-proyek ini? Sejauh mana hasil mereka disalahartikan atau didistorsi?Satu distorsi serius yang saya lihat adalah bahwa sistem game tingkat tinggi ini mewakili kemajuan nyata menuju "sistem AI dan kemampuan mereka untuk mengatasi kompleksitas dan ketidakpastian dunia nyata" [ini dari pernyataan OpenAI dalam
siaran pers kepada OpenAI Five mereka bot bermain Dota 2]. Tetapi mereka tidak bisa. Jika demikian, maka ini akan menjadi studi yang sangat berguna, tetapi ini tidak benar. Contohnya, ambil OpenAI Five: dia tidak bisa mengatasi kompleksitas Dota 2, karena dia dilatih 16 karakter, dan dia tidak bisa menyebarkan pengetahuan ke seluruh permainan, di mana ada lebih dari 100 karakter. Butuh 45.000 tahun gameplay untuk melatihnya - sekali lagi, perhatikan bagaimana persyaratan untuk data pelatihan tumbuh bersama dengan kompleksitas tugas - namun, model yang dihasilkan ternyata sangat rapuh: pemain non-juara dapat menemukan strategi untuk mengalahkan bot melalui beberapa hari setelah AI tersedia untuk umum.
Jika Anda ingin belajar bagaimana menghadapi kompleksitas dan ketidakpastian dunia nyata, Anda harus mulai mengajukan pertanyaan seperti: apa itu universalitas intelijen? Bagaimana kita mengukur dan meningkatkan keserbagunaan dalam sistem pembelajaran kita? Dan ini sama sekali tidak sama dengan apa yang kita lakukan sekarang, ketika kita memasukkan 10 kali lebih banyak data ke jaringan saraf besar sehingga meningkatkan keterampilannya beberapa persen.
Lalu, ukuran kecerdasan apa yang terbaik untuk industri?Singkatnya, kita harus berhenti mengevaluasi keterampilan dalam tugas-tugas yang sudah diketahui sebelumnya seperti catur, Dota atau StarCraft, dan alih-alih mulai mengevaluasi kemampuan sistem untuk memperoleh keterampilan. Ini berarti bahwa kita harus menggunakan hanya tugas-tugas baru yang sebelumnya tidak diketahui oleh sistem, mengukur pengetahuan awal dari tugas dengan mana sistem dimulai, dan mengukur efektivitas sistem (berapa banyak data yang diperlukan untuk mempelajari cara menyelesaikan tugas). Semakin sedikit informasi (pengetahuan dan pengalaman sebelumnya) yang Anda butuhkan untuk mencapai tingkat keterampilan tertentu, semakin pintar Anda. Mengingat hal di atas, pada kenyataannya, sistem modern dari kecerdasan buatan tidak terlalu pintar.
Selain itu, dengan ukuran kecerdasan ini, mesin akan terlihat lebih seperti orang karena ada berbagai jenis kecerdasan, dan kecerdasan manusia adalah apa yang secara tidak langsung kita maksudkan ketika kita berbicara tentang kecerdasan universal. Dan ini juga termasuk upaya untuk memahami dengan set pengetahuan apa orang dilahirkan ke dunia. Orang-orang belajar dengan sangat efektif - mereka hanya membutuhkan sedikit pengalaman untuk mendapatkan keterampilan baru - tetapi mereka tidak melakukannya dari awal. Mereka menggunakan pengetahuan bawaan, di samping keterampilan dan pengetahuan yang dikumpulkan sepanjang hidup.
Dalam artikel terbaru saya, saya mengusulkan dataset evaluasi baru, ARC, yang sangat mirip dengan tes IQ. ARC adalah serangkaian tugas mental di mana setiap tugas dijelaskan dalam urutan singkat demo, biasanya tiga, dan Anda harus belajar cara menyelesaikan tugas dari beberapa demo ini. Gagasan di balik ARC adalah bahwa setiap tugas yang mengevaluasi sistem Anda harus benar-benar baru dan hanya mencakup pengetahuan yang konsisten dengan pengetahuan bawaan manusia. Sebagai contoh, bahasa manusia tidak dapat digunakan dalam tugas-tugas seperti itu. Saat ini, orang dapat menyelesaikan ARC tanpa penjelasan lisan atau persiapan awal, tetapi tidak ada sistem AI yang saat ini diketahui dapat menyelesaikannya. Ini adalah penanda penting bahwa kita membutuhkan ide-ide baru.
Apakah Anda pikir dunia AI akan dapat melanjutkan kemajuannya hanya dengan meningkatkan daya komputasi untuk menyelesaikan masalah? Beberapa berpendapat bahwa selama bertahun-tahun, ini telah menjadi cara paling efektif untuk meningkatkan produktivitas. Ketika orang lain menyarankan bahwa jika kita mengikuti jalan ini, maka hasil dan tingkat pertumbuhan akan mulai memburuk.Ini mutlak benar jika Anda mengerjakan tugas tertentu. Menggunakan lebih banyak data pelatihan dan lebih banyak daya komputasi untuk tugas vertikal akan meningkatkan produktivitas tugas ini. Tapi itu akan memberi Anda pemahaman nol praktis tentang bagaimana mencapai fleksibilitas dalam kecerdasan buatan.
Jika Anda memiliki model pelatihan mendalam yang cukup besar dan sampel yang bagus untuk tugas tersebut, maka ia akan belajar bagaimana menyelesaikan masalah ini, apakah itu Dota atau StarCraft, apa saja. Dan itu sangat berharga. Ini dapat digunakan dalam jumlah tugas yang hampir tak terbatas terkait dengan persepsi mesin. Satu-satunya masalah adalah bahwa jumlah data yang Anda butuhkan adalah fungsi kombinatorial relatif terhadap kompleksitas tugas, sehingga tugas yang sedikit rumit sekalipun bisa menjadi terlalu mahal.
Ambil contoh mobil autopilot. Jutaan situasi pelatihan tidak akan cukup untuk model yang hanya menggunakan pelatihan mendalam untuk mempelajari cara mengemudi dengan aman. Itu sebabnya kami belum memiliki autopilot level 5. Dan dalam sistem autopilot yang paling canggih, pembelajaran mendalam terutama digunakan untuk menghubungkan data sensor dan model yang dibuat secara manual. Dan jika kita memiliki pembelajaran mendalam universal, maka kita akan memiliki autopilot level 5 pada 2016 dalam bentuk satu jaringan saraf besar.
Dan akhirnya, mengingat Anda berbicara tentang keterbatasan AI modern, menurut saya layak bertanya tentang ketakutan bahwa AI yang sangat kuat dapat membahayakan umat manusia dalam waktu dekat. Apakah Anda pikir ini adalah ketakutan yang beralasan?Tidak, saya tidak percaya pada validitas ide ini. Kami belum pernah membuat AI mandiri. Dan sama sekali tidak ada tanda-tanda bahwa kita akan dapat membuatnya di masa mendatang. (Industri AI tidak bergerak ke arah ini sekarang.) Dan kita bahkan tidak bisa membayangkan apa karakteristiknya jika kita akhirnya membuatnya di masa depan yang jauh. Jika Anda ingin analogi, maka seperti bertanya pada 1600: “Balistik berkembang cukup pesat! Tetapi bagaimana jika kita pernah memiliki senjata yang dapat menghancurkan seluruh kota. Bagaimana kita bisa yakin bahwa dia hanya akan membunuh orang jahat? " Ini adalah pertanyaan yang dirumuskan dengan buruk, dan pembahasannya karena tidak adanya pengetahuan pasti tentang AI masa depan ini, paling baik sampai pada argumen filosofis.
Namun kekhawatiran tentang kecerdasan ini mengalihkan perhatian dari daerah lain di mana AI bisa sangat berbahaya saat ini. Cara-cara tertentu untuk menggunakan AI berbahaya tanpa super intelijen. Saya menulis tentang bagaimana AI dapat digunakan untuk sistem propaganda algoritmik. Banyak yang telah ditulis tentang tren meningkatnya penggunaan AI dalam sistem senjata atau tentang AI sebagai alat untuk kontrol totaliter.
Ada sebuah kisah tentang pengepungan Konstantinopel pada tahun 1453. Sementara kota itu berperang melawan tentara Ottoman, para cendekiawan dan penguasa membahas jenis malaikat apa yang bisa menjadi gender. Dan semakin banyak energi dan perhatian yang kita curahkan untuk debat tentang jenis kelamin malaikat atau untuk memikirkan nilai-nilai yang seharusnya dimiliki oleh AI yang sangat cerdas, semakin sedikit kita memperhatikan pemecahan masalah yang mendesak dan masalah nyata. Ada satu pemimpin terkenal di bidang TI yang suka berbicara tentang AI yang sangat cerdas sebagai ancaman utama bagi umat manusia. Nah, sementara ide-ide ini menempati semua tajuk utama, Anda tidak membahas apakah etis menghasilkan mobil dengan autopilot yang kurang akurat di jalan kami, yang mengarah pada kecelakaan dan kematian.
Jika Anda menerima kritik ini - bahwa saat ini tidak ada dasar teknis untuk ketakutan ini - mengapa, menurut Anda, apakah mereka begitu populer?Saya pikir ini hanya cerita yang indah, dan orang-orang menyukainya. Bukan kebetulan bahwa semuanya mengingatkan begitu banyak kisah religius tentang akhir dunia, karena kisah-kisah seperti itu telah menyebar dan bergaung di antara orang-orang sejak lama. Untuk alasan yang sama, ketakutan ini sering digunakan dalam film dan novel fiksi ilmiah. Itu karena itu adalah kisah yang indah.
Dan orang-orang membutuhkan cerita untuk memahami dunia. Dan kisah-kisah seperti itu jauh lebih diminati daripada memahami sifat kecerdasan atau memahami apa yang mendorong kemajuan teknologi.Ada juga potongan yang lebih menarik di saluran Telegram .