Buku "Arsitek kecerdasan"

gambar Kecerdasan Buatan (AI) bergerak cepat dari fiksi ilmiah ke kehidupan sehari-hari. Perangkat modern mengenali ucapan manusia, mampu menjawab pertanyaan dan melakukan terjemahan mesin. Di berbagai bidang, mulai dari mengendarai kendaraan tak berawak hingga mendiagnosis kanker, digunakan algoritma pengenalan objek berbasis AI yang lebih unggul dari kemampuan manusia. Perusahaan media besar menggunakan jurnalisme robot untuk membuat artikel yang mirip dengan hak cipta dari data yang dikumpulkan. AI jelas siap menjadi teknologi yang benar-benar universal, seperti listrik.

Pendekatan dan teknologi apa yang dianggap paling menjanjikan? Penemuan besar apa yang mungkin terjadi di tahun-tahun mendatang? Apakah mungkin membuat mesin yang benar-benar berpikir atau AI yang sebanding dengan manusia, dan seberapa cepat? Risiko dan ancaman apa yang terkait dengan AI, dan bagaimana cara menghindarinya? Apakah AI akan menyebabkan kekacauan dalam ekonomi dan pasar tenaga kerja? Akankah mesin super intelijen keluar dari kendali manusia dan menjadi ancaman nyata?

Tentu saja, tidak mungkin untuk memprediksi masa depan. Namun demikian, para ahli tahu lebih banyak tentang keadaan teknologi saat ini, serta tentang inovasi dalam waktu dekat, daripada siapa pun. Anda akan memiliki pertemuan brilian dengan orang-orang yang dikenal seperti R. Kurzweil, D. Hassabis, J. Hinton, R. Brooks dan banyak lainnya.

Yan Lekun


PRESIDEN BAGUS DAN PENDIRI LABORATORIUM PENELITIAN AI DI FACEBOOK (FAIR), PROFESOR ILMU KOMPUTER DI UNIVERSITAS NEW YORK

Bersama dengan Jeffrey Hinton dan Joshua Benjio, Ian Lekun adalah bagian dari sekelompok peneliti yang upaya dan ketekunannya telah menyebabkan revolusi saat ini dalam kaitannya dengan jaringan saraf dan pembelajaran yang mendalam. Saat bekerja di Bell Labs, ia menemukan jaringan saraf convolutional. Ia menerima diploma insinyur listrik di Paris dari ESIEE, dan gelar doktor dalam ilmu komputer dari Universitas Pierre dan Marie Curie. Setelah lulus sekolah, ia bekerja di Laboratorium Jeffrey Hinton di Universitas Toronto.

Martin Ford: Ledakan minat dalam pembelajaran mendalam selama 10 tahun terakhir adalah konsekuensi dari peningkatan simultan dari jaringan saraf, peningkatan kekuatan komputer dan jumlah data yang tersedia?

Yang Lekun: Ya, tapi prosesnya lebih disengaja. Muncul pada 1986-1987. algoritma backpropagation memungkinkan untuk melatih jaringan saraf multilayer. Ini menyebabkan gelombang minat yang berlangsung hingga 1995. Pada 2003, Jeffrey Hinton, Joshua Benggio, dan saya membuat rencana untuk memperbarui minat masyarakat terhadap metode ini karena mereka yakin akan kemenangan mereka yang akan segera terjadi. Jadi bisa dikatakan ada konspirasi yang disengaja.

M.F.: Apakah Anda sudah memahami semua prospek? AI dan pembelajaran mendalam sekarang dianggap sinonim.

I. L .: Ya dan tidak. Kami tahu bahwa metode akan membentuk dasar dari visi komputer, pengenalan suara, dan mungkin beberapa hal lainnya, tetapi tidak ada yang berharap bahwa mereka akan memperluas untuk memahami bahasa alami, robot, analisis pencitraan medis, dan bahkan berkontribusi pada munculnya kendaraan tak berawak. Di awal 1990-an. Saya berpikir bahwa gerakan ke arah hal-hal ini akan lebih lancar, dan mereka akan muncul sedikit lebih awal. Kami sedang menunggu revolusi yang terjadi sekitar 2013.

M.F.: Dan bagaimana minat Anda pada AI dan pembelajaran mesin muncul?

Y. L .: Sejak kecil saya tertarik pada sains, teknologi, dan masalah global tentang asal usul kehidupan, kecerdasan, asal mula umat manusia. Gagasan tentang AI memikat saya. Tetapi pada 1960-70an. tidak ada yang melakukan ini di Prancis, jadi setelah sekolah saya pergi untuk belajar sebagai insinyur.

Pada tahun 1980, saya sangat menyukai buku tentang filosofi Bahasa dan Pembelajaran: Debat Antara Jean Piaget dan Noam Chomsky ("Bahasa dan Pembelajaran: Diskusi Antara Jean Piaget dan Noam Chomsky"), di mana pencipta teori perkembangan kognitif dan ahli bahasa membahas tentang alam dan pendidikan , serta munculnya bahasa dan kecerdasan.

Di sisi Piaget, profesor MIT Seymour Peypert berbicara tentang asal-usul pembelajaran mesin pada akhir 1960-an. sebenarnya berkontribusi pada penghentian kerja dengan jaringan saraf. Dan sekarang, setelah 10 tahun, ia memuji apa yang disebut perceptron - model pembelajaran mesin yang sangat sederhana yang muncul pada 1950-an. dan tempat dia bekerja pada 1960-an. Jadi untuk pertama kalinya saya berkenalan dengan konsep pembelajaran mesin dan benar-benar terpesona olehnya. Kemampuan untuk belajar, saya anggap sebagai bagian integral dari kecerdasan.

Sebagai seorang siswa, saya membaca semua yang dapat saya temukan pada pembelajaran mesin dan melakukan beberapa proyek pada topik ini. Ternyata di Barat tidak ada yang bekerja dengan jaringan saraf. Beberapa peneliti Jepang bekerja pada apa yang kemudian dikenal sebagai istilah ini. Di negara kami, topik ini tidak menarik bagi siapa pun, sebagian karena apa yang muncul pada akhir 1960-an. buku karya Peypert dan Minsky.

Saya memulai penelitian independen dan pada tahun 1987 membela disertasi doktoral saya Modeles connexionnistes de l'apprentissage ("model pembelajaran Connectionist"). Manajer saya Maurice Milgram tidak berurusan dengan topik ini dan langsung mengatakan kepada saya bahwa ia bisa secara resmi menjadi konsultan saya, tetapi ia tidak dapat membantu saya secara teknis.

Di awal 1980-an Saya menemukan komunitas orang yang bekerja di jaringan saraf dan menghubungi mereka. Akibatnya, secara paralel dengan David Rumelhart dan Jeffrey Hinton, saya menemukan hal seperti metode back propagation of error.

M.F.: Yaitu, pada awal 1980-an. Di Kanada, ada banyak penelitian di bidang ini?

Y. L.: Tidak, semuanya terjadi di AS. Di Kanada, studi tersebut belum dilakukan. Di awal 1980-an Jeffrey Hinton adalah seorang karyawan di University of California, San Diego, di mana ia bekerja dengan psikolog kognitif seperti David Rumelhart dan James McClelland. Akibatnya, sebuah buku muncul menjelaskan psikologi dengan bantuan jaringan saraf sederhana dan model komputer. Jeffrey kemudian menjadi asisten profesor di Universitas Carnegie Mellon. Dia baru pindah ke Toronto pada tahun 1987. Kemudian saya pindah ke Toronto dan bekerja di laboratoriumnya selama setahun.

M.F.: Pada awal 1980-an. Saya adalah seorang mahasiswa dalam ilmu komputer, dan saya tidak ingat bahwa jaringan saraf digunakan di suatu tempat. Sekarang situasinya telah berubah secara dramatis.

Y. L .: Jaringan saraf tidak hanya di sela-sela ilmu pengetahuan. Pada 1970-an dan awal 1980-an. mereka sebenarnya dibenci. Artikel ditolak karena penyebutan jaringan saraf.

Artikel yang terkenal, Optimal Perceptual Inference, yang diterbitkan pada tahun 1983 oleh Jeffrey Hinton dan Terry Seinowski. Untuk menggambarkan di dalamnya salah satu model pertama pembelajaran mendalam dan jaringan saraf, mereka menggunakan kata-kata kode, bahkan dalam namanya.

M.F.: Anda dikenal sebagai penulis jaringan saraf convolutional. Tolong jelaskan apa itu?

Y. L .: Awalnya, jaringan saraf ini dioptimalkan untuk pengenalan objek dalam gambar. Tetapi ternyata itu dapat diterapkan untuk berbagai tugas, seperti pengenalan suara dan terjemahan mesin. Gagasan untuk penciptaannya disajikan oleh fitur-fitur dari korteks visual otak hewan dan manusia, dipelajari pada 1950-an dan 60-an. David Hubel dan Thorsten Wiesel, yang kemudian menerima Hadiah Nobel dalam bidang neurobiologi.

Jaringan konvolusional adalah cara khusus untuk menghubungkan neuron yang bukan salinan persis neuron biologis. Pada lapisan pertama - lapisan konvolusi - setiap neuron dikaitkan dengan sejumlah kecil piksel gambar dan menghitung jumlah data inputnya yang berbobot. Selama pelatihan, bobot berubah. Kelompok neuron melihat area kecil dari gambar. Jika neuron mendeteksi fitur tertentu di satu area, neuron lain akan mendeteksi fitur yang sama persis di area yang berdekatan, dan semua neuron lain di area gambar yang tersisa. Operasi matematika yang dilakukan neuron bersama-sama disebut konvolusi diskrit. Karena itulah namanya.

Kemudian muncul lapisan non-linear, di mana setiap neuron menyala atau mati, tergantung pada apakah jumlah tertimbang yang dihitung oleh lapisan konvolusi ternyata lebih tinggi atau lebih rendah dari ambang yang ditentukan. Akhirnya, lapisan ketiga melakukan operasi downsampling untuk memastikan bahwa sedikit bias atau deformasi gambar input tidak banyak mengubah output. Ini memberikan independensi dari deformasi gambar input.

Faktanya, jaringan konvolusional adalah tumpukan yang disusun dari lapisan konvolusi, nonlinier, dan subsampling. Ketika mereka dilipat, neuron muncul yang mengenali benda. Misalnya, neuron yang menyala ketika kuda berada di gambar, neuron lain untuk mobil, sepertiga untuk orang, dan sebagainya, untuk semua kategori yang Anda butuhkan.

Selain itu, apa yang dilakukan jaringan saraf ditentukan oleh kekuatan koneksi antara neuron, yaitu bobot. Dan bobot ini tidak diprogram, tetapi merupakan hasil pelatihan.

Gambar kuda ditampilkan ke jaringan, dan jika tidak menjawab "kuda", akan diberitahukan bahwa ini salah, dan diminta dengan jawaban yang benar. Setelah itu, menggunakan algoritma propagasi kesalahan kembali, jaringan menyesuaikan bobot semua koneksi sehingga saat berikutnya gambar yang sama ditampilkan, hasilnya lebih dekat dengan yang diinginkan. Dalam hal ini, Anda harus menunjukkan ribuan gambar padanya.

M. F .: Apakah pengajaran ini dengan seorang guru? Seperti yang saya pahami, sekarang ini adalah pendekatan yang dominan.

Y. L .: Tepat. Hampir semua aplikasi pembelajaran dalam modern menggunakan pelatihan guru. Keajaibannya adalah bahwa jaringan yang dilatih untuk sebagian besar memberikan jawaban yang tepat bahkan untuk gambar yang belum pernah ditunjukkan sebelumnya. Tetapi perlu sejumlah besar contoh.

M.F.: Dan apa yang bisa diharapkan di masa depan? Apakah mungkin untuk mengajar mobil sebagai seorang anak, yang hanya perlu menunjukkan kucing sekali dan beri nama?

I. L .: Sebenarnya, Anda kurang tepat. Pelatihan convolutional pertama benar-benar terjadi pada jutaan gambar dari berbagai kategori. Dan kemudian, jika Anda perlu menambahkan kategori baru, misalnya, mengajar komputer untuk mengenali kucing, beberapa sampel sudah cukup. Bagaimanapun, jaringan sudah dilatih untuk mengenali objek dari hampir semua jenis. Penambahan pelatihan terkait dengan sepasang lapisan atas.

MF: Itu sudah terlihat seperti cara anak-anak belajar.

Y. L.: Tidak, sayangnya, ini sama sekali tidak seperti itu. Anak-anak mendapatkan sebagian besar informasi sebelum seseorang memberi tahu mereka, "Ini kucing." Dalam beberapa bulan pertama kehidupan, anak-anak belajar tanpa petunjuk tentang bahasa tersebut. Mereka mengenali struktur dunia hanya dengan mengamati dunia dan sedikit berinteraksi dengannya. Cara mengumpulkan pengetahuan ini tidak tersedia untuk mesin. Cara memanggilnya tidak jelas. Beberapa menggunakan istilah provokatif "mengajar tanpa guru". Ini kadang-kadang disebut pelatihan antisipatif, atau induktif. Saya menyebutnya belajar mandiri. Saat melatih jenis ini, tidak ada pertanyaan tentang persiapan untuk melakukan tugas, itu hanya mengamati dunia dan bagaimana fungsinya.

M.F.: Apakah pembelajaran yang diperkuat termasuk dalam kategori ini?

Y. L.: Tidak, ini kategori yang sangat berbeda. Sebenarnya, ada tiga kategori utama: pembelajaran yang diperkuat, pelatihan guru, dan belajar mandiri.

Pelatihan dengan penguatan dilakukan melalui coba-coba dan bekerja dengan baik untuk permainan di mana Anda dapat melakukan sebanyak mungkin upaya yang Anda inginkan. Performa bagus AlphaGo dicapai setelah mesin memainkan lebih banyak game daripada seluruh umat manusia dalam tiga ribu tahun terakhir. Untuk masalah dari dunia nyata, pendekatan semacam itu tidak praktis.

Seseorang dapat belajar mengendarai mobil dalam 15 jam pelatihan tanpa menabrak apa pun. Jika Anda menggunakan metode pelatihan yang ada dengan bala bantuan, mobil, untuk mempelajari cara berkendara tanpa pengemudi, harus jatuh dari tebing 10 ribu kali sebelum dia mengerti bagaimana cara menghindarinya.

M.F.: Tampak bagi saya bahwa ini adalah argumen yang mendukung pemodelan.

Y. L .: Sebaliknya, ini adalah konfirmasi bahwa jenis pelatihan yang digunakan orang sangat berbeda dari pembelajaran yang diperkuat. Ini mirip dengan pelatihan penguatan berbasis model. Lagi pula, seseorang yang mengendarai mobil untuk pertama kalinya memiliki model dunia dan dapat memprediksi konsekuensi dari tindakannya. Cara membuat mesin mempelajari model prognostik secara mandiri adalah masalah utama yang belum terpecahkan.

M.F.: Apakah ini tentang pekerjaan Anda dengan Facebook?

I. L .: Ya, ini adalah salah satu hal yang sedang kami kerjakan. Kami juga melatih mesin untuk mengamati berbagai sumber data. Kami sedang membangun model dunia, berharap untuk refleksi akal sehat di dalamnya, sehingga nantinya dapat digunakan sebagai model prognostik.

M.F.: Beberapa orang berpikir bahwa belajar yang mendalam saja tidak cukup, dan dalam jaringan awalnya harus ada struktur yang bertanggung jawab untuk kecerdasan. Dan Anda tampaknya yakin bahwa kecerdasan dapat muncul secara organik dari jaringan saraf yang relatif universal.

Y. L: Anda melebih-lebihkan. Semua orang setuju dengan perlunya struktur, pertanyaannya adalah bagaimana seharusnya terlihat. Dan berbicara tentang orang-orang yang percaya bahwa harus ada struktur yang menyediakan pemikiran logis dan kemampuan untuk berdebat, Anda mungkin maksudkan Gary Marcus dan, mungkin, Oren Etzioni. Kami berdebat dengan Gary tentang topik ini pagi ini. Pendapatnya tidak diterima dengan baik di masyarakat, karena, tanpa memberikan kontribusi sedikitpun untuk pembelajaran yang mendalam, ia menulis secara kritis tentang hal itu. Oren bekerja di bidang ini selama beberapa waktu dan pada saat yang sama berbicara jauh lebih lembut.

Bahkan, ide jaringan convolutional muncul sebagai upaya untuk menambah struktur ke jaringan saraf. Pertanyaannya adalah: yang memungkinkan mesin untuk memanipulasi karakter atau, misalnya, sesuai dengan fitur hierarki bahasa?

Banyak rekan saya, termasuk Jeffrey Hinton dan Joshua Benggio, setuju bahwa cepat atau lambat kita dapat melakukannya tanpa struktur. Mereka dapat berguna dalam jangka pendek, karena cara belajar mandiri belum ditemukan. Poin ini dapat dielakkan dengan menghubungkan semuanya dengan arsitektur. Tetapi struktur mikro korteks, baik visual maupun prefrontal, tampak sepenuhnya homogen.

M.F.: Apakah otak menggunakan sesuatu yang mirip dengan metode perbanyakan kesalahan?

I. L .: Ini tidak diketahui. Mungkin ternyata ini bukan propagasi balik dalam bentuk seperti yang kita kenal, tetapi bentuk perkiraan yang mirip dengan estimasi gradien. Joshua Benggio telah bekerja pada bentuk estimasi gradien yang masuk akal secara biologis. Ada kemungkinan otak memperkirakan gradien fungsi target apa pun.

M.F.: Hal penting apa lagi yang sedang dikerjakan di Facebook?

Y. L .: Kami terlibat dalam berbagai penelitian dasar, serta masalah pembelajaran mesin, oleh karena itu, kami terutama berurusan dengan matematika terapan dan optimisasi. Pekerjaan sedang berlangsung pada pembelajaran yang diperkuat dan apa yang disebut pola generatif, yang merupakan bentuk pembelajaran mandiri atau pembelajaran antisipatif.

MF: Apakah Facebook mengembangkan sistem yang dapat mempertahankan percakapan?

Y. L .: Saya telah membuat daftar topik penelitian mendasar di atas, tetapi ada juga banyak area penerapannya. Facebook secara aktif mengembangkan perkembangan di bidang visi komputer, dan dapat dikatakan bahwa kita memiliki kelompok penelitian terbaik di dunia. Kami banyak bekerja pada pengolah kata dalam bahasa alami. Ini termasuk terjemahan, generalisasi, kategorisasi (mencari tahu topik apa yang sedang dibahas) dan sistem dialog untuk asisten virtual, sistem tanya jawab, dll.

M.F.: Apakah Anda berpikir bahwa suatu hari akan ada AI yang dapat lulus tes Turing?

I. L .: Pada titik tertentu ini akan terjadi, tetapi saya tidak menganggap tes Turing kriteria yang baik: mudah untuk dibodohi, dan agak ketinggalan jaman. Banyak yang lupa atau menolak untuk percaya bahwa bahasa adalah fenomena sekunder dalam kaitannya dengan kecerdasan.

»Informasi lebih lanjut tentang buku ini dapat ditemukan di situs web penerbit
» Isi
» Kutipan

Kupon diskon 25% untuk penjaja - Arsitek Intelijen

Setelah pembayaran versi kertas buku, sebuah buku elektronik dikirim melalui email.

Source: https://habr.com/ru/post/id476466/


All Articles