Studi menunjukkan bahwa model komputer, yang dikenal sebagai jaringan saraf yang digunakan dalam semakin banyak aplikasi, dapat belajar mengenali urutan dalam data menggunakan algoritma yang sama dengan otak manusia.
Otak memecahkan masalah kanoniknya - pelatihan - dengan menyesuaikan banyak senyawanya menurut seperangkat aturan yang tidak diketahui. Untuk mengungkap aturan ini, para ilmuwan mulai mengembangkan model komputer 30 tahun yang lalu mencoba mereproduksi proses pembelajaran. Hari ini, dalam semakin banyak percobaan, menjadi jelas bahwa model ini berperilaku sangat mirip dengan otak nyata dalam tugas-tugas tertentu. Para peneliti mengatakan kesamaan ini menunjukkan kecocokan dasar antara algoritma pembelajaran otak dan komputer.
Algoritma yang digunakan oleh model komputer disebut
mesin Boltzmann . Ini
ditemukan oleh Jeffrey Hinton dan Terry Seinowski pada tahun 1983 [pada kenyataannya, pada tahun
1985 - kira-kira. diterjemahkan.]. Ini terlihat sangat menjanjikan sebagai penjelasan teoretis sederhana tentang beberapa proses yang terjadi di otak - pengembangan, pembentukan memori, pengenalan objek dan suara, siklus tidur dan bangun.
"Ini adalah kesempatan terbaik yang kita miliki saat ini untuk memahami otak," kata Sue Becker, profesor psikologi, neurobiologi, dan perilaku di Universitas. McMaster di Hamilton, Ontario. "Saya tidak tahu model yang menggambarkan berbagai fenomena yang lebih luas terkait dengan pembelajaran dan struktur otak."
Hinton, seorang pelopor di bidang AI, selalu ingin memahami aturan-aturan yang dengannya otak meningkatkan komunikasi atau melemahkannya - yaitu, algoritma pembelajaran. "Saya memutuskan bahwa untuk memahami sesuatu, itu perlu dibangun," katanya. Mengikuti pendekatan reduksionis dari fisikawan, ia berencana untuk membuat model komputer otak yang sederhana dengan menggunakan algoritma pembelajaran yang berbeda dan melihat mana yang akan bekerja, kata Hinton, sebagian profesor ilmu komputer di Universitas Toronto dan sebagian di Google.
Jaringan saraf multilayer terdiri dari lapisan neuron buatan dengan koneksi tertimbang di antara mereka. Saya mengirim data yang masuk riam sinyal berlapis-lapis, dan algoritma menentukan perubahan bobot masing-masing koneksi.Pada 1980-an dan 1990-an, Hinton, cicit dari logika abad ke-19, George Boole, yang karyanya menjadi dasar ilmu komputer modern, menemukan beberapa algoritma pembelajaran mesin. Algoritma yang mengontrol bagaimana komputer belajar dari data digunakan dalam model komputer yang disebut "jaringan saraf tiruan" - jaringan neuron virtual yang saling berhubungan yang mengirimkan sinyal ke tetangga mereka, menghidupkan atau mematikan, atau "memicu". Ketika data dimasukkan ke jaringan, ini mengarah ke riam tanggapan, dan algoritma, berdasarkan gambar tanggapan ini, memilih untuk menambah atau mengurangi bobot koneksi, atau sinapsis, antara setiap pasangan neuron.
Selama beberapa dekade, banyak model komputer Hinton telah tumbuh. Namun berkat kemajuan dalam kekuatan prosesor, kemajuan dalam memahami otak dan algoritma, jaringan saraf memainkan peran yang semakin meningkat dalam neurobiologi. Sejnowski [Sejnowski], kepala Laboratorium Komputasi Neurobiologi di Institute of Biological Research. Salka di La Jolla, California, mengatakan, ”Tiga puluh tahun yang lalu, kami memiliki gagasan yang sangat kasar; sekarang kami mulai menguji beberapa dari mereka. "
Mesin otak
Upaya awal Hinton untuk mereproduksi otak terbatas. Komputer dapat menjalankan algoritma pembelajarannya pada jaringan saraf kecil, tetapi model penskalaan sangat cepat membebani prosesor. Pada tahun 2005, Hinton menemukan bahwa jika Anda membagi jaringan saraf menjadi lapisan dan menjalankan algoritma secara terpisah pada setiap lapisan, kira-kira mengulangi struktur dan perkembangan otak, prosesnya menjadi lebih efisien.
Meskipun Hinton menerbitkan penemuannya di
dua majalah terkenal , jaringan saraf sudah ketinggalan zaman saat itu, dan dia "berjuang untuk membuat orang tertarik," kata Lee Deng, pemimpin peneliti di Microsoft Research. Namun, Deng mengenal Hinton dan memutuskan untuk menguji metode "pembelajaran mendalam" pada tahun 2009, dengan cepat mengenali potensinya. Pada tahun-tahun berikutnya, algoritma pembelajaran digunakan dalam praktik di semakin banyak aplikasi, seperti asisten pribadi Google Now atau fitur pencarian suara di ponsel Microsoft Windows.
Salah satu algoritma yang paling menjanjikan, mesin Boltzmann, dinamai sesuai dengan fisikawan Austria abad ke-19 Ludwig Boltzmann, yang mengembangkan cabang fisika yang berurusan dengan sejumlah besar partikel, yang dikenal sebagai mekanika statistik. Boltzmann menemukan persamaan yang memberikan kemungkinan gas molekul memiliki energi tertentu ketika mencapai kesetimbangan. Jika Anda mengganti molekul dengan neuron, maka hasilnya akan cenderung persamaan yang sama.
Sinapsis jaringan dimulai dengan distribusi bobot acak, dan bobot secara bertahap disesuaikan menurut prosedur yang agak sederhana: sirkuit respons yang dihasilkan dalam proses penerimaan data (seperti gambar atau suara) oleh mesin dibandingkan dengan sirkuit respons acak mesin yang terjadi ketika data tidak dimasukkan.
Joffrey Hinton percaya bahwa pendekatan terbaik untuk memahami proses pembelajaran di otak adalah membangun komputer yang belajar dengan cara yang sama.Setiap sinaps virtual melacak kedua set statistik. Jika neuron yang terhubung dengannya lebih sering dipicu dalam urutan yang dekat ketika menerima data daripada selama operasi acak, maka berat sinaps meningkat dengan nilai yang sebanding dengan perbedaan. Tetapi jika dua neuron lebih sering dipicu bersama selama operasi acak, maka sinapsis yang menghubungkan mereka dianggap terlalu kuat dan melemah.
Versi yang paling umum digunakan dari mesin Boltzmann bekerja lebih baik setelah "pelatihan", setelah memproses ribuan data sampel secara berurutan pada setiap lapisan. Pertama, lapisan bawah jaringan menerima data mentah dalam bentuk gambar atau suara, dan, dengan cara sel retina, neuron dipicu jika mereka mendeteksi kontras di area data mereka, seperti beralih dari terang ke gelap. Pemicu mereka dapat memicu pemicu neuron yang terkait dengannya, tergantung pada berat sinapsis yang menghubungkan mereka. Karena pemicu pasangan neuron virtual secara konstan dibandingkan dengan statistik latar belakang, koneksi yang bermakna antara neuron secara bertahap muncul dan meningkat. Berat sinapsis ditentukan, dan kategori suara dan gambar dibangun ke dalam koneksi. Setiap lapisan berikutnya dilatih dengan cara yang sama, menggunakan data dari lapisan di bawahnya.
Jika Anda memasukkan gambar mobil ke jaringan saraf yang dilatih untuk mendeteksi objek tertentu dalam gambar, lapisan bawah akan berfungsi jika mendeteksi kontras yang menunjukkan wajah atau titik akhir. Sinyal-sinyal ini akan menuju neuron level yang lebih tinggi yang menentukan sudut, bagian roda, dll. Di tingkat atas, neuron dipicu hanya dengan bereaksi terhadap gambar mobil.
"Keajaiban dari apa yang terjadi di web adalah dapat diringkas," kata Yann LeCun, direktur Pusat Sains Data di Universitas New York. "Jika kamu menunjukkan padanya sebuah mobil yang belum pernah dia lihat sebelumnya, dan jika mobil itu akan memiliki beberapa bentuk dan fitur yang sama dengan mesin yang ditunjukkan kepadanya selama pelatihan, dia dapat menentukan bahwa ini adalah mobil."
Neural networks baru-baru ini mempercepat pengembangannya berkat mode multi-layer Hinton, penggunaan chip komputer berkecepatan tinggi untuk memproses grafik, dan pertumbuhan eksplosif dalam jumlah gambar dan rekaman suara yang tersedia untuk pelatihan. Jaringan mampu mengenali dengan benar 88% dari kata-kata dalam bahasa Inggris, sementara rata-rata orang mengakui 96%. Mereka dapat mendeteksi mobil dan ribuan objek lainnya dalam gambar dengan akurasi yang sama, dan selama beberapa tahun terakhir mereka telah mengambil posisi dominan dalam kompetisi pembelajaran mesin.
Membangun otak
Tidak ada yang tahu bagaimana cara mengetahui secara langsung aturan-aturan yang digunakan untuk melatih otak, tetapi ada banyak kebetulan tidak langsung antara perilaku otak dan mesin Boltzmann.
Keduanya dilatih tanpa pengawasan, hanya menggunakan pola yang ada dalam data. "Ibumu tidak memberitahumu jutaan kali tentang apa yang ditunjukkan dalam gambar," kata Hinton. - Anda harus belajar mengenali sesuatu tanpa saran orang lain. Setelah Anda mempelajari kategori-kategori tersebut, mereka memberi tahu Anda nama-nama kategori ini. Jadi anak-anak belajar tentang anjing dan kucing, dan kemudian mereka belajar bahwa anjing disebut "anjing," dan kucing disebut "kucing."
Otak orang dewasa tidak sefleksibel otak yang muda, seperti halnya mesin Boltzmann, setelah melatih 100.000 gambar mobil, otak tidak akan banyak berubah setelah melihat yang lain. Sinapsisnya sudah memiliki bobot yang tepat untuk mengkategorikan mobil. Namun pelatihan tidak berakhir. Informasi baru dapat diintegrasikan ke dalam struktur otak dan mesin Boltzmann.
Selama dua dekade terakhir, sebuah studi aktivitas otak dalam mimpi telah memberikan bukti pertama bahwa otak menggunakan algoritma yang mirip dengan algoritma Boltzmann untuk memasukkan informasi dan memori baru ke dalam strukturnya. Ahli saraf telah lama mengetahui bahwa tidur memainkan peran penting dalam konsolidasi memori dan membantu mengintegrasikan informasi baru. Pada tahun 1995, Hinton dan rekannya
menyarankan bahwa tidur memainkan peran tingkat dasar dalam algoritma, yang menunjukkan aktivitas neuron tanpa adanya input data.
"Selama tidur, Anda baru mengetahui frekuensi dasar neuron," kata Hinton. - Anda mengetahui korelasi pekerjaan mereka dalam kasus ketika sistem bekerja sendiri. Dan kemudian, jika neuron berkorelasi lebih banyak, cukup tambahkan bobot di antara mereka. Dan jika kurang, kurangi berat badan. "
Pada tingkat sinapsis, “algoritma ini dapat disediakan dalam beberapa cara,” kata Sezhnowski, penasihat administrasi kepresidenan sebagai bagian dari
inisiatif BRAIN , sebuah studi dengan hibah $ 100 juta yang dirancang untuk mengembangkan teknik baru untuk mempelajari otak.
Dia mengatakan bahwa otak paling mudah untuk bekerja dengan algoritma Boltzmann, beralih dari membangun sinapsis di siang hari menjadi menguranginya di malam hari.
Giulio Tononi , kepala Pusat Kajian Tidur dan Kesadaran di Universitas Wisconsin-Madison, menemukan bahwa ekspresi gen dalam sinapsis mengubahnya menurut hipotesis ini: gen yang terlibat dalam pertumbuhan sinapsis lebih aktif pada siang hari, dan gen yang terlibat dalam kontraksi sinapsis - di malam hari.
Dalam pilihan lain, "garis dasar dapat dihitung dalam mimpi, dan kemudian perubahan relatif terhadap itu dapat dilakukan pada siang hari," kata Sezhnowski. Di laboratoriumnya, model komputer sinapsis terperinci dan jaringan yang didukungnya dibangun untuk menentukan bagaimana mereka mengumpulkan statistik tentang pola bangun dan tidur, dan kapan kekuatan sinapsis berubah untuk menampilkan perbedaan ini.
Kesulitan dengan otak
Gambar retina di mana berbagai jenis sel ditunjukkan oleh warna yang berbeda. Peka-warna (violet) terhubung ke horizontal (oranye), yang terhubung ke bipolar (hijau), dan mereka - ke sel-sel retina dan ganglion (ungu).Algoritma Boltzmann mungkin salah satu dari banyak yang digunakan oleh otak untuk menyempurnakan sinapsis. Pada 1990-an, beberapa kelompok independen mengembangkan model teoritis tentang bagaimana sistem visual secara efisien mengkodekan aliran informasi menuju retina. Teori tersebut mendalilkan bahwa di lapisan bawah korteks visual terdapat proses "koding terpencar", mirip dengan kompresi gambar, sebagai akibatnya tahap akhir sistem visual bekerja lebih efisien.
Prediksi model secara bertahap melewati tes yang lebih dan lebih ketat. Dalam sebuah
makalah yang diterbitkan dalam PLOS Computational Biology, ahli saraf komputasi dari Inggris dan Australia menemukan bahwa ketika jaringan saraf yang menggunakan algoritma pengkodean tersebar Produk yang diciptakan oleh Hinton pada tahun 2002 memproses data visual yang tidak biasa yang sama yang diterima kucing hidup (misalnya, kucing dan jaringan saraf mempelajari gambar bergaris-garis), neuron-neuron mereka menghasilkan hubungan yang hampir tidak lazim identik.
"Pada saat informasi mencapai korteks visual, otak, kami pikir, menyajikannya sebagai kode yang tersebar," kata Bruno Olshausen, seorang ahli saraf komputasi dan direktur Redwood Center for Theoretical Neurobiology di University of California-Berkeley, yang membantu mengembangkan teori pengkodean yang tersebar. "Seolah-olah mesin Boltzmann duduk di kepala Anda dan mencoba memahami koneksi yang ada di antara elemen-elemen kode yang tersebar."
Olshausen dan timnya menggunakan model jaringan saraf dari lapisan yang lebih tinggi dari korteks visual untuk menunjukkan bagaimana otak mampu
mempertahankan persepsi yang stabil terhadap input visual terlepas dari pergerakan gambar. Dalam
studi lain
, mereka menemukan bahwa aktivitas neuron dalam korteks visual kucing menonton film hitam-putih sangat baik dijelaskan oleh mesin Boltzmann.
Salah satu aplikasi yang mungkin dari pekerjaan ini adalah pembuatan prostesis neuro, misalnya, retina buatan. Jika Anda melihat bagaimana "informasi diformat di otak, Anda dapat memahami cara merangsang otak agar berpikir bahwa ia melihat gambar," kata Olshausen.
Sezhnowski mengatakan memahami algoritma pertumbuhan dan reduksi sinapsis akan memungkinkan para peneliti untuk mengubahnya dan mempelajari bagaimana fungsi jaringan saraf terganggu. "Kemudian mereka dapat dibandingkan dengan masalah orang yang terkenal," katanya. - Hampir semua gangguan mental dapat dijelaskan oleh masalah dengan sinapsis. Jika kita dapat lebih memahami sinapsis, kita dapat memahami bagaimana otak berfungsi secara normal, bagaimana otak memproses informasi, bagaimana ia belajar, dan apa yang salah jika, misalnya, Anda menderita skizofrenia. ”
Pendekatan untuk mempelajari otak menggunakan jaringan saraf sangat kontras dengan pendekatan
Proyek Otak Manusia . Ini adalah rencana dipublikasikan dari ilmuwan saraf Swiss Henry Marcram untuk membuat simulasi yang akurat dari otak manusia menggunakan superkomputer. Tidak seperti pendekatan Hinton, yang dimulai dengan model yang sangat disederhanakan dan mengikuti jalan komplikasi bertahap, Markram ingin segera memasukkan jumlah data sebanyak mungkin, ke masing-masing molekul, dan berharap bahwa sebagai hasilnya ia akan memiliki fungsionalitas dan kesadaran penuh.
Proyek ini menerima dana $ 1,3 miliar dari Komisi Eropa, tetapi Hinton percaya bahwa mega-simulasi ini akan gagal, terjebak dalam terlalu banyak bagian yang bergerak yang belum ada yang mengerti.
Selain itu, Hinton tidak percaya bahwa otak hanya dapat dipahami oleh gambar-gambarnya. Data tersebut harus digunakan untuk membuat dan memperbaiki algoritma. "Pemikiran teoretis dan penelitian ke dalam ruang algoritma pembelajaran diperlukan untuk membuat teori seperti," mesin Boltzmann, katanya. Langkah selanjutnya untuk Hinton adalah pengembangan algoritma untuk melatih lebih banyak jaringan saraf seperti otak, seperti di mana sinapsis menghubungkan neuron dalam satu lapisan, dan bukan hanya di antara berbagai lapisan. "Tujuan utama adalah untuk memahami manfaat yang bisa diperoleh dengan menyulitkan perhitungan pada setiap tahap," katanya.
Hipotesisnya adalah bahwa lebih banyak koneksi akan mengarah ke loop belakang yang lebih kuat, yang, menurut Olshausen, kemungkinan besar membantu otak "mengisi rincian yang hilang." Lapisan atas mengganggu kerja neuron dari lapisan bawah yang berhubungan dengan informasi parsial. “Semua ini terkait erat dengan kesadaran,” katanya.
Otak manusia masih jauh lebih kompleks daripada model mana pun. Ini lebih besar, lebih padat, lebih efisien, memiliki lebih banyak interkoneksi dan neuron kompleks - dan secara bersamaan bekerja dengan beberapa algoritma. Olshausen menyarankan agar kita memahami sekitar 15% aktivitas korteks visual. Meskipun model maju, ilmu saraf masih "mirip dengan fisika sebelum Newton," katanya. Namun demikian, ia yakin bahwa proses bekerja berdasarkan algoritma ini suatu hari nanti akan dapat menjelaskan teka-teki utama otak - bagaimana data dari organ-organ indera ditransformasikan menjadi perasaan subjektif dari realitas. Kesadaran, kata Olshausen, "adalah sesuatu yang muncul dari kenyataan, mesin Boltzmann yang sangat kompleks."