Dasar untuk teori umum jaringan saraf dibuat

Kemampuan luar biasa dari jaringan saraf kadang-kadang sebanding dengan ketidakpastiannya. Sekarang matematikawan mulai memahami bagaimana bentuk jaringan saraf mempengaruhi kerjanya.

Ketika kami merancang gedung pencakar langit, kami berharap bahwa pada akhirnya itu akan memenuhi semua spesifikasi: bahwa menara akan mampu menahan beban seperti itu, serta gempa bumi dengan kekuatan tertentu.

Namun, salah satu teknologi terpenting dunia modern, kami, pada kenyataannya, merancang secara membabi buta. Kami bermain dengan skema yang berbeda, pengaturan yang berbeda, tetapi sampai kami memulai uji coba sistem, kami benar-benar tidak tahu apa yang dapat dilakukan, atau di mana ia akan menolak untuk bekerja.

Ini tentang teknologi jaringan saraf yang mendasari sistem kecerdasan buatan modern paling canggih. Jaringan saraf secara bertahap bergerak ke bidang yang paling mendasar dalam masyarakat: mereka menentukan apa yang kita pelajari tentang dunia dari umpan berita di jejaring sosial, mereka membantu dokter membuat diagnosis, dan bahkan memengaruhi apakah penjahat dikirim ke penjara.

Dan “deskripsi terbaik dari apa yang kita ketahui adalah mengatakan bahwa kita tidak tahu apa-apa tentang bagaimana sebenarnya jaringan saraf bekerja, dan seperti apa teori yang menggambarkannya,” kata Boris Ganin , ahli matematika di University of Texas, dan seorang spesialis tamu di Facebook AI Research yang mempelajari jaringan saraf.

Dia membandingkan situasinya dengan perkembangan teknologi revolusioner lainnya: mesin uap. Awalnya, mesin uap hanya bisa memompa air. Kemudian mereka berfungsi sebagai mesin untuk lokomotif uap, dan saat ini jaringan saraf mungkin telah mencapai tingkat yang sama. Para ilmuwan dan ahli matematika mengembangkan teori termodinamika yang memungkinkan mereka untuk memahami apa yang sebenarnya terjadi di dalam mesin apa pun. Dan pada akhirnya, pengetahuan seperti itu membawa kami ke ruang angkasa.

"Awalnya ada prestasi teknik yang hebat, kemudian kereta yang hebat, dan kemudian butuh pemahaman teoretis untuk beralih dari ini ke roket," kata Ganin.

Dalam komunitas pengembang jaringan saraf yang sedang berkembang, ada sekelompok kecil peneliti dengan bias matematika yang mencoba membuat teori jaringan saraf yang dapat menjelaskan cara kerjanya dan memastikan bahwa setelah membuat jaringan saraf konfigurasi tertentu, ia dapat melakukan tugas-tugas tertentu.

Sementara pekerjaannya masih pada tahap awal, tetapi selama setahun terakhir, para peneliti telah menerbitkan beberapa makalah ilmiah yang menjelaskan secara rinci hubungan antara bentuk dan fungsi jaringan saraf. Karya ini menggambarkan jaringan saraf secara penuh, hingga fondasinya. Dia menunjukkan bahwa jauh sebelum mengkonfirmasi kemampuan jaringan saraf untuk mengendarai mobil, perlu untuk membuktikan kemampuan mereka untuk memperbanyak angka.

Resep otak terbaik

Jaringan saraf berusaha untuk meniru otak manusia - dan salah satu cara untuk menggambarkan karyanya adalah dengan mengatakan bahwa ia menggabungkan abstraksi kecil menjadi yang lebih besar. Dari sudut pandang ini, kompleksitas pemikiran diukur dengan jumlah abstraksi kecil yang mendasari mereka, dan jumlah kombinasi abstraksi tingkat rendah menjadi abstraksi tingkat tinggi - dalam tugas-tugas seperti mempelajari perbedaan antara anjing dan burung.

"Jika seseorang belajar mengenali seekor anjing, maka ia belajar mengenali sesuatu yang shaggy dengan empat kaki," kata Maitra Ragu , seorang mahasiswa pascasarjana di bidang ilmu komputer di Cornell University, anggota tim Google Brain . "Idealnya, kami ingin jaringan saraf kami melakukan hal serupa."


Maitra Ragu

Abstraksi berasal dari otak manusia secara alami. Jaringan saraf harus bekerja untuk ini. Jaringan saraf, seperti otak, terdiri dari blok-blok pembangun yang disebut "neuron," yang terhubung dengan berbagai cara satu sama lain. Pada saat yang sama, neuron-neuron dari jaringan saraf, walaupun dibuat menurut gambar neuron-neuron otak, tidak mencoba untuk meniru mereka sepenuhnya. Setiap neuron dapat mewakili atribut atau kombinasi atribut yang dipertimbangkan jaringan saraf pada setiap level abstraksi.

Insinyur memiliki pilihan banyak pilihan untuk menggabungkan neuron ini. Mereka perlu memutuskan berapa banyak lapisan neuron yang harus dimiliki jaringan saraf (yaitu, menentukan "kedalamannya"). Pertimbangkan, misalnya, jaringan saraf yang mengenali gambar. Gambar termasuk dalam lapisan pertama sistem. Pada lapisan berikutnya, jaringan mungkin memiliki neuron yang hanya mengenali tepi gambar. Lapisan berikutnya menggabungkan garis dan mendefinisikan kurva. Yang berikutnya menggabungkan kurva menjadi bentuk dan tekstur, dan yang terakhir memproses bentuk dan tekstur untuk membuat keputusan tentang apa yang dia lihat: mammoth berbulu!

“Idenya adalah bahwa setiap lapisan menggabungkan beberapa aspek dari yang sebelumnya. Lingkaran adalah kurva di banyak tempat, kurva adalah garis di banyak tempat, ”kata David Rolnik , ahli matematika di University of Pennsylvania.

Insinyur juga harus memilih "lebar" dari setiap lapisan, sesuai dengan jumlah fitur yang berbeda yang dipertimbangkan jaringan pada setiap tingkat abstraksi. Dalam hal pengenalan gambar, lebar lapisan akan sesuai dengan jumlah jenis garis, kurva atau bentuk yang akan dipertimbangkan oleh jaringan saraf pada setiap level.

Selain kedalaman dan lebar jaringan saraf, ada pilihan metode menghubungkan neuron di lapisan dan di antara mereka, dan pilihan bobot untuk masing-masing koneksi.

Jika Anda berencana untuk menyelesaikan tugas tertentu, bagaimana Anda tahu arsitektur jaringan saraf mana yang dapat melakukannya dengan cara terbaik? Ada aturan sampel yang cukup umum. Untuk masalah dengan pengenalan gambar, programmer biasanya menggunakan jaringan saraf "convolutional", sistem tautan antar lapisan yang diulang dari lapisan ke lapisan. Untuk memproses bahasa alami - pengenalan ucapan atau generasi bahasa - programmer telah menemukan bahwa jaringan saraf berulang paling cocok. Neuron di dalamnya dapat dihubungkan dengan neuron tidak hanya dari lapisan tetangga.

Namun, di luar prinsip-prinsip umum ini, kebanyakan programmer harus bergantung pada bukti eksperimental: mereka hanya menjalankan 1.000 jaringan saraf yang berbeda dan melihat mana yang melakukan pekerjaan dengan lebih baik.

"Dalam praktiknya, pilihan-pilihan ini sering dibuat dengan coba-coba," kata Ganin. "Ini cara yang agak rumit, karena ada banyak pemilihan yang tak terbatas, dan tidak ada yang tahu mana yang akan menjadi yang terbaik."

Pilihan terbaik adalah dengan sedikit bergantung pada metode coba-coba, dan lebih pada pemahaman yang sudah ada sebelumnya tentang apa yang bisa diberikan arsitektur jaringan saraf tertentu kepada Anda. Beberapa karya ilmiah yang baru-baru ini diterbitkan telah memajukan bidang ini ke arah ini.

“Pekerjaan ini bertujuan untuk menciptakan sesuatu seperti buku resep untuk merancang jaringan saraf yang cocok. Jika Anda tahu apa yang ingin Anda capai dengan itu, maka Anda dapat memilih resep yang tepat, ”kata Rolnik.

Lasso domba merah

Salah satu jaminan teoritis paling awal dari arsitektur jaringan saraf muncul tiga dekade lalu. Pada tahun 1989, seorang ilmuwan komputer membuktikan bahwa jika jaringan saraf hanya memiliki satu lapisan komputasi, di mana akan ada jumlah neuron yang tidak terbatas dan jumlah koneksi yang tidak terbatas di antara mereka, maka jaringan saraf akan dapat melakukan tugas apa pun.

Ini adalah pernyataan yang kurang lebih umum, yang ternyata agak intuitif dan tidak terlalu berguna. Ini sama dengan mengatakan bahwa jika Anda dapat menentukan jumlah garis yang tidak terbatas dalam gambar, maka Anda dapat membedakan semua objek hanya dengan satu lapisan. Pada prinsipnya, ini mungkin terpenuhi, tetapi cobalah untuk mempraktikkannya.

Saat ini, para peneliti menyebut jaringan yang luas dan datar seperti itu "ekspresif" karena secara teori mereka dapat mencakup serangkaian hubungan yang lebih kaya antara kemungkinan input data (seperti gambar) dan output (seperti deskripsi gambar). Pada saat yang sama, sangat sulit untuk melatih jaringan-jaringan ini, yaitu, secara praktis tidak mungkin untuk membuat mereka benar-benar memberikan data ini. Mereka juga membutuhkan daya komputasi lebih dari komputer manapun.


Boris Ganin

Baru-baru ini, para peneliti telah mencoba memahami seberapa jauh Anda bisa mendapatkan jaringan saraf dengan pergi ke arah yang berlawanan - membuatnya lebih sempit (lebih sedikit neuron per lapisan) dan lebih dalam (lebih banyak lapisan). Anda mungkin dapat mengenali hanya 100 garis yang berbeda, tetapi dengan koneksi yang diperlukan untuk mengubah 100 garis ini menjadi 50 kurva yang dapat digabungkan menjadi 10 bentuk yang berbeda, Anda bisa mendapatkan semua blok bangunan yang diperlukan untuk mengenali sebagian besar objek.

Dalam pekerjaan yang mereka selesaikan tahun lalu, Rolnik dan Max Tegmark dari MIT membuktikan bahwa dengan meningkatkan kedalaman dan mengurangi lebar, dimungkinkan untuk melakukan tugas yang sama dengan jumlah neuron yang secara eksponensial lebih kecil. Mereka menunjukkan bahwa jika situasi Anda mensimulasikan memiliki 100 variabel input, Anda bisa mendapatkan keandalan yang sama, baik dengan menggunakan ^2.100 neuron dalam satu lapisan, atau 2.10 neuron dalam dua lapisan. Mereka menemukan bahwa ada keuntungan dalam mengambil bagian-bagian kecil dan menggabungkannya pada level abstraksi yang lebih tinggi, daripada mencoba untuk mencakup semua level abstraksi sekaligus.

"Konsep kedalaman jaringan saraf terhubung dengan kemungkinan mengekspresikan sesuatu yang kompleks dengan melakukan banyak langkah sederhana," kata Rolnik. "Itu terlihat seperti jalur perakitan."

Rolnik dan Tegmark membuktikan kegunaan kedalaman dengan memaksa jaringan saraf untuk melakukan tugas sederhana: melipatgandakan fungsi polinomial. (Ini adalah persamaan dengan variabel yang dinaikkan ke derajat alami, misalnya, y = x ³ +1). Mereka melatih jaringan, menunjukkan kepada mereka contoh persamaan dan hasil perkaliannya. Kemudian mereka memberi tahu jaringan saraf untuk menghitung hasil perkalian persamaan yang belum pernah mereka lihat sebelumnya. Jaringan saraf yang lebih dalam mempelajari cara melakukan ini dengan neuron yang jauh lebih sedikit daripada yang kecil.

Dan meskipun penggandaan tidak mungkin membalikkan dunia kita, Rolnik mengatakan bahwa sebuah ide penting dijelaskan dalam karya ini: "Jika jaringan saraf dangkal bahkan tidak dapat berlipat ganda, Anda tidak boleh mempercayainya dengan sesuatu yang lain."


David Rolnik

Peneliti lain sedang menyelidiki masalah lebar minimum yang cukup. Pada akhir September, Jesse Johnson , sebelumnya seorang ahli matematika dari University of Oklahoma, dan sekarang seorang peneliti yang bekerja untuk perusahaan farmasi Sanofi, membuktikan bahwa pada titik tertentu tidak ada kedalaman yang bisa mengimbangi kurangnya lebar.

Untuk memahami hal ini, bayangkan domba-domba di lapangan, tetapi biarkan mereka menjadi anak-anak punk rock: masing-masing akan dicat dalam satu dari beberapa warna. Jaringan saraf harus menggambar perbatasan di sekitar semua domba dengan warna yang sama. Pada dasarnya, tugas ini mirip dengan klasifikasi gambar: jaringan saraf memiliki seperangkat gambar (yang direpresentasikan sebagai titik dalam ruang multidimensi), dan perlu mengelompokkan yang serupa.

Johnson membuktikan bahwa jaringan saraf tidak akan mengatasi tugas ini jika lebar lapisan lebih kecil, atau sama dengan jumlah data input. Masing-masing domba kami dapat digambarkan oleh dua data input: koordinat lokasinya di lapangan, x dan y. Kemudian jaringan saraf menandai setiap domba dengan warna dan menggambar perbatasan di sekitar domba dengan warna yang sama. Dalam hal ini, untuk menyelesaikan masalah Anda membutuhkan setidaknya tiga neuron per lapisan.

Lebih khusus lagi, Johnson menunjukkan bahwa jika rasio lebar terhadap jumlah variabel tidak cukup, jaringan saraf tidak akan dapat menggambar loop tertutup - dan jaringan saraf harus menggambar lingkaran seperti itu jika, misalnya, semua domba merah telah terakumulasi di tengah padang rumput. "Jika tidak ada lapisan yang lebih tebal dari jumlah pengukuran input, fungsi tidak dapat membuat beberapa bentuk, terlepas dari jumlah lapisan," kata Johnson.

Pekerjaan semacam itu mulai membangun inti teori jaringan saraf. Sejauh ini, para peneliti hanya mampu membuat pernyataan paling sederhana tentang hubungan antara arsitektur dan fungsionalitas - dan pernyataan ini sangat sedikit dibandingkan dengan jumlah tugas yang diselesaikan oleh jaringan saraf.

Jadi, meskipun teori jaringan saraf tidak akan dapat mengubah proses desain mereka dalam waktu dekat, cetak biru sedang dibuat untuk teori baru tentang bagaimana komputer dilatih - dan konsekuensinya akan lebih kuat daripada seseorang yang pergi ke luar angkasa.