🗝️ 🚥 👂🏾 Beberapa algoritma di bawah kap otak 🖊️ 😵 🚠

Beberapa waktu yang lalu saya ingin mempelajari materi modern tentang neurobiologi dari sudut pandang seorang programmer. Yaitu, untuk mengekstrak algoritma dasar dari mereka, setelah membersihkannya dari detail kimia / biologis yang tidak perlu.

Jadi, jika seseorang menyukai jaringan saraf tiruan dan ingin mencari inspirasi di alam, artikel ini dapat muncul. Tentu saja, itu tidak mungkin untuk mencakup semuanya dalam satu artikel - ada banyak data.

Pertama, deskripsi singkat tentang operasi bio-neuron, sehingga selanjutnya akan dipahami. Siapa yang sudah tahu dasar-dasarnya - silakan lewati.

Neuron biologis: lele, dendrit, sinapsis, spike, EPSP, potensial membran

: ( ), , . , , . . — . . . .

, , . , . “ ” ,“” “U”. , . . U.

, . , U . — . . , , . , , . “+” EPSP (). “-” IPSP ().

. EPSP- IPSP- , , , . , .

, , , . , . , . , , . . , EPSP , .

. , . “ ” . , . , , (. ).

— . — . EPSP — “”. , , , . EPSP ( ) , , .. , .

STDP

Diasumsikan bahwa dasar dari memori jangka panjang adalah bagaimana efisiensi didistribusikan pada sinapsis neuron. Beberapa sinaps dilemahkan, beberapa diperkuat. Ini disebut daktilitas. Tetapi dengan algoritma apa diputuskan sinapsis mana dan bagaimana mereka akan mengubah bobot? Prinsip paling terkenal dalam jaringan saraf hidup adalah plastisitas yang bergantung pada waktu .

Ini diamati dari serangga ke manusia dan dirumuskan sebagai berikut:

Jika lonjakan input untuk sinaps ini cenderung datang tepat sebelum neuron itu sendiri yang menghasilkan spike, maka sinaps tersebut diperkuat.
Jika lonjakan input untuk sinaps ini cenderung datang segera setelah pembuatan lonjakan oleh neuron itu sendiri, maka sinaps tersebut melemah.

Input-input yang telah berkontribusi pada lonjakan dibuat lebih diprioritaskan di masa depan, dan yang tidak berkontribusi - kurang. Proses berlanjut sampai ada bagian tertentu dari bobot asli yang tersisa, dan sisanya akan dikurangi menjadi nol. Kami akan mempertimbangkan fakta bahwa neuron menghasilkan lonjakan ketika banyak inputnya diaktifkan segera dalam waktu singkat . Dari sini dapat diasumsikan bahwa input bukan nol yang tersisa memiliki korelasi dalam waktu.

_{Ketergantungan peningkatan / penurunan bobot sinaps pada lonjakan input madu (pra) dan output (pasca)}

Fenomena ini sangat terkenal dan dikonfirmasi dalam banyak percobaan, tetapi harus dicatat bahwa dengan melalui berbagai protokol eksperimental, Anda masih dapat mencapai distorsi / pelanggaran undang-undang ini, tidak melanggar persyaratan formal untuk paku pra-pos [0].

Perambatan spike kembali

Neuron piramidal (mungkin jenis neuron kortikal yang paling terkenal) memiliki ribuan sinapsis yang berserakan dengan pohon dendritiknya (pada kenyataannya, ia memiliki dua pohon dendritik). Jika kita memilih beberapa sinapsis - dekat dengan ikan lele, jauh, dan sangat jauh darinya - dan melihat seperti apa grafik STDP yang mereka dapatkan, maka grafik tersebut akan berbeda.

Untuk sinapsis yang dekat dengan ikan lele, jadwal akan terlihat klasik - sebagai variasi pada subjek pelatihan Hebb. Yaitu, seperti pada gambar di atas. Semakin jauh dari ikan lele, semakin kecil amplitudo pelatihan ini. Dan jika Anda mengambil sinapsis yang jauh, maka Anda dapat melihat hal-hal yang sangat aneh. Misalnya, jika lonjakan input (yang datang ke sinaps) mendahului output, maka percobaan tidak mengamati amplifikasi, tetapi pelemahan sinaps ini. Pelatihan Antihebbovskoe, Karl! Namun, adalah mungkin untuk mengembalikannya ke saluran Hebb jika adhesi dendritik dihasilkan pada dendrit yang jauh. Secara umum, dengan pelatihan dekat dengan sinapsis soma semua cukup baik, dan di paling tampak seolah-olah ada ~~bubur~~ algoritma pembelajaran yang lain [1] .

Mari kita lihat dari mana kaki ini berasal. Jadi, untuk iterasi STDP, perlu bahwa lonjakan dihasilkan dalam ikan lele. Setelah ini, sinapsis harus segera mencari tahu tentangnya . Untuk melakukan ini, diinginkan bahwa lonjakan menyebar ke mereka dari axon knoll. Berita baiknya adalah ini benar-benar terjadi. Neuron mengirimkan lonjakan tidak hanya ke neuron lain, tetapi juga kembali ke dendritnya. Berita "buruk" adalah bahwa dengan propagasi belakang lonjakan ini memudar. Terlalu cepat untuk menjangkau dendrit yang jauh. Sekarang sudah jelas mengapa pelatihan sinapsis dekat dan jauh berbeda. Masih mencari tahu apa yang terjadi di sinapsis yang jauh.

Penting untuk diingat di sini bahwa dendrit bukan konduktor gangguan pasif. Mereka sendiri tahu cara menghasilkan paku ketika mereka "menganggapnya perlu." Jika karena alasan tertentu dendrit menghasilkan lonjakan, dan pada saat yang sama lonjakan membusuk dari lele masuk ke zona ini, maka, setelah terbentuk dengan lonjakan dendritik, itu (mungkin) akan mendapatkan ~~tendangan~~ seperti angin kedua dan dapat menyebar lebih jauh ke subtree ini. Setidaknya ada hipotesis seperti itu. Hipotesis lain adalah bahwa mungkin sinapsis pada dendrit jauh dilatih secara umum tanpa menggunakan komisura somatik yang merambat mundur. Lebih lanjut tentang ini di bawah ini.

Efek menarik pada dendrit - lonjakan dendritik cukup untuk plastisitas

Jadi, apa yang Anda butuhkan agar sinapsis mulai bertambah berat? Adalah penting bahwa di tempat neuron ini mesin kimia yang sesuai dihidupkan. Untuk ini, pada gilirannya, perlu bahwa potensi pada membran di tempat ini digeser oleh beberapa gangguan yang cukup besar . Bagaimana bisa dibuat? EPSP rata-rata yang biasa terlalu kecil untuk ini. Tetapi jumlah EPSP dan propagasi balik somatik kembali mungkin sudah sesuai. Untuk beberapa waktu diyakini bahwa ini adalah cara utama untuk menyebabkan plastisitas.

Kemudian, dalam percobaan, ternyata adalah mungkin untuk secara artifisial menekan adhesi somatik dalam neuron dan masih mencatat peningkatan bobot dalam sinapsisnya sebagai respons terhadap stimulasi mereka (tidak ada). Ternyata plastisitas terjadi ketika stimulasi sinapsis cukup kuat untuk muncul komisura dendritik di tempat ini. Mereka adalah kemarahan yang cukup kuat untuk memicu plastisitas di tempat ini. [2] Ya, ya, tanpa partisipasi neuron lainnya. Artinya, "elemen minimal" pemrosesan informasi dapat dianggap bahkan bukan neuron, tetapi cabang dendritik yang terpisah.

Efek menarik dalam dendrit - pengelompokan

Dalam neuron hippocampal, ditemukan bahwa LTP (kenaikan berat badan jangka panjang) dari satu sinaps menurunkan ambang batas untuk LTP terjadi pada sinapsis tetangga. Kemudian, sebuah penelitian dilakukan untuk neuron dari korteks sensorik tikus, di mana neuron memproses data dari kumis. Dan ditemukan bahwa plastisitas sinaptik memiliki kecenderungan untuk berkelompok.

Neuron spesifik diambil, dan 15% dari sinapsis, yang paling intensif mengalami plastisitas, dipilih. Distribusi mereka di atas neuron tidak disengaja: bagian yang signifikan ternyata adalah tetangga - 50 dari 161. Kemudian neuron diambil dari korteks sensorik tikus, dari mana kumis terputus (yaitu, neuron menderita karena kurangnya informasi). Efek pengelompokan tidak ada dalam neuron tersebut. Tapi dia secara global lebih sensitif terhadap sinyal input [3] .

Efek menarik dalam dendrit - semuanya berubah dari penataan ulang istilah

Jadi, biarkan dua EPSP datang ke dendrite kami, seperti pada gambar di atas. Gangguan yang mereka sebabkan dalam soma tergantung tidak hanya pada besarnya EPSPs ini, tetapi juga pada:

1) jarak mereka dari soma
2) jarak mereka satu sama lain,

mari kita perhatikan secara berurutan. Jika EPSP berasal dari sinapsis ke dendrit, maka akan menyebar ke lele dan membusuk di sepanjang jalan. Artinya, semakin jauh, semakin memudar. Dan jika sinaps penghambatan yang diaktifkan menghalangi, maka EPSP akan segera mati. Jadi, jika kita memiliki dua EPSP yang agak jauh dari satu sama lain, maka mereka akan membawa dua gangguan kecil ke soma - dan kemudian jika Anda beruntung.

Tetapi jika mereka bersebelahan, maka dendrit dapat menghasilkan lonjakan di tempat ini. Ini adalah gangguan di mana amplitudo lebih besar dari sekedar jumlah EPSPs. Lonjakan dendritik sudah jauh lebih mungkin untuk lari ke ikan lele, dan kontribusinya akan lebih besar. [4] .

Sinkronisasi fitur tautan

(sinkronisasi mengkodekan relasi, pengikatan fitur)

Dari paragraf sebelumnya dapat disimpulkan bahwa waktu relatif lonjakan penting untuk proses plastisitas dalam sinapsis. Dan dalam hal ini seseorang tidak dapat melewati fenomena sinkronisasi temporal neuron. Fenomena ini ada di mana-mana dan, tampaknya, sangat mendasar, karena makan di semua tingkatan otak. Pertimbangkan contoh spesifik.

Elektroda ditanamkan ke dalam korteks visual, dan kemudian berbagai rangsangan visual ditunjukkan kepadanya. Pada catatan dari elektroda terlihat bahwa beberapa kelompok neuron terlibat dalam aktivitas osilasi yang sinkron dalam fase. Neuron-neuron ini dapat berada di tempat yang berbeda. Neuron cenderung bersinkronisasi jika diaktifkan oleh kontur pada gambar, yang kontinu atau bergerak pada kecepatan yang sama dan dalam satu arah (prinsip nasib bersama). Untuk korteks visual, kemungkinan sinkronisasi berkorelasi dengan seberapa besar rangsangan input memenuhi kriteria Gestalt .

_{Semua titik hijau di sini dianggap tidak secara terpisah, tetapi secara keseluruhan}

Hipotesis kerja menunjukkan bahwa korteks menggunakan sinkronisasi pelepasan dalam neuron untuk mengkodekan hubungan "keseluruhan" tentang bagian-bagian sinyal yang ditanggapi oleh neuron-neuron ini. Yaitu Selanjutnya, jawaban mereka akan diproses sebagai satu unit oleh jaringan saraf tingkat tinggi, karena justru paku inilah yang akan tiba di sana pada saat yang sama, yang berarti bahwa saya akan meringkas sebelum menghilang.

Sinkronisasi aktivitas di korteks pada jarak jauh adalah prasyarat untuk sinyal yang menyebabkan aktivitas ini (misalnya, kata yang harus dilihat) untuk mendapatkan akses ke zona persepsi sadar. Sinyal serupa, sedang diproses secara tidak sadar, hanya akan menyebabkan sinkronisasi lokal [5] .

Bagaimana populasi neuron disinkronkan adalah subjek investigasi [6] .

Plastisitas non-sinaptik

Selain bobot sinaps, karakteristik neuron lainnya juga dapat mengalami perubahan selama pelatihan. Kegembiraan umum dapat berubah (baca, ambang untuk generasi spike). Jika banyak bobot telah menguat, maka masuk akal bagi neuron untuk menurunkan rangsangannya. Dan jika sebaliknya - tingkat perubahan skala rendah, maka masuk akal untuk meningkat.

Contoh lain - akson dapat mengubah waktu di mana ia akan lonjakan ke penerima. Namun - jika Anda menstimulasi neuron pada frekuensi rendah untuk waktu yang lama, itu mengurangi rangsangannya, dan ini adalah efek jangka panjang.

Putar ulang

Di hippocampus, ada neuron yang merespons tempat tertentu di luar angkasa. Sel - sel tempat itu disebut. Yaitu, jika tikus berada di satu tempat labirin, maka satu sel tempat bereaksi secara maksimal, jika di tempat lain itu adalah tempat lain. Ketika tikus sedang tidur atau beristirahat, dalam hippocampus urutan-urutan sel tempat yang sesuai dengan jarak yang sebenarnya ditempuh sebelum rute-rute ini mulai bermain dengan kecepatan yang dipercepat. Untuk sel yang tersisa ini tidak diamati, yaitu, urutan ini tidak acak.

Dalam gambar: tikus mengikuti jejak langsung, dan kandang "biru" tempat diaktifkan terlebih dahulu, lalu "merah", dan kemudian "hijau". Kemudian dia menerima penguatan, dan pemutaran dipercepat urutan ini dalam urutan terbalik "biru merah hijau" dimulai.
Selain itu, hippocampus dapat memainkan tempat-tempat di masa depan sebelum tikus benar-benar mengunjungi mereka (preplay).

Tidak kalah menarik - proses replay dalam mimpi juga mempengaruhi korteks serebral. Artinya, baik di korteks dan di hippocampus itu direplikasi yang terhubung dengan pengalaman yang sama yang dialami selama terjaga sebelumnya [7] . Ada hipotesis bahwa hippocampus adalah modul untuk menghafal cepat, dan korteks adalah untuk pembelajaran mendalam yang lambat. Mungkin hippocampus mengingat peristiwa episode dalam urutan yang diikuti, dan kemudian "kehilangan" mereka ke korteks berulang-ulang dengan kecepatan yang dipercepat sehingga menarik pola tersembunyi dari urutan ini. Maka jelas mengapa seorang pasien dengan hippocampus jarak jauh kehilangan kemampuan untuk menciptakan ingatan jangka panjang yang baru, tetapi tidak kehilangan memori yang dilakukan sebelum operasi.

L-LTP ( LTP fase akhir )

Umur panjang dari perubahan bobot sinaps tidak hanya bergantung pada stimulus awal yang menyebabkannya, tetapi juga pada peristiwa yang terjadi sebelum dan sesudah . Eksperimen menunjukkan bahwa ingatan jangka pendek dari suatu stimulus dapat dikonsolidasikan ke dalam yang lebih lama jika hewan mengalami peristiwa yang kuat dalam rentang waktu tertentu di sekitar stimulus ini. Ini dicatat pada tingkat neuron individu. Biarkan beberapa protokol stimulasi berhasil menyebabkan peningkatan sinapsis jangka pendek. Ini dapat dibuat dalam jangka panjang jika stimulus yang kuat (secara tetanik) merangsang beberapa jalur lain yang bertemu pada neuron yang sama (tentu saja di dalam jendela waktu yang benar).

Penghambatan lateral

(penghambatan lateral, penghambatan surround, penindasan surround)

Prinsip sederhana ini diketahui para ilmuwan dari zaman gua. Mungkin Anda melihat ilusi seperti ini:

Pada awal ilmu saraf, diyakini bahwa neuron sedang mencari stimulus di bidang reseptifnya, dan jika stimulus yang diinginkan ditemukan di sana, maka neuron secara intensif menghasilkan paku. Jika tidak cukup ditemukan, tetapi tampaknya - itu juga menghasilkan paku, tetapi tidak begitu intensif. Dan kemudian ternyata aktivitas neuron dapat ditekan oleh aktivitas dari luar bidang reseptifnya .

Selain jaringan rangsang (itu juga yang utama), otak lain hadir di otak - jaringan interneuron penghambat. Neuron "utama" memberikan eksitasi dalam jaringan, dan biasanya, interneuron menghambatnya. Interneuron memiliki area aksi lokal. Ada lebih banyak neuron utama daripada interneuron, tetapi interneuron lebih beragam. Secara khusus, ilusi visual yang disebutkan diduga diambil karena interaksi neuron rangsang dengan yang penghambatan. Logikanya adalah sebagai berikut: semakin banyak neuron diaktifkan, semakin banyak menghambat (dengan bantuan interneuron) aktivitas di lingkungan. Neuron eksitasi bersaing satu sama lain untuk mendapatkan kontribusi terbesar pada sinyal untuk lapisan neuron berikutnya. Jika Anda sangat diaktifkan, maka Anda akan sangat memperlambat tetangga. Jika tetangga diaktifkan dengan lemah, maka mereka akan sedikit memperlambat Anda.Akibatnya, semua non-linearitas dalam data input “semakin menonjol”, dan lapisan berikutnya akan bekerja dengan ini.

Ilustrasi prinsip yang sangat jelas

- . , , .

Detektor Kesalahan Prediksi [8]

Neuron dopamin belajar mengikat semacam "kunci" pada sinyal input untuk menerima hadiah. Mereka menggunakan algoritma berikut:

(1) Jika hadiah yang tidak terduga terjadi, maka neuron merespons dengan meningkatkan frekuensi lonjakan ( kami memiliki kesalahan positif ).
(2) Setelah pelatihan, mereka sudah bereaksi terhadap "peristiwa utama", dan bukan pada penghargaan itu sendiri. Yaitu pada pendahulu hadiah mereka mengeluarkan peningkatan frekuensi. Dan untuk hadiahnya, jika sesuai jadwal, tidak ada reaksi ( kami tidak salah ).
(3) Jika neuron terlatih memprediksi hadiah, tetapi itu tidak terjadi, itu merespons dengan mengurangi frekuensi lonjakan ( kami memiliki kesalahan negatif )

Diyakini bahwa tidak hanya pelatihan asosiatif, tetapi juga pembentukan hubungan “sebab-akibat”. Misalnya, awan awan berkorelasi dengan hujan, karena sering terjadi - Anda melihat awan, dan kemudian Anda melihat hujan. Hal yang sama terjadi dengan payung: Anda melihat payung pada orang, dan kemudian Anda melihat hujan. Tetapi jika setidaknya sekali hujan mulai tanpa payung, sudah jelas bahwa payung bukan penyebab hujan.

Bonus bagi mereka yang membaca: terjadinya refleks terkondisi pada neuron tertentu

, - . : , ( ) , . , . .

, — . , , . “ ”. . , , -. . ( ) :

1) 100 000 ( )
2) ( - inferior olive)

( , ), — . , , , :

, (), (). — , — (ISI) (CS) (US) , .

, , . , . . , , - .[9].
, (supervised learning), , (unsupervised learning), — (reinforcement).

Kesimpulan

Sekilas, STDP yang sama mungkin tampak seperti algoritma pembelajaran lengkap untuk jaringan neuron spike. Namun pada kenyataannya saat ini tidak ada yang efektif belajar model lonjakan buatan. Artinya, mereka dapat melakukan sesuatu - misalnya, memberikan 95% pada patokan MNIST - tetapi tugas yang lebih sepele pada mereka tidak terlalu baik.

Jauh lebih banyak kemajuan dalam beberapa tahun terakhir telah terjadi di jaringan di mana paku tidak hadir sebagai kelas. Algoritma pelatihan di sana didasarkan pada gradient descent di atas permukaan kesalahan, di mana kesalahan adalah fungsi bobot sinaps. Bekerja dengan aspek waktu dicapai melalui umpan balik dalam topologi. Perhatian dan penguatan berhasil diperkenalkan ke jaringan ini. Terhadap latar belakang ini, model spike masih terlihat "buruk."

Manakah dari ini kesimpulannya? Sulit untuk mengatakannya dengan pasti. Mungkin terobosan dalam jaringan spike masih menunggu kita: bukan karena otak terdiri dari neuron spike. Dan mungkin model lonjakan saat ini sama sekali tidak memiliki kekuatan pemrosesan perangkat keras kami untuk "menunjukkan diri." Akhirnya, mungkin paku adalah fitur tingkat rendah dari bio-iron, di mana otak mengimplementasikan gradient descent yang sama secara tidak sengaja dalam beberapa bentuk. Namun, ini tidak termasuk dalam hipotesis kerja neurobiologi saat ini karena kurangnya alasan.

Beberapa algoritma di bawah kap otak