Geekly articles weekly

WTM (Waveform temporal memory) - model jaringan saraf untuk memecahkan masalah perilaku adaptif



Saya menyajikan kepada para pengguna jaringan model jaringan saraf yang dirancang untuk memecahkan masalah perilaku adaptif (dan subtugasnya: pengakuan dan prediksi urutan).

Kata Pengantar


Saya memasuki area ini (AI dan yang tetangga) secara kebetulan: artikel di waktu luang saya, yang lain, ketiga, buku, beberapa buku lagi, monograf, dan sebagainya. Ketika saya pindah dari literatur populer ke publikasi akademis saat ini, pemikiran "mengapa mereka melakukan ini salah?" (Sikap AI dan sistem adaptif lebih sederhana). Kemudian saya berpikir bahwa ide-ide mendasar yang mereka masukkan ke dalam model mereka tidak benar (mereka tidak mengarah pada hasil yang penulis harapkan). Kenalan dengan model yang "salah" terus berlanjut, amarah menumpuk. Jauh kemudian, saya menemukan ide "benar" dalam karya orang lain, tetapi sudah terlambat, ide itu terbentuk - akumulasi pikiran harus digabungkan menjadi satu model. Tentang dia dan akan dibahas.

Pendahuluan


Artikel ini dibagi menjadi dua bagian besar: teori dan implementasi WTM.

Konsep kemampuan beradaptasi

Kemampuan beradaptasi akan disebut kemampuan sistem kontrol (CS) dari objek otonom tertentu untuk mendapatkan pengetahuan tentang sifat-sifat sistem "lingkungan - objek kontrol - sistem kontrol", mengumpulkan pengetahuan ini dalam memorinya dan menggunakan pengetahuan ini untuk kontrol yang sesuai dari objek kontrol (OS).

Area perbaikan
. , , – , . - «» , , . -, , , - , ; , . -, , ; , , – , , – - , , – ad hoc. , . , , . , , , .. , , – , , .

Model yang ada

Daftar besar model dan informasi terkait di bawah nama umum model kognitif dapat ditemukan di sini dan di sini .

Prinsip Perilaku Adaptif

Bagi saya sendiri, saya telah mengidentifikasi serangkaian prinsip minimum yang diperlukan agar SU disebut adaptif.

  • SU harus terus beradaptasi dengan kejadian lingkungan.
  • SU harus memiliki set minimal tindakan perilaku bawaan atau refleks. Berdasarkan perangkat SU ini, proses adaptasi akan dimulai.
  • SU harus memiliki kemampuan untuk menggeneralisasi pengalamannya pada situasi lingkungan lainnya.

Bagian teoretis


Sebagai contoh kerja, kami akan mempertimbangkan masalah perilaku adaptif. Dalam perjalanan teks, singkatan WTM digunakan dalam arti "sebuah instance dari model memori sementara gelombang".

Adaptasi

Prinsip adaptasi berkelanjutan berarti bahwa seiring waktu kelayakan reaksi SU harus meningkat. Di sini kita dihadapkan dengan garpu, yang perlu dipertimbangkan secara lebih rinci. Proses "meningkatkan kemanfaatan" berbeda untuk sistem kontrol aktif dan reaktif.

Sistem aktif memiliki elemen yang bertanggung jawab untuk mengevaluasi fungsinya. Ini berisi kriteria kemanfaatan, dimana tindakan yang dilakukan oleh SU dievaluasi. Berdasarkan estimasi ini, keputusan dibuat dan perilaku sistem diubah untuk meningkatkan indikator kelayakan.

Perbedaan antara model reaktif adalah bahwa tidak ada unit penilaian perilaku di dalamnya. Karena itu, pencapaian peningkatan kemanfaatan perilaku dalam sistem seperti itu tidak mungkin dengan cara yang sama seperti pada yang aktif. Oleh karena itu, perlu menggunakan cara lain untuk mencapai kemanfaatan.

Untuk pemahaman yang lebih baik tentang perbedaan ini, mari kita pertimbangkan secara lebih rinci definisi kemampuan beradaptasi. Itu dapat dibagi menjadi dua bagian:

  1. Dalam proses berfungsinya, SU terus meningkatkan cakupan banyak peristiwa lingkungan dengan reaksi yang sesuai.
  2. Dalam proses berfungsinya, sistem kontrol terus-menerus mengganti reaksi yang ada dengan yang lain, lebih tepat

Dalam paragraf pertama, tidak ada perbedaan antara sistem aktif dan reaktif. Dalam kedua kasus, peningkatan cakupan dikurangi menjadi generalisasi dari pengalaman yang ada untuk situasi lingkungan baru. Perbedaannya terletak pada paragraf kedua. Sistem reaktif pada dasarnya tidak mampu, karena mereka tidak dapat mengevaluasi kesesuaian tindakan.

Ada dua cara alternatif untuk mencapai kemanfaatan.

  1. pilihan seperangkat tindakan perilaku awal, setelah generalisasi yang situasi lingkungan dasar untuk OS akan memiliki reaksi yang sesuai.
  2. melatih SU perilaku yang sesuai melalui lingkungan eksternal (pendidikan). Dalam hal ini, lingkungan bertindak sebagai agen aktif yang membangun efeknya pada OS sehingga model perilaku yang diperlukan terbentuk.

Meskipun kedua metode memiliki tujuan yang sama, mereka sangat berbeda baik dalam tindakan yang diperlukan maupun dalam biaya tenaga kerja.

Metode pertama digunakan untuk membuat serangkaian reaksi. Algoritma umum:

  1. Lakukan analisis mendalam tentang lingkungan OS di masa depan, untuk mengidentifikasi situasi utama yang memerlukan respons yang sesuai.
  2. Temukan reaksi yang sesuai untuk situasi yang ditemukan.
  3. Buat sebuah instance dari sistem reaktif di mana set reaksi dasar terdiri dari pasangan situasi-reaksi yang diperoleh.

Metode kedua digunakan untuk membuat satu reaksi. Algoritma umum:

  1. Penting bagi pengembang untuk menciptakan insentif yang kompleks, respons yang akan menjadi perilaku yang diinginkan
  2. Dalam proses berfungsinya, ketika situasi yang diperlukan terjadi, pengembang harus bertindak pada OS dengan insentif yang dibuat sehingga SU melakukan reaksi yang diperlukan.
  3. Ulangi langkah 2 sampai efeknya diperbaiki.

Keuntungan dari metode kedua adalah dapat digunakan kapan saja oleh robot sistem kontrol, sedangkan metode pertama hanya dapat diterapkan pada tahap pembuatan model instance. Kondisi agar metode kedua berfungsi - pengembang harus mengetahui serangkaian reaksi sistem kontrol

Pelatihan

Belajar di WTM adalah proses dua bagian: menyoroti pola lingkungan dan mempertahankan urutan respons CS terhadap pola-pola ini. Kalau tidak, belajar adalah proses akumulasi pasangan dari tipe [keteraturan lingkungan - reaksi].

Pola media adalah urutan sinyal lingkungan yang sering diulang. Frekuensi pengulangan dari urutan yang diperlukan untuk menghafal diatur dalam WTM oleh pengembang pada tahap menciptakan sistem (lebih tepatnya, pada titik "Implementasi").

Pelestarian urutan reaksi SU

Untuk melestarikannya, mekanisme hubungan asosiatif digunakan.

Koneksi asosiatif adalah fenomena di mana aktivitas satu elemen memori (ES) menyebabkan aktivasi ES lain. Kami akan menunjukkan A → B, di mana A dan B adalah elemen memori. Transisi asosiatif adalah proses penerapan komunikasi asosiatif. Untuk asosiasi A → B, transisi asosiatif berarti awal aktivitas B setelah aktivitas A.

Elemen memori (EP) adalah pola (atau pola) aktivitas jaringan saraf. Aktivasi dapat terjadi sebagai respons terhadap sinyal dari lingkungan, serta karena transisi asosiatif. Perlu dicatat bahwa setiap reaksi dari jaringan saraf adalah ES, tetapi tidak setiap ES adalah reaksi dari jaringan. Dengan aktivitas EP, kami memahami aktivitas neuron yang memasukinya.

Kekuatan komunikasi asosiatif adalah nilai numerik yang mencirikan kemampuan komunikasi asosiatif untuk mengaktifkan EP terakhirnya. Untuk asosiasi A → B, gaya mengikat akan menjadi kemampuan A → B untuk mengaktifkan B. Dibutuhkan nilai nyata dalam kisaran [0, 1], dan berarti rasio jumlah neuron yang diaktifkan B dengan jumlah semua neuron B. Nilai tidak digunakan dalam implementasi, tetapi diperlukan untuk memahami model. .

Proses melestarikan urutan reaksi SU terdiri dari penciptaan terus-menerus hubungan asosiatif antara reaksi berurutan jaringan terhadap sinyal lingkungan. Saat membuat koneksi asosiatif, itu diberikan nilai awal kekuatan komunikasi. Dengan setiap kemunculan EP berulang, kekuatan hubungan asosiatif meningkat sesuai dengan fungsi menghafal.

Isolasi pola

Identifikasi pola didasarkan pada interaksi fungsi menghafal dan melupakan. WTM mengingat semuanya. Semakin sering suatu pola terjadi, semakin kuat jadinya (semakin kuat hubungan asosiatif dalam komposisinya). Pada saat yang sama, pola dilupakan. Semakin jarang suatu pola, semakin lemah jadinya (semakin kuat hubungan asosiatif dalam komposisinya). Dari korelasi fungsi mengingat dan melupakan, berikut asosiasi yang akan tetap dalam ingatan dan yang akan dilupakan.

Tidak akan salah memberi contoh korelasi fungsi menghafal dan melupakan. Kami mempertimbangkan dua kasus ekstrem. Kasus pertama - mengingat menang lebih dari lupa. Kasus ini mengarah ke:

  • menghafal pola yang sangat rinci
  • tingkat pengisian memori tertinggi

Jika lupa menang atas menghafal, semuanya justru sebaliknya:

  • hanya pola paling umum yang diingat
  • kecepatan pengisian minimum

Saat ini, pemilihan fungsi menghafal dan melupakan yang cocok adalah salah satu tahapan terpenting dalam membuat instance WTM, karena dalam kondisi saat ini WTM memiliki ukuran memori yang terbatas dan tidak memiliki mekanisme untuk meningkatkannya.

Tindakan perilaku dasar

Dalam rangkaian dasar reaksi, di samping reaksi yang menyediakan kebijaksanaan, harus ada satu lagi kelas reaksi - dasar fungsional sistem. Unsur-unsur dasar fungsional sesuai dengan tindakan perilaku dasar OS (angkat kepala, tekuk jari pertama pada phalanx kedua, dll.). Semua perilaku akan menjadi kombinasi dari tindakan dasar perilaku (hanya mereka).

Pada tingkat jaringan saraf, unsur-unsur dasar fungsional adalah urutan EP. Pengaruh lingkungan yang cocok dipilih untuk mereka. Setelah itu, kami mendapatkan banyak pasangan [keteraturan lingkungan - reaksi], sesuai dengan basis fungsional yang dipilih.

Perilaku dalam model reaktif

Banyak sumber mencerminkan ide sistem reaktif sebagai perwujudan prinsip [stimulus -> reaksi]. Dalam sistem seperti itu, diyakini bahwa stimulus dan reaksi dipisahkan oleh interval waktu minimum (baca waktu yang diambil untuk melewati busur refleks atau struktur serupa). Definisi mereka mengikuti prinsip dasar sistem reaktif - determinisme. Namun, itu tidak sepenuhnya benar. Skema yang lebih akurat terlihat seperti ini [stimulus -> reaksi internal; perubahan deterministik dari keadaan internal; keadaan internal -> aktivitas eksternal (kata reaksi digantikan oleh aktivitas karena dalam sistem seperti itu perilaku bergantung pada banyak rangsangan, dan bukan pada satu)] (lihat Gambar 1). Perbedaan antara definisi ini adalah keberadaan model keadaan internal. Perambatan sinyal juga merupakan proses yang sangat menentukan,Namun, SU tidak lagi merupakan otomat dengan respons instan terhadap rangsangan. Dalam model seperti itu, stimulus dapat memiliki reaksi eksternal atau tidak. Juga, rangsangan dan reaksi eksternal dapat saling menjauh satu sama lain dari waktu ke waktu dalam jarak yang jauh. Jaringan saraf (khususnya WTM) termasuk dalam kelas sistem ini (jaringan saraf dinamis tersirat).



Bagian pertama dari skema (Gbr. 1.b.1), reaksi internal dalam WTM hanyalah reaksi jaringan terhadap stimulus. Mekanisme asosiasi bertanggung jawab atas bagian kedua skema (Gbr. 1.b.2). Pada setiap siklus, WTM memiliki status. Untuk kondisi ini, mungkin ada hubungan asosiatif yang cocok. Maka proses penentuan keadaan transisi adalah proses transisi berkelanjutan melalui hubungan asosiatif. Dengan kata lain, ini adalah proses mereproduksi pola yang diingat sebelumnya. Bagian ketiga dari skema (Gbr. 1.b.3) mengikuti dari yang kedua. Aktivitas eksternal akan terjadi jika ada aktivitas eksternal dalam pola yang dapat direproduksi.

Generalisasi

Generalisasi adalah proses mentransfer reaksi perilaku dari satu peristiwa lingkungan ke peristiwa lain, yang merupakan abstraksi dari yang pertama (abstraksi adalah objek yang tidak memiliki seperangkat properti dibandingkan dengan objek lain (disebut asli, atau kasus khusus).

Seperti yang kita ketahui, urutan reaksi SU disimpan dalam WTM dalam rantai EP asosiatif terkait Kemudian dari segi WTM pola abstrak -.. rantai EPO dan hubungan asosiatif, di mana EP asli dan asosiasi digantikan oleh abstraksi mereka

abstraksi P - adalah EP, dari set neuron yang disita dari neuron Abstraksi asosiasi -. Hubungan ini antara abstraksi kekuatan EP dari Abstractions asosiasi bisa kurang dari atau sama dengan kekuatan pembicara asli ..

Kami mendapatkan bahwa, mengingat prinsip membangun jaringan saraf (satu neuron - satu properti), abstraksi ES dan AS adalah bagian dari ES dan AS asli. Oleh karena itu, agar generalisasi terjadi, EP perlu di rantai yang baru cukup dekat dengan EP di yang digeneralisasi. Lebih lanjut tentang "kedekatan yang memadai" akan dijelaskan nanti.

Karena integrasi prinsip generalisasi dalam jaringan saraf, ternyata dalam WTM tidak hadir sebagai mekanisme yang terpisah, tetapi hanya bagian dari proses perambatan sinyal melalui jaringan.

Stabilitas pengakuan terhadap deformasi. Konteks situasional

Urutan reaksi yang dihafalkan menggabungkan ikatan asosiatif dengan kekuatan ikatan yang berbeda. Kasus ekstrem adalah keteraturan yang memiliki semua kekuatan sama dengan 1. Ini akan direproduksi secara sempurna total dari penampilan 1 elemennya. Namun, ini adalah kasus yang ekstrem. Urutan "band tengah" ditandai oleh situasi yang berbeda. Mereka hanya dapat direproduksi secara efektif jika peristiwa lingkungan sesuai dengan mereka.

Artinya, untuk penggunaan normal urutan yang dihafal, yang saat ini harus bertepatan dengan mereka untuk mengalahkan. Keadaan ini tidak baik, dan karena itu WTM memiliki mekanisme untuk konteks situasional. Masalah yang dijelaskan bukan satu-satunya. Jenis utama deformasi 3:

  1. menata ulang peristiwa secara berurutan.
  2. munculnya urutan kejadian baru antara elemen yang berdekatan.
  3. melewatkan elemen urutan

Jadi, mekanisme konteks situasional. Ini terdiri dari dua bagian:

  1. kami memodifikasi setiap EP, menambahkan konteksnya untuk itu
  2. kami mengubah rasio fungsi menghafal dan melupakan ke arah penguatan lupa. Ini membuat WTM mengingat lebih sedikit detail. Kompensasi ukuran berkas elektron.

Konteks situasional adalah deskripsi singkat tentang peristiwa di dekatnya. Interval waktu apa yang dianggap terdekat menentukan pengembang. Anda dapat membayangkannya sebagai penyimpanan sementara, dari mana informasi tentang acara tertua diekstraksi pada setiap siklus WTM, dan informasi tentang yang baru ditambahkan.

Konteksnya tidak sangat tergantung pada urutan kejadian (implementasi tergantung). Dengan demikian, untuk transisi asosiatif yang berhasil (baca pengakuan berhasil), perlu untuk tidak mengulangi rincian lebih lanjut dalam ES saat ini, tetapi untuk mengulangi peristiwa sebelumnya yang sama.

Untuk urutan, ini berarti semakin jauh reproduksi urutan berjalan, semakin besar kemungkinan bahwa pemutaran akan terus berlanjut.

Kelembaman

Mekanisme konteks situasional meningkatkan inersia pengakuan WTM. Pengakuan inersia mengacu pada kecenderungan WTM untuk melanjutkan pengenalan pola.

Grup Konteks

Tergantung pada hubungan antara ukuran konteks dan EP awal, sifat-sifat WTM sangat bervariasi. Jika ukuran yang dipilih dari konteks situasional lebih besar dari ukuran ES, maka perilaku WTM akan lebih lembam. Perilaku WTM akan terdiri terutama dari sekuens reaksi yang menggabungkan unsur-unsur konteks saat ini (jika interval cakupan konteks besar, maka laju perubahan kecil, dan rasio perubahan terhadap ukuran total kecil). Dengan demikian, kita dapat mengatakan bahwa urutan reaksi dibagi menjadi kelompok-kelompok sesuai dengan konteks situasional umum. Pembagian ke dalam kelompok-kelompok juga didukung oleh fakta bahwa ketika mereproduksi urutan reaksi dari kelompok tertentu, kami menambahkan keteraturan ini ke dalam konteks, dengan demikian memperbaruinya, mempertahankannya dalam keadaan yang sama.

Implementasi


Untuk semua konsep yang dipertimbangkan dalam bagian teoritis, deskripsi implementasi mereka dalam hal jaringan saraf akan diberikan.

Struktur umum

  • WTM adalah jaringan saraf multilayer dengan neuron impuls.
  • Jaringan memiliki umpan balik langsung dan juga.
  • Sifat ikatan antara lapisan adalah lokal (mis., Tidak sepenuhnya terhubung) baik dalam arah maju dan mundur.
  • Operasi jaringan dibagi menjadi ketukan. Untuk satu jam, perambatan sinyal antara lapisan-lapisan jaringan yang berdekatan.
  • Lapisan memiliki angka integer mulai dari 1.
  • Antara neuron, jarak yang sama dengan jarak antara lapisan yang mengandung neuron ini diatur.
  • Jaringan menerima sinyal input setelah periode waktu T yang telah ditentukan (periode operasi jaringan) T diukur dalam tick.
  • Sinyal dimasukkan ke jaringan pada frekuensi siklus Tinput yang telah ditentukan. Tinput adalah kelipatan dari T.
  • WTM . . . 1 .



Dan sekarang ada beberapa definisi.

Karena kesamaan proses perambatan sinyal melalui jaringan dengan gelombang, model menerima bagian dari namanya - gelombang. Bagian "memori sementara" dipinjam dari Jeff Hawkins HTM (memori hierarkis sementara) karena kesamaan antara model

-model.Pada bagian teoretis, EP direpresentasikan sebagai objek statis. Untuk memahami WTM, pendekatan ini cocok. Dalam implementasi WFM, ES adalah objek dinamis. ES diperpanjang dalam waktu, dan pada setiap saat dari periode durasinya hanya sebagian ES yang aktif.
ES dalam proses propagasi mereka melalui jaringan akan disebut gelombang. "Gelombang depan" (lapisan dengan aktivitas saraf) adalah bagian yang sangat aktif dari EP.

Menghafal EP

EP disimpan menggunakan aturan plastisitas sinaptik Hebb. Aturan Hebb menyatakan bahwa jika aktivitas satu neuron terlibat dalam eksitasi neuron lain, maka kekuatan koneksi sinaptik di antara mereka harus meningkat.

Hubungan asosiatif

AS antara ES dibuat menggunakan umpan balik yang ada di jaringan. AS menghubungkan dua gelombang aktivitas yang berurutan. Untuk ini, panjang umpan balik dipilih sama dengan T / 2 (periode operasi jaringan). Koneksi sinaptik yang membentuk penutur juga mematuhi aturan Hebb. Proses pembentukan pembicara:

  1. sinyal diterima di neuron input, menyebabkan propagasi gelombang aktivitas
  2. setelah waktu T sinyal kedua tiba, menyebabkan rambatan gelombang aktivitas
  3. dari gelombang pertama sinyal umpan balik bergerak ke arah gelombang kedua
  4. /2 /2
  5. /2.

Jika tidak ada gelombang kedua, hanya itu yang akan membuat aktivitas setelah gelombang pertama. Pada bagian teoretis, ini disebut transisi asosiatif (juga pengakuan). Aktivitas saraf yang muncul sebagai akibat dari transisi asosiatif di bagian teoretis disebut EP yang dibuat oleh koneksi asosiatif.

Kekuatan komunikasi asosiatif. Pada tingkat implementasi, ini adalah nilai numerik yang mencirikan kemampuan satu gelombang aktivitas untuk menciptakan gelombang lain melalui umpan baliknya. Proses menjaga urutan reaksi terdiri dari penciptaan hubungan asosiatif yang berkelanjutan antara gelombang aktivitas yang berurutan, serta konservasi gelombang itu sendiri.

Fungsi memori adalah fungsi yang sesuai dengan nilai-nilai koefisien berat ditingkatkan dalam proses pengaturannya. Tergantung pada berat sinaps saat ini. Fungsi Lupa adalah fungsi sesuai dengan yang nilai-nilai koefisien pembobotan menurun dari waktu ke waktu. Tergantung pada berat sinaps saat ini.

Perilaku

Generalisasi adalah proses mentransfer reaksi perilaku dari satu peristiwa lingkungan ke peristiwa lain, yang merupakan abstraksi yang pertama. Pada tingkat jaringan saraf, ini berarti mempertahankan kekuatan koneksi asosiatif dari beberapa keteraturan pada tingkat yang cukup, ketika mengganti elemen ingatannya dengan beberapa abstraksi mereka.

Konteks situasional

Konteks situasional adalah karakteristik terkompresi dari kejadian terdekat, yang ditambahkan ke EP saat ini untuk meningkatkan kualitas generalisasi pola. Untuk implementasinya, mekanisme tambahan untuk operasi neuron diperkenalkan - penurunan ambang aktivasi.

Mekanisme untuk menurunkan ambang aktivasi: setelah neuron dalam keadaan aktif, ambang aktivasi neuron harus dikurangi. Seiring waktu, nilai ambang kembali ke nilai awal. Pengurangan terjadi sesuai dengan fungsi reduksi ambang batas. Nilai fungsi tergantung pada nilai ambang saat ini.

Pertimbangkan sebuah contoh. Misalkan urutan sinyal diterapkan ke WTM dengan mekanisme reduksi ambang batas. Setelah setiap gelombang, bagian dari neuron akan mengurangi ambang aktivasi. Ini akan mengarah pada fakta bahwa dalam gelombang berikutnya akan ada aktivitas yang tidak akan tanpa mengurangi ambang. Kegiatan ini akan menjadi ciri khas singkat kami dari situasi tersebut.

Hal utama adalah bahwa ketika mengulangi sinyal yang sama, aktivitas tambahan juga akan diulang.

Implementasi mekanisme konteks ini dipilih karena kesederhanaannya dan efek satu sisi, yang sesuai dengan tujuan memperkenalkan mekanisme konteks seperti itu.

Efek itu sendiri: setelah propagasi gelombang tertentu di sepanjang WTM, propagasi berulangnya disederhanakan. Selain itu, propagasi gelombang yang mengandung neuron yang sama (dibaca dari kelompok konteks yang sama) disederhanakan. Efek ini dapat disebut memori jangka pendek WTM. Ini sesuai dengan tujuan memperkenalkan mekanisme konteks - untuk meningkatkan inersia pengakuan.

Paket Instansi WTM

  1. Berdasarkan tugas yang ditetapkan untuk WTM, untuk membedakan peristiwa lingkungan yang memerlukan reaksi eksternal.
  2. Sorot dasar fungsional WTM.
  3. Pilih reaksi yang memadai (sesuai). Reaksi ini akan disebut basa.
  4. Buat WTM yang cocok dengan rangkaian reaksi dasar yang dipilih.
  5. Berikan pelatihan tambahan untuk WTM menggunakan efek pada opamp melalui media.

Kesimpulan


Ini adalah deskripsi WTM yang hampir lengkap. Bidang pekerjaan selanjutnya:

  1. aplikasi uji model (mereka sebelumnya, tetapi setelah itu model telah mengalami perubahan, jadi semuanya baru).
  2. penentuan pola pemilihan karakteristik jaringan (panjang jaringan, jumlah neuron dalam satu lapisan, jumlah koneksi langsung dan umpan balik, ...) dan fungsi internal (menghafal, melupakan, pengurangan ambang aktivasi, ...). Lebih tepatnya, hubungan timbal balik mereka, yang akan memberikan jaringan properti yang diperlukan (kapasitas memori, detail pola yang dialokasikan, durasi penyimpanan, tingkat generalisasi, ...).
  3. Menambahkan fitur pertumbuhan jaringan ke WTM untuk mengatasi keterbatasan memori.

Saya akan senang kritik membangun, dan umumnya pengetahuan dan pengalaman tentang ini dan topik terkait.

Source: https://habr.com/ru/post/id389877/

More articles:


All Articles