Algoritma pembelajaran mesin biner dengan struktur dinamis



Jika kita mempertimbangkan algoritma pembelajaran mesin hari ini dengan gerakan dari ketidaktahuan (bawah) ke kesadaran (atas), maka algoritma saat ini seperti lompatan. Setelah lompatan, ada perlambatan dalam tingkat perkembangan (kemampuan belajar) dan gilirannya dan jatuh tak terhindarkan (pelatihan ulang). Semua upaya direduksi menjadi upaya mengerahkan kekuatan sebanyak mungkin untuk lompatan, yang meningkatkan ketinggian lompatan tetapi tidak secara fundamental mengubah hasil. Saat memompa melompat, kita menambah ketinggian, tetapi tidak belajar terbang. Untuk menguasai teknik "penerbangan terkendali" perlu memikirkan kembali beberapa prinsip dasar.

Dalam jaringan saraf, struktur statis digunakan yang tidak memungkinkan untuk melampaui kemampuan belajar seluruh struktur. Dengan memperbaiki ukuran jaringan dari jumlah neuron yang tetap , kami membatasi ukuran kemampuan belajar jaringan yang tidak dapat dilewati oleh jaringan. Pemasangan sejumlah besar neuron saat membuat jaringan memungkinkan Anda meningkatkan kemampuan belajar, tetapi akan memperlambat waktu belajar. Perubahan dinamis dalam struktur jaringan selama pelatihan dan penggunaan data biner akan memberikan sifat unik jaringan dan akan menghindari keterbatasan ini.

1. Struktur jaringan yang dinamis


Jaringan itu sendiri harus membuat keputusan tentang ukurannya. Bila perlu, tumbuh ke arah yang benar dengan memperbesar ukuran. Saat membuat jaringan, satu neuron, layer atau dua, kita tidak dapat secara jelas mengetahui kemampuan pelatihan yang diperlukan dari jaringan dan, akibatnya, ukurannya. Jaringan kami harus mulai dari awal (benar-benar kekurangan struktur) dan harus dapat berkembang ke arah yang benar secara mandiri ketika data pelatihan baru tiba.

2. Redaman sinyal

gambar
Jaringan saraf yang terlibat dalam penjumlahan sinyal menggunakan pendekatan "analog" untuk perhitungan. Konversi banyak kali menyebabkan redaman sinyal dan kehilangan selama transmisi. Pada ukuran jaringan besar, metode perhitungan "analog" pasti akan menyebabkan kerugian. Dalam jaringan saraf, masalah pelemahan sinyal dapat diselesaikan dengan jaringan berulang, pada kenyataannya menjadi penopang hanya mengurangi masalah, tidak menyelesaikannya sepenuhnya. Solusinya adalah menggunakan sinyal biner. Jumlah transformasi dari sinyal semacam itu tidak mengarah pada pelemahan dan kehilangan selama transformasi.

3. Kemampuan belajar jaringan


Memperluas struktur saat kita belajar, kita meningkatkan kemampuan mengajarnya. Jaringan itu sendiri menentukan dari tugas ke arah mana untuk mengembangkan dan berapa banyak neuron yang dibutuhkan untuk menyelesaikan masalah. Ukuran jaringan hanya membatasi daya komputasi server dan batas ukuran hard disk.

4. Pelatihan jaringan


Ketika mengubah sinyal dari analog ke jaringan biner, ia mendapat peluang untuk pembelajaran yang dipercepat. Pelatihan memberikan pengaturan yang tidak ambigu dari sinyal output. Proses pembelajaran itu sendiri hanya mengubah sebagian kecil neuron, sehingga sebagian besar neuron tidak berubah. Waktu pelatihan dikurangi berkali-kali terbatas pada perubahan dalam beberapa elemen jaringan.

5. Perhitungan jaringan


Untuk menghitung jaringan saraf, kita perlu menghitung semua elemen. Melewatkan perhitungan bahkan bagian dari neuron dapat menyebabkan efek kupu-kupu, di mana sinyal yang tidak signifikan dapat mengubah hasil dari seluruh perhitungan. Sifat sinyal biner berbeda. Pada setiap tahap, dimungkinkan untuk mengecualikan bagian dari data dari perhitungan tanpa konsekuensi. Semakin besar jaringan, semakin banyak elemen yang dapat kita abaikan dalam perhitungan. Penghitungan hasil jaringan dilakukan dengan menghitung sejumlah kecil elemen hingga sepersekian persen dari jaringan. Untuk perhitungan, 3,2% (32 neuron) dengan jaringan seribu neuron, 0,1% (seribu) dengan sejuta "neuron" dalam jaringan, dan 0,003% (32 ribu) dengan jaringan satu miliar "neuron" dalam ukuran cukup. Dengan peningkatan ukuran jaringan, persentase neuron yang dibutuhkan untuk menghitung berkurang.

6. Interpretasi hasil


Dalam jaringan saraf, bobot dikalikan dengan koefisien membuatnya tidak mungkin untuk membangun sumber sinyal. Semua sinyal yang masuk dari jaringan saraf, tanpa kecuali, mempengaruhi hasilnya, mempersulit pemahaman alasan yang menyebabkan pembentukannya. Pengaruh sinyal biner pada hasilnya bisa nol, parsial atau lengkap, yang dengan jelas menunjukkan partisipasi data sumber dalam perhitungan. Metode biner untuk menghitung sinyal memungkinkan Anda melacak hubungan data yang masuk dengan hasilnya dan menentukan tingkat pengaruh data sumber pada pembentukan hasil.

Semua hal di atas menunjukkan perlunya mengubah pendekatan untuk algoritma pembelajaran mesin. Metode klasik tidak memberikan kontrol penuh terhadap jaringan dan pemahaman yang jelas tentang proses yang terjadi di dalamnya. Untuk mencapai "penerbangan terkontrol", diperlukan untuk memastikan keandalan konversi sinyal dalam jaringan dan pembentukan dinamis struktur dengan cepat.

Source: https://habr.com/ru/post/id474954/


All Articles