Menurut IBM, akurasi
TrueNorth memenuhi sistem pengenalan gambar dan pengenalan suara terbaik saat ini, tetapi juga menggunakan lebih sedikit energi dan lebih cepat. Tim peneliti perusahaan yakin bahwa kombinasi jaringan konvolusional dengan sirkuit mikro neuromorfik akan memungkinkan kita untuk membuat mobil pintar dan smartphone yang lebih maju yang dengan benar mengenali perintah suara seseorang, bahkan jika dia berbicara dengan mulut penuh. Mari kita coba mencari tahu apa kelebihan dan kekurangan TrueNorth, dan di mana ia menemukan aplikasi.
Otak manusia mengandung sekitar 86 miliar neuron - sel yang terhubung ke ribuan neuron lain melalui proses sinapsis. Neuron menerima sinyal dari banyak yang lain, dan ketika stimulasi mencapai ambang tertentu, ia "aktif" dengan mengirimkan sinyal sendiri ke neuron di sekitarnya. Otak belajar, khususnya, dengan menyesuaikan ikatan yang kuat. Ketika urutan tindakan diulangi, misalnya, melalui latihan, sinapsis bersamaan menjadi lebih kuat, dan pelajaran atau keterampilan yang dipelajari “cocok” ke dalam jaringan.
Pada tahun 1940-an, para ilmuwan mulai membuat model neuron secara matematis, dan pada tahun 50-an, mereka menciptakan jaringan neuron dan komputer. Neuron dan sinapsis artifisial jauh lebih sederhana daripada di otak, tetapi beroperasi dengan prinsip yang sama. Banyak unit sederhana - neuron - terhubung ke yang lain melalui "sinapsis" dengan nilai numeriknya bergantung pada nilai unit.
Jaringan saraf convolutional (CNN) adalah jenis jaringan khusus yang telah mendapatkan popularitas selama beberapa tahun terakhir. CNN mengekstrak fitur penting dari insentif - biasanya foto. Ambil, misalnya, foto seekor anjing. Ini dapat direpresentasikan sebagai lapisan neuron, di mana aktivasi satu neuron mewakili satu piksel dalam gambar. Pada lapisan berikutnya, setiap neuron akan menerima input dari satu set lapisan pertama dan mengaktifkannya jika mendeteksi pola tertentu dalam set ini, bertindak sebagai filter.
Pada lapisan berikutnya, neuron akan mencari pola dalam pola, dan seterusnya. Dalam satu lapisan, filter bisa peka terhadap struktur tertentu. Pertama-tama ke batas-batas gambar, lalu ke kaki, lalu ke anjing-anjing, sampai jaringan dapat menentukan perbedaan antara anjing dan pemanggang.
Sekarang, perhitungan seperti itu mahal. Mengingat bahwa ada milyaran neuron dan triliunan sinapsis di otak manusia, tiruan dari masing-masing belum memungkinkan. Bahkan mensimulasikan sebagian kecil otak akan membutuhkan jutaan perhitungan untuk setiap elemen input, yang membutuhkan kekuatan pemrosesan yang sangat besar. CNN modern terbesar dapat memiliki jutaan neuron dan milyaran sinapsis, tetapi tidak lebih.
Arsitektur komputasi klasik dari prosesor terpusat, yang dirancang untuk memproses satu instruksi pada satu waktu, tidak cocok untuk tugas-tugas yang diberlakukan CNN. Oleh karena itu, para ilmuwan beralih ke komputasi paralel, yang dapat memproses beberapa sekaligus. Jaringan saraf modern menggunakan prosesor grafis, yang biasanya menghitung grafik permainan video dan CAD. Karena arsitektur dan persamaan perhitungan matematis, kartu video cocok untuk pembelajaran yang mendalam.
Namun tetap saja, perangkat kerasnya tidak mengatasi pembelajaran yang dalam sama efektifnya dengan otak, yang dapat mengendarai mobil dan pada saat yang sama berbicara tentang masa depan kendaraan otonom, sambil mengonsumsi lebih sedikit energi daripada bola lampu.
Pada 1980-an, insinyur Carver Mead menciptakan istilah "prosesor neuromorfik" untuk menggambarkan chip komputer yang bekerja dengan cara seperti otak. Karyanya meletakkan dasar untuk area ini. Meskipun istilah "neuromorfik" sekarang diterapkan pada berbagai solusi, mereka semua mencoba mengulangi mekanisme operasi jaringan saraf pada tingkat perangkat keras, menghindari kemacetan yang dihadapi prosesor tradisional.
Melihat perlunya pembelajaran mesin yang cepat dan efisien, Kantor Proyek Lanjutan Departemen Pertahanan AS (lebih dikenal dengan akronimnya DARPA) telah secara aktif mendanai laboratorium perusahaan IBM HRL Laboratories sejak 2008 untuk mengembangkan mesin neuromorfik yang dapat dengan mudah diskalakan.
TrueNorth
Pada tahun 2014, IBM
memperkenalkan chip TrueNorth di sampul Majalah Science. Sejak itu, perusahaan telah mengembangkan sistem berbasis TrueNorth dengan dukungan keuangan dari Departemen Energi AS, Angkatan Udara, dan Angkatan Darat. Salah satu chip tersebut berisi satu juta "neuron", yang masing-masing diwakili oleh sekelompok transistor digital, dan 256 juta "sinapsis" - koneksi kabel antara chip.
Arsitektur neuromorfik menjadi lebih efisien daripada chip konvensional karena dua fungsi. Pertama, chip semacam itu, seperti otak, berkomunikasi melalui "flash" - paket informasi satu dimensi yang dikirim dari satu neuron ke neuron yang turun. Sinyal sederhana (apakah ada flash atau tidak) dan ditransmisikan hanya sesekali ketika neuron mentransmisikan paket. Kedua, sama seperti di otak, pemrosesan dan memori terletak di neuron dan sinapsis. Pada komputer tradisional, unit pemrosesan data secara konstan mengekstraksi informasi dari area memori individual, melakukan operasi, dan kemudian mengembalikan informasi baru ke memori. Hal ini menyebabkan banyak kegiatan yang lambat dan menghabiskan energi.
Sistem TrueNorth cukup fleksibel, karena dapat diprogram untuk mengimplementasikan jaringan dengan ukuran dan bentuk yang berbeda dan diskalakan dengan “memecahkan” beberapa chip. Dalam karya ilmiahnya, tim IBM menggunakan chip neuromorfik untuk mengidentifikasi orang, sepeda, dan mobil dalam rekaman video di jalan. Eksperimen perbandingan menunjukkan bahwa perangkat lunak TrueNorth yang berjalan pada mikroprosesor tradisional menggunakan energi 176 ribu kali lebih banyak untuk tugas ini.
Bagian penting dari proyek IBM adalah penciptaan tidak hanya chip, tetapi juga perangkat lunak. Perusahaan telah menciptakan simulator, bahasa pemrograman baru dan perpustakaan algoritma dan aplikasi. Perusahaan kemudian menyediakan alat-alat ini kepada lebih dari 160 peneliti di laboratorium akademik, nasional dan perusahaan. Desain TrueNorth selesai pada 2011, dan revolusi jaringan saraf convolutional terjadi pada 2012 sebagai bagian dari
Tantangan ImageNet . Maka beberapa orang mulai bertanya-tanya apakah chip TrueNorth dapat menangani jaringan ini.
CNN menggunakan metode backpropagation. Setiap kali jaringan membuat kesalahan, perbedaan antara asumsi dan jawaban yang benar dihitung. Algoritma propagasi kesalahan kembali mempertimbangkan setiap neuron di lapisan akhir dan menghitung berapa banyak perubahan dalam output neuron ini akan mengurangi total kesalahan. Kemudian ia kembali ke neuron-neuron sebelumnya dan menghitung berapa banyak perubahan dalam kekuatan setiap sinaps yang masuk akan mengurangi kesalahan keseluruhan.
Perlu untuk mengetahui apakah kekuatan sinaptik harus ditingkatkan atau diturunkan, sehingga algoritme sedikit menyesuaikan setiap bobot ke arah yang benar. Selanjutnya, algoritma menghitung kesalahan baru menggunakan bobot baru dan mengulangi seluruh proses. Setelah banyak langkah seperti itu, kesalahan berkurang dalam proses yang disebut gradient descent.
TrueNorth awalnya dianggap tidak kompatibel dengan algoritma kesalahan back-propagation, karena gradient descent membutuhkan penyesuaian bobot yang kecil dan visi untuk perbaikan kecil. TrueNorth memaksimalkan efisiensinya hanya dengan menggunakan tiga nilai bobot yang berbeda: -1, 0 dan 1, dan output dari neuron adalah 0 atau 1. Tidak ada gradien, hanya langkah-langkah terpisah.
Salah satu pencapaian utama tim adalah serangkaian metode untuk melakukan algoritma backpropagation dengan jaringan saraf berdenyut. Para peneliti memecahkan masalah ini dengan melatih model perangkat lunak dari chip yang diprogram untuk menggunakan perkiraan perangkat keras yang kompatibel dengan gradient descent.
Pengembangan kunci lainnya adalah pemetaan CNN ke banyak koneksi ke neuron pada sebuah chip, yang hanya melibatkan 256 koneksi per neuron. Ini dicapai dengan menetapkan pasangan neuron tertentu yang beroperasi secara bersamaan, yang digabungkan menjadi satu neuron melalui input dan output.
Terlepas dari kinerja TrueNorth yang cukup tinggi, ia dibuat tanpa mempertimbangkan fitur-fitur jaringan saraf yang dalam dan CNN, sehingga memiliki kelemahan dibandingkan dengan sistem lain. Misalnya, agar jaringan yang terdiri dari 30 ribu neuron berfungsi, diperlukan 8 chip (8 juta neuron). Selain itu, TrueNorth adalah chip digital sepenuhnya ketika beberapa memiliki komponen analog. Pekerjaan mereka lebih tidak terduga, tetapi masih lebih efisien. Dan meskipun setiap chip TrueNorth dibagi menjadi 4096 "core" yang bekerja secara paralel, 256 neuron di setiap inti diperbarui hanya secara berurutan dan satu per satu.
Pemrosesan neuron secara berurutan dalam inti TrueNorth dapat membuat hambatan, tetapi juga memberikan keteraturan. Ini berarti bahwa perilaku chip dapat disimulasikan dengan akurasi tinggi pada komputer desktop. Pada saat yang sama, chip tersebut bersifat universal - dapat mendukung berbagai jenis jaringan, dan tujuan saat ini dari tim pembuat chip, yang dipimpin oleh kepala ilmuwan otak IBM, Dharmendra Modha, adalah untuk menyebarkan beberapa jaringan yang berbeda bekerja bersama - untuk mencapai pengomposan.
Rencana masa depan
Selain mencapai ketenangan, tim Modha berkomitmen untuk mengeksplorasi berbagai metode pengajaran. Para ilmuwan juga mencatat bahwa metode yang dijelaskan dalam pekerjaan mereka dapat diterapkan pada chip neuromorfik selain TrueNorth. Selain itu, selain metode pengajaran baru, tim berpikir tentang pencapaian yang lebih radikal. Menurut laporan tahun 2015 oleh Departemen Energi AS tentang komputasi neuromorfik, sekitar 5-15% energi dunia saat ini dikonsumsi dalam beberapa bentuk pemrosesan data dan transmisi. Pada saat yang sama, Departemen ingin meningkatkan kecepatan, efisiensi dan toleransi kesalahan jaringan. Laporan ini mendorong tim IBM untuk berpikir tentang mengembangkan bahan dengan sifat fisik baru.
Tujuan global adalah untuk menggantikan pusat data raksasa dengan chip di smartphone, rumah dan mobil yang dapat "berpikir" untuk diri mereka sendiri: melakukan percakapan, membuat penemuan ilmiah dan medis, mengendarai mobil, robot atau anggota badan palsu. Idealnya, chip ini dapat mencapai kesuksesan yang lebih besar, misalnya, memecahkan masalah kelaparan di dunia.
Beberapa laboratorium penelitian sudah aktif menggunakan TrueNorth. Pada Agustus 2016, Samsung
mendemonstrasikan sistem yang menggunakan aliran video untuk membuat peta lingkungan 3D dalam tiga dimensi dengan kecepatan 2000 frame per detik, menghabiskan sepertiga watt. Perusahaan menggunakan sistem ini untuk mengontrol televisi dengan gerakan tangan.
Lawrence Livermore National Laboratory memiliki papan TrueNorth 16-chip yang digunakan untuk meningkatkan keamanan siber dan keamanan nuklir AS. Laboratorium penelitian Angkatan Udara, yang menggunakan TrueNorth untuk menyediakan navigasi otonom untuk kendaraan udara tak berawak, baru-baru ini mengumumkan rencana untuk mencoba serangkaian 64 chip.