Terobosan dalam beberapa tahun terakhir dari sistem kecerdasan buatan di bidang mengemudi otonom, pengenalan ucapan, visi mesin dan terjemahan otomatis telah dimungkinkan berkat pengembangan jaringan saraf tiruan. Tetapi untuk peluncuran dan pelatihan mereka, banyak memori dan energi yang dibutuhkan. Oleh karena itu, komponen AI sering bekerja di server di cloud dan bertukar data dengan desktop atau perangkat seluler.
Jaringan saraf terdiri dari ribuan node pemrosesan informasi yang sederhana namun saling terkait, biasanya disusun berlapis-lapis. Jaringan saraf berbeda dalam jumlah lapisan, koneksi antara node dan node di setiap lapisan.
Koneksi antara node terkait dengan bobot, yang menentukan seberapa banyak output dari node akan memfasilitasi perhitungan node berikutnya. Selama pelatihan, di mana jaringan disajikan dengan contoh-contoh perhitungan yang mereka pelajari untuk dilakukan, bobot ini terus-menerus disesuaikan sampai hasil lapisan terakhir jaringan cocok dengan hasil perhitungan.
Jaringan mana yang lebih hemat energi? Jaring dangkal dengan bobot lebih besar atau jaring lebih dalam dengan bobot lebih kecil? Banyak peneliti telah mencoba menjawab pertanyaan-pertanyaan ini. Baru-baru ini, kegiatan utama dalam komunitas pembelajaran yang mendalam telah bertujuan untuk mengembangkan arsitektur jaringan saraf yang efektif untuk platform dengan kemampuan komputasi yang terbatas. Namun, sebagian besar studi ini berfokus pada pengurangan ukuran model atau komputasi, sementara untuk ponsel cerdas dan banyak perangkat lainnya, konsumsi energi sangat penting karena penggunaan baterai dan pembatasan paket panas.
Para peneliti di Massachusetts Institute of Technology (MIT), yang dipimpin oleh associate professor dari Departemen Teknik Elektro dan Ilmu Komputer, Vivienne Sze, telah mengembangkan pendekatan baru untuk mengoptimalkan jaringan saraf convolutional yang berfokus pada meminimalkan konsumsi energi menggunakan alat baru untuk memperkirakan konsumsi energi.
Pada 2016, Vivienne Ce dan rekan-rekannya memperkenalkan chip komputer hemat energi baru yang dioptimalkan untuk jaringan saraf. Chip ini memungkinkan sistem AI yang kuat untuk bekerja secara lokal di perangkat seluler. Sekarang, para ilmuwan mendekati masalah dari perspektif yang berbeda dan menciptakan beberapa teknologi untuk mengembangkan jaringan saraf yang lebih hemat energi.
Pertama, tim peneliti mengembangkan metode analitis yang dengannya Anda dapat menentukan berapa banyak energi yang dikonsumsi jaringan saraf ketika mengerjakan jenis perangkat keras tertentu. Kemudian, para ilmuwan menggunakan metode untuk mengevaluasi teknologi baru untuk mengoptimalkan jaringan saraf sehingga mereka bisa bekerja lebih efisien pada perangkat genggam.
Para peneliti akan mempresentasikan karya mereka di Computer Vision and Conference Recognition Conference. Dalam dokumen itu, mereka menyajikan metode yang, menurut mereka, mengurangi konsumsi energi hingga 73% dibandingkan dengan penerapan standar jaringan saraf dan 43% melebihi metode yang ada untuk mengoptimalkan jaringan saraf untuk platform mobile.
Hal pertama yang dilakukan oleh tim ilmuwan yang dipimpin oleh Se adalah mengembangkan alat pemodelan energi yang memperhitungkan transaksi, pergerakan, dan aliran data. Jika Anda memberinya arsitektur jaringan dan nilai bobotnya, dia akan memberi tahu Anda berapa banyak energi yang akan digunakan jaringan saraf ini. Teknologi yang dikembangkan memberikan gagasan tentang energi yang dihabiskan, sehingga pengembang algoritma dapat lebih memahami dan menggunakan informasi ini sebagai semacam umpan balik.
Ketika para peneliti menemukan apa tindakan energi yang dihabiskan, mereka menggunakan model ini untuk mengontrol perancang jaringan saraf hemat energi. Se menjelaskan bahwa sebelumnya, ilmuwan lain yang berusaha mengurangi konsumsi daya jaringan saraf menggunakan metode pemangkasan. Koneksi dengan bobot rendah antar node memiliki efek yang sangat kecil pada hasil akhir dari jaringan saraf, sehingga banyak dari mereka dapat dihilangkan dengan aman, "terputus".
Dengan bantuan model baru, Se dan rekan-rekannya menyelesaikan pendekatan ini. Meskipun memangkas sejumlah besar senyawa dengan berat rendah tidak secara signifikan mempengaruhi output dari jaringan saraf, pengurangan semua senyawa tersebut mungkin akan memiliki efek yang lebih serius pada operasinya. Karena itu, perlu dikembangkan suatu mekanisme yang akan membantu menentukan kapan harus berhenti. Dengan demikian, para ilmuwan dari MIT memotong lapisan-lapisan jaringan yang mengkonsumsi lebih banyak energi, yang mengarah pada penghematan semaksimal mungkin. Para ilmuwan sendiri menyebut metode ini pemangkasan hemat energi.
Bobot dalam jaringan saraf bisa positif dan negatif, oleh karena itu, metode para peneliti juga mempertimbangkan kasus-kasus di mana koneksi dengan bobot dari tanda yang berlawanan cenderung untuk saling mengurangi. Input untuk node ini adalah output dari node di lapisan yang mendasarinya, dikalikan dengan bobot koneksi mereka. Kita dapat mengatakan bahwa metode para ilmuwan dari Massachusetts tidak hanya mempertimbangkan bobot, tetapi juga bagaimana node yang terhubung memproses data selama pelatihan.
Jika kelompok senyawa dengan bobot positif dan negatif berturut-turut diimbangi, mereka dapat dipotong dengan aman. Menurut para peneliti, ini mengarah pada penciptaan jaringan yang lebih efisien dengan koneksi lebih sedikit dibandingkan dengan metode tanam yang sebelumnya digunakan.