Peneliti Visualisasi Neural Network Computing

Visualisasi siklus pembelajaran jaringan saraf

Tim insinyur dari proyek Graphcore membangun grafik aktivitas node dari jaringan saraf dan koneksi mereka dalam proses pelatihan dalam pengenalan pola, yang diceritakan para peneliti di blog mereka .

Gambar di atas menunjukkan siklus penuh pembelajaran dan pengakuan dari jaringan saraf Microsoft Research RESNET-34 pada bulan Desember 2016. Sistem itu sendiri dikerahkan berdasarkan IPU - prosesor grafis yang cerdas, seperti yang disebut pembuatnya, pada pertengahan 2016. Data yang diperoleh diwarnai untuk mengisolasi berbagai kepadatan perhitungan yang dilakukan oleh jaringan saraf.

Semua gambar yang diperoleh para peneliti ternyata tidak hanya sangat kompleks, tetapi juga sangat mirip dengan benda biologis nyata. Tujuan para insinyur adalah untuk menunjukkan dengan jelas apa yang terjadi di dalam jaringan saraf dan mengapa bahkan beberapa ilmuwan bingung oleh prinsip kerja mereka.

Gambar yang dibangun oleh Graphcore adalah grafik teknis dari jaringan saraf Microsoft RESNET. Pada 2015, RESNET memenangkan kompetisi pengenalan gambar yang disebut ImageNet.

Gambar berikut diperoleh setelah 50 siklus pelatihan jaringan saraf Graphcore untuk pengenalan gambar:



Sistem IPU Graphcore bekerja dengan kerangka Poplar. Kerangka kerja ini ditulis dalam C ++ dan difokuskan pada bekerja dengan grafik selama pembelajaran mesin dari jaringan saraf. Libraries Poplar adalah pengembangan sumber terbuka, yang di masa depan dapat digunakan bersama dengan TensorFlow dan MXNet, yang hampir dapat digunakan dengan IPU Graphcore. Toolset debugging dan analisis dapat dikustomisasi menggunakan C ++ dan Python.

GraphU IPU berlaku tidak hanya untuk pengenalan gambar, tetapi juga untuk memproses array data yang besar. Misalnya, pengembang memberikan visualisasi proses pemrosesan data astrofisika pada IPU mereka di bawah kendali jaringan saraf:



Atau di sini adalah gambar jaringan syaraf yang mendalam yang dibangun AlexNet menggunakan TensorFlow:



AlexNet juga merupakan pemenang ImageNet, tetapi pada tahun 2012. Sebagai perbandingan, struktur jaringan saraf berbasis pada Microsoft Research RESNET diberikan:



IPU dikembangkan secara khusus untuk bekerja dengan jaringan saraf, dan para pengembang berharap bahwa hasil kerja mereka akan mengantarkan pada tahap baru dalam pembelajaran mesin. Tim Graphcore mencatat efisiensi yang lebih besar dari jaringan IPU, serta kecepatan belajar yang lebih besar daripada pesaing.