Visualisierung des Lernzyklus des neuronalen NetzwerksDas Team von Ingenieuren des Graphcore-Projekts erstellte Diagramme der Aktivität der Knoten des neuronalen Netzwerks und ihrer Verbindungen während des Trainings zur Mustererkennung, über die die Forscher
in ihrem Blog berichteten .
Das Bild oben zeigt den vollständigen Zyklus des Lernens und Erkennens des neuronalen Netzwerks Microsoft Research RESNET-34 im Dezember 2016. Das System selbst wurde auf der Basis von IPU bereitgestellt - einem intelligenten Grafikprozessor, wie die Entwickler es bereits Mitte 2016 nennen. Die erhaltenen Daten wurden gefärbt, um die verschiedene Dichte der vom neuronalen Netzwerk durchgeführten Berechnungen zu isolieren.
Alle von den Forschern erhaltenen Bilder erwiesen sich als nicht nur sehr komplex, sondern auch erschreckend ähnlich wie reale biologische Objekte. Das Ziel der Ingenieure war es, klar zu zeigen, was innerhalb des neuronalen Netzwerks geschieht und warum selbst einige Wissenschaftler durch das Prinzip ihrer Arbeit verwirrt sind.
Die von Graphcore erstellten Bilder sind technische Grafiken des neuronalen Microsoft RESNET-Netzwerks. 2015 gewann RESNET einen Bilderkennungswettbewerb namens ImageNet.
Das folgende Bild wurde nach 50 Trainingszyklen des neuronalen Graphcore-Netzwerks zur Bilderkennung erhalten:
Das IPU-System von Graphcore arbeitet mit dem Poplar-Framework. Das Framework ist in C ++ geschrieben und konzentriert sich auf die Arbeit mit Graphen beim maschinellen Lernen eines neuronalen Netzwerks. Libraries Poplar ist eine Open-Source-Entwicklung, die in Zukunft in Verbindung mit TensorFlow und MXNet verwendet werden kann, die mit IPU Graphcore fast sofort einsatzbereit sind. Das Debugging- und Analyse-Toolset kann sowohl mit C ++ als auch mit Python angepasst werden.
GraphU IPU eignet sich nicht nur zur Bilderkennung, sondern auch zur Verarbeitung eines großen Datenarrays. Entwickler visualisieren beispielsweise den Prozess der Verarbeitung astrophysikalischer Daten auf ihrer IPU unter der Kontrolle eines neuronalen Netzwerks:
Oder hier ist ein Bild des tiefen neuronalen Netzwerks AlexNet, das mit TensorFlow erstellt wurde:
AlexNet ist auch der Gewinner von ImageNet, aber im Jahr 2012. Zum Vergleich wird die Struktur eines neuronalen Netzwerks basierend auf Microsoft Research RESNET angegeben:
IPU wurde speziell für die Arbeit mit neuronalen Netzen entwickelt, und die Entwickler hoffen, dass das Ergebnis ihrer Arbeit eine neue Stufe des maschinellen Lernens einleiten wird. Das Graphcore-Team stellt fest, dass IPU-Netzwerke effizienter sind und dass die Lerngeschwindigkeit höher ist als bei Wettbewerbern.