Visualisation du cycle d'apprentissage du réseau neuronalL'équipe d'ingénieurs du projet Graphcore a construit des graphiques de l'activité des nœuds du réseau neuronal et de leurs connexions en cours de formation à la reconnaissance des formes, dont les chercheurs ont
parlé sur leur blog .
L'image ci-dessus montre le cycle complet d'apprentissage et de reconnaissance du réseau neuronal Microsoft Research RESNET-34 en décembre 2016. Le système lui-même a été déployé sur la base de l'UIP - un processeur graphique intelligent, comme l'appellent les créateurs, à la mi-2016. Les données obtenues ont été colorées afin d'isoler les différentes densités de calculs effectués par le réseau neuronal.
Toutes les images obtenues par les chercheurs se sont avérées non seulement très complexes, mais aussi effroyablement similaires à de vrais objets biologiques. Le but des ingénieurs était de montrer clairement ce qui se passe à l'intérieur du réseau neuronal et pourquoi même certains scientifiques sont déroutés par le principe de leur travail.
Les images construites par Graphcore sont des graphiques techniques du réseau neuronal Microsoft RESNET. En 2015, RESNET a remporté un concours de reconnaissance d'image appelé ImageNet.
L'image suivante a été obtenue après 50 cycles d'entraînement du réseau neuronal Graphcore pour la reconnaissance d'image:
Le système IPU de Graphcore fonctionne avec le framework Poplar. Le framework est écrit en C ++ et se concentre sur l'utilisation de graphes lors de l'apprentissage automatique d'un réseau de neurones. Bibliothèques Poplar est un développement open source, qui à l'avenir peut être utilisé en conjonction avec TensorFlow et MXNet, qui peut presque sortir de la boîte avec IPU Graphcore. Le jeu d'outils de débogage et d'analyse peut être personnalisé à l'aide de C ++ et de Python.
GraphU IPU est applicable non seulement pour la reconnaissance d'image, mais aussi pour le traitement d'un grand tableau de données. Par exemple, les développeurs fournissent une visualisation du processus de traitement des données astrophysiques sur leur UIP sous le contrôle d'un réseau de neurones:
Ou voici une image du réseau neuronal profond AlexNet construit à l'aide de TensorFlow:
AlexNet est également le gagnant d'ImageNet, mais en 2012. A titre de comparaison, la structure d'un réseau neuronal basé sur Microsoft Research RESNET est donnée:
L'UIP a été développée spécifiquement pour travailler avec les réseaux de neurones, et les développeurs espèrent que le résultat de leur travail inaugurera une nouvelle étape dans l'apprentissage automatique. L'équipe Graphcore note la plus grande efficacité des réseaux IPU, ainsi que la plus grande vitesse d'apprentissage que les concurrents.