Visualización del ciclo de aprendizaje de la red neuronal.El equipo de ingenieros del proyecto Graphcore construyó gráficos de la actividad de los nodos de la red neuronal y sus conexiones en el proceso de capacitación en reconocimiento de patrones, que los investigadores
informaron en su blog .
La imagen de arriba muestra el ciclo completo de aprendizaje y reconocimiento de la red neuronal RESNET-34 de Microsoft Research en diciembre de 2016. El sistema en sí se implementó sobre la base de IPU, un procesador de gráficos inteligente, como lo llaman los creadores, a mediados de 2016. Los datos obtenidos se colorearon para aislar las diversas densidades de cálculos realizados por la red neuronal.
Todas las imágenes obtenidas por los investigadores resultaron ser no solo muy complejas, sino también terriblemente similares a los objetos biológicos reales. El objetivo de los ingenieros era mostrar claramente lo que está sucediendo dentro de la red neuronal y por qué incluso algunos científicos están confundidos por el principio de su trabajo.
Las imágenes construidas por Graphcore son gráficos técnicos de la red neuronal RESNET de Microsoft. En 2015, RESNET ganó un concurso de reconocimiento de imágenes llamado ImageNet.
La siguiente imagen se obtuvo después de 50 ciclos de entrenamiento de la red neuronal Graphcore para el reconocimiento de imágenes:
El sistema IPU de Graphcore funciona con el marco Poplar. El marco está escrito en C ++ y se centra en trabajar con gráficos durante el aprendizaje automático de una red neuronal. Libraries Poplar es un desarrollo de código abierto, que en el futuro se puede utilizar junto con TensorFlow y MXNet, que casi de inmediato pueden funcionar con IPU Graphcore. El conjunto de herramientas de depuración y análisis se puede personalizar utilizando C ++ y Python.
GraphU IPU es aplicable no solo para el reconocimiento de imágenes, sino también para procesar una gran matriz de datos. Por ejemplo, los desarrolladores proporcionan visualización del proceso de procesamiento de datos astrofísicos en su IPU bajo el control de una red neuronal:
O aquí hay una imagen de la red neuronal profunda que AlexNet construyó usando TensorFlow:
AlexNet también es el ganador de ImageNet, pero en 2012. A modo de comparación, se da la estructura de una red neuronal basada en Microsoft Research RESNET:
IPU se desarrolló específicamente para trabajar con redes neuronales, y los desarrolladores esperan que el resultado de su trabajo marque el comienzo de una nueva etapa en el aprendizaje automático. El equipo Graphcore señala la mayor eficiencia de las redes de IPU, así como la mayor velocidad de aprendizaje que los competidores.