Pesquisadores visualizam computação em rede neural

Visualização do ciclo de aprendizado da rede neural

A equipe de engenheiros do projeto Graphcore construiu gráficos da atividade dos nós da rede neural e suas conexões no processo de treinamento em reconhecimento de padrões, que os pesquisadores descreveram em seu blog .

A imagem acima mostra o ciclo completo de aprendizado e reconhecimento da rede neural Microsoft Research RESNET-34 em dezembro de 2016. O próprio sistema foi implantado com base no IPU - um processador gráfico inteligente, como os criadores o chamam, em meados de 2016. Os dados obtidos foram coloridos para isolar as diversas densidades de cálculos realizados pela rede neural.

Todas as imagens obtidas pelos pesquisadores mostraram-se não apenas muito complexas, mas também assustadoramente semelhantes a objetos biológicos reais. O objetivo dos engenheiros era mostrar claramente o que está acontecendo dentro da rede neural e por que até alguns cientistas estão confusos com o princípio de seu trabalho.

As imagens construídas pelo Graphcore são gráficos técnicos da rede neural do Microsoft RESNET. Em 2015, a RESNET ganhou um concurso de reconhecimento de imagem chamado ImageNet.

A imagem a seguir foi obtida após 50 ciclos de treinamento da rede neural Graphcore para reconhecimento de imagem:



O sistema IPU da Graphcore trabalha com a estrutura Poplar. A estrutura é escrita em C ++ e é focada em trabalhar com gráficos durante o aprendizado de máquina de uma rede neural. Bibliotecas O Poplar é um desenvolvimento de código aberto, que no futuro pode ser usado em conjunto com o TensorFlow e o MXNet, que podem funcionar quase que imediatamente com o IPU Graphcore. O conjunto de ferramentas de depuração e análise pode ser personalizado usando C ++ e Python.

O GraphU IPU é aplicável não apenas ao reconhecimento de imagens, mas também ao processamento de uma grande matriz de dados. Por exemplo, os desenvolvedores fornecem visualização do processo de processamento de dados astrofísicos em sua IPU sob o controle de uma rede neural:



Ou aqui está uma imagem da rede neural profunda criada pela AlexNet usando o TensorFlow:



AlexNet também é o vencedor do ImageNet, mas em 2012. Para comparação, é fornecida a estrutura de uma rede neural baseada no Microsoft Research RESNET:



A IPU foi desenvolvida especificamente para trabalhar com redes neurais, e os desenvolvedores esperam que o resultado de seu trabalho inaugure uma nova etapa no aprendizado de máquina. A equipe do Graphcore observa a maior eficiência das redes IPU, bem como a maior velocidade de aprendizado que os concorrentes.