De acordo com a IBM, a precisão do
TrueNorth atende aos melhores sistemas de reconhecimento de imagem e voz da atualidade, mas também consome menos energia e é mais rápida. A equipe de pesquisa da empresa está confiante de que a combinação de redes convolucionais com microcircuitos neuromórficos nos permitirá criar carros inteligentes mais avançados e smartphones que reconheçam corretamente o comando de voz de uma pessoa, mesmo que ele fale com a boca cheia. Vamos tentar descobrir quais são as vantagens e desvantagens do TrueNorth e onde ele foi encontrado.
O cérebro humano contém cerca de 86 bilhões de neurônios - células que se conectam a milhares de outros neurônios através dos processos de sinapses. Um neurônio recebe sinais de muitos outros e, quando a estimulação atinge um certo limiar, "ativa" enviando seu próprio sinal aos neurônios vizinhos. O cérebro aprende, em particular, ajustando laços fortes. Quando a sequência de ações é repetida, por exemplo, através da prática, as sinapses concomitantes se tornam mais fortes e a lição ou habilidade aprendida “se encaixa” na rede.
Na década de 1940, os cientistas começaram a modelar matematicamente os neurônios e, nos anos 50, criaram redes de neurônios e computadores. Neurônios artificiais e sinapses são muito mais simples do que no cérebro, mas operam com os mesmos princípios. Muitas unidades simples - neurônios - estão conectadas a outras via "sinapses" com seus valores numéricos, dependendo dos valores das unidades.
A rede neural convolucional (CNN) é um tipo especial de rede que ganhou popularidade nos últimos anos. As CNNs extraem características importantes de incentivos - normalmente fotografias. Tire, por exemplo, uma fotografia de um cachorro. Pode ser representado como uma camada de neurônios, onde a ativação de um neurônio representa um pixel na imagem. Na próxima camada, cada neurônio receberá entrada de um conjunto da primeira camada e será ativado se detectar um padrão específico nesse conjunto, atuando como um filtro.
Nas camadas subseqüentes, os neurônios procurarão padrões nos padrões, e assim por diante. Dentro de uma única camada, os filtros podem ser sensíveis a determinadas estruturas. Primeiro nas bordas das figuras, depois nas patas, depois nos cães, até que a rede possa determinar a diferença entre o cão e a torradeira.
Agora, esses cálculos são caros. Dado que existem bilhões de neurônios e trilhões de sinapses no cérebro humano, a imitação de cada um ainda não é possível. Mesmo a simulação de uma pequena parte do cérebro exigirá milhões de cálculos para cada elemento de entrada, o que requer enorme poder de processamento. As maiores CNNs modernas podem ter milhões de neurônios e bilhões de sinapses, mas não mais.
A arquitetura clássica de computação dos processadores centrais, projetada para processar uma instrução de cada vez, não é adequada para as tarefas que a CNN impõe. Portanto, os cientistas se voltaram para a computação paralela, que pode processar várias de uma vez. As redes neurais modernas usam processadores gráficos, que geralmente calculam os gráficos de videogames e CAD. Devido à arquitetura e à semelhança de cálculos matemáticos, as placas de vídeo são adequadas para aprendizado profundo.
Mas, ainda assim, o hardware não lida com o aprendizado profundo de maneira tão eficaz quanto o cérebro, que pode dirigir um carro e, ao mesmo tempo, falar sobre o futuro dos veículos autônomos, consumindo menos energia do que uma lâmpada.
Na década de 1980, o engenheiro Carver Mead cunhou o termo "processadores neuromórficos" para descrever chips de computador que funcionam de maneira semelhante ao cérebro. Seu trabalho lançou as bases para esta área. Embora o termo "neuromórfico" agora seja aplicado a uma ampla variedade de soluções, todos tentam repetir o mecanismo de operação de redes neurais no nível do hardware, evitando os gargalos que os processadores tradicionais encontram.
Vendo a necessidade de aprendizado de máquina rápido e eficiente, o Departamento de Projetos Avançados do Departamento de Defesa dos EUA (mais conhecido por sua sigla DARPA) tem financiado ativamente o laboratório corporativo IBM HRL Laboratories desde 2008 para desenvolver máquinas neuromórficas que podem ser facilmente escalonadas.
TrueNorth
Em 2014, a IBM
lançou seu chip TrueNorth na capa da Science Magazine. Desde então, a empresa desenvolve sistemas baseados em TrueNorth, com apoio financeiro do Departamento de Energia dos EUA, da Força Aérea e do Exército. Um desses chips contém um milhão de "neurônios", cada um dos quais é representado por um grupo de transistores digitais e 256 milhões de "sinapses" - conexões com fio entre os chips.
As arquiteturas neuromórficas se tornam mais eficientes do que os chips convencionais devido a duas funções. Primeiro, esse chip, como o cérebro, se comunica através de "flashes" - pacotes unidimensionais de informações enviadas de um neurônio para neurônios descendentes. Os sinais são simples (se há um flash ou não) e são transmitidos apenas ocasionalmente quando um neurônio transmite um pacote. Em segundo lugar, assim como no cérebro, o processamento e a memória estão localizados em neurônios e sinapses. Em um computador tradicional, a unidade de processamento de dados extrai constantemente informações de áreas de memória individuais, executa operações e retorna novas informações à memória. Isso leva a muitas atividades lentas e que consomem energia.
O sistema TrueNorth é bastante flexível, porque pode ser programado para implementar redes de diferentes tamanhos e formatos e escalado “quebrando” vários chips. Em seu trabalho científico, a equipe da IBM usou um chip neuromórfico para identificar pessoas, bicicletas e carros em um vídeo gravado na rua. Um experimento comparativo mostrou que o software TrueNorth, executado em um microprocessador tradicional, usava 176 mil vezes mais energia para esta tarefa.
Uma parte essencial do projeto IBM foi a criação não apenas de um chip, mas também de software. A empresa criou um simulador, uma nova linguagem de programação e uma biblioteca de algoritmos e aplicativos. A empresa então forneceu essas ferramentas para mais de 160 pesquisadores em laboratórios acadêmicos, nacionais e corporativos. O design do TrueNorth foi concluído em 2011 e a revolução da rede neural convolucional ocorreu em 2012 como parte do
Desafio ImageNet . Então, algumas pessoas começaram a se perguntar se os chips TrueNorth poderiam lidar com essas redes.
A CNN usa o método de retropropagação. Cada vez que a rede comete um erro, é calculada a diferença entre sua suposição e a resposta correta. O algoritmo de propagação de erro de retorno considera cada neurônio na camada final e calcula quanto uma alteração na saída desse neurônio reduzirá o erro total. Em seguida, ele retorna aos neurônios anteriores e calcula quanto uma mudança na força de cada sinapse reduzirá o erro geral.
É necessário descobrir se a força sináptica deve ser aumentada ou diminuída, para que o algoritmo ajuste ligeiramente cada peso na direção certa. Posteriormente, o algoritmo calcula um novo erro usando os novos pesos e repete todo o processo. Após muitas dessas etapas, o erro diminui em um processo chamado descida de gradiente.
O TrueNorth foi inicialmente considerado incompatível com o algoritmo de erro de propagação traseira, pois a descida do gradiente requer pequenos ajustes de peso e a visão de pequenos aprimoramentos. O TrueNorth maximiza sua eficiência usando apenas três valores de peso diferentes: -1, 0 e 1, e a saída do neurônio é 0 ou 1. Não há gradientes, apenas etapas discretas.
Uma das principais realizações da equipe foi uma série de métodos para executar o algoritmo de retropropagação com redes neurais pulsadas. Os pesquisadores resolveram esse problema treinando o modelo de software do chip programado para usar uma aproximação de hardware compatível com a descida do gradiente.
Outro desenvolvimento importante foi o mapeamento da CNN para uma infinidade de conexões com neurônios em um chip, que envolve apenas 256 conexões por neurônio. Isso foi conseguido através da atribuição de certos pares de neurônios que operam simultaneamente, que são combinados em um neurônio por meio de entradas e saídas.
Apesar do desempenho razoavelmente alto do TrueNorth, ele foi criado sem levar em consideração os recursos de redes neurais profundas e da CNN, portanto, apresenta desvantagens em comparação com outros sistemas. Por exemplo, para uma rede de 30 mil neurônios funcionar, são necessários 8 chips (8 milhões de neurônios). Além disso, o TrueNorth é um chip totalmente digital quando alguns possuem componentes analógicos. O trabalho deles é mais imprevisível, mas ainda mais eficiente. E embora cada chip TrueNorth seja dividido em 4096 "núcleos" que funcionam em paralelo, 256 neurônios em cada núcleo são atualizados apenas sequencialmente e um de cada vez.
O processamento seqüencial de neurônios no núcleo TrueNorth pode criar um gargalo, mas também fornece regularidade. Isso significa que o comportamento do chip pode ser simulado com alta precisão em computadores desktop. Ao mesmo tempo, o chip é universal - pode suportar muitos tipos diferentes de redes, e o objetivo atual da equipe de criação de chips, liderada pelo cientista chefe da IBM Dharmendra Modha, é implantar várias redes diferentes trabalhando juntas - para obter a composição.
Planos futuros
Além de obter composição, a equipe de Modha está comprometida em explorar vários métodos de ensino. Os cientistas também observam que os métodos descritos em seu trabalho podem ser aplicados a chips neuromórficos que não sejam o TrueNorth. Além disso, além dos novos métodos de ensino, a equipe pensa em conquistas mais radicais. De acordo com um relatório de 2015 do Departamento de Energia dos EUA sobre computação neuromórfica, cerca de 5 a 15% da energia mundial é consumida atualmente em alguma forma de processamento e transmissão de dados. Ao mesmo tempo, o Departamento deseja aumentar a velocidade, a eficiência e a tolerância a falhas das redes. Este relatório levou a equipe da IBM a pensar em desenvolver materiais com novas propriedades físicas.
O objetivo global é substituir os data centers gigantes por chips em smartphones, residências e carros que “pensem” por si mesmos: conversem, façam descobertas científicas e médicas, dirijam carros, robôs ou membros protéticos. Idealmente, esses chips podem alcançar um sucesso ainda maior, por exemplo, resolver o problema da fome no mundo.
Vários laboratórios de pesquisa já estão usando ativamente o TrueNorth. Em agosto de 2016, a Samsung
demonstrou um sistema que usa um fluxo de vídeo para criar um mapa do ambiente 3D em três dimensões a uma velocidade de 2.000 quadros por segundo, consumindo um terço de um watt. A empresa usou esse sistema para controlar a televisão com gestos com as mãos.
O Laboratório Nacional Lawrence Livermore possui uma placa TrueNorth de 16 chips usada para aprimorar a segurança cibernética e a segurança nuclear dos EUA. O laboratório de pesquisa da Força Aérea, que usa o TrueNorth para fornecer navegação autônoma para veículos aéreos não tripulados, anunciou recentemente planos para experimentar uma variedade de 64 chips.