Como a paralelização maciça aumenta a eficiência do cérebro sobre as capacidades de IA
O cérebro é um dispositivo complexo; em humanos, contém cerca de 100 bilhões de neurônios e cerca de 100 trilhões de conexões entre eles. É frequentemente comparado com outro sistema complexo com enormes recursos de solução de tarefas: um computador digital. O cérebro e o computador contêm um grande número de unidades elementares - neurônios ou transistores, respectivamente - conectadas a circuitos complexos que processam informações transmitidas por sinais elétricos. No nível global, as arquiteturas do cérebro e do computador são um pouco semelhantes, pois consistem em loops quase separados para entrada, saída, processamento central e memória.
Quem é melhor na solução de problemas - o cérebro ou o computador? Dado o rápido desenvolvimento da tecnologia de computadores nas últimas décadas, você pode decidir o que vence o computador. De fato, os computadores são projetados e programados para derrotar mestres humanos em jogos complexos, como o xadrez nos anos 90, e mais recentemente, bem como em competições por conhecimento enciclopédico, como o
Jeopardy! Game show, mas por enquanto que as pessoas derrotam os computadores em uma variedade de tarefas relacionadas ao mundo real - da capacidade de distinguir entre um ciclista ou um pedestre na estrada, pegar uma xícara de chá de uma mesa e movê-la cuidadosamente para a boca - sem mencionar conceitualização e criatividade.
Por que um computador se dá bem com determinadas tarefas e o cérebro com outras? Comparações do computador com o cérebro ajudaram engenheiros e neurocientistas a entender esse problema. A comparação a seguir foi feita no início da era moderna dos computadores, no pequeno, mas influente livro The Computer and the Brain, de
John von Neumann , especialista em muitos campos da ciência, que foi o primeiro a desenvolver um esquema de arquitetura de computadores na década de 1940, ainda servindo como base dos computadores modernos. Vejamos os números nessas comparações.
| As propriedades | Computador | Cérebro |
|---|
| O número de elementos elementares | Até 10 bilhões de transistores | Billion 100 bilhões de neurônios e 100 trilhões de sinapses |
| Velocidade de operações básicas | 10 bilhões / s | <1000 / s |
| Precisão | 1 em 4,2 bilhões (para um processador de 32 bits) | 1 a 100 |
| Consumo de energia | 100 watts | 10 watts |
| Método de Processamento de Informações | Principalmente serial | Serial e Massivamente Paralelo |
| O número de entradas e saídas de cada elemento | 1-3 | ≈ 1000 |
| Modo de operação | Digital | Digital e analógico |
Dados extraídos de computadores de 2008. O número de transistores por circuito integrado dobrou a cada 18-24 meses, mas com o tempo, o aumento na velocidade diminuiu devido a problemas com o consumo de energia e a dissipação de calor.
O computador tem enormes vantagens sobre o cérebro na velocidade das operações básicas
1 . Atualmente, os computadores pessoais são capazes de executar operações aritméticas básicas como a adição, a uma velocidade de 10 bilhões de operações por segundo. Podemos avaliar a velocidade das operações elementares do cérebro pelos processos elementares pelos quais os neurônios transmitem informações e se comunicam. Por exemplo, os neurônios ativam
potenciais de ação - rajadas de sinais elétricos que são lançados nas proximidades de uma célula de neurônio e transmitidos ao longo de seus longos ramos, axônios, conectando-o aos seguintes neurônios. As informações são codificadas na frequência e hora do início dessas explosões. A frequência máxima de ativação do neurônio é da ordem de 1000 rajadas por segundo. Em outro exemplo, os neurônios transmitem informações aos neurônios parceiros relacionados, emitindo neurotransmissores químicos em estruturas especiais nas extremidades dos axônios, sinapses e neurônios parceiros transformam o neurotransmissor novamente em sinais elétricos, e esse processo é chamado de
transmissão sináptica . A transmissão sináptica mais rápida ocorre em 1 ms. Portanto, por meio de rajadas e transmissões sinápticas, o cérebro é capaz de realizar no máximo mil operações básicas por segundo, o que é 10 milhões de vezes mais lento que um computador. Supõe-se que as operações aritméticas devem converter entrada em saída, de modo que a velocidade do trabalho é limitada pelas operações básicas das comunicações de neurônios, como potenciais de ação e transmissão sináptica. Mas há exceções a essas restrições. Por exemplo, neurônios com sinapses elétricas (conexões entre neurônios que não usam neurotransmissores químicos) que não produzem surtos são, em princípio, capazes de transmitir informações mais rapidamente do que em um milissegundo; também eventos capazes de ocorrer localmente em dendritos são capazes disso.
O computador também possui sérias vantagens sobre o cérebro na precisão das operações básicas. Um computador é capaz de representar números com a precisão desejada usando bits, zeros e unidades atribuídos a cada número. Por exemplo, um número de 32 bits tem uma precisão de 1 a 2
32 , ou 4,2 bilhões.A evidência empírica sugere que a maioria dos números no sistema nervoso (por exemplo, a frequência de ativação dos neurônios, que é freqüentemente usada como uma estimativa da intensidade do estímulo) flutua em alguns por cento devido ao ruído biológico, ou seja, a precisão, na melhor das hipóteses, é de 1 a 100, o que é milhões de vezes pior que um computador. A propósito, o ruído pode servir como um indicador de que muitos processos nervosos são essencialmente probabilísticos. Os mesmos estímulos podem causar sequências diferentes de explosões de atividade elétrica dos neurônios.
No entanto, os cálculos realizados pelo cérebro não podem ser chamados de lentos ou imprecisos. Por exemplo, um tenista profissional pode seguir a trajetória de uma bola voando a uma velocidade de 260 km / h, mover-se para o local ideal na quadra, colocar a mão na posição correta e agitar uma raquete, devolvendo a bola para metade do adversário - e tudo isso em algumas centenas de milissegundos. Além disso, o cérebro é capaz de todas essas tarefas (usando o corpo que controla), consumindo dez vezes menos energia que um computador pessoal. Como o cérebro tem sucesso? Uma diferença importante entre o computador e o cérebro é o modo em que cada um desses sistemas processa informações. O computador executa tarefas em sua maioria em etapas seqüenciais. Isso pode ser visto pela maneira como os programadores escrevem o código, criando um fluxo de instruções consecutivas. É necessária alta precisão para cada etapa desta sequência, pois os erros se acumulam e amplificam a cada etapa. O cérebro também usa etapas seqüenciais no processamento de informações. No exemplo do tênis, a informação flui dos olhos para o cérebro e depois para a medula espinhal, para controlar as contrações dos músculos das pernas, tronco, braço e punho.
Mas o cérebro também usa processamento paralelo de dados em massa, aproveitando o grande número de neurônios e as conexões entre eles. Por exemplo, uma bola de tênis em movimento ativa muitas células da retina, fotorreceptores, que convertem luz em sinais elétricos. Esses sinais são transmitidos para muitos tipos diferentes de neurônios da retina. Quando os sinais fotorreceptores passam através de duas ou três conexões sinápticas na retina, informações sobre a posição, direção e velocidade da bola já foram extraídas por circuitos neurais paralelos e transmitidas ao cérebro. Da mesma forma, o córtex motor (a parte do córtex cerebral responsável pela motilidade consciente) envia comandos em paralelo para controlar a contração dos músculos das pernas, tronco, braços e pulsos, de modo que o corpo e as mãos ocupem simultaneamente a posição ideal para receber a bola.
Essa estratégia massivamente paralela funciona porque cada neurônio coleta entradas e envia a saída para muitos outros neurônios - em média para mamíferos, 1000 links de entrada e saída por neurônio. E cada transistor no total possui apenas três nós para entrada e saída. As informações de um neurônio podem ir de várias maneiras paralelas. E, ao mesmo tempo, muitos neurônios de processamento de informações podem conectar seus dados de saída enviando-os para um neurônio subsequente. Essa propriedade é especialmente útil para aumentar a precisão do processamento de informações. Por exemplo, as informações fornecidas por um único neurônio podem conter ruído (ou seja, sua precisão é da ordem de 1 a 100). Percebendo a entrada de 100 neurônios que processam a mesma informação, o próximo neurônio, por sua vez, já pode fornecer informações com maior precisão (neste caso, 1 a 1000). Suponha que o desvio padrão σ da
mídia para cada unidade de dados de entrada corresponda aproximadamente a ruído. Para o número médio de entradas independentes n, o desvio esperado da média σ
média = σ / √ n. Em nosso exemplo, σ = 0,01 en = 100, então σ
media = 0,001.
O computador e o cérebro têm semelhanças e diferenças também na representação de suas unidades elementares. O transistor usa uma representação digital de informações com valores discretos (0 ou 1). O burst do axônio também é um sinal digital, porque um neurônio a qualquer momento é ativado ou não, e quando é ativado, quase todas as rajadas têm aproximadamente o mesmo tamanho e formato. Essa propriedade permite a transmissão confiável de rajadas a longas distâncias. No entanto, os neurônios também aproveitam os recursos dos sinais analógicos que representam informações usando valores contínuos. Alguns neurônios (a maioria dos neurônios da retina) não produzem rajadas, e sua saída é transmitida por sinais elétricos escalonados (que, diferentemente das rajadas, podem variar em magnitude), capazes de transmitir mais informações do que rajadas. A extremidade receptora do neurônio (geralmente localizada em dendritos) também usa sinais analógicos para integrar até mil sinais de entrada ao mesmo tempo, o que permite que os dendritos realizem cálculos complexos.
Outra característica notável do cérebro, que é claramente usada no exemplo de um jogo de tênis, é que a força das conexões entre os neurônios pode ser alterada como resultado de ações e experiências - esse processo, como consideram os neurocientistas, é a base do aprendizado e da memorização. O treinamento repetido permite que os circuitos neurais sintonizem melhor a tarefa, o que aumenta seriamente a velocidade e a precisão.
Nas últimas décadas, os engenheiros foram inspirados pelo cérebro para melhorar os computadores. Os princípios do processamento paralelo e modificação dos pesos das ligações, dependendo do uso, estão incluídos nos computadores modernos. Por exemplo, no desenvolvimento de computadores, a tendência atual é o aumento do paralelismo, por exemplo, o uso de vários processadores (núcleos) em um computador. Outro exemplo é o aprendizado profundo, a ciência do aprendizado de máquina e da inteligência artificial, que alcançou um tremendo sucesso nos últimos anos e é responsável pelo rápido progresso no reconhecimento de objetos e fala em computadores e dispositivos móveis, inspirada em descobertas relacionadas ao sistema visual de mamíferos.
2O aprendizado profundo, imitando o sistema visual dos mamíferos, usa várias camadas, cada uma representando as propriedades cada vez mais abstratas do objeto (visual ou fala), e os pesos das ligações entre diferentes camadas são ajustados usando treinamento, e não devido a esforços de engenharia. Esses avanços recentes expandiram a lista de tarefas sujeitas a computadores. E, no entanto, o cérebro continua a ter flexibilidade, generalização e capacidade de aprendizado superiores ao computador. À medida que os neurocientistas descobrem cada vez mais segredos do cérebro (auxiliados pelo crescente uso de computadores), os engenheiros poderão tirar mais exemplos de inspiração do cérebro para melhorar ainda mais a arquitetura e o desempenho dos computadores. Quem quer que seja o vencedor de uma tarefa específica, essa inseminação interdisciplinar mútua avançará, sem dúvida, tanto na neurobiologia quanto na tecnologia da computação.
1. Patterson, DA & Hennessy, JL Computer Organization and Design (Elsevier, Amsterdam, 2012), 4ª ed.
2. LeCun, Y. Bengio, Y., & Hinton, G. Deep learning. Nature 521, 436-444 (2015).
Likan Luo é professor da Faculdade de Ciências Humanas e Ciências e professor de neurociência da Universidade de Stanford.