A inovação nos últimos anos de sistemas de inteligência artificial nas áreas de direção autônoma, reconhecimento de fala, visão de máquina e tradução automática foi possível graças ao desenvolvimento de redes neurais artificiais. Mas para o seu lançamento e treinamento, é necessária muita memória e energia. Portanto, os componentes da IA geralmente funcionam em servidores na nuvem e trocam dados com dispositivos móveis ou de desktop.
As redes neurais consistem em milhares de nós de processamento de informações simples, mas intimamente interconectados, geralmente organizados em camadas. As redes neurais diferem no número de camadas, conexões entre nós e nós em cada camada.
As conexões entre os nós estão associadas aos pesos, que determinam quanto a saída do nó facilitará o cálculo do próximo nó. Durante o treinamento, no qual as redes são apresentadas com exemplos de cálculos que aprendem a executar, esses pesos são constantemente ajustados até que o resultado da última camada da rede corresponda ao resultado do cálculo.
Qual rede será mais eficiente em termos de energia? Uma rede rasa com pesos maiores ou uma rede mais profunda com pesos menores? Muitos pesquisadores tentaram responder a essas perguntas. Recentemente, a principal atividade da comunidade de aprendizado profundo tem como objetivo desenvolver arquiteturas de redes neurais eficazes para plataformas com recursos de computação limitados. No entanto, a maioria desses estudos se concentrou na redução do tamanho do modelo ou na computação, enquanto para smartphones e muitos outros dispositivos, o consumo de energia é de suma importância devido ao uso de baterias e restrições ao pacote de calor.
Pesquisadores do Instituto de Tecnologia de Massachusetts (MIT), liderados pela professora associada do Departamento de Engenharia Elétrica e Ciência da Computação, Vivienne Sze, desenvolveram uma nova abordagem para otimizar redes neurais convolucionais que se concentra em minimizar o consumo de energia usando uma nova ferramenta para estimar o consumo de energia.
Em 2016, Vivienne Ce e seus colegas introduziram um novo chip de computador com eficiência energética otimizado para redes neurais. Esse chip permite que sistemas avançados de IA funcionem localmente em dispositivos móveis. Agora, os cientistas abordaram o problema de uma perspectiva diferente e criaram várias tecnologias para o desenvolvimento de redes neurais com maior eficiência energética.
Primeiro, a equipe de pesquisa desenvolveu um método analítico com o qual você pode determinar quanta energia uma rede neural consome ao trabalhar em um determinado tipo de hardware. Em seguida, os cientistas usaram o método para avaliar novas tecnologias para otimizar redes neurais, para que pudessem trabalhar com mais eficiência em dispositivos portáteis.
Pesquisadores apresentarão seu trabalho na Conferência de Reconhecimento de Visão e Padrão por Computador. No documento, eles apresentam métodos que, segundo eles, reduzem o consumo de energia em 73% em comparação com a implementação padrão de redes neurais e em 43% excedem os métodos existentes para otimizar redes neurais para plataformas móveis.
A primeira coisa que uma equipe de cientistas liderada por Se fez foi desenvolver uma ferramenta de modelagem de energia que leva em consideração transações, movimentos e fluxo de dados. Se você fornecer a ele a arquitetura da rede e o valor de seus pesos, ele informará quanta energia essa rede neural utilizará. A tecnologia desenvolvida dá uma idéia de em que energia é gasta, para que os desenvolvedores de algoritmos possam entender e usar melhor essas informações como um tipo de feedback.
Quando os pesquisadores descobriram em quais ações a energia é gasta, eles usaram esse modelo para controlar o projetista de redes neurais com eficiência energética. Se explica que anteriormente, outros cientistas que tentavam reduzir o consumo de energia das redes neurais usavam o método de poda. As conexões com pesos baixos entre os nós têm muito pouco efeito no resultado final da rede neural; portanto, muitas delas podem ser eliminadas com segurança, "cortadas".
Com a ajuda do novo modelo, Se e seus colegas finalizaram essa abordagem. Embora o corte de um grande número de compostos com baixo peso não afete significativamente a saída da rede neural, a redução de todos esses compostos provavelmente teria um efeito mais sério em sua operação. Portanto, era necessário desenvolver um mecanismo que ajudasse a determinar quando parar. Assim, os cientistas do MIT cortam as camadas da rede que consomem mais energia, o que leva à máxima economia possível. Os próprios cientistas chamam esse método de poda de economia de energia.
Os pesos na rede neural podem ser positivos e negativos; portanto, o método dos pesquisadores também considera casos em que as conexões com pesos do sinal oposto são predispostas à redução mútua. As entradas para este nó são as saídas dos nós na camada subjacente, multiplicadas pelos pesos de suas conexões. Podemos dizer que o método dos cientistas de Massachusetts considera não apenas os pesos, mas também como os nós conectados processam os dados durante o treinamento.
Se grupos de compostos com pesos positivos e negativos forem deslocados sucessivamente, eles poderão ser cortados com segurança. Segundo os pesquisadores, isso leva à criação de redes mais eficientes com menos conexões do que com os métodos de cultivo usados anteriormente.