El avance en los últimos años de los sistemas de inteligencia artificial en los campos de conducción autónoma, reconocimiento de voz, visión artificial y traducción automática ha sido posible gracias al desarrollo de redes neuronales artificiales. Pero para su lanzamiento y entrenamiento, se necesita mucha memoria y energía. Por lo tanto, a menudo los componentes de IA funcionan en servidores en la nube e intercambian datos con computadoras de escritorio o dispositivos móviles.
Las redes neuronales consisten en miles de nodos de procesamiento de información simples pero estrechamente interconectados, generalmente organizados en capas. Las redes neuronales difieren en el número de capas, conexiones entre nodos y nodos en cada capa.
Las conexiones entre nodos están asociadas con pesos, que determinan cuánto la salida del nodo facilitará el cálculo del siguiente nodo. Durante el entrenamiento, en el que las redes se presentan con ejemplos de cálculos que aprenden a realizar, estos pesos se ajustan constantemente hasta que el resultado de la última capa de la red coincida con el resultado del cálculo.
¿Qué red será más eficiente energéticamente? ¿Una red poco profunda con pesos mayores o una red más profunda con pesos menores? Muchos investigadores han intentado responder estas preguntas. Recientemente, la actividad principal en la comunidad de aprendizaje profundo ha estado dirigida a desarrollar arquitecturas de redes neuronales efectivas para plataformas con capacidades informáticas limitadas. Sin embargo, la mayoría de estos estudios se han centrado en reducir el tamaño del modelo o en la informática, mientras que para los teléfonos inteligentes y muchos otros dispositivos, el consumo de energía es de suma importancia debido al uso de baterías y las restricciones en el paquete de calor.
Investigadores del Instituto de Tecnología de Massachusetts (MIT), liderados por la profesora asociada del Departamento de Ingeniería Eléctrica e Informática, Vivienne Sze, han desarrollado un nuevo enfoque para optimizar las redes neuronales convolucionales que se enfoca en minimizar el consumo de energía utilizando una nueva herramienta para estimar el consumo de energía.
En 2016, Vivienne Ce y sus colegas presentaron un nuevo chip de computadora eficiente en energía optimizado para redes neuronales. Este chip permite que los potentes sistemas de inteligencia artificial funcionen localmente en dispositivos móviles. Ahora, los científicos abordaron el problema desde una perspectiva diferente y crearon varias tecnologías para desarrollar redes neuronales más eficientes energéticamente.
Primero, el equipo de investigación desarrolló un método analítico con el que puede determinar cuánta energía consume una red neuronal cuando trabaja en cierto tipo de hardware. Luego, los científicos utilizaron el método para evaluar nuevas tecnologías para optimizar las redes neuronales para que pudieran trabajar de manera más eficiente en dispositivos portátiles.
Los investigadores presentarán su trabajo en la Conferencia de reconocimiento de patrones y visión por computadora. En el documento, presentan métodos que, según ellos, reducen el consumo de energía en un 73% en comparación con la implementación estándar de redes neuronales y en un 43% exceden los métodos existentes para optimizar las redes neuronales para plataformas móviles.
Lo primero que hizo un equipo de científicos liderados por Se fue desarrollar una herramienta de modelado de energía que tenga en cuenta las transacciones, los movimientos y el flujo de datos. Si le proporciona la arquitectura de red y el valor de sus pesos, él le dirá cuánta energía usará esta red neuronal. La tecnología desarrollada da una idea de en qué energía se gasta, para que los desarrolladores de algoritmos puedan comprender mejor y utilizar esta información como una especie de retroalimentación.
Cuando los investigadores descubrieron en qué acciones se gasta la energía, utilizaron este modelo para controlar al diseñador de redes neuronales energéticamente eficientes. Se explica que anteriormente, otros científicos que intentaban reducir el consumo de energía de las redes neuronales utilizaron el método de poda. Las conexiones con bajo peso entre los nodos tienen muy poco efecto en el resultado final de la red neuronal, por lo que muchos de ellos se pueden eliminar de forma segura, "cortar".
Con la ayuda del nuevo modelo, Se y sus colegas finalizaron este enfoque. Aunque recortar una gran cantidad de compuestos con bajo peso no afecta significativamente la salida de la red neuronal, la reducción de todos estos compuestos probablemente tendría un efecto más grave en su funcionamiento. Por lo tanto, era necesario desarrollar un mecanismo que ayudara a determinar cuándo parar. Por lo tanto, los científicos del MIT cortan aquellas capas de la red que consumen más energía, lo que conduce al máximo ahorro posible. Los propios científicos llaman a este método poda de ahorro de energía.
Los pesos en la red neuronal pueden ser tanto positivos como negativos, por lo tanto, el método de los investigadores también considera casos en los que las conexiones con pesos del signo opuesto están predispuestas a la reducción mutua. Las entradas para este nodo son las salidas de los nodos en la capa subyacente, multiplicados por los pesos de sus conexiones. Podemos decir que el método de los científicos de Massachusetts considera no solo los pesos, sino también cómo los nodos conectados procesan los datos durante el entrenamiento.
Si los grupos de compuestos con pesos positivos y negativos se compensan sucesivamente, se pueden cortar de forma segura. Según los investigadores, esto lleva a la creación de redes más eficientes con menos conexiones que con los métodos de cultivo utilizados anteriormente.