La percée des dernières années des systèmes d'intelligence artificielle dans les domaines de la conduite autonome, de la reconnaissance vocale, de la vision industrielle et de la traduction automatique a été rendue possible grâce au développement de réseaux de neurones artificiels. Mais pour leur lancement et leur formation, beaucoup de mémoire et d'énergie sont nécessaires. Par conséquent, les composants AI fonctionnent souvent sur des serveurs dans le cloud et échangent des données avec des ordinateurs de bureau ou des appareils mobiles.
Les réseaux de neurones se composent de milliers de nœuds de traitement de l'information simples mais étroitement interconnectés, généralement organisés en couches. Les réseaux de neurones diffèrent par le nombre de couches, les connexions entre les nœuds et les nœuds de chaque couche.
Les connexions entre les nœuds sont associées à des poids, qui déterminent dans quelle mesure la sortie du nœud facilitera le calcul du nœud suivant. Pendant la formation, dans laquelle les réseaux sont présentés avec des exemples de calculs qu'ils apprennent à effectuer, ces poids sont constamment ajustés jusqu'à ce que le résultat de la dernière couche du réseau corresponde au résultat du calcul.
Quel réseau sera plus économe en énergie? Un filet peu profond avec des poids plus importants ou un filet plus profond avec des poids inférieurs? De nombreux chercheurs ont tenté de répondre à ces questions. Récemment, l'activité principale de la communauté d'apprentissage en profondeur a consisté à développer des architectures de réseaux neuronaux efficaces pour des plateformes aux capacités informatiques limitées. Cependant, la plupart de ces études se sont concentrées soit sur la réduction de la taille du modèle, soit sur l'informatique, tandis que pour les smartphones et de nombreux autres appareils, la consommation d'énergie est d'une importance capitale en raison de l'utilisation de batteries et des restrictions sur le paquet de chaleur.
Des chercheurs du Massachusetts Institute of Technology (MIT), dirigés par Vivienne Sze, professeure agrégée au Département de génie électrique et d'informatique, ont développé une nouvelle approche pour optimiser les réseaux de neurones convolutifs qui se concentre sur la réduction de la consommation d'énergie à l'aide d'un nouvel outil d'estimation de la consommation d'énergie.
En 2016, Vivienne Ce et ses collègues ont présenté une nouvelle puce informatique écoénergétique optimisée pour les réseaux de neurones. Cette puce permet à de puissants systèmes d'IA de fonctionner localement sur des appareils mobiles. Maintenant, les scientifiques ont abordé le problème sous un angle différent et ont créé plusieurs technologies pour développer des réseaux de neurones plus économes en énergie.
Tout d'abord, l'équipe de recherche a développé une méthode analytique avec laquelle vous pouvez déterminer la quantité d'énergie qu'un réseau de neurones consomme lorsque vous travaillez sur un certain type de matériel. Ensuite, les scientifiques ont utilisé la méthode pour évaluer les nouvelles technologies d'optimisation des réseaux de neurones afin de pouvoir travailler plus efficacement sur les appareils portables.
Les chercheurs présenteront leurs travaux à la conférence Computer Vision and Pattern Recognition. Dans le document, ils présentent des méthodes qui, selon eux, réduisent la consommation d'énergie de 73% par rapport à la mise en œuvre standard des réseaux de neurones et dépassent de 43% les méthodes existantes d'optimisation des réseaux de neurones pour les plateformes mobiles.
La première chose qu'une équipe de scientifiques dirigée par Se a fait a été de développer un outil de modélisation énergétique qui prend en compte les transactions, les mouvements et les flux de données. Si vous lui fournissez l'architecture du réseau et la valeur de ses poids, il vous dira combien d'énergie ce réseau neuronal utilisera. La technologie développée donne une idée de l'énergie dépensée, afin que les développeurs d'algorithmes puissent mieux comprendre et utiliser ces informations comme une sorte de rétroaction.
Lorsque les chercheurs ont découvert les actions sur lesquelles l'énergie est dépensée, ils ont utilisé ce modèle pour contrôler le concepteur de réseaux de neurones à haut rendement énergétique. Se explique que plus tôt, d'autres scientifiques essayant de réduire la consommation d'énergie des réseaux de neurones ont utilisé la méthode d'élagage. Les connexions de faible poids entre les nœuds ont très peu d'effet sur le résultat final du réseau neuronal, de sorte que bon nombre d'entre elles peuvent être éliminées en toute sécurité, «coupées».
Avec l'aide du nouveau modèle, Se et ses collègues ont finalisé cette approche. Bien que la réduction d'un grand nombre de composés de faible poids n'affecte pas de manière significative la sortie du réseau neuronal, la réduction de tous ces composés aurait probablement un effet plus grave sur son fonctionnement. Par conséquent, il était nécessaire de développer un mécanisme qui aiderait à déterminer quand s'arrêter. Ainsi, les scientifiques du MIT ont coupé les couches du réseau qui consomment plus d'énergie, ce qui conduit à des économies maximales possibles. Les scientifiques eux-mêmes appellent cette méthode l'élagage à économie d'énergie.
Les poids dans le réseau neuronal peuvent être à la fois positifs et négatifs, par conséquent, la méthode des chercheurs considère également les cas où les connexions avec des poids de signe opposé sont prédisposées à une réduction mutuelle. Les entrées de ce nœud sont les sorties des nœuds de la couche sous-jacente, multipliées par les poids de leurs connexions. Nous pouvons dire que la méthode des scientifiques du Massachusetts tient compte non seulement des poids, mais aussi de la façon dont les nœuds connectés traitent les données pendant la formation.
Si des groupes de composés avec des poids positifs et négatifs sont compensés successivement, ils peuvent être coupés en toute sécurité. Selon les chercheurs, cela conduit à la création de réseaux plus efficaces avec moins de connexions qu'avec les méthodes de recadrage précédemment utilisées.