Mémoire analogique 8 bits pour travailler avec des réseaux de neurones

A la fin de l'année, un article est paru sur Habré selon lequel IBM a pu créer la première puce 8 bits basée sur la mémoire à mémoire à changement de phase (mémoire à changement de phase, ou PCM).

Aujourd'hui, nous allons vous expliquer comment fonctionne l'appareil représenté par le géant de l'informatique.


/ photo IBM Research CC BY-ND

Quel est le but de développer une puce?


Les systèmes modernes d'apprentissage automatique fonctionnent principalement sur la base de processeurs graphiques (GPU). Ils nécessitent un refroidissement actif, car le GPU peut chauffer jusqu'à deux fois plus vite que les unités centrales de traitement (CPU). Cela se traduit par d'importantes factures d'électricité pour les centres de données dans lesquels ces grappes informatiques sont situées.

La question de la réduction de la consommation d'énergie est importante pour les centres de données (DPC). Selon les analystes , d'ici 2025, les centres de données consommeront 20% de toute l'électricité produite. Afin de réduire les coûts des centres de données, de nouvelles technologies d'apprentissage automatique (MO) sont en cours de développement. Il s'agit notamment de la mémoire analogique à changement de phase (PCM) 8 bits d'IBM. Selon les développeurs, les nouvelles puces seront cent fois plus productives que les GPU classiques et nécessiteront 280 fois moins d'énergie.

Les avantages de la mémoire PCM s'expliquent par le fait que le traitement et le stockage des données se produisent sur un seul appareil. Dans les systèmes traditionnels, ces processus sont séparés - les données doivent être transférées d'un appareil à l'autre et, pour cette raison, la vitesse de calcul et leur efficacité énergétique sont réduites.

La puce fonctionne avec des nombres à virgule flottante 8 bits. En règle générale, l'apprentissage automatique utilise des nombres avec une plus grande précision, cependant, selon les chercheurs d'IBM, cela suffit pour les tâches quotidiennes.

Les créateurs de la technologie ont réussi à l' appliquer dans la traduction de textes et la reconnaissance de la parole et des images. Jeff Welser, vice-président de la recherche IBM, a comparé le fonctionnement d'un réseau neuronal dans une puce à une personne qui voit une silhouette floue dans une fenêtre embuée, mais reconnaît toujours son parent ou son ami à cet endroit.

IBM a déjà montré les premiers résultats de la mémoire PCM avec les technologies d'apprentissage automatique. Un réseau neuronal simple couche a été lancé sur la puce, qui a reconnu les nombres manuscrits 1, 0 et 4. L'algorithme a distingué les images avec une précision de 100%.

Fonctionnement de la mémoire analogique IBM


La puce est constituée d'un alliage de germanium, de tellure et d'antimoine, placé entre deux électrodes. Lorsqu'un courant traverse le matériau, son état passe de cristallin à amorphe. Ces états signifient zéro ou un.

Étant donné que la phase ne change pas dans tout le volume de l'alliage, mais seulement dans sa partie, des valeurs intermédiaires entre 0 et 1 peuvent être stockées dans la cellule. Lorsqu'elles sont écrites dans la mémoire, les nombres ne sont pas «arrondis», ce qui permet d'obtenir une plus grande précision des algorithmes qui fonctionnent sur la puce. On pense que cette méthode de stockage des données transmet plus précisément le comportement des neurones dans le cerveau humain.

Lors de la lecture des données, un petit courant traverse la cellule et la résistance est mesurée. À l'état amorphe, la résistance de l'alliage s'avère plus élevée que dans celle cristalline - ce paramètre détermine le nombre stocké dans la cellule.

Bien que la tension de lecture soit inférieure à celle requise pour changer l'état de phase du matériau, elle entraîne un léger décalage des particules et une distorsion des données. Par conséquent, IBM a amélioré la mémoire PCM et ajouté une couche supplémentaire de nitrure de titane à l'appareil, qui « enveloppe » l'alliage - on l'appelait un réflecteur.


/ Koelmans, WW et al. Dispositifs de mémoire à changement de phase projetés / CC BY

Lors de l'enregistrement des données, le réflecteur n'affecte pas le passage du courant à travers l'alliage, car la résistance du nitrure de titane dans ce cas est supérieure à la résistance du matériau de la cellule. Lors de la lecture des données, la résistance du matériau cellulaire devient supérieure à celle du réflecteur, et donc le courant passe à travers la couche externe, contournant l'alliage. IBM a appelé ce type de mémoire Proj-PCM, ou PCM projeté - «PCM avec réflecteur».

Perspectives technologiques


Dans l'industrie informatique, la nouvelle puce a réagi positivement. Selon l' éditeur scientifique d'Ars Technica, l'appareil a un grand potentiel - avec le développement de la technologie et la réduction de la taille de la cellule mémoire, IBM peut augmenter la productivité de l'appareil d'au moins cent fois. Cependant, le géant informatique n'a pas encore résolu plusieurs difficultés.

Le premier est la production de masse de mémoire PCM. Selon l'analyste du marché des processeurs Linley Gwennap, les caractéristiques des puces, telles que la tension de fonctionnement et la résistance des circuits électroniques, varient d'un appareil à l'autre. Gwennap estime qu'IBM n'a pas encore développé de processus de fabrication adapté, de sorte que la puce analogique ne deviendra pas bientôt un produit commercial.

Une autre difficulté est la résistance aux changements de température. Maintenant, sous l'influence de la chaleur ou du froid, l'alliage change de phase. Par conséquent, les créateurs de l'appareil doivent trouver un moyen de protéger la puce des fluctuations de température. La solution sera probablement de réduire la taille de l'appareil - des études montrent que le matériau est moins sensible à la température avec une épaisseur de couche de plusieurs nanomètres.


/ photo IBM Research CC BY-ND

Qui d'autre développe des puces pour le MO


Une technologie similaire est en cours de développement par la startup Mythic. Au cœur de l'appareil de l'entreprise se trouve une mémoire flash à plusieurs niveaux (cellule à plusieurs niveaux, ou MLC). Une cellule à puce peut stocker non pas deux ou quatre niveaux de charge, comme dans les dispositifs de mémoire flash les plus courants, mais 256. Cela augmente considérablement sa capacité. On s'attend à ce qu'une telle mémoire soit utilisée pour mettre en œuvre des algorithmes d'apprentissage automatique dans les appareils Internet des objets: smartphones, drones, haut-parleurs intelligents et aides auditives .

Une autre puce similaire est créée par Syntiant. Les calculs dans l'appareil sont également effectués dans la mémoire du MLC. Le principal avantage de la technologie est sa faible consommation d'énergie. Les représentants de l'entreprise affirment que leur appareil consomme 50 fois moins d'électricité que les processeurs numériques. Syntiant sera également utilisé dans les gadgets alimentés par batterie: smartphones, appareils portables, capteurs et caméras de surveillance. La startup travaille déjà sur la première implémentation commerciale de la technologie - un microphone «intelligent».

En général, les puces PCM analogiques ne sont pas encore conçues pour un calcul de haute précision. Par conséquent, ils sont utilisés en combinaison avec des processeurs centraux et graphiques. IBM estime que l'architecture hybride peut trouver un équilibre entre performances et précision. Mais à l'avenir, la mémoire analogique devrait remplacer les puces classiques des centres de données.



Premier blog IaaS d'entreprise:


Notre blog TelaGram IaaS:

Source: https://habr.com/ru/post/fr435072/


All Articles