Le supercalculateur Summit, développé par IBM pour le Oak Ridge National Laboratory, est devenu le plus puissant au monde en 2018, prenant ce titre des Chinois pour la première fois en cinq ansSur la côte ouest des États-Unis, les entreprises les plus précieuses au monde rivalisent pour rendre l'IA plus intelligente. Google et Facebook se sont vantés d'expériences utilisant des milliards de photos et des milliers de processeurs puissants. Cependant, après cela, l'année dernière, un projet de l'Est du Tennessee a discrètement dépassé l'échelle de toute IA d'entreprise. Et il a marché sous la direction du gouvernement américain.
Le projet record a impliqué le supercalculateur le plus puissant du monde,
Summit , du Oak Ridge National Laboratory. L'ordinateur a pu capturer ce titre en juin dernier, le ramenant aux États-Unis après cinq ans de supériorité chinoise. Dans le cadre d'un projet d'étude sur le climat, l'ordinateur géant a téléchargé l'expérience d'apprentissage automatique, qui était la chose la plus rapide qui s'était produite auparavant.
Summit, couvrant une superficie égale à deux courts de tennis, a utilisé plus de 27 000 GPU puissants dans ce projet. Ils ont orienté leurs capacités à travailler avec des algorithmes d'apprentissage en profondeur, une technologie à la pointe de l'IA, capable de broyer des informations à une vitesse d'un milliard de milliards d'opérations par seconde - cette vitesse dans les cercles de superordinateurs est connue sous le nom d'exaop [l'auteur avait des exaflops ici - il a mélangé des flops, opérations en virgule flottante, avec opérations, opérations en général. La puissance de traitement de Summit est de 122 pétaflops, potentiellement le maximum est de 200 pétaflops. Dans le même temps, il est devenu le premier ordinateur à atteindre le taux d'exaop, soit 10
18 opérations par seconde. Au cours de l'analyse des informations génétiques, une vitesse de 1,88 exaop a été atteinte et il est prévu que 3,3 exaop / approx seront atteints lors de calculs mixtes. trad.].
«Jusqu'à présent, la formation approfondie n'a pas atteint une telle échelle», explique Prabhat, un groupe de recherche de premier plan au National Science Center for Energy Research au Lawrence Berkeley National Laboratory. (Oui, il a un nom). Son équipe a collaboré avec des chercheurs de la base d'attache de Summit, le Oak Ridge National Laboratory.
De façon appropriée, l'IA sur un ordinateur puissant s'est concentrée sur l'un des plus gros problèmes du monde: le changement climatique. Les entreprises technologiques forment des algorithmes pour reconnaître les visages ou les panneaux routiers; Les scientifiques d'État les entraînent à reconnaître les conditions météorologiques, par exemple les cyclones, dans les abondants ensembles de données obtenus dans les simulations climatiques, les prévisions sur trois heures de l'atmosphère terrestre, qui s'étendent sur un siècle. (On ne sait pas combien d'énergie ce projet a dépensé ni combien de carbone il a émis dans l'atmosphère.)
Les racks équipés de l'équipement Summit connectent 300 km de câbles à fibres optiques et 15 000 litres d'eau circulent chaque minute à côté de 37 000 processeurs, les refroidissant.Les conséquences de l'expérience du Sommet affecteront l'avenir de l'IA et de la climatologie. Le projet démontre le potentiel scientifique des possibilités d'application du GO aux supercalculateurs, traditionnellement impliqués dans la simulation de processus physiques et chimiques, tels que les explosions nucléaires, les trous noirs ou de nouveaux matériaux. Il démontre également qu'une augmentation de la puissance de calcul - si elle est reçue - offre des avantages pour le MO - et cela augure bien pour les futures percées.
"Jusqu'à ce que nous réalisions ce projet, nous ne savions pas qu'il pouvait évoluer autant", explique Rajat Monga, directeur de l'ingénierie de Google. Lui et d'autres assistants de Google ont aidé le projet en adaptant TensorFlow, le logiciel MO, à la vaste échelle de Summit.
La plupart des travaux sur la mise à l'échelle de GO ont eu lieu dans les centres de données des sociétés Internet, où les serveurs travaillent ensemble sur des tâches, en les décomposant en parties, car ils sont combinés relativement librement et ne sont pas connectés à un ordinateur géant. Pour les supercalculateurs tels que Summit, l'architecture est différente; ils ont des connexions spéciales à haute vitesse qui combinent des milliers de processeurs en un seul système qui peut fonctionner dans son ensemble. Jusqu'à récemment, peu de gens essayaient d'adapter le MO pour fonctionner sur un matériel similaire.
Monga dit que travailler pour adapter TensorFlow à Summit va relancer les efforts de Google pour étendre ses propres systèmes d'IA. Les ingénieurs de Nvidia ont également participé à ce projet, garantissant la collaboration transparente de dizaines de milliers de GPU Nvidia.
Le fait que l'on trouve que les méthodes fournissent aux algorithmes GO une puissance de traitement croissante a joué un rôle dans le développement actif de la technologie qui a eu lieu récemment. La technologie que Siri utilise pour reconnaître votre voix et les voitures robotiques Waymo pour reconnaître les panneaux de signalisation sont devenues utiles en 2012, après que les chercheurs l'ont adaptée pour travailler sur les GPU Nvidia.
Dans un
article analytique publié en mai dernier, des chercheurs d'OpenAI, un institut de recherche de San Francisco, dont l'un des investisseurs était Elon Musk, ont calculé que la quantité de ressources informatiques dans les plus grands projets liés à l'OM connus du public depuis 2012 double environ tous les 3,43 mois - ou croît 11 fois par an. De tels progrès ont aidé les bots d'Alphabet, la société mère de Google, à vaincre les champions des jeux de société et des jeux vidéo complexes, et ont contribué à faire un grand saut dans la précision des traductions du service Google.
Maintenant, Google et d'autres sociétés créent de nouveaux types de puces spécialement conçues pour l'IA afin de poursuivre cette tendance. Google dit que leurs "pods", intégrant étroitement plus de 1000 de leurs puces pour l'IA - ils les appellent des processeurs tenseurs, ou TPU - peuvent donner 100 pétaflops de puissance de calcul, ce qui est 10 fois [apparemment, deux fois plus réel / environ. trans.] de moins que ce que Summit a réalisé dans son expérience de l'IA.
La contribution du Sommet à la climatologie est de démontrer à quel point l'IA peut améliorer notre compréhension des futurs modèles météorologiques. Lorsque les chercheurs publient des prévisions climatiques cent ans à l'avance, il devient assez difficile de les lire. «Imaginez que vous ayez une vidéo YouTube qui dure 100 ans. Manuellement, vous ne pouvez pas trouver tous les chats et les chiens là-bas », explique Prabhat. Selon lui, les logiciels couramment utilisés pour automatiser les processus sont imparfaits. Les résultats du sommet ont montré que le ministère de la Défense peut faire mieux, ce qui devrait aider à prévoir les effets des tempêtes telles que les inondations et les destructions. Les résultats de Summit ont valu aux chercheurs d'Oakridge et de Nvidia
le prix Gordon Bell d'excellence en supercalcul.
Le lancement de GO sur les superordinateurs est une nouvelle idée qui est venue au bon moment pour les climatologues, explique Michael Pritchard, professeur à l'Université de Californie à Irvine. Le ralentissement de la vitesse des améliorations des processeurs conventionnels a contraint les ingénieurs à passer au remplissage des superordinateurs avec un nombre croissant de puces graphiques, où les performances augmentent de manière plus fiable. «Le moment est venu où il n'était plus possible d'augmenter la puissance de calcul de la manière habituelle», déclare Pritchard.
Ces changements sont des obstacles aux simulations habituelles qui doivent être adaptées. Ils offrent également la possibilité de faire appel à toute la puissance de GO, qui s'adapte naturellement aux puces graphiques. Cela peut nous donner une image plus claire de l'avenir de notre climat. L'an dernier, le groupe de Pritchard a démontré que les GO peuvent produire des simulations de nuages plus réalistes dans les prévisions climatiques, ce qui peut améliorer les prévisions des changements dans les régimes pluviométriques.