O supercomputador Summit, desenvolvido pela IBM para o Oak Ridge National Laboratory, tornou-se o mais poderoso do mundo em 2018, conquistando este título entre os chineses pela primeira vez em cinco anos.Na costa oeste dos EUA, as empresas mais valiosas do mundo estão competindo para tornar a IA mais inteligente. O Google e o Facebook ostentaram experiências usando bilhões de fotos e milhares de processadores poderosos. No entanto, depois disso, no ano passado, um projeto do leste do Tennessee ultrapassou silenciosamente a escala de qualquer IA corporativa. E ele andou sob a liderança do governo dos EUA.
O projeto de gravação envolveu o supercomputador mais poderoso do mundo, o
Summit , do Laboratório Nacional de Oak Ridge. O computador conseguiu capturar esse título em junho passado, devolvendo-o aos Estados Unidos após cinco anos de superioridade chinesa. Como parte de um projeto de estudo climático, o computador gigante carregou o experimento de aprendizado de máquina, que foi a coisa mais rápida que havia acontecido antes.
A Summit, cobrindo uma área igual a duas quadras de tênis, usou mais de 27.000 GPUs poderosas neste projeto. Eles direcionaram suas capacidades para trabalhar com algoritmos de aprendizado profundo, uma tecnologia que lidera as linhas de frente da IA, capaz de processar informações a uma velocidade de bilhões de bilhões de operações por segundo - essa velocidade nos círculos de supercomputadores é conhecida como exaop [o autor teve exaflops aqui - ele misturou fracassos, operações de ponto flutuante, com operações, operações em geral. O poder de processamento do Summit é de 122 petaflops, potencialmente o máximo é de 200 petaflops. Ao mesmo tempo, ele se tornou o primeiro computador a atingir a taxa de esgotamento, ou 10
18 operações por segundo. Durante a análise da informação genética, foi alcançada uma velocidade de 1,88 exaop, e espera-se que 3,3 exaop / approx sejam alcançados durante cálculos mistos. transl.].
"Até agora, o treinamento aprofundado não se expandiu a tal escala", diz Prabhat, um grupo de pesquisa líder do Centro Nacional de Ciências para Pesquisa de Energia do Laboratório Nacional Lawrence Berkeley. (Sim, ele tem um nome). Sua equipe colaborou com pesquisadores da sede da Summit, o Laboratório Nacional de Oak Ridge.
Apropriadamente, a IA em um computador poderoso focada em um dos maiores problemas do mundo: as mudanças climáticas. Empresas tecnológicas treinam algoritmos para reconhecer rostos ou sinais de trânsito; cientistas estatais os treinam para reconhecer padrões climáticos, por exemplo, ciclones, em abundantes conjuntos de dados obtidos em simulações climáticas, previsões de três horas da atmosfera da Terra, que se estendem por um século. (Não se sabe quanta energia esse projeto gastou ou quanto carbono emitiu na atmosfera.)
Os racks com o equipamento Summit conectam 300 km de cabo de fibra óptica e 15.000 litros de água circulam a cada minuto, próximo a 37.000 processadores, resfriando-os.As conseqüências do experimento da Summit afetarão o futuro da IA e da climatologia. O projeto demonstra o potencial científico das possibilidades de aplicar o GO a supercomputadores, tradicionalmente envolvidos na simulação de processos físicos e químicos, como explosões nucleares, buracos negros ou novos materiais. Ele também demonstra que um aumento no poder de computação - se recebido - fornece benefícios para o MO - e isso é um bom presságio para descobertas futuras.
"Até o momento em que fizemos esse projeto, não sabíamos que ele poderia escalar tanto", diz Rajat Monga, diretor de engenharia do Google. Ele e outros auxiliares do Google ajudaram o projeto adaptando o TensorFlow, o software MO, à vasta escala da Summit.
A maior parte do trabalho de dimensionamento do GO ocorreu nos datacenters de empresas de Internet, onde os servidores trabalham juntos em tarefas, dividindo-as em partes, devido ao fato de serem combinadas com relativa liberdade e não estarem conectadas a um computador gigante. Para supercomputadores como o Summit, a arquitetura parece diferente; eles têm conexões especiais de alta velocidade que combinam milhares de processadores em um único sistema que pode funcionar como um todo. Até recentemente, poucas pessoas tentavam adaptar o MO para trabalhar em um hardware semelhante.
Monga diz que trabalhar para adaptar o TensorFlow ao Summit revitalizará os esforços do Google para expandir seus próprios sistemas de IA. Os engenheiros da Nvidia também ajudaram nesse projeto, garantindo a colaboração contínua de dezenas de milhares de GPUs da Nvidia.
O fato de encontrar métodos para fornecer aos algoritmos GO um poder de processamento crescente tem desempenhado um papel no desenvolvimento ativo da tecnologia que vem ocorrendo recentemente. A tecnologia que a Siri usa para reconhecer sua voz e os carros robóticos Waymo para reconhecer sinais de trânsito tornaram-se úteis em 2012, depois que os pesquisadores a adaptaram para trabalhar nas GPUs da Nvidia.
Em um
artigo analítico publicado em maio passado, pesquisadores do OpenAI, um instituto de pesquisa em São Francisco, um dos quais investidores era Elon Musk, calcularam que a quantidade de recursos de computação nos maiores projetos relacionados ao MO que são conhecidos do público desde 2012 dobra aproximadamente a cada 3,43 meses - ou cresce 11 vezes por ano. Esse progresso ajudou os robôs da Alphabet, empresa controladora do Google, a derrotar os campeões de complexos jogos de tabuleiro e videogames e ajudou a dar um grande salto na precisão das traduções do serviço do Google.
Agora, o Google e outras empresas estão criando novos tipos de chips adaptados especificamente para a IA para continuar essa tendência. O Google diz que seus "pods", integrando firmemente mais de 1000 de seus chips para IA - eles os chamam de processadores tensores, ou TPU - podem fornecer 100 petaflops de poder de computação, que é 10 vezes [aparentemente, duas vezes mais real / aprox. trans.] inferior ao que a Summit alcançou em seu experimento de IA.
A contribuição da Summit para a climatologia é demonstrar como uma enorme IA pode melhorar nossa compreensão dos padrões climáticos futuros. Quando os pesquisadores emitem previsões climáticas com cem anos de antecedência, torna-se bastante difícil lê-las. “Imagine que você tenha um vídeo do YouTube que dura 100 anos. Manualmente, você não encontra todos os cães e gatos lá ”, diz Prabhat. Software que é comumente usado para automatizar processos, ele disse, é imperfeito. Os resultados da Summit mostraram que o Ministério da Defesa pode fazer melhor, e isso deve ajudar a prever os efeitos de tempestades, como inundações e destruição. Os resultados da Summit renderam aos pesquisadores da Oakridge e da Nvidia
o Prêmio
Gordon Bell de Excelência em Supercomputação.
O lançamento do GO em supercomputadores é uma nova idéia que surgiu na hora certa para os climatologistas, diz Michael Pritchard, professor da Universidade da Califórnia em Irvine. A velocidade lenta das melhorias nos processadores convencionais forçou os engenheiros a mudar para o preenchimento de supercomputadores com um número crescente de chips gráficos, onde o desempenho está crescendo de maneira mais confiável. "Chegou a hora em que não era mais possível aumentar o poder da computação da maneira usual", diz Pritchard.
Essas mudanças são obstáculos às simulações usuais que precisam ser adaptadas. Eles também oferecem uma oportunidade de atrair todo o poder do GO, que naturalmente se encaixa nos chips gráficos. Isso pode nos dar uma imagem mais clara do futuro do nosso clima. O grupo de Pritchard no ano passado demonstrou que os GOs podem produzir simulações em nuvem mais realistas nas previsões climáticas, o que pode melhorar as previsões de mudanças nos padrões de precipitação.