由IBM为美国橡树岭国家实验室(Oak Ridge National Laboratory)开发的Summit超级计算机在2018年成为世界上功能最强大的计算机,五年来首次蝉联中文在美国西海岸,世界上最有价值的公司正在争相使AI变得更智能。 Google和Facebook夸耀了使用数十亿张照片和数千个强大处理器的实验。 但是,在那之后,去年,东田纳西州的一个项目悄然超过了任何公司AI的规模。 他走在美国政府的领导下。
创纪录的项目涉及到橡树岭国家实验室(Oak Ridge National Laboratory)的世界上功能最强大的超级计算机
Summit 。 电脑在去年6月取得了中国领先地位后,就能够在去年6月获得此称号,并将其带回美国。 作为气候研究项目的一部分,巨型计算机上传了机器学习实验,这是之前发生的最快的事情。
Summit的面积相当于两个网球场,在该项目中使用了超过27,000个功能强大的GPU。 他们将其能力与深度学习算法配合使用,深度学习算法是领先于AI的技术,能够以每秒10亿次操作的速度来处理信息-超级计算机圈子中的这种速度称为exaop [作者在这里有exaflops-他混合了flops,浮点运算以及带ops的一般运算。 Summit的处理能力为122 petaflops,最大可能为200 petaflops。 同时,他成为第一台达到exaop速度或每秒10
18次操作的计算机。 在遗传信息分析过程中,速度达到了1.88 exaop,并且在混合计算过程中有望达到3.3 exaop /大约。 翻译]。
劳伦斯伯克利国家实验室的国家能源研究科学中心的主要研究小组Prabhat说:“到目前为止,深度培训还没有扩展到如此规模。” (是的,他有一个名字)。 他的团队与Summit总部橡树岭国家实验室的研究人员合作。
适当地,在一台功能强大的计算机上的AI专注于世界上最大的问题之一:气候变化。 技术公司训练识别面部或道路标志的算法; 州科学家训练他们识别气候模式中的天气模式,例如气旋,这些数据来自气候模拟,对地球大气的三小时预报持续了一个世纪。 (尚不知道该项目花费了多少能源或它向大气中排放了多少碳。)
配有Summit设备的机架连接300公里的光缆,每分钟有15,000升水在37,000个处理器旁边流通,为它们冷却。Summit实验的后果将影响AI和气候学的未来。 该项目展示了将GO应用于超级计算机的可能性的科学潜力,该计算机传统上一直在模拟物理和化学过程,例如核爆炸,黑洞或新材料。 他还证明,提高计算能力(如果得到)将为MO带来好处,这对于未来的突破是个好兆头。
Google的工程总监Rajat Monga表示:“直到我们完成这个项目,我们才知道它的规模如此之大。” 他和其他Google帮助者通过将MO软件TensorFlow适应了Summit的大规模发展,为该项目提供了帮助。
扩展GO的大部分工作是在Internet公司的数据中心中进行的,在这些公司中,服务器可以共同执行任务,并将其分解为多个部分,这是因为它们相对自由地组合在一起,并且没有连接到一台巨型计算机上。 对于Summit之类的超级计算机,其架构看起来有所不同;它们具有特殊的高速连接,这些高速连接将数千个处理器组合到一个可以整体工作的系统中。 直到最近,很少有人尝试使MO适应类似的硬件。
Monga表示,使TensorFlow适应Summit的工作将振兴Google扩展自己的AI系统的努力。 Nvidia工程师还协助了该项目,确保了成千上万个Nvidia GPU的无缝协作。
发现方法为GO算法提供增强的处理能力这一事实在最近正在进行的技术的积极开发中发挥了作用。 在研究人员将Siri用于Nvidia GPU上之后,Siri用于识别您的声音以及Waymo机器人汽车用于识别交通标志的技术在2012年变得有用。
在去年5月发表的一篇
分析文章中 ,来自旧金山研究机构OpenAI的研究人员计算出自2012年以来公众所知道的与MO相关的最大项目中的计算资源量大约每3.43个月增加一倍-或每年增长11倍。 这种进步帮助Google的母公司Alphabet的机器人击败了复杂的棋盘游戏和视频游戏的冠军,并帮助Google服务的翻译准确性取得了巨大飞跃。
现在,Google和其他公司正在创建专门针对AI量身定制的新型芯片,以延续这一趋势。 谷歌表示,他们的“ pods”紧密集成了1000多种AI芯片-他们称之为张量处理器或TPU-可以提供100 petaflops的计算能力,这是其10倍[显然是真实/大约两倍。 [trans。]还不及Summit的AI实验所达到的水平。
Summit对气候学的贡献是证明巨大的AI可以如何增进我们对未来天气模式的理解。 当研究人员提前一百年发布气候预测时,很难阅读它。 “想象一下,您拥有一部可以持续100年的YouTube视频。 Prabhat说:“手动找到那里的所有猫狗都不是手工的。” 他说,通常用于自动化流程的软件是不完善的。 Summit的结果表明,国防部可以做得更好,这应该有助于预测洪水和破坏等风暴的影响。 Summit的结果为Oakridge和Nvidia
的研究人员赢得
了Gordon Bell超级计算机卓越奖。
加州大学尔湾分校的教授迈克尔·普里查德(Michael Pritchard)说,在超级计算机上启动GO是一个新的想法,对于气候学家来说,恰逢其时。 传统处理器的改进速度减慢,迫使工程师转向使用数量越来越多的图形芯片来填充超级计算机,而图形芯片的性能在不断提高。 Pritchard说:“现在已经不再可能以通常的方式提高计算能力,”。
这些变化是必须进行常规模拟的障碍。 它们还提供了一个机会,可以吸引所有自然适合图形芯片的GO功能。 这可以使我们对气候的未来有更清晰的了解。 普里查德(Pritchard)的小组去年证明,GOs可以在气候预测中产生更逼真的云模拟,从而可以改善对降雨模式变化的预测。