谷歌程序员克里夫·杨（Cliff Young）解释了深度学习算法的爆炸性发展与摩尔定律的失败同时发生的原因。摩尔定律已经在计算机芯片进步的经验法则上工作了数十年，因此有必要开发根本的新计算方案
人工智能和机器学习算法的爆炸式发展正在改变计算的本质，正如谷歌在实践人工智能的最大公司之一所说的那样。 谷歌程序员克利夫·杨（Cliff Young）在由林利集团（Linley Group）主办的秋季微处理器大会开幕式上发表了讲话。林利集团是一家由著名半导体公司主办的流行计算机芯片研讨会。
Young表示，在摩尔定律（几十年来计算机芯片发展的经验法则）被完全禁止的那一刻，人工智能的使用进入了“指数阶段”。
“时代很紧张，”他若有所思地说。 “数字CMOS的速度正在放缓，我们在英特尔看到10纳米制程出现问题，在GlobalFoundries的7纳米制程中看到了这些问题，并且随着深度学习的发展，经济需求也在不断增长。 CMOS是一种互补的金属氧化物半导体结构，是用于制造计算机芯片的最常见材料。
Young说，虽然经典芯片几乎不能提高效率和生产率，但AI研究人员的需求却在增长。 他得出了一些统计数据：康奈尔大学（Cornell University）维护的arXiv预印本站点上存储的有关机器学习的科学论文的数量每18个月翻一番。 他说，Google专注于AI的内部项目数量每18个月也会翻一番。 处理机器学习中使用的神经网络所需的浮点运算数量的需求增长的更快，每三个半月翻一番。
Young说，所有这些计算查询的增长都被合并为“摩尔的超级定律”，他称这种现象“有点吓人”和“有点危险”，并且“值得担心”。
他问到“人工智能领域的所有指数增长来自哪里”。 “特别是，整体意义在于深度学习是有效的。 他说：“在我的职业生涯中，我长期以来一直忽略机器学习。” “目前还不清楚这些事情是否会起飞。”
但是随后，诸如模式识别之类的突破很快就开始出现，并且很明显，深度学习“非常有效”，他说。 “在过去五年的大部分时间里，我们一直是将AI放在首位的公司，并且我们已经基于AI重塑了大部分业务，”从搜索到广告，等等。
Young说，领先的AI研究项目Google Brain项目团队需要“巨型机器”。 例如，有时通过在神经网络中使用“权重”的数量来度量神经网络，即权重应用于神经网络并影响其处理数据的方式。
而且，如果普通的神经网络可以包含成千上万甚至数百万个需要计算的权重，那么Google研究人员就需要“千亿级机器”，即可以计算数万亿重量的计算机。 因为“每次我们将神经网络的大小加倍，我们都会提高其准确性。” 人工智能发展的准则是变得越来越大。
为了响应Google的要求，他们正在为MO（张量处理单元）开发自己的芯片系列。 由于传统的CPU和GPU图形芯片无法处理负载，因此需要TPU等。
Young表示：“我们很久以来都拒绝让我们采取行动，并说英特尔和Nvidia在创建高性能系统方面非常擅长。” “但是五年前我们越过了那条线。”
TPU在2017年首次公开亮相后引起了轰动，声称它在速度方面超过了普通芯片。 Google已经在开发第三代TPU，正在其项目中使用它，并通过Google Cloud服务按需提供计算机功能。
该公司继续制造越来越大的TPU。 根据Young的说法，在其“传统”配置中，1024个TPU共同连接到新型超级计算机上，Google计划继续扩展该系统。
他说：“我们正在建造容量达数十PB的巨型多计算机。” “我们不知疲倦地同时在多个方向上取得了进展，TB级的操作也在继续增长。” 这些项目提出了与超级计算机的发展有关的所有问题。
例如，Google工程师采用了传奇Cray超级计算机中使用的技巧。 他们将巨大的“矩阵乘法模块”（承担神经网络大量计算负担的芯片部分）与“通用向量模块”和“通用标量模块”结合在一起，就像在Cray中所做的那样。 他说：“标量和矢量模块的组合使Cray在性能方面超越了所有人。”
Google为编程芯片开发了自己的创新算术设计。 在神经网络中处理数字时，一种称为bfloat16的表示实数的特定方式可以提高效率。 在口语中，它被称为“脑浮”。
TPU使用最快的内存芯片，高带宽内存或HBM（高带宽内存）。 他说，训练神经网络对大量内存的需求正在迅速增长。
“在训练过程中会更频繁地使用记忆。 人们谈论着数亿个重量，但是在处理“神经网络变量”的激活时存在问题。
Google还调整了神经网络的编程方式，以帮助您最大程度地发挥作用。 “我们正在研究模型数据和并行性”，例如“ Mesh TensorFlow”，这是对TensorFlow软件平台的改编，“将数据和并行度结合到Pod的规模上。”
Young没有透露一些技术细节。 他指出，该公司没有谈论内部连接，也没有谈论数据沿芯片的移动方式-他只是指出“我们的连接器是巨大的”。 他拒绝扩展这个话题，这引起了观众的笑声。
Young指出了可能很快出现的更加有趣的计算领域。 例如，他建议使用模拟芯片（以连续值而不是零和一的形式处理输入数据的电路）进行的计算可以发挥重要作用。 “也许我们将转向模拟领域，在物理学中，有很多与模拟计算机和NVM存储器有关的有趣事情。”
他还对会议上介绍的芯片初创公司的成功表示了希望：“这里有很多很棒的初创公司，我们需要他们开展工作，因为数字CMOS的可能性不是无限的。 我希望所有这些投资都能够启动。”