受大脑结构启发的计算时代已经来临。 利用神经网络和深度学习模拟人脑某些方面的算法,可使数字计算机在语言翻译中达到令人难以置信的高度,在大量数据中搜索难以捉摸的模式,并在Go语言中击败人们。
但是,尽管工程师继续积极地开发具有很多功能的计算策略,但数字计算的能效已接近极限。 我们的数据中心和超级计算机已经消耗了兆瓦-美国消耗的所有电力中有2%用于数据中心。 人类的大脑价值20瓦,这仅是日常食物所消耗能量的一小部分。 如果要改善计算系统,就需要使计算机看起来像大脑。
对神经形态技术的兴趣激增与此想法相关联,有望使计算机超越简单的神经网络,而转向充当神经元和突触的电路。 类似于大脑的物理电路的发展已经非常发达。 在过去的35年中,我在实验室和全球其他机构中所做的工作导致了人造神经成分的产生,类似于突触和树突,它们的反应和产生电信号的方式与真实信号相似。
那么,将这些构建基块集成到成熟的计算机大脑中需要什么? 2013年,我曾经在佐治亚理工学院(Georgia Institute of Technology)读研究生的Bo Marr帮助我
评估了工程和神经生物学领域的现代最佳成果 。 我们得出的结论是,可以使用晶体管创建人脑皮质的硅版本。 此外,最终机器将占用不到一立方米的空间,消耗的功率也将少于100瓦,这与人脑没有太大区别。
我不想说创建这样的计算机很容易。 我们发明的系统将需要数十亿美元的开发和建设费用,并且要使其紧凑,它将包括一些创新性的创新。 还出现了我们将如何编程和训练这种计算机的问题。 神经形态学的研究人员仍在努力了解如何使成千上万的人工神经元协同工作,以及如何找到伪大脑活动的有用应用。
但是,我们可以提出这样一个系统的事实表明,我们不久就出现了适用于便携式和可穿戴电子设备的小尺寸芯片。 这样的小工具将消耗很少的能量,因此具有高能效的神经形态芯片-即使只进行部分计算(例如信号处理),也可能会带来革命性的变化。 现有功能(例如语音识别)可以在嘈杂的环境中工作。 您甚至可以想象未来的智能手机可以在两个人之间的对话中进行实时语音翻译。 想想看:自从用于信号处理的集成电路问世40年来,摩尔定律将其能量效率提高了约1000倍。 非常像大脑的神经形态芯片可以轻松地超越这些改进,从而又减少了1亿倍的能耗。 结果,以前需要数据中心的计算就可以轻松掌握。
在接近大脑的理想机器中,有必要重新创建大脑所有主要功能组件的类似物:连接神经元并允许神经元接收和响应信号的突触; 树突结合并根据输入信号进行局部计算; 原子核或躯体是每个中子的区域,该区域将树突的输入合并并将输出传输到轴突。
这些基本组件的最简单版本已在硅中实现。 这项工作的开始是由相同的金属氧化物半导体或MOSFET决定的,其数十亿个副本用于在现代数字处理器中构建逻辑电路。
这些设备与神经元有很多共同点。 神经元通过电压控制的屏障起作用,它们的电和化学活性主要取决于离子在细胞内部和外部空间之间移动的通道。 这是一个平稳的模拟过程,其中信号不断累积或减少,而不是简单的开/关操作。
MOSFET也受电压控制,并通过单个电荷单元的移动来工作。 而且,当MOSFET在“低于阈值”模式下工作,但未达到电压阈值时,会切换为通断模式,流过该器件的电流量非常小-不到典型开关或数字门中电流的千分之一。
加州理工学院的卡弗·米德(Carver Mead)提出了亚阈值晶体管的物理原理可用于创建类似于大脑的电路的想法,他在1970年代推动了超大型集成电路领域的革命。 米尔指出,芯片设计人员并未使用其行为的许多有趣方面,而是将晶体管专门用于数字逻辑。 正如
他在1990年所写,该过程类似于一个事实,即“晶体管中存在的所有美丽物理都被压碎为零和一,然后在此基础上痛苦地构建“与”门或“或”门以重塑乘法。 与传统的数字计算机相比,更“物理”的或基于物理的计算机可以对每单位能量进行更多的计算。 米德预测,这样的计算机将占用更少的空间。
在随后的几年中,神经形态系统的工程师用硅以高生物准确性创建了大脑的所有基本块。 树突,轴突和神经元体可以由标准晶体管和其他元件制成。 例如,在2005年,我和Ethan Farquhar由一组六个MOSFET和一堆电容器
创建了一个神经电路 。 我们的模型发出的电脉冲与发出cat鱼神经元乌贼的脉冲非常相似,这是实验的长期目标。 此外,我们的方案实现了这样的指标,其电流和能耗水平接近鱿鱼大脑中存在的水平。 如果我们想使用模拟电路对神经科学家得出的方程式进行建模以描述这种行为,我们将不得不使用10倍以上的晶体管。 在数字计算机上执行此类计算将需要更多空间。

突触和cat鱼:能够存储不同量电荷的浮栅晶体管(左上方)可用于创建人工突触的坐标阵列(左下方)。 神经元其他组件的电子版本,例如the鱼(右),可以由标准晶体管和其他组件制成。
突触很难模仿。 像突触一样的设备应该能够记住它所处的状态,以某种方式对输入信号做出响应,并随时间调整其响应。
有几种创建突触的潜在方法。 其中最发达的是
单晶体管学习突触 (STLS)
突触 ,我和Kaltech的同事在1990年代(当时我是Mead的一名研究生)就曾从事此工作。
我们于1994年首次推出STLS,它已成为工程师创建现代模拟电路(例如物理神经网络)的重要工具。 在神经网络中,网络中的每个节点都有一个与之关联的权重,这些权重决定了如何组合来自不同节点的数据。 STLS是第一款能够包含一组不同权重并可以即时重新编程的设备。 另外,该设备是非易失性的,也就是说,即使不使用它也可以记住其状态-这种情况大大减少了对能量的需求。
STLS是一种浮栅晶体管,一种用于在闪存中创建单元的设备。 在传统的MOSFET中,栅极控制流经沟道的电流。 浮栅晶体管在电栅极和沟道之间具有第二栅极。 此百叶窗未直接接地。 由于这种电绝缘,并用高质量的硅绝缘体增强,电荷可以长时间存储在浮栅中。 该百叶窗能够吸收不同量的电荷,因此可以在许多级别上产生电响应-这对于创建可以改变其对刺激的响应的人工突触是必需的。
我和我的同事使用STLS演示了第一个坐标网络,这是一种受纳米器件研究人员欢迎的计算模型。 在二维阵列中,设备位于输入线从上到下与输出线从左到右的交点处。 这样的配置很有用,因为它允许您分别编程每个“突触”的连接力,而不会干扰阵列的其他元素。
特别是由于最近的DARPA程序
SyNAPSE ,工程神经形态刺激了对由纳米器件(如忆阻器,电阻记忆和相态记忆以及浮栅器件)产生的人工突触的研究。 但是,基于二十年前带有浮动百叶窗的阵列,这些新的人工突触将难以改进。 忆阻器和其他类型的新存储器很难编程。 其中一些的体系结构使得很难访问坐标数组中的特定设备。 其他人则需要专用的晶体管进行编程,这会大大增加其尺寸。 由于带有浮动百叶窗的存储器可以编程为宽范围的值,因此与其他纳米器件相比,调整起来更容易以补偿器件之间的生产偏差。 几个研究神经形态设备的研究小组试图将纳米设备整合到他们的设计中,结果开始使用浮动快门设备。
我们如何将所有这些类似大脑的成分结合在一起? 在人脑中,神经元和突触相互交织。 神经形态芯片的开发人员还必须选择一种将所有组件放置在一个芯片上的集成方法。 但是,在许多实验室中,您不会发现这一点:为了简化研究项目的工作,各个基本单位位于不同的位置。 突触可以放置在芯片外部的阵列中。 连接可以通过另一个芯片,即用户可编程门阵列(FPGA)。
但是在缩放神经形态系统时,您需要确保我们不会复制通过在逻辑,内存和存储之间来回传输位而损失大量能量的现代计算机的结构。 如今,计算机移动数据所消耗的能量很容易比计算所消耗的能量多10倍。
相反,由于操作的高度局限性,大脑使通信的能量消耗最小化。 大脑记忆元件(例如突触能量)与信号传输组件混合在一起。 与大脑的大小相比,大脑的“电线”(树突和轴突可传输传入的信号和传出的脉冲)通常较短,它们不需要大量的能量来维持信号。 从解剖学上,我们知道超过90%的神经元仅与1,000个相邻的神经元相连。
对于像脑一样的芯片和计算机的创造者来说,另一个大问题是必须在它们上面工作的算法。 与传统的数字系统相比,即使是稍微像大脑的系统也可以提供很大的优势。 例如,在2004年,我的小组使用浮栅器件在信号处理中执行乘法运算,与数字系统相比,它所消耗的能量和空间减少了1000倍。 多年来,研究人员已成功地证明了神经形态方法可用于其他类型的信号处理计算。
但是,大脑的效率仍然比这些系统高出100,000倍。 这是因为尽管我们目前的神经形态技术利用了晶体管的神经元状物理特性,但它们并未使用像大脑用来完成其工作的算法。
今天,我们才刚刚开始发现这些物理算法-可以使类似大脑的芯片以接近大脑的效率工作的过程。 四年前,我的小组使用硅cat鱼,突触和树突来运行单词搜索算法,该算法可识别录音中的单词。 与模拟信号处理相比,该算法在能源效率上提高了千倍。 结果,通过降低施加在芯片上的电压并使用更小的晶体管,研究人员必须制造出在许多类型的计算中性能与大脑相当的芯片。
30年前,当我开始研究神经形态学时,每个人都认为类似于大脑的系统的发展将为我们提供惊人的机会。 实际上,现在整个行业都围绕着AI和深度学习而建立,这些应用有望彻底改变我们的移动设备,金融机构以及公共场所中人们的互动。
但是,这些应用很少依赖于我们对脑功能的了解。 在接下来的30年中,我们无疑将能够看到如何越来越多地使用这些知识。 我们已经有许多将神经生物学转换为计算机所需的基本硬件模块。 但是我们需要更好地了解这种设备应该如何工作-以及哪种计算方案将提供最佳结果。
考虑这是一个号召性用语。 使用非常近似的大脑模型,我们已经取得了很多成就。 但是神经科学可以引导我们创建更复杂的类似于大脑的计算机。 还有什么比用我们的大脑了解如何制造这些新计算机更好的呢?