
我们都记得学校的数学折磨练习。 用铅笔和纸将数字(例如3,752和6,901)相乘至少需要一分钟。 当然,今天,当我们手边有电话时,我们可以快速检查我们的练习结果应该是25,892,552。现代电话的处理器每秒可以执行超过1000亿次此类操作。 而且,这些芯片仅消耗几瓦特,这使其效率比慢大脑高得多,仅消耗20瓦特,需要更多时间才能达到相同的结果。
当然,大脑不是为了算术而进化的。 因此,他做得不好。 但是他可以处理来自我们环境的持续不断的信息流。 他对此做出了反应-有时比我们意识到的要快。 普通计算机将消耗多少能量无关紧要-很难应付容易提供给大脑的东西-例如,了解语言或上楼梯。
如果他们能够制造出其计算能力和能源效率与大脑相当的机器,那么一切都会发生巨大变化。 机器人将在自然世界中灵活地移动并以自然语言与我们交流。 大型系统将收集有关商业,科学,医学或政府的大量信息,发现新的模式,寻找因果关系并做出预测。 Siri和Cortana之类的智能移动应用程序可以减少对云的依赖。 这种技术可以使我们制造出低能耗的设备,补充我们的感官,为我们提供药物和模拟神经信号,补偿器官损伤或瘫痪。
但是设定这么大胆的目标还为时过早吗? 我们对大脑的理解是否太有限,以至于我们无法基于其原理来创造技术? 我相信,即使是最简单的神经回路功能仿真也可以极大地改善许多商业应用的性能。 计算机必须如何精确地复制大脑结构的生物学细节才能接近其速度水平,这是一个悬而未决的问题。 但是,受大脑结构或神经形态的启发,当今的系统将成为寻找答案的重要工具。
常规计算机的关键特征是存储数据和指令的内存的物理分离以及处理此信息的逻辑。 大脑中没有这种分裂。 计算和数据存储在一个由大约1000亿个神经细胞(神经元)和超过100万亿个连接(突触)组成的广泛网络中同时进行和本地进行。 在大多数情况下,大脑由这些连接以及每个神经元如何响应其他神经元的传入信号来决定。
谈到人脑的非凡可能性,我们通常是指最近获得了一个漫长的进化过程-
新皮层 (新皮层)。 这种薄而极其折叠的层形成大脑的外壳,并执行非常不同的任务,包括处理从感官接收到的信息,控制运动技能,进行记忆和学习。 如此广泛的可能性以相当均匀的结构提供:六个水平层和一百万个垂直列,宽度为500μm,由神经元组成,这些神经元沿着树突和轴突沿天线生长并整合并分布以电脉冲编码的信息。
像人体的所有细胞一样,神经元在外表面和内部之间的电势约为70 mV。 当神经元从与其关联的其他神经元接收信号时,该膜张力就会改变。 如果膜电压上升到临界值,它将形成一个持续40毫秒的脉冲或持续数毫秒的电压浪涌。 这种冲动沿着神经元的轴突传播,直到到达突触为止,突触是一个复杂的生化结构,将一个神经元的轴突与另一个神经元的树突相连。 如果脉冲满足某些限制,则突触将其转换为另一个脉冲,沿着接收信号的神经元的分支树突下降,并沿正向或负向改变其膜电压。
连通性是大脑的关键特征。
锥体神经元是人类新皮层细胞的一种特别重要的类型,包含约30,000个突触,即来自其他神经元的30,000个输入通道。 大脑不断适应。 神经元和突触的性质-甚至网络本身的结构-都在不断变化,主要是在来自感官和环境反馈的输入数据的影响下。
现代通用计算机是数字的,而不是模拟的。 大脑的分类不是那么简单。 神经元会积聚电荷,就像电子电路中的电容器一样。 显然,这是一个模拟过程。 但是大脑将脉冲作为信息单位,这基本上是一种二进制方案:随时随地都有或没有脉冲。 在电子学方面,大脑是一个混合信号的系统,具有本地模拟计算功能,并使用二进制突发传输信息。 由于突发只有0或1个值,因此它可以传播很长的距离而不会丢失此基本信息。 它还繁殖,到达网络中的下一个神经元。
大脑和计算机之间的另一个关键区别是,大脑无需中央时钟同步其操作即可处理信息处理。 尽管我们观察到同步事件-脑电波-它们是由神经网络工作而组织起来的。 有趣的是,现代计算机系统开始采用大脑固有的异步性,以通过并行执行来加速计算。 但是,使这两个系统并行化的程度和目的却截然不同。
使用大脑作为计算模型的想法有很深的渊源。 第一次尝试基于
简单的阈值神经元 ,如果加权输入数据的总和超过阈值,则产生一个值,如果不超过阈值,则产生另一个值。 沃伦·麦卡洛(Warren McCullough)和
沃尔特·皮茨 (
Walter Pitts)在1940年代所设想的这种方法的生物学现实主义非常有限。 但是,这是将触发神经元的概念应用为计算元素的第一步。
1957年,
弗兰克·罗森布拉特 (
Frank Rosenblatt)提出了阈值神经元的另一种形式,即
感知器 。 互连节点(人工神经元)的网络由层组成。 网络表面上的可见层作为输入和输出与外部世界交互,内部的隐藏层执行所有计算。
罗森布拉特还建议使用大脑的核心功能:围堵。 代替堆叠所有输入,感知器中的神经元可能会做出负面贡献。 此功能允许神经网络使用单个隐藏层来解决逻辑上的XOR问题,如果两个二进制输入中只有一个为真,则输出为真。 这个简单的例子表明,生物现实主义的加入可以增加新的计算能力。 但是大脑的哪些功能是其工作所必需的,哪些是无用的进化痕迹? 没有人知道。
我们知道,无需尝试创建生物现实主义就可以实现令人印象深刻的计算结果。 深度学习研究人员在使用计算机分析大量数据并从复杂图像中提取某些属性方面已经走了很长一段路。 尽管他们创建的神经网络比以往拥有更多的输入和隐藏层,但它们仍基于极其简单的神经元模型。 它们的广泛可能性不反映生物学现实性,而是反映其中包含的网络的规模以及用于训练的计算机的功能。 但是深度学习网络距离计算速度,能源效率和生物大脑学习能力还很远。
大规模的大脑模拟可以最好地说明大脑与现代计算机之间的巨大差距。 近年来,已经进行了几次这样的尝试,但是所有这些尝试都受到两个因素的严重限制:能量和仿真时间。 例如,考虑一下Markus Daisman及其同事几年前在日本的K超级计算机上使用83,000个处理器进行的
模拟 。 尽管17.3亿个神经元使用了极为简化的模型并且未进行任何训练,但其消耗的能量比大脑等效区域多100亿倍。 而且这种模拟通常比实时生物大脑慢1000倍以上。
他们为什么这么慢? 传统计算机上的大脑模拟需要计算数十亿个微分方程,这些微分方程相互关联并描述了细胞和网络的动力学:模拟过程就像在细胞膜上移动电荷一样。 使用布尔逻辑(改变能量以提高准确性)以及共享内存和计算的计算机在对大脑进行建模方面效率极低。
这些模拟可以成为认知大脑的工具,将实验室中获得的数据转移到我们可以进行实验的模拟中,然后将结果与观察结果进行比较。 但是,如果我们希望朝着不同的方向发展并利用神经生物学的经验来创建新的计算系统,那么我们需要重新考虑我们如何设计和创建计算机。
硅中的神经元。使用电子设备复制大脑的工作比乍看起来更可行。 事实证明,大约10 fJ(10
-15焦耳)用于在突触上产生电势。 金属氧化物半导体(MOS)晶体管的栅极比CPU中使用的栅极大得多,消耗的能量更多,仅需0.5 fJ的电荷即可充电。 事实证明,突触传输等效于为20个晶体管充电。 此外,在设备级别,生物电路和电子电路相差不大。 原则上,您可以从晶体管中创建诸如突触和神经元之类的结构,并将其连接起来,以使人造大脑不会吸收如此耀眼的能量。
使用像神经元一样工作的晶体管来创建计算机的想法出现在1980年代,来自加州理工学院的Carver Mead教授。 Mead支持“神经形态”计算机的主要论据之一是,半导体器件可以在某种模式下遵循与神经元相同的物理定律,并且模拟行为可以用于高能效计算。
米德(Mead)的小组还发明了一种神经通讯平台,其中突发仅通过其网络地址和发生时间进行编码。 这项工作是开创性的,因为它是第一个使时间成为人工神经网络必要功能的工具。 时间是大脑的关键因素。 信号需要传播时间,膜需要反应时间,而正是时间决定了突触后电位的形状。
今天有几个活跃的研究小组,例如瑞士高等专科学校的
Giacomo Indiveri小组和斯坦福大学的
Kwabena Bohen ,紧随Mead的脚步,成功地介绍了生物皮层网络的要素。 诀窍是使用不能达到其阈值的低压电流来处理晶体管,创建模拟电路来复制神经系统的行为,同时消耗一点能量。
在这个方向上的进一步研究可能会发现在诸如脑机接口之类的系统中的应用。 但是这些系统与网络的实际规模,动物大脑的连通性和学习能力之间存在巨大差距。
因此,在2005年左右,三组研究人员开始独立开发神经形态系统,这些系统与Mead的原始方法大不相同。 他们想要创建具有数百万个神经元的大规模系统。
最接近普通计算机的是
SpiNNaker项目,该项目由曼彻斯特大学的Steve Ferber领导。 该小组开发了自己的数字芯片,该芯片由18个工作在200 MHz的ARM处理器组成,大约是现代CPU速度的十分之一。 尽管ARM内核来自经典计算机领域,但它们模拟通过专用路由器发送的突发,这些专用路由器旨在像大脑一样异步传输信息。 当前实施是欧盟人类大脑项目的一部分,已于2016年完成,包含500,000个ARM内核。 根据神经元模型的复杂性,每个原子核最多可以模拟1000个神经元。
由
Almenn的IBM研究实验室的
Darmendra Maud及其同事开发的TrueNorth芯片拒绝使用微处理器作为计算单元,实际上是一种神经形态系统,其中的计算和内存相互交织。 TrueNorth仍然是一个数字系统,但是它基于实现特定神经元模型的特殊设计的神经轮廓。 该芯片包含54亿个晶体管,它基于28纳米三星
CMOS技术(互补金属氧化物半导体结构)构建。 晶体管可在单个芯片上仿真100万条神经电路和2.56亿条简单(单位)突触。
我要说的下一个项目
BrainScaleS与传统计算机相距甚远,并且接近生物大脑。 我们与海德堡大学的同事一起为欧洲计划“人脑”开展了这个项目。 BrainScaleS实现混合信号处理。 它结合了神经元和突触,硅晶体管充当具有数字信息交换功能的模拟设备。 完整的系统由8英寸的硅基板组成,可以模拟400万个神经元和10亿个突触。
该系统可以重现九种不同的生物神经元反应模式,并且是与神经科学家密切合作开发的。 与Mead的模拟方法不同,BrainScaleS以加速模式工作,其仿真比实时快10,000倍。 这对于学习学习过程和发展特别方便。
学习可能会成为神经形态系统的重要组成部分。 现在,在功能更强大的计算机的帮助下,可以对以大脑形象制成的芯片以及在普通计算机上运行的神经网络进行训练。 但是,如果我们想在实际应用中使用神经形态系统-例如,在必须与我们并肩工作的机器人中,它们将需要能够即时学习和适应。
在第二代BrainScaleS系统中,我们通过在芯片上创建“灵活性处理器”来实现培训机会。 它们用于更改神经元和突触的各种参数。 此功能使我们可以微调参数,以补偿从一种设备移动到另一种设备时尺寸和电气特性的差异-大约是大脑自身如何适应变化。
我描述的三个大型系统是相辅相成的。 SpiNNaker可以灵活配置并用于测试不同的神经模型,TrueNorth具有高集成密度,BrainScaleS专为持续训练和发展而设计。 寻找评估这种系统有效性的正确方法的工作仍在进行中。 但是早期的结果是有希望的。 IBM的TrueNorth团队最近计算出,其系统中的突触传递需要26 pJ。 尽管它是生物系统中所需能量的1000倍以上,但却几乎比用于通用计算机上的传输所消耗的能量少10万倍。
我们仍处于了解此类系统可以做什么以及如何将其应用于解决实际问题的早期阶段。 同时,我们必须找到方法,将许多神经形态芯片结合到具有改进的学习能力的大型网络中,同时降低功耗。 问题之一是连通性:大脑是三维的,而我们的电路是二维的。 现在正在积极研究电路的三维集成问题,这些技术可以为我们提供帮助。
不基于CMOS的设备-
忆阻器或PCRAM(
具有相状态变化的内存 )可能会成为另一个帮助。
如今,确定人造突触对输入信号的响应的权重存储在普通数字存储器中,该数字存储器占用了构建网络所需的大部分硅资源。但是其他类型的内存可以帮助我们将这些单元的尺寸从微米减小到纳米。而现代系统的主要困难将是支持不同设备之间的差异。BrainScaleS开发的校准原理可以提供帮助。我们刚刚开始了通往实用和有用的神经形态系统之路的旅程。但是付出的努力是值得的。如果成功的话,我们不仅将创建功能强大的计算系统;我们甚至可以获得有关我们大脑工作的新信息。