大规模并行化如何通过AI功能提高大脑效率
大脑是一个复杂的设备。 在人类中，它包含约1000亿个神经元以及它们之间的约100万亿个连接。 通常将它与另一个具有强大任务解决功能的复杂系统进行比较：数字计算机。 大脑和计算机包含大量基本单元-分别是神经元或晶体管-连接到处理通过电信号传输的信息的复杂电路。 在全球范围内，大脑和计算机的体系结构有点相似，因为它们几乎由用于输入，输出，中央处理和内存的独立循环组成。
谁最擅长解决问题-大脑还是计算机？ 鉴于最近几十年来计算机技术的飞速发展，您可以决定什么赢得计算机。 确实，计算机的设计和编程可以在复杂的游戏（例如1990年代的国际象棋）和最近的游戏以及百科全书知识竞赛（例如《
危险》）中击败人类大师
。人们会在与现实世界相关的各种任务中击败计算机-从区分骑自行车的人或路上的行人的能力到从桌子上拿起一杯茶并将其小心地移到他的嘴中-更不用说概念化和创造力了。
为什么计算机可以很好地完成某些任务，而大脑却可以完成其他任务？ 计算机与大脑的比较帮助工程师和神经科学家理解了这个问题。 以下比较是在现代计算机时代的黎明进行的，该书由
约翰·冯·诺伊曼 （
John von Neumann）撰写，但规模很小，但颇有影响力，该书是许多科学领域的专家，他是1940年代第一个开发计算机架构方案的人然后作为现代计算机的基础。 让我们看一下这些比较中的数字。
| 属性 | 电脑类 | 脑子 |
|---|
| 基本元素数 | 多达100亿个晶体管 | ≈1000亿个神经元和100万亿个突触 |
| 基本操作速度 | 100亿/秒 | <1000 /秒 |
| 准确度 | 42亿分之一（对于32位处理器） | 1至100 |
| 耗电量 | 100瓦 | 10瓦 |
| 信息处理方法 | 主要是连续的 | 串行和大规模并行 |
| 每个元素的输入和输出数量 | 1-3 | ≈1000 |
| 操作方式 | 数字化 | 数字和模拟 |
数据取自2008年的计算机。 每个集成电路的晶体管数量每18-24个月增加一倍，但随着时间的流逝，由于功耗和散热问题，速度的提高下降了。
计算机在基本操作速度方面比大脑具有巨大优势
1 。 如今，个人计算机能够以每秒100亿次运算的速度执行加法这样的基本算术运算。 我们可以通过神经元传递信息并相互交流的基本过程来评估基本大脑操作的速度。 例如，神经元激活
动作电位 -在神经元细胞附近发射并沿其长分支轴突传递的电信号爆发，将其与随后的神经元连接。 信息以这些突发开始的频率和时间进行编码。 最大神经元激活频率约为每秒1000次猝发。 在另一个示例中，神经元将信息传输到相关的伙伴神经元，在轴突，突触末端的特殊结构中发射化学神经递质，而伙伴神经元将神经递质转换回电信号，此过程称为
突触传递 。 最快的突触传递发生在1毫秒内。 因此，通过突发和突触传递，大脑每秒最多可以执行一千次基本操作，这比计算机慢1000万倍。 假定算术运算应将输入转换为输出，所以工作速度受到神经元通信的基本运算（例如动作电位和突触传递）的限制。 但是这些限制也有例外。 例如，原则上不产生电涌的具有电突触的神经元（不使用化学神经递质的神经元之间的连接）能够比毫秒更快地传输信息。 能够在树突中局部发生的事件也能够做到这一点。
在基本操作的准确性方面，计算机也比大脑具有明显的优势。 计算机能够使用分配给每个数字的位，零和单位以任何期望的精度表示数字。 例如，一个32位数字的精度为1到2
32 ，即42亿，经验证据表明，神经系统中的大多数数字（例如，神经元的激活频率，通常被用作刺激强度的估计值）都会波动。由于生物噪声而造成的误差只有百分之几，也就是说，精度最多为1到100，比计算机差了几百万倍。 顺便说一句，噪声可以指示许多神经过程本质上是概率性的。 相同的刺激会导致神经元电活动爆发的顺序不同。
但是，大脑进行的计算不能称为缓慢或不准确。 例如，职业网球运动员可以跟随以高达260 km / h的速度飞行的球的路径，移动到球场上的最佳座位，将他的手放在正确的位置并挥动球拍，将球传给对手的一半-而这一切都需要几百毫秒的时间。 此外，大脑能够执行所有这些任务（使用它控制的身体），消耗的能量比个人计算机少十倍。 大脑如何成功？ 计算机和大脑之间的一个重要区别是这些系统中每个系统处理信息的方式。 计算机大部分执行任务的顺序步骤。 程序员编写代码，创建连续指令流的方式可以看出这一点。 此序列的每个步骤都需要高精度，因为错误会在每个步骤中累积和放大。 大脑还使用顺序步骤来处理信息。 在网球示例中，信息从眼睛流向大脑，然后流向脊髓，以控制腿部，躯干，手臂和腕部肌肉的收缩。
但是，大脑还利用大量的神经元及其之间的连接，使用大量的并行数据处理。 例如，移动的网球会激活许多视网膜细胞，即感光细胞，将光转换为电信号。 这些信号被传输到许多不同类型的视网膜神经元。 到感光器信号通过视网膜中的两个或三个突触连接时，有关球的位置，方向和速度的信息已经由并行神经回路提取，并传输到大脑。 以同样的方式，运动皮层（负责意识运动的大脑皮层部分）并行发送命令以控制腿，躯干，手臂和手腕的肌肉收缩，以便身体和手同时处于最适合接收球的位置。
这种大规模并行策略之所以有效，是因为每个神经元都收集输入并将输出发送给许多其他神经元-哺乳动物平均每个神经元有1000个入站和出站链接。 每个晶体管总共只有三个节点用于输入和输出。 来自一个神经元的信息可以以许多并行方式传播。 同时，许多信息处理神经元可以通过将输出数据发送到一个后续神经元来连接其输出数据。 此属性对于提高信息处理的准确性特别有用。 例如，单个神经元提供的信息可能包含噪声（即，其准确性在1到100的数量级上）。 感知到来自100个处理相同信息的神经元的输入，下一个神经元又可以提供更高准确性的信息（在这种情况下，为1到1000）。 假设每个输入数据单元的
介质标准偏差σ大约对应于噪声。 对于独立输入n的平均数，平均σmedia的期望偏差=σ/√n。 在我们的示例中，σ= 0.01，n = 100，因此σmedia = 0.001。
计算机和大脑在基本单元的表示上也有相似之处和不同之处。 晶体管使用具有离散值（0或1）的信息的数字表示。 轴突爆发也是数字信号，因为神经元在任何时候都被激活或未被激活，并且当被激活时，几乎所有的爆发都具有大致相同的大小和形状。 此属性允许长距离可靠地传输突发。 但是，神经元还利用了使用连续值表示信息的模拟信号的功能。 一些神经元（大多数视网膜神经元）不产生猝发，其输出通过逐步电信号（与猝发不同，其幅度可能有所变化）传输，该电信号能够传输比猝发更多的信息。 神经元的接收端（通常位于树突中）还使用模拟信号同时集成多达一千个输入信号，这允许树突执行复杂的计算。
大脑的另一个显着特征（显然是在网球比赛中使用的）是神经元之间的连接强度可以根据动作和经验而改变-正如神经学家认为的那样，这一过程是学习和记忆的基础。 重复训练可使神经回路更好地适应任务，从而显着提高速度和准确性。
在过去的几十年中，工程师受到大脑的启发来改进计算机。 取决于用途，并行处理和修改绑定权重的原理已包含在现代计算机中。 例如，在计算机的发展中，当前的趋势是并行性的提高，例如在一台计算机中使用多个处理器（内核）。 另一个例子是深度学习，机器学习和人工智能的科学，近年来获得了巨大的成功，其原因是与哺乳动物的视觉系统有关的发现激发了人们在计算机和移动设备中识别物体和语音的迅速发展。
2深度学习模仿哺乳动物的视觉系统，使用了几层，每一层都代表着对象（视觉或语音）的日益抽象的特性，并且不同层之间的结合权重是通过训练来调整的，而不是由于工程上的努力。 这些最新进展扩展了受计算机限制的任务列表。 但是，大脑仍然具有计算机优越的灵活性，通用性和学习能力。 随着神经科学家发现越来越多的大脑秘密（由于越来越多地使用计算机），工程师将能够从大脑中汲取更多启发灵感的例子，以进一步改善计算机的体系结构和性能。 无论谁最终成为一项特定任务的赢家，这种相互交叉的授精无疑将促进神经生物学和计算机技术的发展。
1. Patterson，DA和Hennessy，JL计算机组织和设计（Elsevier，阿姆斯特丹，2012年），第四版。
2. LeCun，Y。Bengio，Y。和Hinton，G。深度学习。 自然521，436–444（2015）。
Likan Luo是人文科学学院的教授，也是斯坦福大学的神经科学教授。