IBM改编了卷积神经网络以在神经形态芯片上运行



据IBM称, TrueNorth准确性可以满足当今最好的图像识别和语音识别系统,但它还消耗更少的能量并且速度更快。 该公司的研究团队充满信心,将卷积网络与神经形态微电路相结合,将使我们能够制造出更先进的智能汽车和智能手机,即使他们嘴巴张开,也能正确识别人的语音命令。 让我们尝试找出TrueNorth的优缺点以及在哪里找到应用。

人脑包含约860亿个神经元-通过突触过程与数千个其他神经元相连的细胞。 一个神经元接收来自许多其他神经元的信号,当刺激达到某个阈值时,它会通过向周围神经元发送自己的信号来“激活”。 大脑尤其通过调节牢固的结合来学习。 当重复一系列动作时,例如,通过练习,伴随的突触会变得更强,并且所学的课程或技能将“融入”网络。

在1940年代,科学家开始用数学方法对神经元建模,在50年代,他们创建了神经元和计算机网络。 人工神经元和突触比大脑中的简单得多,但其原理相同。 许多简单的单位-神经元-通过“突触”与其他单位相连,其数值取决于单位的值。

卷积神经网络(CNN)是一种特殊类型的网络,在过去的几年中获得了普及。 CNN从激励机制中提取重要特征-通常是照片。 以狗的照片为例。 它可以表示为一层神经元,其中一个神经元的激活表示图像中的一个像素。 在下一层,每个神经元将从第一层集合中接收输入,并在检测到该集合中的特定模式(作为过滤器)时激活。

在随后的层中,神经元将在模式中寻找模式,依此类推。 在单层内,过滤器可能对某些结构敏感。 首先到人物的边界,然后到爪子,再到狗,直到网络可以确定狗和烤面包机之间的差异。

现在,这样的计算非常昂贵。 考虑到人脑中有数十亿个神经元和数万亿个突触,因此尚不可能对它们进行模仿。 即使模拟大脑的一小部分,每个输入元素也需要数百万次计算,这需要巨大的处理能力。 最大的现代CNN可以拥有数百万个神经元和数十亿个突触,但仅此而已。

设计为一次处理一条指令的中央处理器的经典​​计算体系结构不适用于CNN施加的任务。 因此,科学家们转向并行计算,它可以一次处理多个。 现代神经网络使用图形处理器,通常会计算视频游戏和CAD的图形。 由于结构和数学计算的相似性,视频卡适用于深度学习。

但是,硬件仍无法像大脑那样有效地应付深度学习,后者可以驾驶汽车,同时谈论自动驾驶汽车的未来,而所消耗的能源却比灯泡少。

在1980年代,工程师Carver Mead创造了“神经形态处理器”一词来描述以类似于大脑的方式工作的计算机芯片。 他的工作为该领域奠定了基础。 尽管“神经形态”一词现已被应用到广泛的解决方案中,但它们都尝试在硬件级别上重复神经网络的操作机制,从而避免了传统处理器所面临的瓶颈。

看到快速高效的机器学习的必要性,美国国防部高级项目办公室(其首字母缩写为DARPA闻名)自2008年以来一直在积极资助IBM HRL Laboratories公司实验室,以开发可轻松扩展的神经形态机器。

真北


2014年,IBM在《科学》杂志的封面上推出了其TrueNorth芯片。 从那时起,该公司一直在美国能源部,空军和陆军的财政支持下开发基于TrueNorth的系统。 一个这样的芯片包含一百万个“神经元”,每个由一组数字晶体管表示,以及2.56亿个“突触”-芯片之间的有线连接。

由于具有两种功能,神经形态架构比常规芯片更有效。 首先,这种芯片像大脑一样,通过“闪光”进行通信-从一个神经元发送到下降神经元的一维信息包。 信号很简单(是否有闪光),并且仅在神经元发送数据包时才偶尔发送。 其次,就像在大脑中一样,处理和记忆位于神经元和突触中。 在传统计算机上,数据处理单元不断从各个存储区域提取信息,执行操作,然后将新信息返回到内存。 这导致许多缓慢而耗能的活动。

TrueNorth系统非常灵活,因为可以对其进行编程以实现不同大小和形状的网络,并通过“破坏”多个芯片来扩展规模。 在科研工作中,IBM团队使用神经形态芯片在街上拍摄的视频中识别人,自行车和汽车。 一项对比实验表明,运行在传统微处理器上的TrueNorth软件在此任务上所消耗的能量多出17.6万倍。

IBM项目的关键部分是不仅创建芯片,而且还创建软件。 该公司创建了模拟器,新的编程语言以及算法和应用程序库。 然后,该公司向学术,国家和公司实验室的160多名研究人员提供了这些工具。 TrueNorth的设计于2011年完成,作为ImageNet Challenge的一部分,卷积神经网络革命于2012年发生。 因此,有些人开始怀疑TrueNorth芯片是否可以处理这些网络。

CNN使用反向传播方法。 每次网络出错时,都会计算其假设与正确答案之间的差异。 误差反向传播算法会考虑最后一层中的每个神经元,并计算该神经元输出的变化将减少总误差。 然后,他返回到先前的神经元,并计算每个传入突触强度的变化将减少多少总体误差。

有必要找出是否应该增加或减少突触强度,因此该算法会在正确的方向上稍微调整每个权重。 随后,该算法使用新的权重计算新的误差,并重复整个过程。 经过许多这样的步骤,误差在称为梯度下降的过程中减小。

最初,TrueNorth被认为与反向传播误差算法不兼容,因为梯度下降需要微小的权重调整和微小改进的愿景。 TrueNorth仅使用三个不同的权重值(-1、0和1)来最大化其效率,并且神经元的输出为0或1。没有梯度,只有离散步长。

该团队的一项重要成就是采用脉冲神经网络执行反向传播算法的一系列方法。 研究人员通过训练芯片的软件模型来解决此问题,该芯片被编程为使用与梯度下降兼容的硬件逼近。

另一个关键发展是将CNN映射到芯片上神经元的多个连接,每个神经元仅涉及256个连接。 这是通过分配某些同时运行的神经元对来实现的,这些对神经元通过输入和输出组合成一个神经元。

尽管TrueNorth的性能相当高,但它在创建时并未考虑深度神经网络和CNN的特征,因此与其他系统相比,它具有一些缺点。 例如,要使一个具有3万个神经元的网络工作,就需要8个芯片(800万个神经元)。 此外,当某些组件具有模拟组件时,TrueNorth是全数字芯片。 他们的工作更加不可预测,但效率更高。 而且,尽管每个TrueNorth芯片都分为可并行工作的4096个“核”,但每个核中的256个神经元仅顺序更新,一次只能更新一次。

在TrueNorth核心中对神经元进行顺序处理可能会造成瓶颈,但同时也提供了规律性。 这意味着可以在台式计算机上高精度地模拟芯片的行为。 同时,该芯片是通用的-它可以支持许多不同类型的网络,在IBM类脑计算首席研究员Dharmendra Modha的指导下,芯片创建者团队的当前目标是部署多个可协同工作的网络-以实现合成。

未来计划


除了实现综合性,Modha团队还致力于探索各种教学方法。 科学家们还注意到,他们工作中描述的方法可以应用于TrueNorth以外的神经形态芯片。 此外,除了新的教学方法外,研究小组还考虑了更根本的成就。 根据美国能源部2015年有关神经形态计算的报告,目前约有5-15%的世界能源以某种形式的数据处理和传输方式消耗。 同时,该部门希望提高网络的速度,效率和容错能力。 该报告促使IBM团队考虑开发具有新物理特性的材料。

全球目标是用智能手机,家庭和汽车中可以自己“思考”的芯片代替巨型数据中心:进行对话,进行科学和医学发现,驾驶汽车,机器人或假肢。 理想情况下,这些芯片可以取得更大的成功,例如,解决世界上的饥饿问题。

一些研究实验室已经在积极使用TrueNorth。 2016年8月,三星展示了一种系统, 系统使用视频流以每秒2000帧的速度创建三维三维环境3D环境图,消耗了三分之一的功率。 该公司使用该系统来控制带有手势的电视。

劳伦斯·利弗莫尔国家实验室(Lawrence Livermore National Laboratory)有一块16芯片的TrueNorth板,用于增强网络安全和美国核安全。 空军研究实验室使用TrueNorth为无人飞行器提供自主导航,最近宣布了计划试用64种芯片的计划。

Source: https://habr.com/ru/post/zh-CN405397/


All Articles