二进制神经网络如何工作以及为什么它们将在2020年流行

神经网络是一件很酷的事情,但是其潜力仍然受到成本和能量的限制。 二进制神经网络可能有助于解决这一问题




神经网络的概念最早出现于40多年前,当时科学家进行了脑功能数学建模的实验。 他们找到了如何对神经网络进行机械实现的方法,该方法可以教人们识别模式并分类数据-例如,识别视频中是否有猫或狗。

在过去的十年中,神经网络的复杂性和能力大大提高。 加上负担得起的负担得起的超级计算机和图形处理器(GPU)的功能空前增加,它们已成为解决问题,识别模式和检测异常的默认方法。 今天的组织使用它们来进行预测,研究用户的偏好,验证数据和管理风险。

但是,尽管积极使用它们,但它们的缺点限制了其潜力。 The Holy Grail是一个神经网络,可以快速分析信息,价格便宜且不消耗能量。 创建满足这些条件的网络是一项艰巨的任务,但是必须解决它,以便我们可以利用更接近IT和通信网络边缘以及终端设备上的神经网络。

许多组织正在探索的替代方法之一是二进制网络。 这是一项相当新的技术,但它很有可能在2020年变得很有影响力。 要了解原因,我们需要了解两种类型的网络如何工作。

神经网络如何工作?


神经网络由几层加权和组成。 每个加权和都给出一个数字,该数字表示这些数据中可能存在某些符号,或者可能不存在。 例如,这些层将原始图像组合成特征集,并重新组合它们以最终得出答案。

简而言之,假设您希望神经网络能够识别照片中的面部。 该系统将图像分成小段,然后网络层扫描图像的每个段,寻找已经被教导识别的迹象。 例如,第一层可以查找基本特征:黑色圆圈,白色圆圈,白色矩形,肤色。 这些标志很容易注意到。

第二层可以寻找眼睛(白底黑圈),嘴巴(一组附近并被皮肤包围的白色矩形),下一层可以寻找嘴巴上方有皮肤的两只眼睛。 每个特征给每个图像片段一个估计的期望部分在照片的该部分中存在的可能性的估计。 然后将这些概率进行组合,并且如果足够数量的图层认为照片中存在所需的标志,则网络会得出结论认为该人在那里。


1个

在图。 图1(这是巴拉克·奥巴马的照片)显示了如何对这些分析和概率层进行汇总,从而使网络可以使用近似值来产生相对准确的答案。

请注意,诸如黑眼圈,眼睛或嘴巴之类的功能不是由人编程的,而是在训练过程中被网络检测到的。 另一个模式(例如,鼻子,耳朵或发际线)可能更适合于脸部搜索,而神经网络的优点在于可以使用它们来搜索此类模式。

传统神经网络的缺点


问题在于,在寻求尽可能高的准确性时,需要处理非常详细的定界概率水平,并且对于这些数学计算而言,需要大量资源。 由于使用浮点数进行分段分析,因此神经网络需要相对较大的计算能力,内存和工作时间。

尽管云具有足够的计算能力和内存,但是许多边缘应用程序仍不能依赖云。 例如,机器人需要根据自己的环境立即做出决定,因此他们不能依赖有限的带宽通信。

无法使用在终端设备上使用浮点数的神经网络。 因此,许多公司使用整数算法,这样可以节省大量的内存和计算能力,但是还有一种更好的方法-这就是二进制神经网络得以体现的地方。

二进制网络如何工作


如果普通的神经网络是毕加索的绘画,那么二元神经网络就是粗略的铅笔素描。

如果神经网络为每个段分配一个准确计算的概率,则二元神经网络,顾名思义,将可能的值减小为黑白版本,即减小为-1(如果网络认为该片段中没有符号),或+ 1(如果有)。

现在,加权总和可以正(乘以+1)或负(乘以-1)来评估每个特征,而不是完全乘法,我们只需要考虑乘以+1和-1。


2

这种方法牺牲了一定程度的准确性,但是我们可以通过稍微增加网络来补偿损失。 二进制网络本质上要简单得多。

相较于浮点运算符,它们存储数字所需的空间要少32倍(1位而不是32位),能耗也要减少数百倍,这就是为什么它们更适合于“边缘应用”(如机器人),设备本身可以在不涉及云计算的情况下处理信息的时间。

通常在二进制网络中,仍然会出现具有非二进制值的层,尤其是在输入端,有时在输出端。 在输入时,图像很可能是全彩色的,并且需要在二进制层开始之前对其进行数字解释。 并且输出层也将始终具有非二进制输出。

二进制网络的未来


这种简单性为效率至关重要的条件下的商业应用开辟了广阔的领域。 在内置芯片上,与具有浮点系数的网络相比,存储二进制网络系数的可能性更大。 处理器制造商将需要采用该技术并提供对二进制网络的支持。

2020年可能是二进制网络的一年。 公司正在积极地实施该技术,并且培训二进制网络所需的软件也在迅速开发。 我们很可能很快就会看到该技术的首次真正应用,并且可以对图像或其他数据进行分类的低功耗低功耗芯片将出现在边缘设备上。

因此,下一代技术将基于简单性。

Source: https://habr.com/ru/post/zh-CN483674/


All Articles