近年来，由于人工神经网络的发展，人工智能系统在自动驾驶，语音识别，机器视觉和自动翻译领域的突破成为可能。 但是对于他们的发射和训练，需要大量的记忆和精力。 因此，AI组件通常在云中的服务器上工作，并与台式机或移动设备交换数据。
神经网络由成千上万个简单但紧密互连的信息处理节点组成，通常按层组织。 神经网络的层数，节点之间的连接以及每一层中的节点都不同。
节点之间的连接与权重相关联，权重决定了该节点的输出将为下一节点的计算提供多少帮助。 在训练中，向网络展示了他们学习执行的计算示例，这些权重会不断调整，直到网络最后一层的结果与计算结果匹配为止。
哪个网络将更加节能？ 重量较大的浅网或重量较小的深网？ 许多研究人员试图回答这些问题。 最近，深度学习社区中的主要活动旨在为计算能力有限的平台开发有效的神经网络架构。 但是，这些研究大多数都集中在减小模型或计算的大小上，而对于智能手机和许多其他设备，由于电池的使用和热量包的限制，能耗是至关重要的。
由电气工程和计算机科学系副教授Vivienne Sze领导的麻省理工学院（MIT）的研究人员开发了一种优化卷积神经网络的新方法，该方法致力于使用一种新的估算能耗的工具来使能耗最小化。
2016年，Vivienne Ce和她的同事们推出了一种针对神经网络进行了优化的新型节能计算机芯片。 该芯片允许功能强大的AI系统在移动设备上本地工作。 现在，科学家从不同的角度解决了这个问题，并创造了几种技术来开发更节能的神经网络。
首先，研究团队开发了一种分析方法，利用该方法可以确定在使用某种类型的硬件时神经网络消耗的能量。 然后，科学家使用该方法评估优化神经网络的新技术，以便它们可以在手持设备上更有效地工作。
研究人员将在计算机视觉和模式识别会议上介绍他们的工作。 在该文档中，他们提出了与之相比，与神经网络的标准实现相比，将能耗降低了73％，并且比针对移动平台优化神经网络的现有方法降低了43％的方法。
Se领导的一组科学家所做的第一件事是开发一种能源建模工具，该工具考虑了事务，移动和数据流。 如果您向他提供网络架构及其权重的值，他将告诉您该神经网络将使用多少能量。 所开发的技术给出了在能量上花费多少的想法，以便算法开发人员可以更好地理解和使用此信息作为一种反馈。
当研究人员发现能量花在什么动作上时，他们使用此模型来控制节能神经网络的设计者。 Se解释说，较早前，其他试图减少神经网络功耗的科学家使用了修剪方法。 节点之间具有低权重的连接对神经网络的最终结果影响很小，因此可以安全地消除其中的许多“中断”。
在新模型的帮助下，Se和她的同事们最终确定了这种方法。 尽管修剪大量重量较轻的化合物不会显着影响神经网络的输出，但减少所有此类化合物可能对其操作产生更严重的影响。 因此，有必要开发一种有助于确定何时停止的机制。 因此，麻省理工学院的科学家切断了那些消耗更多能量的网络层，从而最大程度地节省了成本。 科学家们自己称这种方法为节能修剪。
神经网络中的权重可以为正也可以为负，因此，研究人员的方法还考虑了具有相反符号的权重的联系倾向于相互减少的情况。 该节点的输入是基础层中节点的输出乘以其连接权重。 可以说，来自马萨诸塞州的科学家的方法不仅考虑权重，还考虑了训练过程中连接的节点如何处理数据。
如果将具有正负重量的化合物组依次抵消，则可以安全地剪切它们。 根据研究人员的说法，与以前使用的种植方法相比，这导致了使用更少连接的情况下创建了更高效的网络。