👪 🆓 👨🏽 WTM（波形时间记忆）-用于解决自适应行为问题的神经网络模型 👨🏽‍🚀 🛀 🤙

我向网络的用户介绍了一个神经网络模型，该模型旨在解决自适应行为（及其子任务：序列的识别和预测）问题。

前言

我偶然进入了这个领域（人工智能和附近的领域）：我闲暇时写的一篇文章，另一本，第三本，一本书，多本书籍，一本专着，等等。当我从大众文学转向当前的学术出版物时，想到了“他们为什么这样做做错了？”的想法。（AI方式和自适应系统更为适度）。然后，我认为它们放入模型中的基本思想是错误的（它们不会导致作者期望的结果）。对“错误”模型的认识继续存在，愤慨不断累积。很久以后，我在别人的作品中发现了“真实”的想法，但是为时已晚，这个想法就形成了，必须将累积的想法合并为一个模型。关于她，将进行讨论。

引言

本文分为两大部分：WTM的理论和实现。

适应性的概念

适应性将被称为某个自治对象的控制系统（CS）获得有关系统“环境-控制对象-控制系统”属性的知识，将其知识存储在其内存中并将此知识用于对控制对象（OS）进行适当控制的能力。

精炼面积

. , , – , . - «» , , . -, , , - , ; , . -, , ; , , – , , – - , , – ad hoc. , . , , . , , , .. , , – , , .

现有型号

在此处和此处可以找到以通用名称“认知模型”命名的大量模型和相关信息。

适应行为原理

对于我自己，我已经确定了将SU称为自适应性所需的最小原则集。

SU应不断适应环境事件。
SU应该具有最少的先天行为或反应集。基于这组SU，适应过程将开始。
SU应该有能力将其经验推广到其他环境情况。

理论部分

作为一个工作示例，我们将考虑自适应行为的问题。在本文中，缩写“ WTM”在“波动临时存储器模型的实例”的意义上使用。

适应性

连续适应的原理意味着随着时间的流逝，SU反应的可行性应增加。在这里，我们面临着一个叉子，需要更详细地考虑它。主动和被动控制系统的“增加权宜性”过程是不同的。

主动系统具有负责评估其功能的元素。它包含权宜的标准，通过该标准可以评估SU执行的操作。基于这些估计，可以做出决策，并更改系统的行为以增加可行性指标。

反应模型之间的区别在于其中没有行为评估单元。因此，不可能通过与活动系统相同的方法来实现这种系统中行为便利性的提高。因此，有必要使用其他方式来实现权宜之计。

为了更好地理解这种差异，让我们更详细地考虑适应性的定义。它可以分为两个部分：

在运行过程中，SU会通过适当的反应不断增加许多环境事件的覆盖范围。
在运行过程中，控制系统不断用其他更合适的反应代替现有反应

在第一段中，有功和无功系统之间没有区别。在这两种情况下，覆盖范围的增加都会减少现有经验对新环境状况的概括。区别在于第二段。反应性系统从根本上无法做到这一点，因为它们无法评估动作的适当性。

有两种替代方法可以实现权宜之计。

选择此类初始行为，然后将其概括为操作系统的基本环境状况将产生适当的反应。
通过外部环境（教育）培训SU适当的行为。在这种情况下，环境充当活动代理，在OS上建立其效果，从而形成所需的行为模型。

尽管这两种方法都有相同的目标，但在采取必要的措施和降低人工成本方面却大不相同。

第一种方法用于创建一组反应。通用算法：

对操作系统的未来环境进行深入分析，以确定需要适当响应的关键情况。
为发现的情况找到适当的反应。
创建一个反应性系统的实例，其中一组基本反应由所获得的情境反应对组成。

第二种方法用于产生一个反应。通用算法：

开发人员有必要创建一个复杂的激励机制，对它的响应将是期望的行为
在运行过程中，当发生必要情况时，开发人员必须以创建的激励措施对OS进行操作，以便SU执行所需的反应。
重复步骤2，直到效果固定。

第二种方法的优点是控制系统机器人可以随时使用它，而第一种方法只能在创建模型实例的阶段应用。第二种方法起作用的条件-开发人员应该知道反应的集合

培训课程

在WTM上的学习分为两个部分：突出环境模式和保持CS对这些模式的响应顺序。否则，学习就是类型对[环境的规律性-反应]的积累过程。

介质的模式是环境信号的频繁重复序列。在系统创建阶段（更确切地说，在“实施”点），开发人员在WTM中规定了记忆所需序列的重复频率。

保存反应序列SU

为了保护它们，使用了关联关系的机制。

关联连接是一种现象，其中一个内存元素（ES）的活动导致另一个ES的激活。我们将表示A→B，其中A和B是存储元素。关联转换是实现关联通信的过程。对于关联A→B，关联转换是指活动B在活动A之后的开始。

记忆元素（EP）是神经网络活动的一种或多种模式。激活可以响应于来自环境的信号以及由于关联转换而发生。应当注意，神经网络的每个反应都是一个ES，但并非每个ES都是一个网络的反应。通过EP的活动，我们了解进入它的神经元的活动。

关联通信的能力是一个数值，表征了关联通信激活其最终EP的能力。对于关联A→B，绑定力将是A→B激活B的能力。它取[0，1]范围内的实数值，表示激活的神经元B数量与所有神经元B数量的比率。该值未在实现中使用，但对于理解模型是必需的。

保留SU反应序列的过程包括在网络的连续反应与环境信号之间连续创建关联链接。创建关联连接时，会为其分配通信强度的初始值。随着EP的每次重复出现，关联连接的强度会根据记忆功能而增加。

模式隔离

模式的识别是基于记忆和遗忘功能的相互作用。WTM会记住一切。模式发生的次数越多，它就会变得越强（其组成中的关联联系越强）。同时，模式被遗忘。图案越不常见，则图案越弱（其组成中的关联性连接越强）。从记忆和遗忘功能的相关性中，可以看出哪些关联将保留在内存中，哪些会被遗忘。

这里将不遗余力地说明记忆和遗忘功能之间的相互关系。我们考虑两种极端情况。第一种情况-记住胜于忘记。这种情况导致：

模式的非常详细的记忆
最高内存填充率

如果忘记胜于记忆，那么一切恰恰相反：

只记住最普通的模式
最小填充速度

目前，选择合适的记忆和遗忘功能是创建WTM实例的最重要阶段之一，因为在当前状态下，WTM的内存大小有限，并且没有增加内存大小的机制。

基本行为

在基本的反应集中，除了提供权宜之计的反应外，还应该有另一类反应-系统的功能基础。功能基础的元素对应于OS的基本行为（举起头部，在第二指节中弯曲第一根手指等）。所有行为都是基本行为的组合（只有它们）。

在神经网络的层次上，功能基础的要素是EP的序列。为它们选择合适的环境影响。在那之后，我们得到了很多对[环境规律-反应]，对应于所选的功能基础。

反应模型中的行为

许多资料将反应性系统的思想反映为原理[刺激->反应]的实现。在这样的系统中，相信刺激和反应被最小时间间隔分开（读取通过反射弧或类似结构所花费的时间）。它们的定义遵循反应系统的基本原理-确定性。但是，这并非完全正确。一个更准确的方案看起来像这样[刺激->内部反应；内部状态的确定性变化；内部状态->外部活动（反应一词被活动代替，因为在这样的系统中，行为取决于许多刺激，而不取决于一个刺激）]（见图1）。此定义之间的区别是内部状态模型的存在。信号传播也是严格的确定性过程，但是，SU不再是对刺激具有即时响应的自动机。在这种模型中，刺激可能具有外部反应，也可能没有外部反应。而且，刺激和外部反应可以随着时间的流逝彼此相距很远。神经网络（尤其是WTM）恰好属于此类系统（隐含动态神经网络）。

图 1-在理解无功控制系统功能方面的差异

方案的第一部分（图1.b.1），WTM的内部反应只是网络对刺激的反应。关联机制负责该方案的第二部分（图1.b.2）。在每个周期，WTM都有一个状态。对于这种情况，可能存在适当的关联关系。那么确定状态转换的过程就是通过关联关系进行连续转换的过程。换句话说，这是再现先前记忆的图案的过程。该方案的第三部分（图1.b.3）接在第二部分之后。如果外部活动具有可复制的模式，则将发生外部活动。

泛化

泛化是将行为反应从一个环境事件转移到另一个事件的过程，该事件是第一个事件的抽象（抽象是与另一个对象相比不具有一组属性的对象（称为原始对象或特例）。

众所周知，SU的反应顺序存储在链中的WTM EP相关联如果是的WTM抽象图案术语- 。EPO和关联关系，其中，所述原始EP和协会通过它们的抽象取代的链

抽象P -是EP，从所述一组，其被检神经元抽象关联的神经元-关联抽象的抽象EP强度之间的这种关联可以是小于或等于原始扬声器的力..

根据构造神经网络（一个神经元-一个属性）的原理，我们得出ES和AS的抽象是原始ES和AS的一部分。因此，为了进行概括，新链中的EP必须与广义链中的EP足够接近。稍后将描述更多关于“足够接近”。

由于神经网络中泛化原理的整合，事实证明，在WTM中，它不是作为独立的机制存在的，而只是信号在网络中传播的一部分。

识别变形的稳定性。情境

记忆的反应序列包含具有不同键强度的缔合键。极端情况是所有力都等于1的规则性。从元素的1出现，它会完全被完美地复制。但是，这是一个极端的情况。“中带”的序列具有不同的情况。如果环境事件与它们完全对应，则只能有效地复制它们。

也就是说，对于通常使用的记忆序列，当前的序列在节拍上必须与它们一致。这种事态不好，因此WTM具有一种针对情境的机制。所描述的问题不是唯一的问题。变形的主要类型3：

按顺序重新排列事件。
相邻元素之间一系列新事件的出现。
跳过序列元素

因此，情境上下文的机制。它由两部分组成：

我们修改每个EP，并为其添加上下文
我们朝着加强遗忘的方向改变记忆和遗忘功能的比例。这使WTM记住的细节更少。EC尺寸补偿

情境是对附近事件的简要描述。考虑附近的时间间隔决定了开发商。您可以将其想象为一个临时存储，在每个WTM周期从中提取有关最旧事件的信息，并添加有关新事件的信息。

上下文在很大程度上不依赖于事件的顺序（依赖于实现）。因此，对于成功的关联转换（读取成功的识别），有必要不在当前ES中重复更多细节，而是重复相同的先前事件。

对于序列，这意味着序列的再现越远，播放将继续的可能性就越大。

惯性

情境上下文机制增加了WTM识别的惯性。识别惯性是指WTM继续进行模式识别的趋势。

上下文组

根据上下文大小和初始EP之间的关系，WTM的属性变化很大。如果情况上下文的选定大小大于ES的大小，则WTM行为将更加惰性。WTM的行为将主要由包含当前上下文元素的反应序列组成（如果上下文覆盖的间隔较大，则变化率较小，并且变化与总大小的比率较小）。因此，我们可以说根据一般情况将反应序列分为几组。当从特定组中复制反应序列时，我们将这种规律性添加到上下文中，从而对其进行更新，从而将其保持在相同状态，这也支持将组划分为事实。

实作

对于理论部分中考虑的所有概念，将根据神经网络对它们的实现进行描述。

一般结构

WTM是具有脉冲神经元的多层神经网络。
网络既有直接的又有反馈的。
层之间的键的性质在向前和向后的方向上都是局部的（即，没有完全连接）。
网络操作分为节拍。对于一个时钟，信号在网络的相邻层之间传播。
图层的整数从1开始。
在神经元之间，设置的距离等于包含这些神经元的层之间的距离。
在以s为单位测量了预定时间段T（网络运行时间）T之后，网络接收输入信号。
信号以预定的Tinput周期频率馈送到网络。Tinput是T的倍数。
WTM . . . 1 .

现在有一些定义。

由于通过网络传播的信号与电波的相似性，该模型收到了部分名称-电波。由于模型之间的相似性，“临时记忆”部分是从Jeff Hawkins HTM（临时分层记忆）中借来的，

在理论部分，EP表示为静态对象。要了解WTM，此方法是合适的。在WFM实现中，ES是动态对象。ES会随时间延长，并且在其持续时间的任何时刻，只有一部分ES是活动的。
ES在其通过网络传播的过程中称为波。“波前”（具有神经活动的一层）是EP的非常活跃的部分。

EP记忆

EP使用Hebb突触可塑性规则存储。赫布定律指出，如果一个神经元的活动与另一神经元的兴奋有关，则它们之间的突触连接强度应增加。

关联关系

使用网络中存在的反馈来创建ES之间的AS。AS连接两个连续的活动波。为此，选择反馈长度等于T / 2（网络运行周期）。组成说话者的突触连接也要遵守赫布法则。发言人的形成过程：

输入神经元接收到信号，导致活动波传播
在时间T之后，第二个信号到达，导致活动波的传播
从第一波开始，反馈信号沿第二波的方向移动
/2 /2
/2.

如果没有第二波，则只有在第一波之后才会创建活动。在理论部分，这被称为关联转换（以及识别）。在理论部分中由于联想转换而产生的神经活动被称为由联想连接创建的EP。

关联交流的力量。在实施级别，这是一个数值，表示一个活动浪潮通过其反馈重新创建另一波浪浪的能力。保留反应序列的过程包括在连续的活动波之间连续创建关联链接，以及保留波本身。

记忆功能是在设置权重系数的过程中增加权重系数的值的功能。取决于当前的突触权重。遗忘功能是加权系数的值随时间减小的功能。取决于当前的突触权重。

举止

泛化是将行为反应从一个环境事件转移到另一个事件的过程，这是第一个事件的抽象。在神经网络的级别上，这意味着在用某些抽象替换其存储元素时，应将某种规则的关联连接的强度保持在足够的水平。

情境

情境是附近事件的压缩特征，已添加到当前EP中以提高模式概括的质量。对于其实现，引入了用于神经元操作的附加机制-激活阈值的降低。

降低激活阈值的机制：在神经元处于活动状态后，应降低神经元的激活阈值。随着时间的流逝，阈值将返回其初始值。根据阈值减少功能发生减少。该功能的值取决于当前阈值。

考虑一个例子。假设使用阈值降低机制将一系列信号应用于WTM。每波之后，部分神经元将降低激活阈值。这将导致以下事实：在接下来的浪潮中，将会有一些活动，而这不会降低阈值。这项活动将是我们对此情况的简短特征。

最主要的是，当重复相同的信号时，还将重复其他活动。

选择上下文机制的这种实现是因为它的简单性和副作用，这与引入上下文机制的目标相对应。

效果本身：沿WTM传播一定的波后，其重复传播得以简化。此外，简化了包含相同神经元（从相同上下文组读取）的波的传播。这种效应可以称为短期记忆WTM。它对应于引入上下文机制的目标-增加识别惯性。

WTM实例计划

基于为WTM设置的任务，以区分需要外部反应的环境事件。
强调WTM的功能基础。
选择适当的（适当的）反应。这些反应将被称为基本反应。
创建与所选基本反应集匹配的WTM。
通过介质对运放的影响为WTM提供额外的培训。

结论

目前，这几乎是WTM的完整描述。其他工作领域：

测试模型的应用程序（以前，但是之后，模型发生了变化，因此一切都是新的）。
确定网络特征选择的模式（网络长度，一层中神经元的数量，直接和反馈连接的数量，...）和内部功能（记忆，遗忘，降低激活阈值，...）。更准确地说，它们之间的相互关系将为网络提供必要的属性（内存容量，分配模式的详细信息，存储持续时间，泛化级别等）。
为WTM添加网络增长功能以克服内存限制。

我将很乐意接受建设性的批评，以及有关此主题和相关主题的一般知识和经验。

WTM（波形时间记忆）-用于解决自适应行为问题的神经网络模型

前言

引言