机器学习和深度神经网络能够以超出人类能力的方式识别和分析动物的“行为语言”
为了跟踪自然环境中动物的运动，科学家越来越多地转向机器学习（MO）方法。 在此视频中，DeepPoseKit算法跟踪有限空间中沙漠蝗虫的运动和方向，从而为研究人员提供有关昆虫关节行为的数据。为了了解动物头部发生的事情，神经科学家被以意想不到的方式派遣：从直接窥视到活着的大脑到使用闪光灯控制神经元，创建复杂的设备和虚拟环境。
2013年，这将神经科学家
Bob Dattu和哈佛医学院的同事带到了与其实验室位于同一条街上的Best Buy超级市场。
在消费类电子产品商店中，他们找到了所要寻找的东西：Xbox Kinect，一种能够感应玩家动作的游戏设备。 科学家不得不观察他们研究的老鼠运动的最小细节，但是没有一种传统的实验室技术可以处理它。 因此，达塔（Datta）的小组转向玩具，以便利用其关于动物身体运动的三维信息来研究其在环境中的行为。 实际上，该设备为他们在三维空间中提供了点云，然后团队分析了这些点的节奏运动。
达塔（Datta）的决定在当时可能是非常规的，但它已成为当今自动方法改变行为科学浪潮的象征。 通过更彻底和定量地研究动物行为，研究人员希望更好地了解造成这种现象的不可观察的内部状态。 普林斯顿大学研究动物行为的博士后
Adam Calhoun写道：“我们不知道动物可能处于何种潜在条件。”
当试图比较大脑复杂神经回路中特定活动的这些内部状态时，会遇到另一个障碍。 杜塔说，尽管复杂的仪器可以同时记录成千上万个神经元的工作，但是“我们不了解大脑的输出”。 “要理解这种密集的神经编码，您需要获得对行为的更广泛的理解。”
这种广泛的了解可能很快会屈服于我们试图理解它的尝试。 基于机器学习的成功，科学家正在创建算法，该算法可以自动跟踪动物的运动，直至苍蝇的机翼角度或鼠标背部弯曲的微小变化。 他们还创建了可以通过自动分析和分类这些数据以寻找有关动物内部状况的线索来找到模式的工具。
这些方法的主要优势在于它们能够寻找人们看不见的图案。 在上个月发表在《自然神经科学》杂志上的
一篇论文中，卡尔霍恩与普林斯顿大学的神经科学家
马来亚·穆蒂和
乔纳森· 皮洛在一起，创建了一种机器学习模型，该模型仅使用行为观察来确定决定果蝇交配习惯的三个内部状态。 通过操纵果蝇的大脑活动，研究人员便能够确定控制这些条件的神经元集合。
使这些发现成为可能的有关运动跟踪和行为分析的工作代表了行为研究中的技术革命。 因此，这是许多未来成功的第一步。 现在，科学家们使用这些方法来寻找神经生物学，遗传学，进化和医学方面的问题的答案，直到现在，这些问题还是无法解决的。
日志和目录
几十年来，科学家们用钢笔，纸和秒表武装量化了实验室和自然环境中动物的行为。 他们看着实验对象睡觉，玩耍，购买食物和交配。 他们评估了观察结果，绘制了模式的草图，并提出了组织平台来系统化和解释这些趋势。 生物学家Nikolaas Tinbergen，Konrad Lorenz和Karl von Frisch因独立地对鱼类，鸟类和昆虫进行类似实验而获得1973年
诺贝尔奖 。
动物学家Ilan Golani手动绘制了各种物种的运动和行为示意图，以便定量地描述控制动物行为的规则。 这些图显示了蜂蜜badge的整个身体旋转。这样的行为目录可能
非常详细 。 在1973年对老鼠的清洗描述中，自然（Nature）描述了“前肢在枪口下的混乱运动”和“前额在头部上方的宽，同步但不对称的运动”，并评估了在不同情况下此类手势的可能性。 研究人员需要详细描述所有事情，因为他们不知道观察到的行为的哪个方面可能很重要。
一些科学家从另一侧着手解决此问题，将动物行为的多样性限制在最低限度，将它们置于受控的实验室条件下，并允许他们仅通过两种选择做出最简单的决定，例如在迷宫中选择右转或左转。 这种简化有时是有用的，而且内容丰富，但是人为的限制也抹杀了科学家对自然行为的理解，并可能导致重要信号的丢失。 加州理工学院理论神经科学博士后生
安·肯尼迪说：“对行为的理解完全限制了这些研究的范围。”
因此，科学家决定更新这一领域，“将他们的思维转向定量方法”，
位于普林斯顿的Murty和
Joshua Shevica实验室的研究生
Talmo Pereira说。 这一变化的重要一步是数据收集和分析的自动化。
追踪枪口，脊椎和尾巴
图像捕获技术在跟踪运动动物的姿势方面一直很重要。 在19世纪，
爱德华·梅布里奇 （
Edward Maybridge）使用年代摄影技术来分析跑马和人们跳舞的力学。 使用照片可以更轻松地分析动物四肢或头部的位置，并使此过程更加准确。 随着视频记录技术的出现，研究人员能够进行更准确的测量-但是，它们仍然必须基于对动物速度或位置的粗略估计。 在三个维度上跟踪每个运动都是不可能的。 而且，仍然需要进行大量工作来手动将视频的所有笔记分类并输入到计算机中-与笔记本中较早的素描方法相比，此过程没有太大改进。
爱德华·梅布里奇（Edward Maybridge）使用延时摄影来研究马和其他动静的动物的步态。 他的相机可以捕捉和捕捉人眼难以接近的细节。在1980年代，研究人员开始将计算机视觉算法用于他们的目的，该算法已经用于搜索图像中的脸部和轮廓，以解决诸如跟踪苍蝇在表面上的轮廓之类的问题。 在接下来的几十年中，人们开发出了一种系统，可以在视频的每个帧中记录动物的位置，在成群的动物中找到特定的动物，甚至开始
确定身体的某些部位及其方向。
但是，这些程序的有效性仍然有很多不足之处。 “其中有暗示未来可能发生的事情，”以他的名字命名的动物行为研究研究所所长
Ian Cousin说。 马克斯·普朗克（Max Planck）在德国。 “但是，由于深度学习的发展，真正复杂的程序只能在最近出现。”
研究人员使用深度学习（GO），开始训练神经网络来跟踪视频每一帧中几乎任何动物（昆虫，小鼠，蝙蝠，鱼）的关节和身体大部分部位的位置。 只需要制作几个标记帧（对于某些算法，十个就足够了）。 结果，该程序在动物的身体上绘制了彩色圆点，从而确定了动物鼻子，尾巴，耳朵，腿，脚，翅膀，脊椎等的位置。
在过去的几年中，可以做到这一点的程序数量急剧增加，这不仅得益于机器学习的进步，而且还得益于与电影制片人，动画师和游戏行业专家一起对人类动作进行标记的并行工作。
新方法可以追踪各种动物在互动过程中的姿势。 该视频显示了SLEAP算法如何在求爱时自动标记和跟踪一对苍蝇的身体部位（左图），以及两只老鼠在研究环境。当然，如果记录了机芯是为了满足好莱坞或硅谷的需求，人们很容易穿上带有标记的特殊套装，系统可以轻松地将其跟随。 这些数据可用于构建姿势和运动的详细模型。 但是，服装选项不适用于动物研究。
五年前，挪威科技大学的神经科学家乔纳森·惠特洛克（Jonathan Whitlock）开始积极寻找另一种追踪他研究的小鼠的方法。 他竭尽所能：他和他的同事给老鼠剃了毛，并用反射红外线的墨水标记了它们。 他们将玻璃珠的悬浮液涂在动物的背部，通常用于反光的道路标记。 他们用发光的墨水和清漆为动物的关节涂上油漆。 他们尝试了很多事情，但未能按预期进行：有时标记物的亮度不足以追踪，有时使小鼠烦恼，从而破坏了行为。
结果，惠特洛克的研究小组决定在动物背部的三个点上贴上一小片反光带，以重现脊柱的动作，并戴上带有四个额外胶带的小头盔，以追踪头部的动作。 惠特洛克说：“即使这足以为我们打开一个全新的世界。”
www.youtube.com/watch?v=3RaHuybwtFI&feature=youtu.be通过激活飞行中的某些神经元，研究人员迫使她沿着球形旋转木马向后走。 深度学习方法测量苍蝇的腿关节角度的变化，并将腿，腹部和触角的运动显示在三维空间中。
但是，许多研究人员希望摆脱各种标记，并追踪动物身上的任何七个点以上。 通过将先前工作与动物和人类的思想相结合，几个实验室创建了易于使用的系统，如今该系统已被广泛使用。
这些系统中的第一个于去年运行。
DeepLabCut是由哈佛大学的神经科学家
Mackenzie Matis和
Alexander Matis开发的 ，为此重新制作了经过训练可对数千个对象进行分类的神经网络。 很快，其他项目迅速出现：由Pereira和其他人在Murty和Shevits实验室开发的
LEAP （Leap Estimates Animal Pose）。 SLEAP，是同一团队的下一个版本，可跟踪几种互动动物的身体部位的位置； 几个月前发布的Kozin的
DeepPoseKit 。
“她可以很快学习，”莫蒂描述了LEAP系统。 “在10到15分钟内，您可以训练她自动处理所有视频。” 其他小组正在研究在三维而非二维空间中的姿势建模，并使用多个摄像机校准相同的模型。
“在内部，这些技术可能非常复杂，” Kuzin说，“但是到目前为止，它们非常容易地应用于非常广泛的任务，从跟踪老鼠须的运动到蚂蚁的行为或鱼群的形成。”
惠特洛克发现，在他研究的小鼠中，某些运动和位置被编码在皮层的某些部分，这些部分参与了协调的运动-可能还参与了其他活动。 他说：“大脑的这些区域在动物如何保持头部方面非常活跃。” “我们以前根本就没有把信息处理的这一方面考虑进去，”因为研究人员无法追踪自由移动的动物的运动。
该算法以示意图方式描绘了动物的姿势，有助于更好地了解其行为。 实际上，行为的所有可测量方面都是“姿势随时间的变化”，惠特洛克说。 “我们学会了阅读姿势。”
哈佛大学的行为生物学家
Benjamin de Beavort说，由于姿势跟踪软件使收集数据变得更加容易，因此“我们现在可以切换到其他任务”。 例如：如何定义行为的构建块以及如何解释它们？
隐藏的语言
长期以来，回答这些问题的尝试取决于观察者的直觉，即
伦理学家 （动物行为专家）开玩笑时所说的“无懈可击的感知”。 但是，直觉会受到偏见，可再现性问题以及推广困难。
特拉维夫大学的动物学家
Ilyan Golani在过去六十年的大部分时间里一直在寻找一种不太随机的方式来描述和分析行为-该行为将使用行为的基本单位，例如化学中的原子。 他不想将这种行为描述为“送礼”或“进食”。 他希望从动物解剖学得出的一般规则中自然体现这种特征。 戈兰尼（Golani）对于这些单元和规则的外观有自己的模型，但他认为，这一领域仍远未达成共识。
相比之下，其他研究人员相信MO和GO更有可能使这一领域达成共识。 但是DeepLabCut，LEAP和其他高级姿势跟踪算法依赖于老师的训练-他们经过训练可以根据手动标记的数据来识别身体部位。 科学家希望通过没有老师的学习来发现和分析行为的基本组成部分。 也许这样的方法将能够独立地揭示我们看不见的行为的结构，从而使人们不必将系统的每一步强加给系统，从而避免了隐性偏见导致的错误。
这种方法的一个有趣的例子出现在2008年，当时研究人员确定了蠕虫运动的四个基本单位，这些基本单位可以组合在一起，从而获得该动物几乎所有可用的运动。 这种紧凑的表示形式称为“本征蠕虫”（来自“本征”，即 “自己” /大约 翻译]提供了一种评估行为动力学的定量方法。
由哈佛医学院鲍勃·杜塔（Bob Dutta）实验室创建的运动排序算法定义了小鼠行为动力学中的小单元或“音节”。 科学家认为，老鼠的行为是由这样的音节组成的，根据某些“语法”规则，它们彼此跟随。
该视频显示了此类行为单位的六个示例（“弯腰，挺举”，“向前奔跑”，“洗脸”，“皱脸”，“侵略”，“试图逃脱”）。 他们每个人都基于跟踪不同的老鼠。 出现的点表示相同的简单行为。
Datta在2013年采用了Xbox Kinect的技巧，将这种方法提升到了一个全新的水平，并很快获得了成功。 当他和他的同事查看收集到的描述小鼠运动的数据时，他们惊讶地发现它们有多快就能看到它们的结构。 动物的三维行为动力学自然分解成小段，平均持续约300毫秒。 “而仅仅是数据。 我正在向您展示原始数据，”达塔说。 “这只是鼠标行为的基本属性。”
他认为这些部分与行为单元看起来像由一组规则或语法组成的音节的外观非常相似。 他和他的团队建立了一个深层神经网络来定义这些音节。 她正在寻找一种将动物的活动划分为多个部分的方法，以使它们成为预测未来行为的最佳方法。 这种称为运动序列（MoSeq）的算法产生了“音节”，然后研究人员给它们起了“奔跑”或“蹲伏”或“试图逃跑”的名称。 在一个典型的实验中，鼠标使用了40-50个这样的音节，其中只有少数与人们的名字相对应。
惠特洛克说：“他们的算法可以隔离甚至没有名字的行为。”
现在，研究人员正在尝试确定这些行为的生物学或环境重要性，这是以前所未见的。 他们研究了这些行为要素在不同的个体，性别或物种之间是如何不同的，它们如何随着年龄的增长或由于疾病而分解，如何在训练或进化过程中产生。 , , , .
.
,
, , , «» , MoSeq, . « , , — . –
, , ».
, . , , . , , . « , — , — , . ».
, , , . , , .
.
, - Motion Mapper. , , ,
, . , « » - Motion Mapper .
, . , , . , , , , , , .
, Nature Neuroscience, , , , . , «», «», «». , , , , , , . « , », — .
SLEAP. « , , », — .
, , . , , . , , - , , .
«, , », — . , «- ». , « , , , , , . ».
« , , — . – . . , ».