首尔大学的工作人员发表了
一项研究 ，该
研究使用带有深度强化学习的神经网络，基于关节工作和肌肉收缩来模拟两足动物的活动。 概述的底切翻译。
我的名字叫Jehee Lee。 我是首尔国立大学的教授，并且是计算机图形学研究人员，拥有25年以上的经验。 我正在探索理解，表示和模拟人与动物运动的新方法。
自80年代中期以来，基于物理学的两足动物角色运动仿真一直是机器人技术和计算机图形学领域的一个众所周知的问题。 在90年代，大多数两足动物控制器都基于简化的动态模型（例如，基于倒立摆），该模型允许使用平衡策略，该策略可以以闭合形式的方程式得出。 自2007年以来，出现了使用全身动力学实现这一领域快速进步的控制器。 值得注意的是，最优控制理论和随机优化方法（例如CMS-ES）是维持模拟两足动物平衡的主要工具。
研究人员逐渐建立了更详细的人体模型。 1990年，倒立摆模型的自由度小于5。 在2007年，动态模型是由发动机在数十个自由度的关节驱动的2D图形。 在2009-2010年间，出现了具有100个自由度的完整3D模型。
在2012-2014年，出现了由肌肉驱动的生物力学模型控制器。 控制器在每个时间点向每个单独的肌肉发送信号以刺激它们。 肌肉收缩拉动附着的骨头并使它们运动。 在我们的工作中，我们使用了326块肌肉来移动模型，包括身体的所有主要肌肉，除了一些小的肌肉。
控制两足动物角色移动困难
自2007年以来，动态系统的自由度数量一直在迅速增加。 控制器设计的先前方法遭受“维数诅咒”-当所需的计算资源（时间和内存）随着自由度数量的增加而呈指数增长时。
我们使用深度强化学习来解决与肌肉骨骼系统模型的复杂性和两足动物控制的可扩展性相关的问题。 网络可以有效地表示和存储多维管理策略（将状态映射到动作的功能），并探索不可见的状态和动作。
新方法
主要的改进是我们如何处理全身的肌肉活化。 我们创建了一个分层网络，该网络在较高层中学习以低帧频（30 Hz）模拟关节的运动，在较低层中学习以高频（1500 Hz）刺激肌肉。
肌肉收缩的动态性要求比骨骼模拟更高的准确性。 我们的层次结构消除了需求差异。
我们取得了什么成就
很高兴看到我们的算法如何适用于各种人体运动。 我们仍然不知道它到底有多宽，并且正在努力了解边界。 由于计算资源的限制，到目前为止，我们尚未达到这些标准。
每当我们投入更多资源（主要是处理器内核）时，新方法都会带来更好的结果。 优点是，深度强化学习仅在训练阶段需要计算成本。 一旦探索了多维管理策略，就可以快速进行模拟和管理。 肌肉骨骼系统的仿真将很快在交互式应用程序中实时工作。 例如，在游戏中。
我们使用希尔肌肉模型，这是生物力学中的事实上的标准。 我们的算法非常灵活，因此可以包括任何肌肉收缩的动态模型。 使用高精度的肌肉模型可以使您在各种条件下产生人体运动，包括病理学，假肢等。
股直肌。 3D表面网格（左）。 与航路点（中心）的近似值。 弯曲膝盖时，航路点的近似LBS坐标（右）。使用深度强化学习（DRL）
我们与Deepmind的运动研究基于相同的基本思想，该研究基于操纵杆和运动模型。 出乎意料的是，标准DRL算法在“粘着运动”模型中效果很好，但在肌肉驱动的生物力学模型中效果不佳。
在上一届NeurlPS 2018展览会上，
假肢面临
AI挑战。 在竞争模型中，只有20多个肌肉，但是即使对于获胜者，结果也并非最佳。
这个例子说明了学习肌肉驱动模型的困难。 我们的分层模型取得了突破，并允许我们将DRL应用于具有大量肌肉的人的生物力学模型。
PDF格式的项目。
Github上的项目。
探索的话题：李Je熙，李承焕，李京民和文石公园。