神经网络通过照片识别并预测人类的日常活动

科学家设法开发了一个人工神经网络，该网络通过分析“被动式以自我为中心的可穿戴式相机”中的照片选择，当前日期和时间，以83％的精度确定人的日常生活中的活动类型。而且，该程序具有较高的准确性，可以预测将来的用户操作。

这是一项相当重要的研究，为生活博客和个人数字助理的工作提供了新的机会-如果该计划知道您在不久的将来要做什么，它可以提前显示上下文信息，安排食物/交通/衣服，建议您提早工作由于交通堵塞等

该图显示了示例中各个帧的示例，并带有主题分类器的相应注释。

为了在后台连续收集照片，不需要特殊且昂贵的设备。将智能手机挂在脖子上就足够了，它带有专门的拍照程序来拍照。也许将来此类程序将包含在标准智能手机中。



在此实验中，可穿戴式相机在六个月内拍摄了40,103张照片。

您可以使用标准的可穿戴式相机或增强现实眼镜代替智能手机，而Narrative Clip，MeCam，Google Glass，GoPro等则更合适。

分类器的开发和神经网络的训练是由来自乔治亚理工学院（美国）的一组研究人员进行的。首先，分类器是手动设置的，将照片分配到19个主题类别中的一个，包括开车，看电视，和家人聊天，个人卫生，饮食等。在训练神经网络时，考虑了一天中的时间和星期几，因此该元数据还影响了单个活动的识别准确性。

在训练了神经网络之后，她显示出活动识别的准确性为83.07％。该表按类别显示了识别准确性。



如误差矩阵所示，单个活动最容易与其他特定活动混淆。



此类程序可用于生活日志应用程序中，该应用程序可自动跟踪某人的活动并注意到其例行程序的变化。例如，这样的数字助理可能会注意到食物摄入或运动的变化，并提供有力的建议。此外，该程序还可以建议如何更改日程安排，以便更好地利用时间。

对多年日常照片存档的分析可以提供许多有用的信息。例如，该程序可让您跟踪疾病的发展情况或多年来的家庭关系进展情况，人的生活方式的变化。这不仅对医生和警察有用，而且对于例如自动选择具有完美兼容性的妻子/丈夫都是有价值的信息。

在ACM会议（pdf）上发表了科学论文“使用深度学习从以自我为中心的图像预测日常活动” 。

Source: https://habr.com/ru/post/zh-CN385659/