电影预告片机器视觉系统可以预测谁会来电影院


用于定义电影观众的Merlin Video混合推荐模型图。 逻辑回归层将集体过滤模型与有关电影院访问的频率和持续时间的信息相结合,以计算出观看该电影的愿望的可能性。 从头到尾(端到端)对模型进行训练,损失函数被分配回所有训练的组件

发行预告片是准备电影首映时最重要的元素。 壮观的预告片提高了观众的期望等级,使观众熟悉情节,代表了主要人物,传达了画面的整体情调。 同时,根据预告片上的评论,电影制作人有机会了解观众喜欢或不喜欢电影的哪些方面-这些信息通常成为进一步营销活动的基础。 预告片在演出初期与费用直接相关。 然后,早期的高额费用吸引了广大观众和媒体的关注,这在很大程度上确保了该图片在商业上的成功。

由于我们谈论的是数亿美元,因此最优秀的科学家正在努力创造效率更高的拖车。 来自20世纪Fox的机器学习专家发表了一篇科学论文,描述了一个名为Merlin Video的系统。 该机器视觉系统从拖车生成代表图(如上图所示)。 表示数据用于预测观众的反应 。 根据科学著作的作者,这是电影制片厂第一次使用计算机视觉系统来计算观众对电影的兴趣。

该工具基于“集体过滤”(Collaborative Filtering,CF)的创新混合模型,该模型将预告片视频的特征隔离开来:颜色,照明,面部,物体,风景。

此信息与人口统计数据,电影院上座率信息(频率,上次访问日期)结合在一起。 经过培训,该系统使您可以根据拖车进行准确的预测并提出建议。

在Google Cloud,TensorFlow深度学习框架和cuDNN基本库中 ,在Nvidia Tesla P100 GPU GPU上对神经网络进行了训练。 作为培训数据,近年来发布了数百部电影预告片,以及数百万条关于观众行为的记录。

该科学文章的作者写道:“找到了这些标志的合适表示并将它们加载到可以访问电影出席历史记录的模型中,您可以在电影在电影院或流媒体服务中放映后发现预告片的标志与未来观众选择之间的平凡关联。”

下表显示了用于预测电影“最伟大的表演者”的观众的Merlin Text(文本)和Merlin Video(视频)系统的结果。 在右栏中-实际上是实际受众。



如您所见,文本分析可以非常准确地预测电影的观众,但是对视频序列的分析增加了一些缺失的片段。 实验表明,具有少量数据的带有预告片分析的计算机视觉系统显示的AUC结果(ROC曲线下的面积)比文本分析系统(即脚本)好6.5%。

在如此薄弱的人工智能的帮助下,电影制片厂的营销部门将能够更准确地了解观众的兴趣。 他们将能够更好地了解什么样的人对这部新电影感兴趣。 最重要的是,这些观众与过去的电影相交。 这样,您可以针对特定受众进行更有效的营销活动。

研究人员现在正在努力将观众预测系统结合在一起,以在单个系统中分析场景和预告片。 在这种情况下,预测将尽可能准确。

该科学文章于2018年7月12日在预印本网站arXiv.org(arXiv:1807.04465v1)上发布。

Source: https://habr.com/ru/post/zh-CN418803/


All Articles