史蒂夫·乔布斯（Steve Jobs）和史蒂夫·沃兹尼亚克（Steve Wozniak）曾经被关在车库里，并推出了他们的第一台Mac。 如果您总是可以关闭车库中的程序员并获得具有巨大潜力的MVP，那就太好了。 但是，如果您增加了几个准备好评估用户体验并寻求创新的人，那么成功的机会就会增加。
我们的5人小组提出了一个特定的想法，为此我们决定轻轻地 接管世界 大便。
MVP说明
人力资源经理的应用程序，可让您确定申请人的心理类型和行为方式。
强制性组件：
- 问题，反应类型的数据库以及将这些事物转变为心理型的系统
- 基于非盟的表现-面部肌肉的某些运动对人类情感的定义。
- 非接触式心率
- 确定凝视的方向
- 眨眼率检测
- 一种用于将上述可恢复数据聚合到压力表和其他有用的元数据中的系统。
对我们而言，MVP是构想本身与我们正在进行的大型Anne项目之间的安全孤岛。
怎么样了
为了避免开发过程中的干扰，决定在最近的度假城市租用食物的公寓。 周日到达那里并安排工作，我们立即坐下来进行了讨论。 在第一天晚上，确定了应该在最终MVP中的砖块。 当这些家伙们完善了这个主意，前往城市与人事经理进行磋商时，开发商（包括我）已经在准备基金会。
技术部分
情感的确定决定严格通过FACS进行 ，因为与例如这种粗略的方法相比，此方法具有足够的科学依据。 因此，任务分为
- 训练网络预测68个面部标志
- 标准化/过滤人脸图像
- 检测动力学中面部运动的算法
顺便说一下，培训是使用PlaidML在Radeon RX580上完成的，我在上一篇文章中已经谈到过。 非常感谢，在这里我需要说说imgaug库，它允许您将仿射变换同时应用于图像和图像上的点（在我们的示例中，是地标）。
一些增强图像：
为了确定凝视的方向，该算法最初用于经典计算机视觉，在HOG的眼睛区域中寻找瞳孔。 但是很快便有了一种认识，那就是瞳孔经常是不可见的，并且凝视的方向不仅可以通过它来描述，而且可以通过眼睑的位置来描述。 由于这些困难，解决方案被转移到神经网络方法。 我们自己剪切并标记了日期，通过第一个算法对其进行了处理，然后手动更正了错误的位置。
最初的发展始于夏天，并以肮脏的Python脚本存在：
眨眼频率的确定是根据上述两种算法的各个部分（眼睑界线的收敛和向下的方向的收敛）的集合而确定的。
视频流对脉冲的确定是基于通过血液颗粒吸收光的绿色成分的想法，并通过跟踪和提取感兴趣区域（皮肤）的算法进行了补充。
当然会出现一个令人毛骨悚然的面具：
实际上，创建上述模块的过程归结为最新技术算法的实现，并进行了改进以提高在我们特定情况下的准确性。 幸运的是，这里有arxiv.org 。
当创建用于标准化面部图像的逻辑和用于评估接收到的数据的算法时，出现了困难。 例如，在识别人脸时，会主动使用“ 主动外观模型” （ Active Appearance Model ）-通过在人脸的一般纹理上找到的点来拉动人脸。 但是要点的相互安排对我们很重要！ 作为选择-过滤旋转过的脸部，或仅通过“锚点”拉紧纹理，这些关键点不能反映肌肉的运动（例如，鼻梁上的一个点和脸部边缘）。 现在，这个问题已成为主要问题之一，如果脸部太旋转，则无法获得可靠的数据（我们也可以计算旋转角度！）。 今天可接受的范围是两轴均为+ -20°。 否则，根本不会处理该面部。
当然，还有其他问题：
- 戴着眼镜的人的地标定义
- 如果一个人做鬼脸，提取基线
- 闪烁光线下的心率检测
哦，是的， 基准是什么？ 使用FACS方法处理情绪的基本概念。 根据我们的黑客马拉松的结果，基线提取算法可能是最重要的专有技术之一。
除了算法之外，还有一个我们不能忘记的重要点-性能。 而且，性能上限甚至不是PC，而是普通笔记本电脑。 结果，所有算法都被制作得尽可能轻巧，并且网络在保持可接受的准确性的同时进行了迭代式的缩减。
结果是在15-20 fps的Intel i5上为30-40％。 显然，随着添加其他模块，某些余量将消失。
该计划确定：
- 喉咙痛
- 肤色变化
- 呼吸频率
- 身体运动强度
- 人的姿势模式
- 颤抖的声音
我们还能做什么？
作为计算机视觉和ML的爱好者，我向您介绍了我们软件中使用的算法。 但是由于其不完整，因此对于此应用程序，上述功能是令人愉快的添加。 最重要的部分是用于确定一个人的心理型态的发达系统。 有什么意义？ 不幸的是，这是由我的同事（朋友！）完成的，我无法解释从何而来。 但出于最低限度的了解，您可以考虑使用生成的软件的过程：
人力资源部设置了有关空缺特别必要的素质：
人力资源部进行一次采访，询问准备好的数据库的部分问题（在采访期间，人力资源部收到了有关情绪和压力水平的其他信息）
在面试中或面试后，HR会填写问题和行为模式的答案：
通过开发的矩阵，该软件可以构建图表，以显示给定质量和特定质量的一致性：
面试后，有一条记录可以让您随时返回面试，并评估此时此刻
合计
14天x 12小时+ 3位开发人员+ 2位谎言确定领域的专家=准备就绪的MVP。 我的沉浸感是最大的-在午餐时间我们观看了《 欺骗我 》系列- 我强烈推荐它。
为了不打un，我现在附上一个示例 ，说明应用程序现在如何工作：
以及针对大型Anne解决方案的宣传视频，我们正在努力。
