机器学习继续渗透到互联网行业以外的行业。 在“
通过机器人的眼界看世界 ”的数据与科学会议
上 ，“数字”公司的Alexander Belugin谈到了这种方式的成功，困难和紧迫的任务。 诸如计算机视觉之类的技术的引入要求采用串行方法和产品方法来降低单个实现的成本。 事实是生产中有许多类型的任务。 从该报告中，您可以了解产品，世界趋势以及亚历山大团队在工业安全和过程自动化领域的经验。
早上好 很高兴每个人都参加了这个有趣的会议。 我将首先简要介绍“数字”公司，然后简要介绍该行业中的任务以及解决此类问题的典型方法。 这些是没有机器人的任务，不是装配任务，而是不同的过程工厂。 最后，请看一下我们的经验。
我们已经在市场上工作了一年，我们的目标是使工业生产完全自动化，这将使我们的利润率提高10-15％。 要完全做到这一点，有必要解决所有问题，最后要对所有流程，物流，采购和生产本身进行某种联合优化，但要从诸如物联网，传感器，信息收集等基本事物开始。
现在称为流行语数字化。 这是以数字形式传输有关所有过程的数据，以便以后可以使用它们来提高效率。
今天，我们更多地讨论计算机视觉。 还有一个术语“机器视觉”，指的是技术。 有一些与用于视频监视的摄像机类似的摄像机，有一些用于通信的网络摄像机，并且在行业中有一些特殊的摄像机。 它们的区别在于，它们通常没有常规的以太网端口，使用特殊的协议，例如，它们可以每秒传输750帧，并且不是以突发模式传输，而是连续不断地传输而无需压缩。 除了在视觉上肉眼可见之外，还有一些在其他范围内具有特殊光敏性的特殊相机。 甚至有读取一车道的相机，每秒拍摄很多帧，但宽度为一个像素。 这样的摄像机站在传送带上方，观察在那里发生的事情。
计算机视觉任务的一个显着特征是输出不应是图片-它不会使任何人感兴趣-而是代表我们观察到的质量或大小的数字。
我想列出一些基本任务。 第一个主要方面是与安全性相关的内容。 有了外围控制，因此什么也没带出企业。 这是过去15到20年间解决的视频分析任务数量的一个例子，并且每年都在不断提高。 如果有栅栏和摄像机，并且有人要爬，那么视频分析肯定会抓住他。
还有更复杂的任务-控制某些区域的运动。 例如，在企业中，您总是会被烫伤，在装卸区或手推车行驶的轨道上发现自己。 已经是一项更加艰巨的任务，您必须遵守狭窄的限制条件，了解人们可以走的路。
与安全性相关的任务的另一个示例是在将摄像机放置在平台上时检测头盔上的头盔。 在俄罗斯，这个主题的销量很差。 当人们听到这样的系统要花多少钱时，他们说我们有一项法规，一个人应该戴上头盔，然后戴上头盔，否则，他违反了法规，这就是他的问题。 通常，这是由供应商和私营公司共同推广的一种在世界范围内流行的解决方案。
下一个任务块与会计有关。 基本上，这是一些贴纸的识别。 打印条形码时会有特殊的贴纸。 然后，它会更容易一些。 有很多现成的软件可以识别条形码或清晰打印的字符。 他们经常试图省钱，而不是更改编码系统，而是使用计算机视觉进行识别。 然后，例如可以将其塞在铁路车厢上，并且编号难以区分。 然后，一切都变得更加复杂，您需要花费更多的时间来构建所有这些。 这是打击盗窃和控制商品所必需的-进入企业的东西，企业内部的移动方式以及最终到达的地方。
最后一个任务是质量控制。 它也可以分为两个部分。 一是与物理质量控制有关。 您可以观看各种对象的大小。 大多数情况下，这涉及一些小事情：一些用牛奶或瓶子包装的盖子。 他们有一个相当简单的廉价生产过程，有很多缺陷，只需要过滤它们，使它们变得更好是无利可图的。
图片中有一部分。 已经有更复杂的任务。 这是我们尝试了解的时间，以及实际上他们是否对我们的产品执行了正确的操作。 例如，您需要评估机械师的姿势并了解其执行的操作。 或者，当有一个平台可以在其上组装和拆卸钻机时，就有一个任务。 最大的场地被组装，开车去工作，然后被拆除并被带走。 尽管实际上大多数时间他都闲着，但将一个人放到北方来跟踪这些操作非常昂贵。 在便携式摄像机上。 使用便携式摄像机，您可以自动观看正在发生的事件并跟踪组装和拆卸时间表。
另一个示例是会员软件的屏幕截图，用于控制铸件中的婚姻，在绘制之前将各种塑料物品（例如以这种形式浇注）。 您可以使用相机检测婚姻。
解决这些问题有两种主要方法。 两者都是很久以来发明的，但是经典的方法是使用某种算法处理图像。
左杆，尝试识别它。 权利尚不明确。 圆圈是卷起的钢板卷，中间不清楚是什么。 这些方法是要以某种方式处理图像，增加其对比度，使其成为两种颜色，选择对象的某些边缘，边缘，尝试查找对象本身，然后对其进行处理。
第二种方法是与数据科学有关的更现代的方法，它与神经网络有关。 这里有一定的优势。 首先，就质量而言，有可能在传统方法无法解决的最复杂问题上获得更高的结果。 列出了一些示例任务。
有适应性，您可以配置神经网络学习算法，并从任务到任务的转移，而不是经过训练的神经网络本身，而是与算法一起转移，然后可以使用同一工具解决略有不同的任务。
行业中经常存在不利因素-缺乏数据。 要开始识别缺陷，如果我们正在谈论经典方法，则需要一个视频流来拍摄成品，我们需要用肉眼观察其中存在哪些缺陷，并让它们看到并让我们的代码看到它们。 遍历几个参数，不需要手动标记。 在神经网络的情况下，您需要大量示例，或者手动收集它们，或者使用现代的巧妙方法来生成它们。 这是一个漫长而复杂的过程，转移到其他任务时可能仍需要不时重复。
这是与缺陷检测有关的此类图片的示例。 如果您查看文章是热门话题之一，则在图片底部显示结构上的小婚姻。 使用神经网络，可以以不同的方式以不同的方式检测到92％到99％的所有缺陷，假阳性率为3-4％，非常合适。 不同行业的正常婚姻率从0.5％降至小百分比。 这样的指示器非常适合替换检测这些缺陷的人员。 甚至可以改善结果。
与数字化相关的任务的另一个示例，连接没有数字接口的各种设备，其中绿色箭头表示杠杆作用。 在控制钻探的司钻工作场所中，他得到了一个小小的镜头，他可以转换一些杠杆。 钻孔很重要，一个昂贵的过程，每天要花费几百万卢布。 而且，它没有任何记录，他切换了一些控制杆，没有地方有记录，或者在最佳情况下，记录在手册中，这些控制杆的转换正在进行中。 这很关键。
这是回火线的熔炉。 在此示例中，金线。 炉子大约有25年的历史，纯金进入炉内，将其融化，倒入细线中，并通过加热进行回火，燃烧，转化为固体。 众所周知，有时这种金属丝有时是可靠的，各种链条都由它编织而成，有时某些数量的金属丝会导致婚姻，在编织链条期间它们会断裂，破裂，断裂。 考虑到原材料略有变化，这似乎取决于热处理方式。 数据记录器写在这里，在框架的右边，有一个记录器，可以将其参数写在纸卷上。 有三个参数：金在其中熔化的杯子中的温度，加热温度为熔炉模式以及所有这些通过的速度。
为了了解婚姻的关系以及是否有可能调整炉灶以减少婚姻，这些参数需要数字化。 怎么了 它具有工业连接器，但都在25年前，如果与公司进行逆向工程建立连接或者向熔炉制造商付款（如果公司尚未破产的话）将非常昂贵，以进行连接。 将此类设备连接到USP或MS系统[00:14:24]可能需要花费一百万卢布。 也许数十万。 特别是考虑到只有两个这样的炉子，而不是一百个。
我们如何用我们讨论的工具解决这个问题？ 在这种情况下，使用OpenCV的经典方法不起作用，眩光太多，图像模糊，甚至一个人也无法真正分辨出那里的数字。 OCR，用于文本识别的现成库也不是很合适。
第二个选择仍然是-神经网络。 在这种情况下，它可以工作，但是涉及许多步骤。 当然，您需要收集一些标记以进行网络培训，测试，挑选一些网络并进行培训。 所有这些都需要完成，测试。 我计算了人工成本。 在这里您可以讨论，可以做得更快或更慢，但总的来说要花72个小时。 以一个好的专家的速度，这可能会花费很多。 同时，我们没有收到任何基础架构或软件。 我们刚刚得到一个经过调整和测试的网络，可以很好地识别这些数字。
该方法的优点是它可以工作。 不利之处在于，也没有人准备实施它。 首先，您需要学习如何收集此数据，然后才了解此数据与婚姻之间是否确实存在关系。 如果是这样，您需要弄清楚如何改变以及怎样改变才能减少结婚的比例。 如果太多了怎么办？ 并为飞行员付费，就自动化和连接而言，您至少需要立即付出同样的努力。 甚至，最有可能的，更多。
因此，在过去三年中，根据我们的经验，此类项目无法售出一个。 如果这是一个人站着的有缺陷的管道，那么一个人要便宜得多。 如果这是一件复杂的事情，那么对客户的风险就太大了。
结论-您需要生产它。
如今，在世界范围内的机器学习市场中，有许多朝着产品化的方向发展。 各种各样的自动ML解决方案，可让您部分替换数据科学家以及针对特定应用的成品或解决方案。 最简单的示例是电子商务中的建议。 长期以来，有些产品以标准格式连接数据，它们本身也会发布建议。
我们试图在计算机视觉领域做同样的事情。 提供一种产品，使您可以自动化并减少数量级的人工劳动，以连接带有数字识别功能的旧设备：百分表和其他指示器。
需要解决的第一个任务是减少设置成本。 放置相机时，需要让人们突出显示感兴趣的区域。 例如，用矩形圈出这样的圆圈，然后说出我想在此区域中识别的内容。
下一个问题是所有任务都是不同的，只是在这个地方，您需要学习一些神经网络，以便它们在此处正常工作。
我们知道有不同的神经网络。 如果我们谈论数字，那么很多智能手机中都会有自动翻译器：我们指向任何文本，无论字体或角度如何，文本都或多或少开始翻译。 有这样的解决方案，这意味着使用记分板可以训练一个可以与任何记分板一起正常工作的网络。 但这会带来不利因素-困难，困难，它将缓慢运行，并且由于它是通用的，因此在特定任务上质量会受到损害。 因此，我们使用了一种称为“教师-学生”的方法，其中在解决方案中内置了一组针对特定任务的强大网络。 例如-分别用于文本，某些控制杆和百分表。 这种设备的类型不多。 该系统本身可以工作，可以识别出一些东西，然后使操作员有机会进行附加标记，目视并纠正所看到的错误的3-5％。 然后，基于这种生成的标记的快速方法，根据客户的数据来训练已经适应客户特定任务的轻量级网络。 这种方法可以大大降低实施成本，同时使质量几乎与手工完成的质量相同。
稍后需要轻型网格，因为在企业中并非到处都可以将摄像机连接到某种视频管理系统。 如果有这样的VMS，则您可以在服务器上执行所有操作，其中资源限制仅与成本相关。 像Nvidia Jetson这样的便携式摄像机内置了一些芯片，以及单独的解决方案。 特别是，我们的解决方案适用于Orange PI，它是一种Raspberry PI微型计算机，每秒产生8-10帧，并在输入端接收Full HD图像。
接下来也是杂货店部分。 所有这些数据都需要放在某个地方。 它立即提供了一组标准连接器。
总结一下。 由于成本低廉，实施成本低，这种产品化使您可以将机器学习和计算机视觉推向广阔的市场，而无需使用昂贵的专家和数据科学家。 我认为这是包括工业在内的未来。