亲爱的同事们，热烈的问候。
OpenDataScience社区正在成功开发ML4SG计划-机器学习促进社会公益 。 在其框架内，已经启动了许多有趣的项目，这些项目在各个领域都改善了我们与您的生活。
我们想谈谈其中一个项目，其代码名为#proj_shipwrecks 。 该项目是由ODS社区的成员发起的，他们一次同意免费按照自己喜欢的方式工作，但由于某些原因，人们尚未动手。 现在，该项目已发展成为一家小型的非营利性初创公司 ，具有许多不同的研发领域。
作为该项目的一部分，我们将利用我们在计算机视觉方面的专业知识并提出新的，有时是意想不到的举措，努力帮助从海洋考古学家，生物学家和海洋学家到水上救援团队的各种海洋研究人员。
这是怎么回事？
简而言之，我们的项目旨在帮助海洋生物学家和考古学家，水上救援队以及各个领域的海洋研究人员。 我们通过利用声纳，卫星，合成孔径雷达以及简单的视觉图像和视频数据使工作自动化来努力减少许多操作的时间和成本。
我们的研究不仅将有助于发现新的潜水地点，还将帮助深渊中缺少亲人的人们。 下一步是创建一个单独的团队，该团队将帮助海洋学家和生物学家监测从海豹到殖民地珊瑚的海洋生物种群，以及气象学家来监测极地旋风的形成和运动。
该项目是相对较早开始的，活动阶段于今年2月至3月开始。 从那时起，我们就决定了这个概念，我们拥有了一支优秀的团队，我们在一个新兴公司中进行了组织，并学会了如何做各种很酷的事情。 但是首先是第一件事。
我们是谁
我们是不同程度的青年时期的撒旦主义者的第12个日期（+-，团队的结构有些流动）。 某人长时间摇摆神经元，某人只是在Kursers之外发现了深度学习的神奇世界。 此外，我们的团队还雇用了精干的开发人员和超级冷静的日期工程师。 每个人的访问时间都不一样，主要是UDF当前的成员启动了该项目，但是只有在了解了该项目之后，才有人来到那里。 在5月初举行的DataFest之后，我们的人数有了更大的增长，当时团队几乎翻了一番。
我们是一个笨拙的人，我们没有一天计划的计划，我们只是对我们要去的概念和最终得到的结果有一个愿景，从战术上讲，任务的改变取决于我们设法收集的数据，无论这个假设或那个假设有效，您是否需要整个Sprint都可以使用的功能或该功能已过时，因为 有人想到了最酷的主意。
总的来说，我们玩得很轻松：)
我们在做什么
顾名思义，我们致力于在海洋研究的各个领域中使用计算机视觉，以实现社会公益和直接商业利益。
让我们详细讨论社会公益任务，并详细讨论其中的前两个任务-海洋考古学和“搜索与救援”
海洋考古
维基百科告诉我们，海洋考古学通过研究相关的自然遗迹来研究人与海，湖泊和河流的相互作用，这些遗迹包括船舶，沿海结构，相关结构，货物，人体遗骸和水下景观。 一个相关的学科是水下考古学，它通过水下的任何文物来研究过去。
为什么这样做那么重要？ 首先，由于考古学，我们更好地了解了我们的遗产，在这种情况下是海洋遗产，我们发现了可以揭示过去事件甚至严重改变我们对某些历史时刻看法的文物。 其次，不要忘了我们在舰队的积极参与下进行了两次世界大战，许多死去的水手的灵魂仍在等待陆上剩余的体面遗骸。
根据联合国教科文组织 （非常近似）的数据，仅在1939-1945年的大西洋之战中，全世界就有300万沉船，其中有3500艘货轮和客船（3500艘，卡尔！），175艘军舰和783艘潜艇被击沉。 从所有这些辉煌中发现，上帝禁止，百分之十，甚至更少。
计算机视觉如何帮助找到所有这些沉没的宏伟？
毕竟，关于沉没的船，人们通常只知道非常接近的死亡地点，即公海中的某个正方形，即使那是不准确的。
为了解决该问题，我们将其分为三个部分。
- 首先，您需要扫描一个较大的正方形，突出声纳和测深仪图像中的异常
- 然后对发现的异常进行分类，以了解我们发现的异常
- 最后，目视检查物体
在第一个方向上，我们解决了声纳图像上已知的对象检测问题（检测异常），以及学习排名任务-我们确定了该异常的“相关性”，即该异常实际上是一艘船或一架飞机，或其他人造的东西，例如不是石头。
这个方向的下一个任务是发现异常的分类-这是一艘船，还是一架飞机，或者是一个集装箱。 为此，声纳的频率会发生变化，这使您可以获得更高分辨率的图像并尝试对物体进行分类。
顺便说一句，侧面扫描声纳如何工作？
侧面扫描使用声纳，该声纳通过垂直于传感器路径的广角向海底发射锥形或扇形脉冲。 扇形光束从海底反射的声波强度记录在一系列横截面中。 这些碎片沿着行进方向缝合在一起，形成了光束带（覆盖宽度）内的海底图像。 侧面扫描声纳中使用的声音频率通常在100到500 kHz的范围内。 较高的频率可提供较好的分辨率，但范围较小。
声纳操作的一个重要特征是，被其“扫描”的物体具有声影，其形状有时比物体本身的形状更陡峭。
在第二个方向上，我们第二次在声纳较高的每个异常上传递声纳，并解决了分类问题，试图确定遇到的是哪种船或飞机。
整个技巧是，现在这样的搜索是手动完成的。 操作员坐下（有时要坐12个小时！），然后看一下声纳屏幕，试图确定那里是否有东西。 我们正在研究的解决方案将使整个过程的自动化最大化。
哪里 钱 数据，Lebowski？
我们在研究过程中遇到的主要问题是一个简单的事实，即很少有公开可用的声纳图像。 在我们从大约220张图片收集的数据集上，一个好的检测器以及分类器实际上是不可能教授的。 不过，我们设法找到了一条出路：我们只是生成数据集；）
简而言之，方法是这样的：
1）在发生洪水的情况下，船最常朝龙骨垂下，较少在船上，很少在甲板上。
2）我们拍摄一艘静止的船的图像（航空摄影，卫星，有这样的数据集，例如，与Kaggle的空中客车比赛的数据集相同）并“淹没”了它。
对于“泛洪”，我们使用CycleGAN-生成对抗网络的一个亚种，它允许将一幅图像样式转换为另一幅图像。 经过约400个时代的训练，以及约220对A和B对（活着和下沉的）的训练，已经有可能获得足够的图像。
我们从声纳中获取真实图像：
卫星图片：
最后，我们得到了这张照片：
并且我们仔细选择验证集，以使检测器或分类器的模型不会在人工图片上重新训练。
最后，在第三个方向 -视觉检查和分析-我们除其他外，使用所有相同的GAN解决图像和视频的色彩校正，除雾和超分辨率的问题，但这一次是U-GAN，W-GAN和SRGAN体系结构。
水下射击的本质是自然光很少（更确切地说，根本不存在），并且深海车辆探照灯的人造光功率很低。
结果，在水下拍摄的照片通常看起来像这样：
我们的管道允许您当前接收以下图像：
这也适用于视频（视频是在遥控水下航行器Gnome pro上拍摄的）：
搜索和救援
根据欧盟统计，从2011年到2017年，超过20,000艘船舶参与了各种事件，近7,000人受伤，其中683人死亡。
这些事件有很大的不同，原因有多种：从失去对船舶的控制到在黑暗中或其他能见度差的情况下发生的碰撞。 当应答器发生故障，发电厂发生故障并且船舶可以断电时，船舶会在公海中迷失方向，最后，奔波会冲走船上的某人。
我们为自己设定了以某种方式影响这种可悲的统计数据的目标，为此，我们正在解决以下任务：
1）合成孔径雷达的图像检测与分类
2）通过卫星/飞机图像对船只进行检测和分类
3）从声纳图像中搜索溺水者，沉没设备和货物
此外，我们还解决了声纳图像中血管的分割问题，这将使我们能够更精确地确定随后的潜水点。
让我们详细介绍每个任务。
有了卫星检测，一切都差不多了，上述空客Kaggle竞赛中已经解决了类似的问题。 您也可以在kaggle上下载良好的数据集。
有了SAR图像，它或多或少也很清晰，因为在欧盟发射了Sentinel-1卫星后，有了一个很好的OpenSARShip 数据集 ，它是在公共领域的。
即使在少数时代，快速的基准线也显示了ResNet架构上可接受的速度。
很难进行进一步分类，除了在标记上花费大量工时。
红外图像更有趣。 也许只有一个很好的具有船舶红外图像的数据集-VAIS ，但是它相对较小。
但是，您可能已经猜到了，使用样式转移来扩充集合的假设也可以出现在这里。 尽管如此，即使在初始数据集上，我们也成功在暹罗网络上获得了良好的基线分类器（比随机抽样更好）。
发现溺水者使一切变得更加复杂。
首先，没有数据集。
其次，它们不是。
第三，它们根本不存在。
不过，问题正在解决。
在声纳屏幕上被淹死的人是这样看的：
底部上方的高度可能会有所不同，具体取决于自死亡时刻起经过的时间。
我们如何获得带有此类图片的数据集？ 当然，您可以淹没几个人体模型并用声纳拍照，但是有一种更便宜的方法。
我们可以在免费的图片库网站上收集人物的3D模型，而纹理或高细节完全没有必要。 然后，要么加热底部不均匀的场景，要么将3D模型放置在UWSim或UUVSimulator之类的开放源代码模拟器中，根据所有规范对水及其下的所有东西进行模拟。
然后，您可以获取这些场景的屏幕截图，然后……正确地应用样式转换。 GANS之神将获得更多的GANS！
结果，管道将如下所示：
这种方法使您无需花费不必要的费用即可获得有效的数据集。
进一步的计划
我们的未来计划很大：)我们正在使用海洋考古学和“搜索与救援”期间学到的技术和技巧，按照本文开头指出的所有方向进行工作。
我们正在与MSU海洋研究中心 ， 美国国家海洋与大气管理局 ，Climate4Media爱沙尼亚气候和环境监测局就伙伴关系进行谈判，并与声纳制造商和负责水上搜索和救援的政府服务部门进行谈判。
当然，我们正在寻找更多的帮助者和合作伙伴。
首先，我们将对海洋生物学家，生态学家，考古学家和海洋学家感到高兴-我们将在深度学习中教您，其余工作将由您做:)
如果您有来自声纳的.xtf或.dat格式的数据，或者与我们的主题有关的任何其他数据，那么我们也将很乐意与您合作。
其次，我们进行了大量研究（GAN，Karl！在生成3D点云的过程中我们仍然有3D GAN），这需要大量的计算能力，主要是GPU。
第三，我们正在寻找潜在客户在战斗条件下尝试我们的解决方案。
最后，我们正在寻找对我们的工作以及将其结果不仅用于社会公益而且对商业有用的前景的投资者。
我们最重要的计划是摆脱“晚上和周末做”模式的工作，而我们喜欢“此模式” ：)
由于本文的概述性，我没有详细介绍所使用的技术。 如果您有任何问题-欢迎发表评论，欢迎访问项目页面 ，PM，邮件（pavel.golubev@maritimeai.net）， SLM松弛！ 您也可以在5月举行的DataFest的ML4SG部分中查看我们的简短报告- 在此处 。 如果有趣的是，详细考虑一些技术-编写，我们将在另一篇文章中写下。
那可能就是全部，做好事:)