Yandex.Weather小组的传统是谈论Habré的新技术。 我们已经讨论过机器学习方法如何使我们能够创建更准确的天气预报，以及神经网络和雷达数据如何帮助预测降水。
今天，我们将向Habr的读者介绍这项新技术，借助它，即使在没有雷达数据的情况下，我们也能够准确地预测出几分钟的降水量。 他们帮助我们制作了卫星图像。
来自太空的Meteosat-8卫星图像（来源： EUMETSAT ）关于雷达与科学
俄罗斯中部地区的居民非常幸运，因为在这里安装了Roshydromet天气雷达-现代工具可让您获取距雷达安装点250公里半径内的降水图。 同时，此地图的空间分辨率为每像素2x2公里，两个连续图像之间的间隔仅为10分钟。
左侧显示了天气雷达的外观（来源：
LEMZ ）
对于一个对天气感兴趣的普通人意味着什么？ 在雷达伞覆盖的区域中，可以向住宅区报告准确的降水量。 这样的数据极大地澄清了传统的天气预报，因为它们携带了几十分钟前发生的事情的信息。 有关雷达优势的更多详细信息，请参见我们之前的
文章 。 现在考虑他们的缺点。
主要的是可伸缩性差，这与这种测量仪器的巨大成本和设计的复杂性有关。 回想一下，现在雷达只覆盖了俄罗斯的欧洲领土的一部分，以及巴拉宾斯克和符拉迪沃斯托克。 此外，雷达观测会受到周围建筑物的影响-例如，高层建筑物会遮挡整个区域的视野，从而影响从雷达图像接收的降水场的质量。 下图显示了一个示例，该示例显示了每个可用雷达在数月内的平均观测结果。
几个月平均雷达测量如您所见，在谢列梅捷沃和符拉迪沃斯托克安装的雷达质量受到很大影响，而在Mineralnye Vody中，整个行业都陷入困境。
我们从用户的投诉中看到了这一点。 同样，在低降水量的情况下，由于地球表面的曲率，可能无法在所有250公里处都看到雷达，这会影响确定靠近视线的降水的可能性。 此外，雷达有时会失效，有时会很长一段时间，这会给我们的用户带来痛苦，他们习惯了降水图和降雨警告。 因此，例如，最近在沃洛格达州的情况下，在降水场中发生了意外的“爆炸”。 当然，这成为各种模因泛滥的场合。
卫星作为信息来源
为了不被雷达所束缚，我们从字面上决定制造太空产品，标题图片暗示了这一点。 除雷达测量外，还存在类似的方法可根据卫星图像估算降水。 有一组特殊的气象卫星（大约有30辆在轨飞行器）：极地轨道和地球静止卫星都覆盖地球，地球上有像绕着球缠绕的线那样的图片，而地球静止卫星则位于离地球表面约36,000公里的高度，并与地球同步旋转。地球在赤道上方的自转。 第二种卫星的特殊性使您可以不断“悬垂”在同一点上，并获得与本文开头相同的图片。 通过地球同步站的卫星群，可以使用这些目的的欧洲卫星（
Meteosat ），美国（
GOES ）和日本（
Himawari ）进行观测，从而几乎覆盖整个地球。 基于它们的产品的空间分辨率为每像素0.5到3公里，但是存在问题。 卫星悬挂在赤道上方，因此我们的纬度下降到图像的边缘，这导致数据遭受几何失真。
卫星影像预测
使用卫星图像进行天气预报的想法并不新鲜-来自它们的信息被用于传统的全球天气预报模型中。 此外，还从卫星图像中提取了有用的信息：从监测火山灰和森林大火到寻找浮游植物。 当然，卫星图像也可用于监测降水及其短期预报。 例如，存在用于检测具有降水的区域的标准算法
-SAFNWC ，但它们仅适用于对流降水。 根据我们用于雷达科学家的严格标准，a这种算法是局外人。 但是，我们希望使产品的质量能够与雷达数据的当前解决方案相媲美，而且还可以在全球范围内扩展。 为此，我们充分利用了每种方法的优势，并运用了机器学习的魔力。
气象卫星作为信息来源
在对标准算法进行首次实验之后，我们决定了Weather中的卫星科学。 但是这里出现了第一个问题：从哪里获取卫星图像？ 在数字时代，获得卫星信息似乎应该没有问题。 一切都可以在互联网上找到...
除了您需要的。 对于卫星，情况如下：为了快速从太空接收图像，必须建立一个接收站。 标准套装包括卫星天线，DVB-S调谐器和一台用于存储和处理图片的计算机。 是的，这项技术完全类似于卫星电视，只是碟子比人的身高稍大一点，而调谐器则稍贵一些。
因此，在弗拉基米尔的新DC中，我们拥有自己的接收卫星信息的站。 数据来自欧洲第二代Meteosat卫星。 为了覆盖俄罗斯西部，我们选择了Meteosat-8卫星，该卫星以41.5°的经度悬挂在印度洋上。
每15分钟拍摄一次照片-在此期间，将对卫星的可见区域进行全面扫描，然后再次开始扫描。 因此，图片比实时时间晚15分钟。 拍摄发生在12个通道中：可见光和红外范围中的11个通道的分辨率为3x3 km，以及可见光谱中的1个通道的分辨率为1x1 km（右侧显示了在不同通道中拍摄的示例，来源：
EUMETSAT ）。 完整图片的分辨率为3712x3712像素或约14兆像素，就像现代智能手机的相机一样。
快照分为8个部分（纬度条纹），这有时会影响数据的质量-丢失一个部分会使整个图像无用。
降水检测
由于我们的第一个实验表明使用传统方法时产品的质量受到影响，因此我们决定使用在普通科学家身上为我们带来成功的产品。 神经网络解救了人们。 作为输入参数，我们使用了来自11个卫星图像通道的信息，并在雷达图像上进行了训练，并组合成2x2公里的网格中的单个字段。 我们使用传统方法来解决计算机视觉中的类似问题。 直到最后一刻，两种架构都基于类似ResNet的模型（由
irina-rud创作）和基于U-Net的模型（由
vlivashkin创作）
竞争 。
ResNet用于图像分类任务，并且可以很深，同时增加层数可以稳定地提高质量。 但是，这样的体系结构在使用中存在缺陷-我们被迫在我们的地理网格的每个点上使用经过训练的模型。 作为替代方案，选择了U-net-卷积神经网络体系结构，该体系通常用于图像分割任务中。 它最初是为生物医学目的而开发的，用于快速处理大图像。 使用这种架构，可以更快地检验我们的假设，此外，我们可以不逐点使用经过训练的模型，这会严重影响卫星图像的处理速度。 下面是对两种架构获得的指标的比较。 由于我们设法使U-net模型在质量上更接近ResNet，但是U-net允许我们更快地处理卫星图像，因此我们将其用作生产解决方案。
该图显示了F1量度-分类问题中的标准量度，表明我们的卫星降雨量与雷达的差别。 完美匹配时，它应等于1。 从图中可以看出，降水检测的质量取决于一天中的时间，因为可见范围内的图像是重要的信息来源。
由于您不仅需要突出显示图像中的云，还需要确定是否会下雨，因此使任务变得复杂。 在实验过程中，我们发现来自11个渠道的信息还不够。 为了生产出高质量的产品，重要的是要考虑到诸如太阳在地平线上的角度，地势高度，气象模型未来几个小时的数据等参数，例如云层的水分含量，大气中各个级别的湿度等。
结果，经过训练的模型允许高精度地提取降水。 因此该图显示了卫星和雷达场的降水叠加。 在这里，紫色是雷达外部的卫星，深红色是雷达与卫星的交点，蓝色是卫星检测到的但不是雷达，红色是雷达仅检测到的。 由于我们没有像雷达那样从云层下方检测到降雨，而是从太空和某个角度从上方检测到降雨，因此该图显示了向北的轻微系统转移。 此问题将在下一发行版中修复，这将影响准确性的提高。
卫星科学
由于这项技术是相当新的技术，我们决定不放弃雷达，而是将其留在我们的用户已经习惯使用科学的地方。 这里出现问题：如何在一个界面中显示测量方法不同的产品。 我们决定进行一项大胆的实验-在雷达科学家的单一用户友好界面中显示雷达和卫星，并借助卫星扩大面积。 为此，我们已经做了大量工作，因为我们首先需要及时协调卫星和雷达，其次需要将它们正确地粘在雷达的能见度边界上。
为了使我们的用户熟悉的15分钟卫星图像间隔达到10分钟，我们使用光流技术在连续的卫星图像之间创建中间帧。 光流或光流是在计算机视觉中用于检测图像之间偏移的技术。 使用两个图像，我们可以在每个点上构建一个图像位移矢量场-一个可以让我们从上一个图像中获取下一个图像位移矢量的字段。 使用传输向量，我们还可以获得中间帧，以便将它们以10分钟的间隔移至单个时间范围。 同样的算法（通过
bonext和
ruguevara的努力）仍被用于以10分钟的分辨率对卫星图像进行2小时的预测，并且雷达是根据我们关于雷达科学的文章中所述的基于神经网络的古老算法进行计算的。 在下一个更新中，我们计划使用神经网络架构完全切换到整个降水场的转移。
当然，在粘贴异构数据时，有时会出现伪影，例如，如左图所示。
雷达的标准问题在这里很明显-在视线范围内看不到降水，而成功检测到雨水的卫星信息落在它们之间的三角形内。 在考虑解决将两个不同性质的数据区域粘合在一起的问题时，我们想起了修复问题。 Nvidia在最近的文章《使用部分卷积的不规则孔的图像修补》中
展示了神经网络如何从不规则的蒙版中重建图片细节。 在再一次会议上，它描述了德米特里·乌里扬诺夫（Dmitry Ulyanov）如何使用壁画修复壁画。 我们计划在我们的案例中使用相同的方法，并且已经有成功的开发成果即将投入生产，这将使我们能够正确地考虑来自各种来源的关于降雨事实的异构信息。
接下来是什么？
目前，对于我们100％的用户而言，科学家们正在雷达和卫星测量的基础上工作（这要归功于
imalion空间的支持以及后端和前端团队的工作）。 我们希望在城市等待科学的用户开始使用科学并及时收到有关即将发生的降水的信息。 目前，该区域仅限于卫星在北部和东部（鄂毕河以东）的可见区域。 到目前为止，我们在南部将区域限制在塞浦路斯的下部，而在西部则将其限制在瑞士。 现在，您可以在接近城市时观看前方的进近，并观看美丽的天气怪癖。 肉眼可以看到覆盖率的差异。
因此，我们涵盖了俄罗斯大部分地区，独联体和一些旅游目的地。 当然，我们并没有忘记我们国家的东部地区-现在我们正在与悬挂在澳大利亚上空的日本卫星Himawari合作，并将很快使科学家有可能取悦我们的东部边界。
然后-全球降水图，没有儿童疾病，降水检测的准确性提高，统一的传输算法和所有降水数据的正确粘贴。
与我们在一起，运用科学，分享您的印象和反馈。