Google Flood预测:深入了解



几年前,我们认为洪水预测为改善人们的生活提供了独特的机会,并且我们开始了解Google的机器学习基础设施和经验如何在这一领域提供帮助。 去年,我们在印度的巴特那地区启动了洪水预报试点项目,此后,作为社会福利AI政策的一部分,我们扩大了预报范围。 在本文中,我们讨论了这些尝试背后的一些技术和方法。

洪水模型


开发精确的洪水预测系统的关键步骤是使用测量值或河水位预测作为输入并模拟洪泛区中水的行为来开发洪水模型。


模拟各种河流状态的水力模型的三维可视化

这使我们能够将河流的当前或未来状态转换为极其精确的空间风险图,从而告诉我们哪些区域将被洪水淹没,哪些区域将保持安全。 洪水模型取决于四个主要组成部分,每个组成部分都有其自身的复杂性和创新性:

实时水位测量


为了充分利用这些模型,我们需要实时了解地球上正在发生的事情-因此,我们依靠相关政府机构中的合作伙伴能够及时向我们提供准确的信息。 我们的第一个政府合作伙伴是印度中央水委员会(CWC),每小时测量整个印度1000多个河床中的水位,收集这些数据并根据河流上游的测量结果发布预测。 CWC提供这些实时测量和预测,然后将它们用作我们模型的输入。


CWC工作人员测量勒克瑙附近的水位和流量

创建高度图


一旦知道河中有多少水,为模型提供一个良好的区域地图就很关键。 高分辨率数字高空(DEM)模型在地球科学中的广泛应用中非常有用,但尚未在地球上的大多数地区使用,尤其是在洪水预报中。 甚至仪表大小的功能也会导致洪水结果的重大差异( 水坝可能是一个非常重要的例子),但是公开可用的DEM的分辨率为几十米。 为克服此问题,我们开发了一种新方法,可基于完全普通的光学照片产生高分辨率DEM。

我们从Google地图中使用的大量多样的卫星图像开始。 将图像与大数据包进行比较和对齐后,我们会同时纠正卫星摄像机中的误差(方向误差等)和高度数据。 然后,我们使用调整后的相机模型为每个图像创建深度图。 为了获得高度图,我们为每个部分最佳地组合了深度图。 最后,我们从中移除树木和桥梁之类的物体,以免它们在模拟中阻碍水流。 这可以手动完成,也可以通过训练卷积神经网络来了解您需要在哪些位置进行高度插值。 结果是分辨率约为1 m的DEM,可用于运行水力模型。


贾姆纳河30 m宽段的DEM,以及由Google获得的分辨率为1 m的同一段DEM

水力模型


收到所有这些输入数据(河流测量值,预报和高度图)后,我们便可以开始建模过程,该过程可以分为两个主要部分。 第一个也是最重要的是一个物理水力模型,它基于物理定律的近似计算随时间更新水的位置和速度。 特别是,我们为二维浅水方程(Saint-Venant方程)实施了决定性程序。 这些模型对于高质量的输入和高分辨率的工作来说足够准确,但是它们的计算复杂度却带来了问题,因为它与分辨率的立方成正比。 将分辨率提高一倍时,计算时间将增加约8倍。 并且由于我们相信准确的预测需要很高的分辨率,因此即使对于Google来说,该模型的计算成本也可能是不可估量的!

为了解决这个问题,我们提出了液压模型的独特实现,该模型针对张量处理单元( TPU )进行了优化。 尽管TPU是为神经网络而不是为求解微分方程而优化的,但它们的可并行性使TPU内核的计算速度比CPU内核提高了85倍。 通过使用机器学习(可以帮助替换某些物理算法)以及使用二维液压模型扩展数据采样来实现额外的优化,这使我们能够支持更大的网格。


TPU上的Goalpar洪水仿真

如前所述,水力模型只是我们洪水预报的组成部分之一。 我们经常遇到水力模型不够精确的区域-无论是由于DEM的不准确,大坝的突破还是意外的水源。 我们的目标是找到减少这些错误的有效方法。 为此,我们添加了基于历史测量的预测洪水模型。 自2014年以来,欧洲航天局拥有一组Chasovoy-1卫星,这些卫星使用的C波段雷达孔径综合 (RAS) 雷达 。 RAS图像非常适合洪水检测,并且无论云量和天气情况如何都可以获取。 基于这个有价值的数据集,我们将历史水位测量值与历史洪水进行了比较,这使我们能够对水力模型应用一致的修正。 根据这两个组件的输出,我们可以评估哪些差异是由表面状态的实际变化引起的,哪些是由模型中的误差引起的。


Google界面上的洪水警报

未来计划


要充分了解洪水模型的好处,我们还有许多工作要做。 首先,我们正在努力扩大在印度和其他国家/地区的操作系统的覆盖范围。 我们还希望能够实时提供更多信息-预测洪水的深度,临时信息等。 此外,我们正在探索如何最好地以最清晰的方式向个人传播此信息,鼓励他们采取预防措施。

尽管洪水模型是提高现有洪水预报的空间分辨率(从而提高准确性和可靠性)的良好工具,但我们与之合作的各个政府机构和国际组织仍担心无法获得有效洪水预报的地区,或者他们的预测并没有足够的时间让残障人士有效地做出反应。 在我们进行洪水模型研究的同时,我们正在对改进的水文模型进行基础研究,我们希望这将使政府不仅可以在空间上提供更准确的预报,而且可以花更多的时间进行准备。

水文模型接受诸如降水,太阳辐射,土壤湿度等输入数据,并对未来几天的水流量(等等)进行预测。 传统上,这些模型是通过概念模型的组合来实现的,这些模型近似于各种关键过程,例如融雪,地表径流, 蒸散量等。


主要水文模型过程

而且,此类模型通常需要仔细的手动调整,并且在缺乏数据的区域中,它们的工作效果很差。 我们正在研究多任务训练如何适合于解决这两个问题,并使水文模型更具可扩展性和准确性的问题。 在由Sepp Hochreiter领导的林茨大学机器学习研究所的一个小组的联合研究中,Kratzert及其同事证明了基于长期机器记忆的神经网络比任何经典的水文模型都要好。


美国不同盆地的Nash-Sutcliff模型效率系数在不同模型中的分布。 EA-LSTM稳步领先于各种常用型号。

尽管这项工作仍处于初步研究阶段,但我们认为这是重要的第一步,我们希望它可能已对其他研究人员和水文学家有用。 我们认为,在研究人员,政府和非政府机构的大型生态系统中工作以减少洪水的影响是一种令人难以置信的荣誉。 我们热情地评估了此类研究的潜在后果,并希望看到它们将我们引向何方。

Source: https://habr.com/ru/post/zh-CN471536/


All Articles