Google Flood Prediction: An Inside Look

Il y a quelques années, nous avons décidé que la prévision des inondations fournissait une opportunité unique d'améliorer la vie des gens, et nous avons commencé à voir comment l'infrastructure et l'expérience en apprentissage automatique chez Google pourraient aider dans ce domaine. L'année dernière, nous avons lancé notre projet pilote de prévision des inondations dans la région de Patna en Inde, et depuis lors, nous avons élargi notre couverture de prévision dans le cadre de la politique d'IA pour le bien-être social. Dans cet article, nous discutons de certaines des technologies et méthodologies derrière ces tentatives.

Modèle d'inondation

Une étape critique dans l'élaboration d'un système précis de prévision des inondations consiste à développer des modèles d'inondation en utilisant soit des mesures, soit des prévisions du niveau de l'eau des rivières comme données d'entrée et en simulant le comportement de l'eau dans sa plaine inondable.


Visualisation tridimensionnelle d'un modèle hydraulique simulant divers états fluviaux

Cela nous permet de transformer l'état actuel ou futur du fleuve en cartes de risques spatiaux extrêmement précises nous indiquant quelles zones seront inondées et lesquelles resteront sûres. Les modèles d'inondation dépendent de quatre composantes principales, chacune ayant ses propres complexités et innovations:

Mesure du niveau d'eau en temps réel

Pour utiliser ces modèles à bon escient, nous devons savoir ce qui se passe sur terre en temps réel - nous comptons donc sur le fait que nos partenaires des agences gouvernementales compétentes seront en mesure de nous fournir des informations précises à temps. Notre premier partenaire gouvernemental a été la Commission centrale des eaux de l'Inde (CWC), qui mesure toutes les heures les niveaux d'eau dans plus d'un millier de lits de rivières à travers l'Inde, collecte ces données et émet des prévisions basées sur des mesures dans le cours supérieur des rivières. CWC fournit ces mesures et prévisions en temps réel, puis elles sont utilisées comme données d'entrée dans nos modèles.


Le personnel du CWC mesure le niveau et le débit de l'eau près de Lucknow

Créer une carte des hauteurs

Une fois que vous connaissez la quantité d'eau dans la rivière, il est essentiel de fournir au modèle une bonne carte de la zone. Les modèles numériques haute altitude (DEM) à haute résolution sont incroyablement utiles pour un large éventail d'applications en sciences de la terre, mais ne sont pas encore disponibles pour la plupart de la planète, en particulier pour la prévision des inondations. Même des entités de taille métrique peuvent entraîner une différence critique dans les résultats des inondations (les barrages peuvent être un exemple extrêmement important), mais la résolution des MNT accessibles au public est de plusieurs dizaines de mètres. Pour surmonter ce problème, nous avons développé une nouvelle méthodologie qui produit un DEM à haute résolution basé sur des photographies optiques complètement ordinaires.

Nous commençons par une collection large et variée d'images satellites utilisées dans Google Maps. En comparant et en alignant des images avec de gros paquets, nous corrigeons simultanément les inexactitudes de la caméra satellite (erreurs d'orientation, etc.) et les données d'altitude. Ensuite, nous utilisons des modèles de caméras ajustés pour créer une carte de profondeur pour chaque image. Pour obtenir une carte de hauteur, nous combinons de manière optimale des cartes de profondeur pour chaque section. Enfin, nous en supprimons des objets tels que des arbres et des ponts afin qu'ils ne bloquent pas les écoulements d'eau dans les simulations. Cela peut être fait manuellement ou en entraînant le réseau neuronal convolutionnel pour comprendre dans quels endroits vous devez interpoler les hauteurs. Le résultat est un DEM avec une résolution d'environ 1 m, qui peut être utilisé pour exécuter des modèles hydrauliques.


DEM d'une section de 30 m de large de la rivière Jamna, et DEM de la même section avec une résolution de 1 m obtenue par Google

Modélisation hydraulique

Après avoir reçu toutes ces données d'entrée - mesures des rivières, prévisions et carte des hauteurs - nous pouvons commencer le processus de modélisation lui-même, qui peut être divisé en deux composantes principales. Le premier et le plus important est un modèle hydraulique physique qui met à jour l'emplacement et la vitesse de l'eau au fil du temps sur la base de calculs approximatifs des lois de la physique. Nous avons notamment mis en œuvre un programme décisif pour les équations des eaux peu profondes bidimensionnelles (équations de Saint-Venant). Ces modèles sont suffisamment précis pour une entrée de haute qualité et un travail à haute résolution, mais leur complexité de calcul pose des problèmes car elle est proportionnelle au cube de résolution. Lorsque vous doublez la résolution, le temps de calcul augmente d'environ 8 fois. Et comme nous sommes convaincus que des prévisions précises nécessitent beaucoup de résolution, le coût de calcul de ce modèle peut s'avérer imprenable même pour Google!

Pour résoudre ce problème, nous avons mis au point une implémentation unique de notre modèle hydraulique, optimisé pour les unités de traitement de tenseur ( TPU ). Bien que les TPU soient optimisés pour les réseaux de neurones et non pour la résolution d'équations différentielles, leur nature parallélisable augmente de 85 fois la vitesse de calcul sur le noyau TPU par rapport au noyau CPU. Une optimisation supplémentaire est obtenue grâce à l'utilisation de l'apprentissage automatique, qui permet de remplacer certains algorithmes physiques, et l'expansion de l'échantillonnage des données avec des modèles hydrauliques bidimensionnels, ce qui nous permet de prendre en charge des grilles encore plus grandes.


Émulation de crue de Goalpar sur TPU

Comme déjà mentionné, le modèle hydraulique n'est qu'un des éléments de nos prévisions d'inondation. Nous sommes constamment tombés sur des zones où nos modèles hydrauliques n'étaient pas suffisamment précis - que ce soit en raison d'inexactitudes dans le DEM, de percées dans les barrages ou de sources d'eau inattendues. Notre objectif est de trouver des moyens efficaces de réduire ces erreurs. Pour ce faire, nous avons ajouté un modèle de prévision des crues basé sur des mesures historiques. Depuis 2014, l'Agence spatiale européenne possède un ensemble de satellites Chasovoy-1 utilisant des radars à synthèse d'ouverture radar (RAS) dans la bande C. Les images RAS sont idéales pour la détection des inondations et peuvent être obtenues indépendamment de la couverture nuageuse et des conditions météorologiques. Sur la base de cet ensemble de données précieux, nous comparons les mesures historiques des niveaux d'eau avec les inondations historiques, ce qui nous permet d'appliquer des corrections cohérentes à nos modèles hydrauliques. Sur la base de la sortie des deux composants, nous pouvons évaluer quelles différences sont causées par des changements réels de l'état de la surface et qui sont causées par des inexactitudes dans le modèle.


Alertes d'inondation sur les interfaces Google

Plans futurs

Il nous reste encore beaucoup à faire pour bien comprendre les avantages de nos modèles d'inondation. Tout d'abord, nous travaillons à étendre la couverture de nos systèmes d'exploitation, à la fois en Inde et dans d'autres pays. Nous aimerions également pouvoir fournir plus d'informations en temps réel - pour prévoir la profondeur de l'inondation, des informations temporaires, etc. De plus, nous étudions la meilleure façon de transmettre ces informations aux individus avec la plus grande clarté, en les encourageant à prendre des mesures préventives.

Bien que les modèles d'inondation soient de bons outils pour améliorer la résolution spatiale (et donc l'exactitude et la fiabilité) des prévisions d'inondation existantes, les divers organismes gouvernementaux et organisations internationales avec lesquels nous avons travaillé s'inquiètent des zones qui n'ont pas accès à des prévisions d'inondation efficaces, ou dont les prévisions ne laissent pas suffisamment de temps au handicap pour y répondre efficacement. Parallèlement à nos travaux sur le modèle des crues, nous menons des recherches fondamentales sur des modèles hydrologiques améliorés qui, nous l'espérons, permettront aux gouvernements non seulement de fournir des prévisions plus précises dans l'espace, mais aussi de donner plus de temps pour se préparer.

Les modèles hydrologiques acceptent des données d'entrée telles que les précipitations, le rayonnement solaire, l'humidité du sol, etc., et donnent une prévision du débit d'eau (et ainsi de suite) pour plusieurs jours dans le futur. Ces modèles sont traditionnellement mis en œuvre grâce à une combinaison de modèles conceptuels qui rapprochent divers processus clés tels que la fonte des neiges, le ruissellement de surface, l' évapotranspiration, etc.


Processus clés du modèle hydrologique

De plus, ces modèles nécessitent généralement un ajustement manuel minutieux et, dans les zones où les données sont insuffisantes, ils fonctionnent mal. Nous étudions la question de savoir comment la formation multitâche peut convenir pour résoudre ces deux problèmes et pour rendre les modèles hydrologiques à la fois plus évolutifs et plus précis. Dans une étude conjointe avec un groupe de l'Institute of Machine Learning de l'Université de Linz, dirigée par Sepp Hochreiter développant des modèles hydrologiques basés sur l'apprentissage automatique, Kratzert et ses collègues ont montré que les réseaux de neurones avec une mémoire à long terme à court terme se sont avérés meilleurs que tous les modèles hydrologiques classiques.


Distribution du coefficient d'efficacité du modèle Nash-Sutcliff de divers bassins américains dans différents modèles. L'EA-LSTM est constamment en avance sur une large gamme de modèles couramment utilisés.

Bien que ce travail en soit encore au stade de la recherche initiale, nous pensons qu'il s'agit d'une première étape importante et nous espérons qu'il pourra déjà être utile à d'autres chercheurs et hydrologues. Nous considérons comme un honneur incroyable de travailler dans un vaste écosystème de chercheurs, de gouvernements et d'institutions non gouvernementales pour réduire les effets des inondations. Nous évaluons avec enthousiasme les conséquences potentielles de telles études et espérons voir où elles nous mènent.