Google Flood Prediction: Ein Einblick

Vor einigen Jahren haben wir beschlossen, dass die Hochwasservorhersage eine einzigartige Gelegenheit bietet, das Leben der Menschen zu verbessern, und wir haben begonnen zu sehen, wie die Infrastruktur und die Erfahrung beim maschinellen Lernen bei Google in diesem Bereich helfen können. Letztes Jahr haben wir unser Pilotprojekt zur Hochwasservorhersage in der indischen Region Patna gestartet und seitdem unsere Prognoseabdeckung im Rahmen der KI für Sozialpolitik erweitert. In diesem Artikel diskutieren wir einige der Technologien und Methoden, die hinter diesen Versuchen stehen.

Hochwassermodell

Ein entscheidender Schritt bei der Entwicklung eines genauen Hochwasservorhersagesystems ist die Entwicklung von Hochwassermodellen, bei denen entweder Messungen oder Flusswasservorhersagen als Eingabe verwendet werden und das Verhalten des Wassers in seiner Au simuliert wird.


Dreidimensionale Visualisierung eines Hydraulikmodells zur Simulation verschiedener Flusszustände

Auf diese Weise können wir den aktuellen oder zukünftigen Zustand des Flusses in äußerst genaue räumliche Risikokarten umwandeln, aus denen hervorgeht, welche Gebiete überflutet werden und welche sicher bleiben. Hochwassermodelle hängen von vier Hauptkomponenten ab, von denen jede ihre eigenen Komplexitäten und Innovationen aufweist:

Echtzeit-Wasserstandsmessung

Um diese Modelle sinnvoll einsetzen zu können, müssen wir in Echtzeit wissen, was auf der Erde passiert. Daher verlassen wir uns auf unsere Partner in relevanten Regierungsbehörden, um uns rechtzeitig genaue Informationen liefern zu können. Unser erster Regierungspartner war die Central Water Commission of India (CWC), die stündlich den Wasserstand in mehr als tausend Flussbetten in ganz Indien misst, diese Daten sammelt und Prognosen auf der Grundlage von Messungen im Oberlauf der Flüsse erstellt. CWC stellt diese Echtzeitmessungen und -vorhersagen bereit und wird dann als Eingabe für unsere Modelle verwendet.


CWC-Mitarbeiter messen den Wasserstand und den Durchfluss in der Nähe von Lucknow

Erstellen Sie eine Höhenkarte

Sobald Sie wissen, wie viel Wasser sich im Fluss befindet, ist es wichtig, dem Modell eine gute Karte des Gebiets zur Verfügung zu stellen. Hochauflösende digitale Höhenmodelle (DEM) sind für eine Vielzahl von Anwendungen in den Geowissenschaften unglaublich nützlich, für den größten Teil des Planeten jedoch noch nicht verfügbar, insbesondere für die Hochwasservorhersage. Selbst Merkmale in Metergröße können zu einem kritischen Unterschied in den Hochwasserergebnissen führen ( Dämme können ein äußerst wichtiges Beispiel sein), aber die Auflösung öffentlich verfügbarer DEMs beträgt mehrere zehn Meter. Um dieses Problem zu lösen, haben wir eine neue Methode entwickelt, die hochauflösendes DEM basierend auf ganz normalen optischen Fotografien erzeugt.

Wir beginnen mit einer großen und vielfältigen Sammlung von Satellitenbildern, die in Google Maps verwendet werden. Beim Vergleichen und Ausrichten von Bildern mit großen Paketen korrigieren wir gleichzeitig sowohl Ungenauigkeiten in der Satellitenkamera (Orientierungsfehler usw.) als auch Höhendaten. Anschließend verwenden wir angepasste Kameramodelle, um für jedes Bild eine Tiefenkarte zu erstellen. Um eine Höhenkarte zu erhalten, kombinieren wir Tiefenkarten für jeden Abschnitt optimal. Schließlich entfernen wir Objekte wie Bäume und Brücken von ihnen, damit sie den Wasserfluss in den Simulationen nicht blockieren. Dies kann manuell oder durch Trainieren des neuronalen Faltungsnetzwerks erfolgen, um zu verstehen, an welchen Stellen Sie die Höhen interpolieren müssen. Das Ergebnis ist ein DEM mit einer Auflösung von ca. 1 m, mit dem Hydraulikmodelle betrieben werden können.


DEM eines 30 m breiten Abschnitts des Jamna-Flusses und DEM desselben Abschnitts mit einer von Google erhaltenen Auflösung von 1 m

Hydraulische Modellierung

Nachdem wir alle diese Eingabedaten erhalten haben - Flussmessungen, Vorhersagen und eine Höhenkarte - können wir den Modellierungsprozess selbst beginnen, der in zwei Hauptkomponenten unterteilt werden kann. Das erste und wichtigste ist ein physikalisches Hydraulikmodell, das den Ort und die Geschwindigkeit des Wassers im Laufe der Zeit basierend auf ungefähren Berechnungen der Gesetze der Physik aktualisiert. Insbesondere haben wir ein entscheidendes Programm für die Gleichungen des zweidimensionalen Flachwassers (Saint-Venant-Gleichungen) implementiert. Diese Modelle sind genau genug für qualitativ hochwertige Eingaben und hochauflösende Arbeiten, aber ihre Rechenkomplexität wirft Probleme auf, da sie proportional zum Auflösungswürfel ist. Wenn die Auflösung verdoppelt wird, erhöht sich die Rechenzeit um das Achtfache. Und da wir davon überzeugt sind, dass genaue Prognosen viel Auflösung erfordern, können sich die Rechenkosten dieses Modells selbst für Google als uneinnehmbar herausstellen!

Um dieses Problem zu lösen, haben wir eine einzigartige Implementierung unseres Hydraulikmodells entwickelt, das für Tensor Processing Units ( TPU ) optimiert ist. Obwohl TPUs für neuronale Netze und nicht zum Lösen von Differentialgleichungen optimiert sind, führt ihre Parallelisierbarkeit zu einer 85-fachen Erhöhung der Rechengeschwindigkeit auf dem TPU-Kern im Vergleich zum CPU-Kern. Zusätzliche Optimierung wird durch die Verwendung von maschinellem Lernen erreicht, das dabei hilft, einige physikalische Algorithmen zu ersetzen, und durch die Erweiterung der Datenabtastung durch zweidimensionale Hydraulikmodelle, wodurch wir noch größere Gitter unterstützen können.


Goalpar-Flood-Emulation auf TPU

Wie bereits erwähnt, ist das Hydraulikmodell nur eine der Komponenten unserer Hochwasservorhersagen. Wir stießen ständig auf Bereiche, in denen unsere Hydraulikmodelle nicht genau genug waren - sei es aufgrund von Ungenauigkeiten im DEM, Durchbrüchen bei Dämmen oder unerwarteten Wasserquellen. Unser Ziel ist es, effektive Wege zu finden, um diese Fehler zu reduzieren. Zu diesem Zweck haben wir ein prädiktives Hochwassermodell hinzugefügt, das auf historischen Messungen basiert. Seit 2014 besitzt die Europäische Weltraumorganisation eine Reihe von Chasovoy-1- Satelliten, die Radargeräte mit Radarapertursynthese (RAS) im C-Band verwenden. RAS-Bilder eignen sich hervorragend für die Hochwassererkennung und können unabhängig von der Wolkendecke und den Wetterbedingungen erhalten werden. Basierend auf diesem wertvollen Datensatz vergleichen wir historische Messungen des Wasserstandes mit historischen Überschwemmungen, wodurch wir konsistente Korrekturen an unseren Hydraulikmodellen vornehmen können. Basierend auf der Ausgabe beider Komponenten können wir bewerten, welche Unterschiede durch reale Änderungen des Oberflächenzustands und welche durch Ungenauigkeiten im Modell verursacht werden.


Hochwasserwarnungen auf Google Interfaces

Zukunftspläne

Wir haben noch viel zu tun, um die Vorteile unserer Hochwassermodelle vollständig zu verstehen. Zunächst arbeiten wir daran, die Abdeckung unserer Betriebssysteme sowohl in Indien als auch in anderen Ländern zu erweitern. Wir möchten auch in der Lage sein, mehr Informationen in Echtzeit bereitzustellen - um die Tiefe der Flut, temporäre Informationen usw. vorherzusagen. Darüber hinaus untersuchen wir, wie diese Informationen am besten mit größter Klarheit an Einzelpersonen weitergegeben werden können, und ermutigen sie, vorbeugende Maßnahmen zu ergreifen.

Obwohl Hochwassermodelle gute Werkzeuge zur Verbesserung der räumlichen Auflösung (und damit der Genauigkeit und Zuverlässigkeit) bestehender Hochwasservorhersagen sind, sind die verschiedenen Regierungsbehörden und internationalen Organisationen, mit denen wir zusammengearbeitet haben, besorgt über Gebiete, die keinen Zugang zu effektiven Hochwasservorhersagen haben, oder Vorhersagen, bei denen das Handicap nicht genügend Zeit hat, um effektiv auf sie zu reagieren. Parallel zu unserer Arbeit am Hochwassermodell führen wir Grundlagenforschung zu verbesserten hydrologischen Modellen durch, die es den Regierungen hoffentlich ermöglichen, nicht nur räumlich genauere Prognosen zu erstellen, sondern auch mehr Zeit für die Vorbereitung zu geben.

Hydrologische Modelle akzeptieren Eingabedaten wie Niederschlag, Sonneneinstrahlung, Bodenfeuchtigkeit usw. und geben eine Vorhersage des Wasserflusses (usw.) für mehrere Tage in der Zukunft. Diese Modelle werden traditionell durch eine Kombination von konzeptionellen Modellen implementiert, die sich verschiedenen Schlüsselprozessen wie Schneeschmelze, Oberflächenabfluss, Evapotranspiration und mehr annähern.


Wichtige hydrologische Modellprozesse

Außerdem erfordern solche Modelle normalerweise eine sorgfältige manuelle Anpassung, und in Bereichen mit Datenmangel funktionieren sie schlecht. Wir untersuchen die Frage, wie Multitasking-Training geeignet sein kann, um diese beiden Probleme zu lösen und hydrologische Modelle skalierbarer und genauer zu machen. In einer gemeinsamen Studie mit einer Gruppe des Instituts für Maschinelles Lernen der Universität Linz unter der Leitung von Sepp Hochreiter, die hydrologische Modelle auf Basis des maschinellen Lernens entwickelte, zeigten Kratzert und Kollegen, dass sich neuronale Netze mit einem langen Kurzzeitgedächtnis als besser als alle klassischen hydrologischen Modelle erwiesen.


Verteilung des Wirkungsgradkoeffizienten des Nash-Sutcliff-Modells verschiedener US-Becken in verschiedenen Modellen. Der EA-LSTM ist einer Vielzahl gängiger Modelle stetig voraus.

Obwohl sich diese Arbeit noch in der Anfangsphase der Forschung befindet, glauben wir, dass dies ein wichtiger erster Schritt ist, und wir hoffen, dass sie bereits für andere Forscher und Hydrologen nützlich sein kann. Wir halten es für eine unglaubliche Ehre, in einem großen Ökosystem von Forschern, Regierungen und Nichtregierungsorganisationen zu arbeiten, um die Auswirkungen von Überschwemmungen zu verringern. Wir bewerten die möglichen Folgen solcher Studien mit Begeisterung und hoffen zu sehen, wohin sie uns führen.