Wie Yandex mithilfe von Radar und Satelliten eine globale Niederschlagsvorhersage erstellte

Das Yandex.Weather-Team spricht traditionell über neue Technologien bei Habré. Wir haben bereits darüber gesprochen, wie maschinelles Lernen es uns ermöglicht, eine genauere Wettervorhersage zu erstellen, und wie neuronale Netze und Radardaten dabei helfen, Niederschläge vorherzusagen.

Heute werden wir Habrs Lesern von der neuen Technologie erzählen, mit deren Hilfe wir den Niederschlag minutengenau vorhersagen konnten, selbst wenn einfach keine Daten von den Radargeräten vorliegen. Und sie haben uns bei diesen Satellitenbildern geholfen.


Meteosat-8-Satellitenbilder aus dem Weltraum (Quelle: EUMETSAT )

Über Radar und Wissenschaft

Die Bewohner des zentralen Teils Russlands hatten unglaublich viel Glück, denn hier wurden Roshydromet-Wetterradare installiert - moderne Werkzeuge, mit denen Sie eine Niederschlagskarte in einem Umkreis von 250 Kilometern vom Radarinstallationspunkt erhalten können. Gleichzeitig beträgt die räumliche Auflösung dieser Karte 2 x 2 Kilometer pro Pixel, und der Abstand zwischen zwei aufeinanderfolgenden Bildern beträgt nur 10 Minuten.

Links zeigt, wie ein Wetterradar aussieht (Quelle: LEMZ )

Was bedeutet das für einen gewöhnlichen Menschen, der sich für das Wetter interessiert? In Gebieten, die von einem Radarschirm abgedeckt werden, kann der Niederschlag auf ein Wohnviertel genau gemeldet werden. Solche Daten verdeutlichen die traditionelle Wettervorhersage erheblich, da sie Informationen darüber enthalten, was vor einigen zehn Minuten buchstäblich passiert ist. Weitere Einzelheiten zu den Vorteilen von Radargeräten finden Sie in unserem vorherigen Artikel . Betrachten Sie nun ihre Mängel.

Das Hauptproblem ist die schlechte Skalierbarkeit, die mit den enormen Kosten eines solchen Messgeräts und der Komplexität des Designs verbunden ist. Denken Sie daran, dass jetzt nur ein Teil des europäischen Territoriums Russlands sowie Barabinsk und Wladiwostok von Radargeräten bedeckt sind. Darüber hinaus leiden Radarbeobachtungen unter Gebäuden in der Umgebung - beispielsweise können hohe Gebäude die Sicht in ganzen Sektoren verdecken, was sich auf die Qualität der von Radarbildern empfangenen Niederschlagsfelder auswirkt. Ein Beispiel dafür, wie Beobachtungen über mehrere Monate gemittelt über jedes der verfügbaren Radargeräte aussehen können, ist in der folgenden Abbildung dargestellt.


Mehrere Monate gemittelter Radarmessungen

Wie Sie sehen können, ist die Qualität der in Sheremetyevo und Wladiwostok installierten Radargeräte stark beeinträchtigt, und in Mineralnye Vody fällt ein ganzer Sektor aus.

Wir sehen dies an Beschwerden unserer Benutzer. Bei geringem Niederschlag ist das Radar aufgrund der Krümmung der Erdoberfläche möglicherweise nicht für alle 250 Kilometer sichtbar, was sich auf die Möglichkeit auswirkt, den Niederschlag näher an der Sichtlinie zu bestimmen. Darüber hinaus fallen die Radargeräte manchmal lange aus, woran unsere Benutzer leiden, die an die Niederschlagskarte und Regenwarnungen gewöhnt sind. So kommt es beispielsweise im Niederschlagsfeld zu unerwarteten „Explosionen“, wie dies kürzlich in Wologda der Fall war. Was natürlich zu einem Anlass für eine Flut von Memen aller Art wird.

Satelliten als Informationsquelle

Um nicht an Radargeräten befestigt zu werden, haben wir uns buchstäblich für ein Weltraumprodukt entschieden, auf das das Titelbild hinweist. Zusätzlich zu Radarmessungen gibt es ähnliche Ansätze zur Schätzung des Niederschlags auf der Grundlage von Satellitenbildern. Es gibt eine Gruppe spezieller meteorologischer Satelliten (es befinden sich ungefähr 30 Geräte in der Umlaufbahn): sowohl polare Umlaufbahnen, die die Erde mit Bildern bedecken, wie ein um eine Kugel gewickelter Faden, als auch geostationäre Satelliten befinden sich in einer Höhe von etwa 36.000 Kilometern von der Erdoberfläche und drehen sich synchron mit Erdrotation über dem Äquator. Die Besonderheit der Umlaufbahn des zweiten Satellitentyps ermöglicht es Ihnen, ständig über demselben Punkt zu "hängen" und dieselben Bilder wie am Anfang des Artikels zu erhalten. Die Satellitenkonstellation geostationärer Standorte ermöglicht es, fast die gesamte Erde mit Beobachtungen unter Verwendung europäischer Satelliten ( Meteosat ), amerikanischer ( GOES ) und japanischer ( Himawari ) Satelliten für diese Zwecke abzudecken. Auf ihnen basierende Produkte haben eine räumliche Auflösung von 0,5 bis 3 Kilometern pro Pixel, es gibt jedoch ein Problem. Satelliten hängen über dem Äquator, sodass unsere Breiten bis zum äußersten Rand des Bildes fallen, wodurch Daten unter geometrischen Verzerrungen leiden.

Vorhersage von Satellitenbildern

Die Idee, Satellitenbilder für Wettervorhersagen zu verwenden, ist nicht neu - die Informationen daraus werden in traditionellen globalen Wettervorhersagemodellen verwendet. Darüber hinaus werden nützliche Informationen aus Satellitenbildern extrahiert: von der Überwachung von Vulkanasche und Waldbränden bis zum Auffinden von Phytoplankton. Natürlich werden Satellitenbilder auch zur Überwachung des Niederschlags und ihrer kurzfristigen Vorhersage verwendet. Zum Beispiel gibt es Standardalgorithmen zum Erkennen von Gebieten mit Niederschlag - SAFNWC , die jedoch nur für konvektiven Niederschlag gut funktionieren. Nach unseren strengen Metriken, die wir für einen Radarwissenschaftler verwenden, sind solche Algorithmen leider Außenseiter. Wir wollten aber ein Produkt qualitativ mit der aktuellen Lösung für Radardaten vergleichbar, aber auch global skalierbar machen. Dazu haben wir die Stärken jedes Ansatzes genutzt und die Magie des maschinellen Lernens angewendet.

Meteosat als Informationsquelle

Nach den ersten Experimenten mit Standardalgorithmen haben wir uns für die Satellitenforschung im Wetter entschieden. Aber hier trat das erste Problem auf: Wo bekommt man Satellitenbilder? Im digitalen Zeitalter scheint es keine Probleme mit dem Erhalt von Satelliteninformationen zu geben. Alles ist im Internet zu finden ... außer was du brauchst. Bei Satelliten ist die Situation wie folgt: Um schnell Bilder aus dem Weltraum empfangen zu können, muss eine Empfangsstation eingerichtet werden. Das Standardset enthält eine Satellitenschüssel, einen DVB-S-Tuner und einen Computer, auf dem Bilder gespeichert und verarbeitet werden. Ja, die Technologie ist völlig analog zum Satellitenfernsehen, nur die Schüssel ist etwas größer als die Körpergröße des Menschen und der Tuner ist etwas teurer.

So haben wir in unserem neuen DC in Vladimir eine eigene Station für den Empfang von Satelliteninformationen. Die Daten stammen von europäischen Meteosat-Satelliten der zweiten Generation. Um den westlichen Teil Russlands abzudecken, haben wir den Satelliten Meteosat-8 gewählt, der auf einer Länge von 41,5 ° über dem Indischen Ozean hängt. Alle 15 Minuten werden Bilder aufgenommen. Währenddessen wird der sichtbare Bereich des Satelliten vollständig gescannt. Danach beginnt der Scan erneut. Aus diesem Grund sind die Bilder 15 Minuten hinter der Echtzeit zurück. Die Aufnahme erfolgt in 12 Kanälen: 11 Kanäle im sichtbaren und infraroten Bereich mit einer Auflösung von 3x3 km sowie 1 Kanal im sichtbaren Spektrum mit einer Auflösung von 1x1 km (ein Beispiel für Aufnahmen in verschiedenen Kanälen ist rechts gezeigt, Quelle: EUMETSAT ). Das Gesamtbild hat eine Auflösung von 3712 x 3712 Pixel oder etwa 14 Megapixel, wie die Kamera eines modernen Smartphones.

Ein Schnappschuss ist in 8 Teile unterteilt (Streifen in Breiten), was manchmal die Qualität der Daten beeinträchtigt. Der Verlust eines Teils kann das gesamte Bild unbrauchbar machen.

Niederschlagserkennung

Da unsere ersten Experimente zeigten, dass die Qualität des Produkts bei Verwendung traditioneller Ansätze leidet, haben wir uns entschieden, das zu verwenden, was uns im Fall eines gewöhnlichen Wissenschaftlers zum Erfolg verholfen hat. Neuronale Netze kamen zur Rettung. Als Eingabeparameter verwendeten wir Informationen aus 11 Kanälen von Satellitenbildern und wurden auf Radarbildern trainiert, die in einem einzigen Feld auf einem 2x2 Kilometer langen Raster kombiniert wurden. Wir haben traditionelle Ansätze verwendet, die ähnliche Probleme in der Bildverarbeitung lösen. Bis zum letzten Moment konkurrierten zwei Architekturen auf der Basis von ResNet-ähnlichen (von irina-rud verfassten ) und U-Net-ähnlichen (von vlivashkin verfassten) Modellen.

ResNet wird bei Bildklassifizierungsaufgaben verwendet und kann sehr tief sein, während die Erhöhung der Anzahl der Ebenen zu einer stetigen Qualitätssteigerung führt. Eine solche Architektur weist jedoch Nachteile auf - wir sind gezwungen, an jedem Punkt unseres geografischen Rasters ein trainiertes Modell zu verwenden. Als Alternative wurde U-net gewählt - die Faltungsarchitektur für neuronale Netze, die normalerweise bei Bildsegmentierungsaufgaben verwendet wird. Es wurde ursprünglich für biomedizinische Zwecke entwickelt, um schnell mit großen Bildern arbeiten zu können. Mit einer solchen Architektur ist es schneller, unsere Hypothesen zu testen. Außerdem können wir das trainierte Modell nicht Punkt für Punkt verwenden, was die Verarbeitungsgeschwindigkeit von Satellitenbildern erheblich beeinflusst. Nachfolgend finden Sie einen Vergleich der erhaltenen Metriken für die beiden Architekturen. Da wir es geschafft haben, das U-Net-Modell in der Qualität näher an ResNet heranzuführen, U-Net jedoch die schnellere Verarbeitung von Satellitenbildern ermöglicht, haben wir es als Produktionslösung verwendet.


Diese Grafik zeigt das F1-Maß - eine Standardmetrik bei Klassifizierungsproblemen, die zeigt, wie stark sich unser Satellitenregen vom Radar unterscheidet. Mit einer perfekten Übereinstimmung sollte es gleich eins sein. Wie aus der Grafik ersichtlich, hängt die Qualität der Niederschlagserkennung von der Tageszeit ab, da das Bild im sichtbaren Bereich eine wichtige Informationsquelle darstellt.

Die Aufgabe wird durch die Tatsache erschwert, dass Sie nicht nur die Wolke im Bild hervorheben müssen, sondern auch bestimmen müssen, ob es regnen wird. Während der Experimente haben wir festgestellt, dass Informationen aus 11 Kanälen nicht ausreichen. Um ein qualitativ hochwertiges Produkt herzustellen, ist es wichtig, Parameter wie den Sonnenwinkel über dem Horizont, die Reliefhöhe, Daten für die kommenden Stunden aus dem meteorologischen Modell zu berücksichtigen, z. B. den Feuchtigkeitsgehalt von Wolken, die Luftfeuchtigkeit auf verschiedenen Ebenen usw.
Das trainierte Modell ermöglicht es daher, Niederschläge mit großer Genauigkeit zu extrahieren. Die Abbildung zeigt also die Überlagerung von Niederschlag durch Satelliten und Radarfeld. Hier ist die violette Farbe die Satelliten außerhalb des Radars, die purpurrote Farbe ist der Schnittpunkt des Radars und der Satelliten, Blau ist das, was die Satelliten erkennen, aber nicht Radar, und Rot ist das, was die Radargeräte nur erkennen. Die Abbildung zeigt eine leichte systematische Verschiebung nach Norden, da wir keinen Regen von unterhalb der Wolken wie Radargeräte, sondern von oben aus dem Weltraum und in einem Winkel wahrnehmen. Dieses Problem wird in der nächsten Version behoben, was sich auf die Erhöhung der Genauigkeit auswirkt.

Satellitenwissenschaft

Da die Technologie noch recht neu ist, haben wir beschlossen, Radargeräte nicht aufzugeben, sondern an Orten zu belassen, an denen unsere Benutzer bereits an die Nutzung der Wissenschaft gewöhnt sind. Hier tritt das Problem auf: Wie werden Produkte, die sich in der Messmethode unterscheiden, in einer Schnittstelle angezeigt? Wir haben uns für ein mutiges Experiment entschieden - Radar und Satelliten in einer einzigen benutzerfreundlichen Oberfläche eines Radarwissenschaftlers zu zeigen und das Gebiet mithilfe von Satelliten zu erweitern. Hierfür wurde eine enorme Arbeit geleistet, da wir zum einen Satelliten und Radargeräte zeitlich koordinieren und zum anderen korrekt an die Sichtbarkeitsgrenzen von Radargeräten kleben müssen.

Um 15-minütige Satellitenbilder in 10-Minuten-Intervalle zu bringen, die unseren Benutzern bekannt sind, verwenden wir Optical Flow, um Zwischenbilder zwischen aufeinanderfolgenden Satellitenbildern zu erstellen. Optischer Fluss oder optischer Fluss ist eine Technologie, die in der Bildverarbeitung verwendet wird, um Verschiebungen zwischen Bildern zu erkennen. Mit zwei Bildern können wir an jedem Punkt ein Feld von Bildverschiebungsvektoren erstellen - eines, mit dem wir das nächste aus dem vorherigen Bild erhalten können. Mithilfe von Übertragungsvektoren können wir auch Zwischenbilder erhalten, um sie in Intervallen von 10 Minuten auf eine einzelne Zeitskala zu bringen. Der gleiche Algorithmus (durch die Bemühungen von Bonext und Ruguevara ) wird immer noch für die Vorhersage von 2 Stunden im Voraus mit einer Auflösung von 10 Minuten für Satellitenbilder verwendet, und Radargeräte werden mit dem alten bewährten Algorithmus berechnet, der auf neuronalen Netzen basiert, die in unserem Artikel über Radarwissenschaften beschrieben sind. Im nächsten Update planen wir, vollständig auf die Übertragung des gesamten Niederschlagsfeldes mithilfe der neuronalen Netzwerkarchitektur umzusteigen.

Beim Aufkleben heterogener Daten treten natürlich manchmal Artefakte auf, beispielsweise wie in der Abbildung links. Das Standardproblem für Radargeräte macht sich hier bemerkbar: In der Sichtlinie sehen sie keinen Niederschlag, und Informationen von einem Satelliten, der Regen erfolgreich erkennt, fallen in das Dreieck zwischen ihnen. Als wir darüber nachdachten, das Problem des Verklebens von zwei Datenbereichen unterschiedlicher Art zu lösen, erinnerten wir uns an ein Problem wie das Inpainting. Nvidia zeigt in einem kürzlich erschienenen Artikel, Image Inpainting for Irregular Holes Using Partial Convolutions, wie neuronale Netze Bilddetails aus unregelmäßigen Masken rekonstruieren können. Auf einer weiteren Konferenz wurde beschrieben, wie Dmitri Uljanow mit Inpainting das Fresko restaurierte. Wir planen, in unserem Fall den gleichen Ansatz zu verwenden, und es gibt bereits erfolgreiche Entwicklungen, die bald in Produktion gehen werden, wodurch wir heterogene Informationen aus verschiedenen Quellen über die Tatsache des Regens korrekt berücksichtigen können.

Was kommt als nächstes?

Derzeit arbeitet für 100% unserer Benutzer ein Wissenschaftler, der sowohl auf Radar- als auch auf Satellitenmessungen basiert (dank der Weltraumunterstützung von Imalion und der Arbeit der Backend- und Frontteams ). Wir hoffen, dass unsere Benutzer, die in ihrer Stadt auf die Wissenschaft warteten, damit begannen, sie zu nutzen und rechtzeitig Informationen über bevorstehende Niederschläge zu erhalten. Derzeit ist die Zone auf den sichtbaren Bereich des Satelliten im Norden und Osten (östlich des Flusses Ob) beschränkt. Im Süden haben wir die Zone bisher auf den unteren Teil Zyperns und im Westen auf die Schweiz beschränkt. Jetzt können Sie die Annäherung der Fronten beobachten, während Sie sich Ihrer Stadt nähern, und die schönen Wettermacken beobachten. Und der Unterschied in der Abdeckung ist mit bloßem Auge sichtbar.



So haben wir den größten Teil Russlands, die GUS und einige touristische Ziele abgedeckt. Natürlich haben wir den östlichen Teil unseres Landes nicht vergessen - jetzt arbeiten wir mit dem japanischen Satelliten Himawari zusammen, der über Australien hängt und es dem Wissenschaftler bald ermöglichen wird, unsere östlichen Grenzen zu befriedigen.

Und dann - eine globale Karte des Niederschlags für die ganze Welt, frei von Kinderkrankheiten, mit erhöhter Genauigkeit der Niederschlagserkennung, einem einheitlichen Übertragungsalgorithmus und der korrekten Verklebung aller Niederschlagsdaten.

Bleiben Sie bei uns, nutzen Sie die Wissenschaft, teilen Sie Ihre Eindrücke und Ihr Feedback.