Comment Yandex a créé une prévision des précipitations mondiales à l'aide de radars et de satellites

L'équipe Yandex.Weather a une tradition de parler des nouvelles technologies sur Habré. Nous avons déjà expliqué comment les méthodes d'apprentissage automatique nous ont permis de créer des prévisions météorologiques plus précises, ainsi que la façon dont les réseaux de neurones et les données radar aident à prédire les précipitations.

Aujourd'hui, nous parlerons aux lecteurs de Habr de la nouvelle technologie, grâce à laquelle nous avons pu prédire des précipitations précises en quelques minutes, même là où il n'y a tout simplement pas de données provenant des radars. Et ils nous ont aidés avec ces images satellites.


Images satellites Meteosat-8 depuis l'espace (source: EUMETSAT )

À propos des radars et de la science

Les habitants de la partie centrale de la Russie ont eu une chance incroyable, car c'est ici que les radars météorologiques Roshydromet ont été installés - des outils modernes qui vous permettent d'obtenir une carte des précipitations dans un rayon de 250 kilomètres du point d'installation du radar. Dans le même temps, la résolution spatiale de cette carte est de 2x2 kilomètres par pixel, et l'intervalle entre deux images consécutives n'est que de 10 minutes.

La gauche montre à quoi ressemble un radar météo (source: LEMZ )

Qu'est-ce que cela signifie pour une personne ordinaire qui s'intéresse à la météo? Dans les zones couvertes par un parapluie radar, les précipitations peuvent être signalées avec précision dans un quartier résidentiel. Ces données clarifient grandement les prévisions météorologiques traditionnelles, car elles contiennent des informations sur ce qui s'est passé il y a quelques dizaines de minutes. Plus de détails sur les avantages des radars sont décrits dans notre article précédent. Considérez maintenant leurs lacunes.

Le principal est une faible évolutivité, associée au coût énorme d'un tel instrument de mesure et à la complexité de la conception. Rappelons que seule une partie du territoire européen de la Russie, ainsi que Barabinsk et Vladivostok, sont couverts par des radars. De plus, les observations radar souffrent des bâtiments environnants - par exemple, les bâtiments hauts peuvent obscurcir la vue dans des secteurs entiers, ce qui affecte la qualité des champs de précipitations reçus des images radar. Un exemple de la façon dont les observations sur plusieurs mois en moyenne sur chacun des radars disponibles peuvent ressembler est illustré dans l'illustration ci-dessous.


Plusieurs mois de mesures radar moyennes

Comme vous pouvez le voir, la qualité des radars installés à Sheremetyevo et Vladivostok est grandement affectée, et un secteur entier se retombe à Mineralnye Vody.

Nous voyons cela sur les plaintes de nos utilisateurs. De plus, dans le cas de faibles précipitations, le radar peut ne pas être visible sur les 250 kilomètres en raison de la courbure de la surface de la Terre, ce qui affecte la possibilité de déterminer les précipitations plus près de la ligne de visée. De plus, les radars tombent en panne, parfois longtemps, à cause de quoi nos utilisateurs souffrent, habitués à la carte des précipitations et aux avertissements de pluie. Pour cette raison, par exemple, des «explosions» inattendues se produisent dans le champ des précipitations, comme ce fut le cas récemment à Vologda. Ce qui, bien sûr, devient une occasion pour une rafale de toutes sortes de mèmes.

Les satellites comme source d'information

Afin de ne pas être attaché aux radars, nous avons littéralement décidé de fabriquer un produit spatial, qui est indiqué par la photo de titre. En plus des mesures radar, des approches similaires existent pour estimer les précipitations sur la base de l'imagerie satellite. Il existe un groupe de satellites météorologiques spéciaux (il y a environ 30 véhicules en orbite): à la fois en orbite polaire, qui couvre la Terre avec des images, comme un fil enroulé autour d'une balle, et géostationnaires - les satellites sont situés à une altitude d'environ 36 000 kilomètres de la surface de la Terre et tournent en synchronisation avec Rotation de la Terre au-dessus de l'équateur. La particularité de l'orbite du deuxième type de satellites vous permet de "pendre" constamment sur le même point et d'obtenir les mêmes images qu'au début de l'article. La constellation de satellites de sites géostationnaires permet de couvrir la quasi-totalité de la Terre avec des observations utilisant à cet effet des satellites européens ( Meteosat ), américains ( GOES ) et japonais ( Himawari ). Les produits basés sur eux ont une résolution spatiale de 0,5 à 3 kilomètres par pixel, mais il y a un problème. Les satellites sont suspendus au-dessus de l'équateur, de sorte que nos latitudes tombent jusqu'au bord de l'image, ce qui fait que les données souffrent de distorsions géométriques.

Prévisions d'imagerie satellite

L'idée d'utiliser des images satellites pour les prévisions météorologiques n'est pas nouvelle - les informations qu'elles contiennent sont utilisées dans les modèles traditionnels de prévisions météorologiques mondiales. De plus, des informations utiles sont extraites d'images satellites: de la surveillance des cendres volcaniques et des incendies de forêt à la recherche de phytoplancton. Bien sûr, les images satellites sont également utilisées pour surveiller les précipitations et leurs prévisions à court terme. Par exemple, il existe des algorithmes standard pour détecter les zones de précipitations - SAFNWC , mais ils ne fonctionnent bien que pour les précipitations convectives. Selon nos mesures strictes que nous utilisons pour un scientifique radar, de tels algorithmes, hélas, sont des étrangers. Mais nous voulions rendre un produit de qualité comparable à la solution actuelle sur les données radar, mais également évolutif à l'échelle mondiale. Pour ce faire, nous avons pris les points forts de chaque approche et appliqué la magie de l'apprentissage automatique.

Meteosat comme source d'information

Après les premières expériences sur des algorithmes standard, nous avons décidé quelle science satellite devait être dans Weather. Mais ici se pose le premier problème: où trouver des images satellites? À l'ère numérique, il semblerait que l'obtention d'informations par satellite ne devrait pas poser de problème. Tout se trouve sur Internet ... sauf ce dont vous avez besoin. Avec les satellites, la situation est la suivante: pour recevoir rapidement des images de l'espace, il est nécessaire d'établir une station de réception. L'ensemble standard comprend une antenne parabolique, un tuner DVB-S et un ordinateur sur lequel les images sont stockées et traitées. Oui, la technologie est complètement analogue à la télévision par satellite, seule la parabole est légèrement plus grande que la taille humaine et le tuner est légèrement plus cher.

Ainsi, dans notre nouveau DC à Vladimir, nous avons notre propre station pour recevoir des informations par satellite. Les données proviennent des satellites Meteosat européens de deuxième génération. Pour couvrir la partie ouest de la Russie, nous avons choisi le satellite Meteosat-8, qui surplombe l'océan Indien à une longitude de 41,5 °. Les photos sont prises toutes les 15 minutes - pendant celles-ci, un balayage complet de la zone visible du satellite a lieu, après quoi le balayage recommence. Pour cette raison, les images sont en retard de 15 minutes en temps réel. La prise de vue se déroule sur 12 canaux: 11 canaux dans les gammes visible et infrarouge avec une résolution de 3x3 km, ainsi que 1 canal dans le spectre visible avec une résolution de 1x1 km (un exemple de prise de vue sur différents canaux est illustré à droite, source: EUMETSAT ). L'image complète a une résolution de 3712x3712 pixels ou environ 14 mégapixels, comme la caméra d'un smartphone moderne.

Un instantané est divisé en 8 parties (rayures dans les latitudes), ce qui affecte parfois la qualité des données - la perte d'une partie peut rendre l'image entière inutile.

Détection des précipitations

Puisque nos premières expériences ont montré que la qualité du produit lors de l'utilisation d'approches traditionnelles souffre, nous avons décidé d'utiliser ce qui nous a apporté le succès dans le cas du scientifique ordinaire. Les réseaux de neurones sont venus à la rescousse. Comme paramètres d'entrée, nous avons utilisé les informations de 11 canaux d'imagerie satellite et avons été formés aux images radar, combinées en un seul champ sur une grille de 2 x 2 kilomètres. Nous avons utilisé des approches traditionnelles qui résolvent des problèmes similaires en vision par ordinateur. Jusqu'au dernier moment, deux architectures étaient en concurrence basées sur des modèles de type ResNet (créés par irina-rud ) et U-Net (créés par vlivashkin ).

ResNet est utilisé dans les tâches de classification d'images et peut être très profond, tandis que l'augmentation du nombre de couches donne une augmentation constante de la qualité. Cependant, une telle architecture présente des inconvénients: nous sommes obligés d'utiliser un modèle entraîné à chaque point de notre grille géographique. Comme alternative, U-net a été choisi - l'architecture du réseau neuronal convolutionnel, qui est généralement utilisée dans les tâches de segmentation d'image. Il a été initialement développé à des fins biomédicales pour travailler rapidement avec de grandes images. Avec une telle architecture, il est plus rapide de tester nos hypothèses, en plus, on peut utiliser le modèle entraîné non point par point, ce qui affecte de manière significative la vitesse de traitement des images satellites. Vous trouverez ci-dessous une comparaison des mesures obtenues pour les deux architectures. Puisque nous avons réussi à rapprocher le modèle U-net de ResNet en qualité, mais U-net nous permet de traiter les images satellites plus rapidement, nous l'avons utilisé comme solution de production.


Ce graphique montre la mesure F1 - une métrique standard dans les problèmes de classification qui montre à quel point nos précipitations satellites diffèrent du radar. Avec un match parfait, il devrait être égal à un. Comme le montre le graphique, la qualité de la détection des précipitations dépend de l'heure de la journée, car l'image dans le visible est une importante source d'informations.

La tâche est compliquée par le fait que vous devez non seulement mettre en évidence le nuage dans l'image, mais également déterminer s'il pleuvra. Au cours des expériences, nous avons constaté que les informations provenant de 11 canaux n'étaient pas suffisantes. Pour fabriquer un produit de haute qualité, il est important de prendre en compte des paramètres tels que l'angle du soleil au-dessus de l'horizon, la hauteur du relief, les données pour les heures à venir du modèle météorologique, par exemple, la teneur en humidité des nuages, l'humidité atmosphérique à différents niveaux, etc.
En conséquence, le modèle entraîné permet d'extraire les précipitations avec une grande précision. La figure montre donc la superposition des précipitations par les satellites et le champ radar. Ici, la couleur violette est les satellites en dehors du radar, la couleur cramoisie est l'intersection du radar et des satellites, le bleu est ce que les satellites détectent mais pas le radar, et le rouge est ce que les radars détectent uniquement. La figure montre un léger décalage systématique vers le nord, du fait que nous ne détectons pas la pluie sous les nuages, comme le font les radars, mais depuis le dessus, depuis l'espace et sous un angle. Ce problème sera résolu dans la prochaine version, ce qui affectera l'augmentation de la précision.

Science des satellites

La technologie étant assez récente, nous avons décidé de ne pas abandonner les radars, mais de les laisser là où nos utilisateurs sont déjà habitués à utiliser la science. Ici, le problème se pose: comment afficher les produits qui diffèrent dans la méthode de mesure dans une interface. Nous avons décidé d'une expérience audacieuse - pour montrer les radars et les satellites dans une seule interface conviviale d'un radariste, élargissant la zone à l'aide de satellites. Un énorme travail a été fait pour cela, car il faut, d'une part, coordonner les satellites et les radars dans le temps, et, d'autre part, les coller correctement à la frontière de visibilité des radars.

Pour porter l'imagerie satellite de 15 minutes à des intervalles de 10 minutes familiers à nos utilisateurs, nous utilisons Optical Flow pour créer des trames intermédiaires entre les images satellites successives. Le flux optique ou flux optique est une technologie utilisée en vision par ordinateur pour détecter les changements entre les images. En utilisant deux images, nous pouvons construire un champ de vecteurs de déplacement d'image à chaque point - celui qui nous permet d'obtenir le suivant à partir de l'image précédente. En utilisant des vecteurs de transfert, nous pouvons également obtenir des trames intermédiaires afin de les amener à une seule échelle de temps à des intervalles de 10 minutes. Le même algorithme (grâce aux efforts de bonext et ruguevara ) est toujours utilisé pour prévoir 2 heures à l'avance avec une résolution de 10 minutes pour les images satellite, et les radars sont calculés par l'ancien algorithme éprouvé basé sur les réseaux de neurones décrits dans notre article sur la science radar. Dans la prochaine mise à jour, nous prévoyons de basculer complètement vers le transfert de l'ensemble du champ de précipitations en utilisant une architecture de réseau neuronal.

Bien sûr, lors du collage de données hétérogènes, des artefacts se produisent parfois, comme dans la figure de gauche. Le problème standard pour les radars est perceptible ici - sur la ligne de visée, ils ne voient pas les précipitations, et les informations provenant d'un satellite qui détecte avec succès la pluie tombe dans le triangle entre eux. En pensant à résoudre le problème du collage de deux zones de données de nature différente, nous nous sommes souvenus d'un problème tel que la peinture. Nvidia, dans un article récent, Image Inpainting for Irregular Holes Using Partial Convolutions, montre comment les réseaux de neurones peuvent reconstruire les détails de l'image à partir de masques irréguliers. Lors d'une autre conférence, il a été décrit comment Dmitry Ulyanov utilisant l'inpainting a restauré la fresque. Nous prévoyons d'utiliser la même approche dans notre cas, et il y a déjà des développements réussis qui iront bientôt en production, ce qui nous permettra de prendre correctement en compte des informations hétérogènes provenant de diverses sources sur le fait de la pluie.

Et ensuite?

À l'heure actuelle, pour 100% de nos utilisateurs, un scientifique travaille, construit à la fois sur des mesures radar et satellite (grâce au support spatial d' imalion et au travail des équipes backend et front). Nous espérons que nos utilisateurs, qui attendaient la science dans leur ville, ont commencé à l'utiliser et à recevoir des informations en temps opportun sur les précipitations imminentes. À l'heure actuelle, la zone est limitée à la zone visible du satellite au nord et à l'est (juste à l'est de la rivière Ob). Au sud, nous avons jusqu'à présent limité la zone à la partie inférieure de Chypre, et à l'ouest à la Suisse. Maintenant, vous pouvez regarder l'approche des fronts tout en approchant de votre ville et regarder les belles bizarreries météorologiques. Et la différence de couverture est visible à l'œil nu.



Ainsi, nous avons couvert la majeure partie de la Russie, la CEI et certaines destinations touristiques. Bien sûr, nous n'avons pas oublié la partie orientale de notre pays - nous travaillons maintenant avec le satellite japonais Himawari, qui plane au-dessus de l'Australie et permettra bientôt au scientifique de plaire à nos frontières orientales.

Et puis - une carte mondiale des précipitations pour le monde entier, sans maladies infantiles, avec une précision accrue de la détection des précipitations, un algorithme de transfert unifié et le collage correct de toutes les données de précipitations.

Restez avec nous, utilisez la science, partagez vos impressions et vos commentaires.