El equipo de Yandex.Weather tiene la tradición de hablar sobre las nuevas tecnologías en Habré. Ya hablamos sobre cómo los métodos de aprendizaje automático nos permitieron crear un pronóstico del tiempo más preciso, así como cómo las redes neuronales y los datos de radar ayudan a predecir la precipitación.
Hoy les diremos a los lectores de Habr sobre la nueva tecnología, con la ayuda de la cual pudimos predecir la precipitación con precisión en minutos, incluso cuando simplemente no hay datos de los radares. Y nos ayudaron con estas imágenes de satélite.
Imágenes satelitales de Meteosat-8 desde el espacio (fuente: EUMETSAT )Sobre radares y ciencia
Los habitantes de la parte central de Rusia fueron increíblemente afortunados, porque fue aquí donde se instalaron los radares meteorológicos Roshydromet, herramientas modernas que le permiten obtener un mapa de precipitación dentro de un radio de 250 kilómetros desde el punto de instalación del radar. Al mismo tiempo, la resolución espacial de este mapa es de 2x2 kilómetros por píxel, y el intervalo entre dos imágenes consecutivas es de solo 10 minutos.
La izquierda muestra cómo se ve un radar meteorológico (fuente:
LEMZ )
¿Qué significa esto para una persona común que está interesada en el clima? En áreas cubiertas por un paraguas de radar, la precipitación se puede informar con precisión a un barrio residencial. Tales datos aclaran en gran medida el pronóstico del tiempo tradicional, porque llevan información sobre lo que sucedió literalmente hace unas pocas decenas de minutos. En nuestro
artículo anterior se describen más detalles sobre los beneficios de los radares. Ahora considere sus deficiencias.
La principal es la escasa escalabilidad, asociada con el enorme costo de dicho instrumento de medición y la complejidad del diseño. Recordemos que ahora solo una parte del territorio europeo de Rusia, así como Barabinsk y Vladivostok, están cubiertos por radares. Además, las observaciones de radar sufren de edificios alrededor; por ejemplo, los edificios altos pueden oscurecer la vista en sectores completos, lo que afecta la calidad de los campos de precipitación recibidos de las imágenes de radar. En la siguiente ilustración se muestra un ejemplo de cómo se pueden ver las observaciones promediadas durante varios meses sobre cada uno de los radares disponibles.
Varios meses de mediciones de radar promediadasComo puede ver, la calidad de los radares instalados en Sheremetyevo y Vladivostok se ve muy afectada, y todo un sector se cae en Mineralnye Vody.
Vemos esto en las quejas de nuestros usuarios. Además, en el caso de baja precipitación, el radar puede no ser visible en los 250 kilómetros debido a la curvatura de la superficie de la Tierra, lo que afecta la posibilidad de determinar la precipitación más cerca de la línea de visión. Además, los radares fallan, a veces durante mucho tiempo, por lo que sufren nuestros usuarios, que están acostumbrados al mapa de precipitación y a las advertencias de lluvia. Debido a esto, por ejemplo, se producen "explosiones" inesperadas en el campo de precipitación, como fue el caso recientemente en Vologda. Lo cual, por supuesto, se convierte en una ocasión para una ráfaga de todo tipo de memes.
Los satélites como fuente de información.
Para no estar conectado a los radares, literalmente decidimos hacer un producto espacial, que se insinúa en la imagen del título. Además de las mediciones de radar, existen enfoques similares para estimar la precipitación basada en imágenes satelitales. Hay un grupo de satélites meteorológicos especiales (hay alrededor de 30 vehículos en órbita): ambos en órbita polar, que cubren la Tierra con imágenes, como un hilo enrollado alrededor de una bola, y geoestacionarios: los satélites se encuentran a una altitud de aproximadamente 36,000 kilómetros de la superficie de la Tierra y giran en sincronización con Rotación de la Tierra sobre el ecuador. La peculiaridad de la órbita del segundo tipo de satélites le permite "colgar" constantemente sobre el mismo punto y obtener las mismas imágenes que al principio del artículo. La constelación satelital de sitios geoestacionarios permite cubrir casi toda la Tierra con observaciones utilizando satélites europeos (
Meteosat ), estadounidenses (
GOES ) y japoneses (
Himawari ) para estos fines. Los productos basados en ellos tienen una resolución espacial de 0.5 a 3 kilómetros por píxel, pero hay un problema. Los satélites cuelgan sobre el ecuador, por lo que nuestras latitudes caen hasta el borde de la imagen, lo que hace que los datos sufran distorsiones geométricas.
Pronóstico de imágenes satelitales
La idea de usar imágenes satelitales para el pronóstico del tiempo no es nueva: la información de ellos se usa en los modelos tradicionales de pronóstico del tiempo global. Además, se extrae información útil de imágenes satelitales: desde el monitoreo de cenizas volcánicas e incendios forestales hasta la búsqueda de fitoplancton. Por supuesto, las imágenes satelitales también se utilizan para monitorear la precipitación y su pronóstico a corto plazo. Por ejemplo, existen algoritmos estándar para detectar áreas con precipitación,
SAFNWC , pero funcionan bien solo para precipitación convectiva. Según nuestras estrictas métricas que utilizamos para un científico de radar, dichos algoritmos, por desgracia, son extraños. Pero queríamos hacer un producto de calidad comparable con la solución actual en datos de radar, pero también escalable a nivel mundial. Para hacer esto, tomamos las fortalezas de cada enfoque y aplicamos la magia del aprendizaje automático.
Meteosat como fuente de información
Después de los primeros experimentos con algoritmos estándar, decidimos qué ciencia satelital debería estar en Weather. Pero aquí surgió el primer problema: ¿dónde obtener imágenes de satélite? En la era digital, parecería que no debería haber problemas para obtener información satelital. Todo se puede encontrar en Internet ...
excepto lo que necesites. Con los satélites, la situación es la siguiente: para recibir rápidamente imágenes desde el espacio, es necesario establecer una estación receptora. El conjunto estándar incluye una antena parabólica, un sintonizador DVB-S y una computadora en la que se almacenan y procesan las imágenes. Sí, la tecnología es completamente análoga a la televisión satelital, solo el plato es un poco más grande que la altura humana, y el sintonizador es un poco más caro.
Por lo tanto, en nuestro nuevo DC en Vladimir, tenemos nuestra propia estación para recibir información satelital. Los datos provienen de satélites europeos Meteosat de segunda generación. Para cubrir la parte occidental de Rusia, elegimos el satélite Meteosat-8, que se cierne sobre el Océano Índico a una longitud de 41.5 °.
Las imágenes se toman cada 15 minutos; durante ellas, se realiza un escaneo completo del área visible del satélite, después de lo cual el escaneo comienza nuevamente. Debido a esto, las imágenes tienen 15 minutos de retraso en tiempo real. El disparo se realiza en 12 canales: 11 canales en los rangos visible e infrarrojo con una resolución de 3x3 km, así como 1 canal en el espectro visible con una resolución de 1x1 km (a la derecha se muestra un ejemplo de disparo en diferentes canales, fuente:
EUMETSAT ). La imagen completa tiene una resolución de 3712x3712 píxeles o aproximadamente 14 megapíxeles, como la cámara de un teléfono inteligente moderno.
Una instantánea se divide en 8 partes (franjas en latitudes), lo que a veces afecta la calidad de los datos; la pérdida de una parte puede hacer que toda la imagen sea inútil.
Detección de precipitaciones
Dado que nuestros primeros experimentos mostraron que la calidad del producto cuando se usan los enfoques tradicionales sufre, decidimos usar lo que nos trajo éxito en el caso del científico común. Las redes neuronales vinieron al rescate. Como parámetros de entrada, utilizamos información de 11 canales de imágenes satelitales, y fuimos entrenados en imágenes de radar, combinadas en un solo campo en una cuadrícula de 2x2 kilómetros. Utilizamos enfoques tradicionales que resuelven problemas similares en visión por computadora. Hasta el último momento, dos arquitecturas compitieron en base a modelos
similares a ResNet (creados por
irina-rud ) y similares a U-Net (creados por
vlivashkin ).
ResNet se utiliza en tareas de clasificación de imágenes y puede ser muy profundo, mientras que al aumentar el número de capas se obtiene un aumento constante de la calidad. Sin embargo, dicha arquitectura tiene inconvenientes en uso: nos vemos obligados a usar un modelo entrenado en cada punto de nuestra cuadrícula geográfica. Como alternativa, se eligió U-net: la arquitectura de red neuronal convolucional, que generalmente se usa en tareas de segmentación de imágenes. Originalmente se desarrolló con fines biomédicos para trabajar rápidamente con imágenes grandes. Con tal arquitectura, es más rápido probar nuestras hipótesis, además, podemos usar el modelo entrenado no punto por punto, lo que afecta significativamente la velocidad de procesamiento de imágenes de satélite. A continuación se muestra una comparación de las métricas obtenidas para las dos arquitecturas. Como logramos acercar el modelo U-net a ResNet en calidad, pero U-net nos permite procesar imágenes satelitales más rápido, lo utilizamos como solución de producción.
Este gráfico muestra la medida F1, una métrica estándar en problemas de clasificación que muestra cuánto difiere la lluvia de nuestro satélite del radar. Con una combinación perfecta, debería ser igual a uno. Como se puede ver en el gráfico, la calidad de la detección de precipitación depende de la hora del día, ya que la imagen en el rango visible es una fuente importante de información.
La tarea se complica por el hecho de que no solo necesita resaltar la nube en la imagen, sino también determinar si va a llover. Durante los experimentos, encontramos que la información de 11 canales no es suficiente. Para hacer un producto de alta calidad, es importante tener en cuenta parámetros tales como el ángulo del sol sobre el horizonte, la altura de alivio, los datos para las próximas horas del modelo meteorológico, por ejemplo, el contenido de humedad de las nubes, la humedad en la atmósfera en varios niveles, etc.
Como resultado, el modelo entrenado permite extraer precipitaciones con gran precisión. Entonces, la figura muestra la superposición de precipitación por satélite y campo de radar. Aquí, el color violeta son los satélites fuera del radar, el color carmesí es la intersección del radar y los satélites, el azul es lo que detectan los satélites pero no el radar, y el rojo es lo que solo detectan los radares. La figura muestra un ligero cambio sistemático hacia el norte, debido al hecho de que no detectamos lluvia desde debajo de las nubes, como lo hacen los radares, sino desde arriba, desde el espacio y en ángulo. Este problema se solucionará en la próxima versión, lo que afectará el aumento de la precisión.
Ciencia satelital
Como la tecnología es bastante nueva, decidimos no abandonar los radares, sino dejarlos en aquellos lugares donde nuestros usuarios ya están acostumbrados a usar la ciencia. Aquí surge el problema: cómo mostrar productos que difieren en el método de medición en una interfaz. Decidimos un experimento audaz: mostrar radares y satélites en una única interfaz fácil de usar de un científico de radar, expandiendo el área con la ayuda de satélites. Se ha hecho un gran trabajo para esto, ya que necesitamos, en primer lugar, coordinar los satélites y los radares a tiempo, y, en segundo lugar, pegarlos adecuadamente en el límite de visibilidad de los radares.
Para llevar las imágenes satelitales de 15 minutos a intervalos de 10 minutos familiares para nuestros usuarios, utilizamos el flujo óptico para crear cuadros intermedios entre imágenes satelitales sucesivas. El flujo óptico o flujo óptico es una tecnología que se utiliza en la visión por computadora para detectar cambios entre imágenes. Usando dos imágenes, podemos construir un campo de vectores de desplazamiento de imagen en cada punto, uno que nos permita obtener el siguiente de la imagen anterior. Usando vectores de transferencia, también podemos obtener cuadros intermedios para llevarlos a una escala de tiempo única a intervalos de 10 minutos. El mismo algoritmo (a través de los esfuerzos de
bonext y
ruguevara ) todavía se usa para pronosticar 2 horas por delante con una resolución de 10 minutos para imágenes de satélite, y los radares se calculan mediante el antiguo algoritmo probado basado en redes neuronales descritas en nuestro artículo sobre ciencia de radar. En la próxima actualización, planeamos cambiar completamente a la transferencia de todo el campo de precipitación utilizando la arquitectura de red neuronal.
Al pegar datos heterogéneos, por supuesto, a veces ocurren artefactos, por ejemplo, como en la figura de la izquierda.
El problema estándar para los radares es notable aquí: en la línea de visión no ven precipitación, y la información de un satélite que detecta con éxito la lluvia cae en el triángulo entre ellos. Pensando en resolver el problema de pegar dos áreas de datos de diferente naturaleza, recordamos un problema como la pintura. Nvidia, en un artículo reciente, Image Inpainting for Irregular Holes Using Partial Convolutions,
muestra cómo las redes neuronales pueden reconstruir detalles de imágenes a partir de máscaras irregulares. En Yet Another Conference, se describió cómo Dmitry Ulyanov usando pintura restauró el fresco. Planeamos utilizar el mismo enfoque en nuestro caso, y ya hay desarrollos exitosos que pronto pasarán a producción, lo que nos permitirá tener en cuenta correctamente información heterogénea de varias fuentes sobre el hecho de la lluvia.
Que sigue
En este momento, para el 100% de nuestros usuarios, un científico está trabajando, construido tanto en mediciones de radar como satelitales (gracias al apoyo espacial de
imalion y el trabajo de los equipos de backend y front). Esperamos que nuestros usuarios, que estaban esperando la ciencia en su ciudad, comenzaran a usarla y recibieran información oportuna sobre la precipitación inminente. Por el momento, la zona está limitada al área visible del satélite en el norte y este (justo al este del río Ob). En el sur, hasta ahora hemos limitado la zona a la parte baja de Chipre, y en el oeste a Suiza. Ahora puede ver el acercamiento de los frentes mientras se acerca a su ciudad y ver las hermosas peculiaridades del clima. Y la diferencia en la cobertura es visible a simple vista.
Por lo tanto, hemos cubierto la mayor parte de Rusia, la CEI y algunos destinos turísticos. Por supuesto, no nos olvidamos de la parte oriental de nuestro país: ahora estamos trabajando con el satélite japonés Himawari, que se cierne sobre Australia y pronto hará posible que el científico complazca nuestras fronteras orientales.
Y luego, un mapa global de precipitación para todo el mundo, libre de enfermedades infantiles, con una mayor precisión de detección de precipitación, un algoritmo de transferencia unificado y el correcto pegado de todos los datos de precipitación.
Quédese con nosotros, use la ciencia, comparta sus impresiones y comentarios.