Como o Yandex criou uma previsão global de precipitação usando radares e satélites

A equipe do Yandex.Weather tem uma tradição de falar sobre novas tecnologias em Habré. Já falamos sobre como os métodos de aprendizado de máquina ajudaram a criar uma previsão do tempo mais precisa, bem como como redes neurais e dados de radar ajudam a prever a precipitação.

Hoje, contaremos aos leitores da Habr sobre a nova tecnologia, com a qual conseguimos prever a precisão da precipitação em minutos, mesmo onde simplesmente não há dados dos radares. E eles nos ajudaram com essas imagens de satélite.


Imagens de satélite Meteosat-8 do espaço (fonte: EUMETSAT )

Sobre radares e ciência

Os habitantes da parte central da Rússia tiveram uma sorte incrível, porque foi aqui que os radares meteorológicos Roshydromet foram instalados - ferramentas modernas que permitem obter um mapa de precipitação em um raio de 250 quilômetros a partir do ponto de instalação do radar. Ao mesmo tempo, a resolução espacial deste mapa é de 2x2 quilômetros por pixel, e o intervalo entre duas imagens consecutivas é de apenas 10 minutos.

A esquerda mostra a aparência de um radar meteorológico (fonte: LEMZ )

O que isso significa para uma pessoa comum que está interessada no clima? Em áreas cobertas por um guarda-chuva de radar, a precipitação pode ser relatada com precisão para um bairro residencial. Esses dados esclarecem bastante a previsão do tempo tradicional, porque trazem informações sobre o que aconteceu literalmente algumas dezenas de minutos atrás. Mais detalhes sobre os benefícios dos radares estão descritos em nosso artigo anterior. Agora considere suas deficiências.

A principal é a baixa escalabilidade, associada ao enorme custo de um instrumento de medição e à complexidade do projeto. Lembre-se de que agora apenas parte do território europeu da Rússia, assim como Barabinsk e Vladivostok, estão cobertos por radares. Além disso, as observações de radar sofrem com prédios ao redor - por exemplo, prédios altos podem obscurecer a visão em setores inteiros, o que afeta a qualidade dos campos de precipitação recebidos das imagens de radar. Um exemplo de como as observações ao longo de vários meses, em média, sobre cada um dos radares disponíveis pode parecer, é mostrado na ilustração abaixo.


Vários meses de medições médias de radar

Como você pode ver, a qualidade dos radares instalados em Sheremetyevo e Vladivostok é bastante afetada e um setor inteiro cai em Mineralnye Vody.

Vemos isso nas reclamações de nossos usuários. Além disso, no caso de baixa precipitação, o radar pode não ser visível em todos os 250 quilômetros devido à curvatura da superfície da Terra, o que afeta a possibilidade de determinar a precipitação mais próxima da linha de visão. Além disso, os radares falham, às vezes por muito tempo, por causa dos quais nossos usuários sofrem, que estão acostumados com o mapa de precipitação e os avisos de chuva. Por esse motivo, por exemplo, ocorrem “explosões” inesperadas no campo de precipitação, como ocorreu recentemente em Vologda. O que, é claro, se torna uma ocasião para uma enxurrada de todos os tipos de memes.

Satélites como fonte de informação

Para não nos fixarmos aos radares, decidimos literalmente fabricar um produto espacial, o que é sugerido pela imagem do título. Além das medições de radar, existem abordagens semelhantes para estimar a precipitação com base em imagens de satélite. Há um grupo de satélites meteorológicos especiais (existem cerca de 30 veículos em órbita): ambos os orbitais polares, que cobrem a Terra com imagens, como um fio enrolado em uma bola, e geoestacionários - os satélites estão localizados a uma altitude de cerca de 36.000 quilômetros da superfície da Terra e giram em sincronia com Rotação da Terra acima do equador. A peculiaridade da órbita do segundo tipo de satélite permite "pairar" constantemente sobre o mesmo ponto e obter as mesmas imagens do início do artigo. A constelação de satélites de sítios geoestacionários permite cobrir quase toda a Terra com observações usando satélites europeus ( Meteosat ), americanos ( GOES ) e japoneses ( Himawari ) para esses fins. Os produtos baseados neles têm uma resolução espacial de 0,5 a 3 quilômetros por pixel, mas há um problema. Os satélites ficam acima do equador, então nossas latitudes caem até a borda da imagem, o que faz com que os dados sofram distorções geométricas.

Previsão de imagens de satélite

A idéia de usar imagens de satélite para previsão do tempo não é nova - as informações delas são usadas nos modelos tradicionais de previsão do tempo global. Além disso, informações úteis são extraídas de imagens de satélite: desde o monitoramento de cinzas vulcânicas e incêndios florestais até a localização de fitoplâncton. Obviamente, imagens de satélite também são usadas para monitorar a precipitação e suas previsões de curto prazo. Por exemplo, existem algoritmos padrão para detectar áreas com precipitação - SAFNWC , mas eles funcionam bem apenas para precipitação por convecção. De acordo com nossas métricas estritas que usamos para um cientista de radar, esses algoritmos, infelizmente, são estranhos. Mas queríamos tornar um produto comparável em qualidade com a solução atual em dados de radar, mas também em escala global. Para fazer isso, pegamos os pontos fortes de cada abordagem e aplicamos a mágica do aprendizado de máquina.

Meteosat como fonte de informação

Após as primeiras experiências com algoritmos padrão, decidimos que ciência dos satélites deveria estar no clima. Mas aqui surgiu o primeiro problema: onde obter imagens de satélite? Na era digital, parece que não deve haver problemas com a obtenção de informações de satélite. Tudo pode ser encontrado na Internet ... exceto o que você precisa. Nos satélites, a situação é a seguinte: para receber rapidamente imagens do espaço, é necessário estabelecer uma estação receptora. O conjunto padrão inclui uma antena parabólica, um sintonizador DVB-S e um computador no qual as imagens são armazenadas e processadas. Sim, a tecnologia é completamente análoga à televisão por satélite, apenas a antena é um pouco maior que a altura humana e o sintonizador é um pouco mais caro.

Assim, em nossa nova CD em Vladimir, temos nossa própria estação para receber informações de satélite. Os dados são provenientes dos satélites Meteosat de segunda geração na Europa. Para cobrir a parte ocidental da Rússia, escolhemos o satélite Meteosat-8, que paira sobre o Oceano Índico a uma longitude de 41,5 °. As fotos são tiradas a cada 15 minutos - durante elas ocorre uma verificação completa da área visível do satélite, após o que a verificação é iniciada novamente. Por esse motivo, as fotos ficam 15 minutos atrás do tempo real. As filmagens ocorrem em 12 canais: 11 canais nas faixas visível e infravermelha com resolução de 3x3 km e 1 canal no espectro visível com resolução de 1x1 km (um exemplo de captura em diferentes canais é mostrado à direita, fonte: EUMETSAT ). A imagem completa tem uma resolução de 3712x3712 pixels ou cerca de 14 megapixels, como a câmera de um smartphone moderno.

Um instantâneo é dividido em 8 partes (faixas em latitudes), o que às vezes afeta a qualidade dos dados - a perda de uma parte pode tornar a imagem inteira inútil.

Detecção de precipitação

Como nossos primeiros experimentos mostraram que a qualidade do produto ao usar abordagens tradicionais sofre, decidimos usar o que nos trouxe sucesso no caso de um cientista comum. As redes neurais vieram em socorro. Como parâmetros de entrada, usamos informações de 11 canais de imagens de satélite e fomos treinados em imagens de radar, combinadas em um único campo em uma grade de 2x2 km. Utilizamos abordagens tradicionais que resolvem problemas semelhantes na visão computacional. Até o último momento, duas arquiteturas competiam com base nos modelos ResNet-like (de autoria de irina-rud ) e U-Net-like (de autoria de vlivashkin ).

O ResNet é usado em tarefas de classificação de imagens e pode ser muito profundo, enquanto o aumento do número de camadas oferece um aumento constante na qualidade. No entanto, essa arquitetura tem desvantagens em uso - somos forçados a usar um modelo treinado em todos os pontos de nossa grade geográfica. Como alternativa, a U-net foi escolhida - a arquitetura de rede neural convolucional, que geralmente é usada em tarefas de segmentação de imagens. Foi originalmente desenvolvido para fins biomédicos, para trabalhar rapidamente com imagens grandes. Com essa arquitetura, é mais rápido testar nossas hipóteses; além disso, podemos usar o modelo treinado não ponto a ponto, o que afeta significativamente a velocidade de processamento de imagens de satélite. Abaixo está uma comparação das métricas obtidas para as duas arquiteturas. Como conseguimos aproximar o modelo U-net da ResNet em qualidade, mas a U-net nos permite processar imagens de satélite mais rapidamente, usamos como solução de produção.


Este gráfico mostra a medida F1 - uma métrica padrão em problemas de classificação que mostra o quanto nossa precipitação por satélite difere do radar. Com uma combinação perfeita, deve ser igual a um. Como pode ser visto no gráfico, a qualidade da detecção de precipitação depende da hora do dia, pois a imagem na faixa visível é uma importante fonte de informação.

A tarefa é complicada pelo fato de você precisar não apenas destacar a nuvem na imagem, mas também determinar se choverá. Durante os experimentos, descobrimos que informações de 11 canais não são suficientes. Para produzir um produto de alta qualidade, é importante levar em consideração parâmetros como o ângulo do sol acima do horizonte, a altura do relevo, dados para as próximas horas do modelo meteorológico, por exemplo, o teor de umidade das nuvens, a umidade da atmosfera em vários níveis, etc.
Como resultado, o modelo treinado permite que a precipitação seja extraída com grande precisão. Portanto, a figura mostra a superposição de precipitação por satélites e campo de radar. Aqui, a cor violeta são os satélites fora do radar, a cor carmesim é a interseção do radar e dos satélites, o azul é o que os satélites detectam, mas não o radar, e o vermelho é o que os radares apenas detectam. A figura mostra uma ligeira mudança sistemática para o norte, devido ao fato de que não detectamos chuva abaixo das nuvens, como os radares, mas acima, do espaço e em ângulo. Esse problema será corrigido na próxima versão, o que afetará o aumento da precisão.

Ciência dos satélites

Como a tecnologia é bastante nova, decidimos não abandonar os radares, mas deixá-los nos locais onde nossos usuários já estão acostumados a usar a ciência. Aqui surge o problema: como exibir produtos que diferem no método de medição em uma interface. Decidimos fazer um experimento ousado - mostrar radares e satélites em uma única interface amigável de um cientista de radar, expandindo a área com a ajuda de satélites. Foi feito um grande trabalho para isso, pois precisamos primeiro coordenar os satélites e radares no tempo e, segundo, colá-los adequadamente na borda de visibilidade dos radares.

Para trazer imagens de satélite de 15 minutos a intervalos de 10 minutos, familiares aos nossos usuários, usamos o Fluxo óptico para criar quadros intermediários entre imagens de satélite sucessivas. O fluxo óptico ou fluxo óptico é uma tecnologia usada na visão computacional para detectar mudanças entre as imagens. Usando duas imagens, podemos construir um campo de vetores de deslocamento de imagem em cada ponto - um que nos permita obter o próximo da imagem anterior. Usando vetores de transferência, também podemos obter quadros intermediários para trazê-los para uma única escala de tempo em intervalos de 10 minutos. O mesmo algoritmo (através dos esforços de bonext e ruguevara ) ainda é usado para prever duas horas à frente com uma resolução de 10 minutos para imagens de satélite, e os radares são calculados pelo antigo algoritmo comprovado baseado em redes neurais descritas em nosso artigo sobre ciência de radar. Na próxima atualização, planejamos mudar completamente para a transferência de todo o campo de precipitação usando a arquitetura de rede neural.

Ao colar dados heterogêneos, é claro, às vezes ocorrem artefatos, por exemplo, como na figura à esquerda. O problema padrão dos radares é perceptível aqui - na linha de visão, eles não vêem precipitação e as informações de um satélite que detecta com sucesso a chuva caem no triângulo entre eles. Pensando em resolver o problema de colar duas áreas de dados de natureza diferente, lembramos de um problema como a pintura. A Nvidia, em um artigo recente, Image Inpainting for Furos Irregulares Usando Convoluções Parciais, mostra como as redes neurais podem reconstruir detalhes da imagem a partir de máscaras irregulares. Em Outra conferência, foi descrito como Dmitry Ulyanov usando a pintura restaurou o afresco. Planejamos usar a mesma abordagem no nosso caso, e já existem desenvolvimentos bem-sucedidos que em breve serão direcionados à produção, o que nos permitirá considerar corretamente informações heterogêneas de várias fontes sobre o fato da chuva.

O que vem a seguir?

No momento, para 100% de nossos usuários, um cientista está trabalhando, baseado em medições de radar e satélite (graças ao suporte espacial do imalion e ao trabalho das equipes de back-end e front-end). Esperamos que nossos usuários, que aguardavam ciência em sua cidade, comecem a usá-la e recebam informações oportunas sobre a precipitação iminente. No momento, a zona está limitada à área visível do satélite no norte e leste (a leste do rio Ob). No sul, até agora limitamos a zona à parte inferior de Chipre e no oeste à Suíça. Agora você pode assistir a aproximação das frentes enquanto se aproxima da sua cidade e observar as belas peculiaridades do clima. E a diferença na cobertura é visível a olho nu.



Assim, cobrimos a maior parte da Rússia, da CEI e alguns destinos turísticos. É claro que não esquecemos a parte oriental do nosso país - agora estamos trabalhando com o satélite japonês Himawari, que paira sobre a Austrália e em breve permitirá ao cientista agradar nossas fronteiras orientais.

E então - um mapa global de precipitação para o mundo inteiro, livre de doenças infantis, com maior precisão na detecção de precipitação, um algoritmo de transferência unificado e a colagem correta de todos os dados de precipitação.

Fique conosco, use a ciência, compartilhe suas impressões e comentários.