Com que precisão Yandex prevê a precipitação no inverno? Analisamos a precisão dos serviços preditivos

Em novembro, publiquei um artigo “Yandex.Meteum - tecnologia sem tecnologia. Marketing preciso para o distrito ” , que correlacionou a qualidade das previsões do Yandex com outros serviços. A ênfase estava na temperatura, sem analisar outros parâmetros. A conclusão foi a seguinte: a previsão de temperatura Yandex não mostra resultados excepcionais em comparação com os serviços de previsão já comprovados. Eu recomendo que você leia o texto completo. Desta vez, é hora de verificar outro parâmetro-chave - precipitação.

Condições de verificação e previsões de controle

O principal objetivo do estudo é entender a qualidade da previsão para precipitação em Yandex em comparação com outros serviços de previsão. Chamo sua atenção para o fato de que a ênfase estava na previsão do fenômeno, e não na fase de precipitação ou em sua quantidade.

Como previsões de controle, usamos dados do site intellicast.com, que se fundiu com o serviço wundeground em janeiro, mas isso não afetou as previsões, apenas a interface foi alterada. A segunda previsão de controle é uma previsão abrangente do site do escritório metodológico do Centro Hidrometeorológico da Rússia. Eu falei sobre essa previsão em uma publicação anterior.

A previsão foi interceptada manualmente. O período de avaliação é dia meteorológico, ou seja, das 8 às 9 da manhã e das 20 às 21 da manhã. Não levei em consideração a precipitação noturna. As previsões foram estimadas de 3 de novembro de 2018 a 31 de março de 2019, ou seja, para o período em que o inverno climático cai na parte europeia da Rússia e parte dos Urais, e não há efeito de convecção.

As previsões de Yandex também foram capturadas apenas para o dia. Ao mesmo tempo, tentei correlacionar previsões do site com aquelas que Alice enviou em notificações por push. Mais tarde, as previsões não concordam entre si, mas falaremos mais sobre isso.

As cidades foram escolhidas para que eu pudesse capturar parte do sul dos Urais e a parte principal do território europeu da Rússia. Eu desenhei uma linha de Kurgan para Moscou e escolhi as cidades neste site em intervalos aproximadamente iguais. Estes são Kurgan, Ufa, Kazan e Moscou. A distância média entre os pontos é de 591 km.

O Manual de Previsões Meteorológicas Gerais de Curto Prazo , usado pela Roshydromet para avaliar previsões de até 72 horas, foi usado como uma técnica de avaliação. Como eu disse, era importante para mim avaliar o fato da precipitação, e não sua quantidade ou fase. Portanto, inseri dois parâmetros nas tabelas: seco (sem precipitação) ou precipitação.

Se o site previu alguma precipitação a qualquer hora do dia, a previsão mostrava a gradação de "Precipitação", se não houvesse precipitação na previsão, "Seca".

As fileiras oficiais das estações de Roshydromet foram usadas como informações factuais. Se em uma estação meteorológica o medidor de precipitação registrou pelo menos 0,1 mm em 12 horas, o status “Precipitação” entrou na tabela. Além disso, as gradações prognósticas e reais foram correlacionadas. Eu forneço o número de estações meteorológicas que foram usadas no estudo: 28661 (Kurgan), 28722 (Ufa), 27595 (Kazan), 27612 (Moscou, VDNH).

Por exemplo, o Yandex prevê neve fraca durante o dia e a estação meteorológica não registra, então a previsão é definida como 0%. Se houver alguma quantidade de precipitação, então 100%. Assim, todas as previsões foram colocadas em condições iguais de avaliação.

Para maior transparência, publico um link para as tabelas de origem com todos os dados . Eu também tentei não apenas avaliar previsões, mas também correlacioná-las com mapas sinóticos de lead time zero, o que me permitiu identificar aquelas situações sinópticas nas quais o Yandex apresenta os mais baixos resultados de justificação.

Resultados da pesquisa

Inicialmente, eu imaginei que o Yandex mostrasse resultados semelhantes com outros sites ou eles ficariam um pouco abaixo do nível dos concorrentes. Eu tive que me despedir dessa hipótese no final de novembro, quando se descobriu que a precisão de Yandex era comparável a jogar uma moeda. Os resultados foram ao nível de previsões aleatórias e variaram de 50 a 60%.
Durante 5 meses, a precisão do Yandex na precipitação por 24 horas foi de 58%. O Intellicast / wunderground tem 81%, e a previsão integrada do Centro Hidrometeorológico tem 80%!



A Yandex conseguiu descobrir um recurso interessante - quanto mais longe de Moscou, menor a precisão. Em Kurgan, a precisão média foi de 45,6%, e em Moscou - 67,8%. As previsões dos concorrentes variaram de 75% a 85%, o que parece bastante decente para o inverno.



O principal problema do Yandex no inverno é a precipitação falsa. Yandex prevê precipitação, enquanto outros serviços esperam clima seco, uma situação típica. O mais triste é que Yandex prevê precipitação mesmo nos territórios sobre os quais existe um anticiclone extenso. Por exemplo, em 12 de novembro, a Yandex previu chuvas para Kazan ao longo do dia, mas não deveria haver, porque o centro do anticiclone passou pela região, o tempo está limpo e não pode haver precipitação física.



Uma situação semelhante foi repetida em 20 de dezembro, mas em Kurgan. Novamente, um anticiclone foi estabelecido sobre a cidade, mas Yandex emitiu persistentemente precipitação. Houve muitas situações tão estranhas que acabei de dar os exemplos mais vívidos.



Outro problema aconteceu com Alice e suas notificações por push, que ela envia pelo aplicativo Yandex principal. Por exemplo, em 3 de janeiro, o site escreveu que não haveria chuva em 4 de janeiro e Alice me enviou: “A neve é ​​linda. Amanhã um pouco de neve. " Nos cinco meses em que houve apenas alguns casos, o fato de discordâncias entre os serviços leva a pensamentos diferentes.



É claro que, na maioria das vezes, Alice relatou a mesma previsão listada no site, mas não houve precipitação. O erro do Meteum é traduzido para o trabalho de todos os outros serviços e algo precisa ser feito.

Dados climáticos

Descobrimos a previsão de precipitação por 24 horas, mas eu gostaria de descrever outro problema importante que está presente no Yandex. O clima "
No artigo anterior, eu já escrevi que o Yandex publica a precipitação média mensal em todas as cidades. O problema é a fonte de dados. O site indica a fonte do NOAA, posso assumir que o Yandex apenas usa os dados da reanálise computacional americana CFSR. A reanálise é adequada para estudos de temperatura, mas é extremamente ruim para o estudo da precipitação. O modelo de computador não reproduz mal a precipitação real, especialmente de baixa intensidade. O medidor de precipitação na estação meteorológica registra a quantidade real de precipitação e o computador (reanálise) calcula o virtual. Por esse motivo, pode ocorrer um erro.

A diferença é especialmente acentuada no verão, quando processos convectivos são lançados e os modelos são muito pobres amigos deles. A precipitação frontal é muito mais fácil de calcular do que a precipitação depois de passar por uma célula de tempestade (nuvem de trovoada). O erro aumenta em terrenos montanhosos ou em clima marinho. Portanto, ao estudar o clima, é aconselhável confiar apenas nos dados da estação meteorológica mais próxima . A reanálise por computador deve ser utilizada apenas se simplesmente não tivermos dados analógicos.



Por exemplo, Yandex Ufa contava 803 mm de precipitação por ano, embora na verdade a taxa anual seja de 586 mm. Yandex superdimensionou a precipitação em 37%. Em Vladivostok, Yandex, por outro lado, subestimou a precipitação em 40%. Segundo Yandex, Ufa tem mais precipitação do que em Vladivostok, o que é absolutamente estúpido. Escrevi para a Yandex sobre esse problema, mas meu apelo foi ignorado. Embora o download de matrizes prontas por estações e o processamento delas, para o Yandex, eu acho, não seja um problema tão grande.

Conclusão

A previsão de Yandex sobre precipitação por 24 horas é de qualidade muito inferior a outros serviços de previsão. Durante 5 meses, a precisão do Yandex na precipitação por 24 horas foi de 58%. O Intellicast / wunderground tem 81%, e a previsão integrada do Centro Hidrometeorológico tem 80%! A Yandex conseguiu descobrir um recurso interessante - quanto mais longe de Moscou, menor a precisão. Em Kurgan, a precisão média foi de 45,6%, e em Moscou - 67,8%. Os parâmetros de previsão não concordam entre si: a precipitação é prevista em clima anticiclonal claro.
Eu não recomendo o uso das informações do Yandex como a fonte básica ou única de previsão.



Imagem principal: insidecorp.ru
Cartões sinópticos GFS - meteoweb.ru/alter/prec.php