Exatamente 3 anos se passaram desde o lançamento do serviço Yandex.Meteum, que, de acordo com os desenvolvedores, fornece previsões da mais alta qualidade entre todos os sites de previsão. É hora de fazer um balanço. O novo produto Yandex é realmente revolucionário ou é apenas um zilch de marketing? E como uma equipe de cientistas do Centro Hidrometeorológico da Rússia conseguiu contornar o Yandex e criar uma previsão verdadeiramente de alta qualidade.
Primeiro, me apresento. Meu nome é Ilya Vinstein, sou um meteorologista amador de Kurgan. Faço meteorologia há 14 anos. Administro meu projeto regional
“Weather 45” , dei várias palestras para o projeto científico-educacional “Sala de Fumo de Gutenberg”.
Meteum. IniciarO problema da qualidade das previsões do Yandex. Meteum ”designei no
início de 2016 , mas naquela época eu tinha uma quantidade muito pequena de dados para tirar conclusões inequívocas. Critiquei principalmente a campanha de informação que a Yandex lançou. Se, no início, eles usaram o slogan "Previsão precisa para casa", eles mudaram para "Previsão precisa para o distrito".
Em que forma de mídia foi o nascimento do Meteum? Havia muitas publicações na mídia, várias publicações sobre Habré, depois havia pequenos vídeos científicos explicando a criação do primeiro serviço de previsão baseado em uma rede neural. A criação do Meteum ocorreu em um momento em que as redes neurais eram muito populares, e a mídia as apresentou como uma panacéia que poderia resolver muitos dos problemas da humanidade.
Após o neuro-geotagging geral, a Yandex decidiu atualizar sua seção meteorológica principal. A atualização de design usual e a adição de novos recursos não são uma opção, mas o principal objetivo da atualização é atrair um novo público dos concorrentes. A única maneira era mudar o paradigma da percepção de serviço. Não apenas uma seção climática, mas um serviço completamente novo capaz de prever o clima melhor do que todos os outros concorrentes. Não apenas Yandex. Tempo "e" Yandex. Meteum ”- um sistema capaz de produzir uma previsão precisa para uma casa ou área.
O problema é que o produto final é complexo em termos de avaliação e recebimento de feedback. Quem verificará a qualidade das previsões? Como o feedback será avaliado pelos usuários? No nosso caso, o consumidor não é capaz de avaliar a qualidade do produto final; portanto, pode ficar “suado”, tudo pode ser feito. Os usuários de todos os sites de prognóstico biscam nesse truque.
Portanto, toda a campanha de informação para lançar o Meteum parece uma farsa anticientífica. Nos três anos anteriores, a Yandex não nos forneceu dados objetivos. Não vimos um único relatório sobre justificativa.
Todos os números se resumiram a isso:
“De acordo com nossas próprias estimativas (infelizmente, ainda não existem medidores independentes nesta área), hoje nossa previsão do tempo é mais precisa do que todos os concorrentes que conhecemos. Por exemplo, nossa previsão de temperatura de 24 horas é 35% menor que a de nosso concorrente mais próximo. ”
Isso é uma mentira absoluta. Eu vou explicar o porquê. Se o ano era 1960, essa afirmação era absolutamente justa, mas agora as previsões de curto prazo já atingiram um certo limite. A luta é por juros e até décimos de um por cento. Por exemplo, de
acordo com o Centro Hidrometeorológico da Rússia, a precisão da previsão da temperatura do ar na Rússia em 2017 por dia era de 93%. Estamos falando das previsões emitidas por meteorologistas de centros hidrometeorológicos locais. Para sites preditivos e modelos de computador, a precisão varia de 85% a 95%. Não há 35% aqui e não pode ser!
Como isso acontece no mundo da ciência?Digamos que a Yandex foi capaz de criar um produto revolucionário que realmente supera todos os concorrentes. Introduzir o mundo nessa tecnologia. Deixe a equipe Yandex mostrar ao mundo inteiro o que eles conseguiram criar. Por que não começar com um artigo em uma revista científica? Entendo que pode não valer a pena revelar todos os cartões, porque o produto, de fato, possui um componente comercial, não há nada de errado nisso, mas apenas se esse produto realmente funcionar.
Qualquer técnica de previsão científica passa na fase de testes. Normalmente, lebres experimentais são dados de arquivo. Em alguns casos, é necessário coletar dados por um ano ou vários anos e somente depois publicar um artigo. Depois disso, a previsão é comparada com os relatórios reais das estações meteorológicas. Os campos preditivos correspondem aos reais. A massa dos parâmetros é calculada: erro aritmético da temperatura média, erro médio absoluto da temperatura, erro relativo e justificativa em porcentagem. Então, com base nos resultados dos testes operacionais, uma comissão metodológica especial toma uma decisão - recomenda o uso desse método de previsão ou recusa.
E agora uma pergunta para os desenvolvedores Yandex. Onde estão esses dados? Onde estão esses artigos e estudos? "Temos as previsões mais precisas, confie em nós", dizem eles no Yandex. Nada para mostrar. Não há nada para se gabar.
Temos números, mas não os mostraremos para você. Você não possui documentos.Previsões de conjunto e multimodeloRecentemente, entre o grupo de meteorologistas, as previsões multimodais e complexas ganharam grande popularidade. O que isso significa? Primeiro, um pouco de teoria. A principal fonte de todas as previsões são os modelos de computador. Programas que simulam toda a atmosfera da Terra, do solo às camadas superiores da estratosfera. O principal alimento para os modelos são
os dados de satélite em todas as faixas espectrais visíveis e invisíveis. Os dados das estações terrestres não têm mais uma influência tão forte na qualidade da previsão. Se a camada da estação meteorológica for excluída dos modelos, a qualidade cairá 7% e, se os dados de satélite forem excluídos, 35-40%. No mundo, existem 11 modelos globais e uma dúzia mais regional.
Modelos de computador são muito, muito complexos! Nem todo estado é capaz de criar seu próprio modelo qualitativo. Por exemplo, o modelo PLAV doméstico ocupa a 8ª posição no ranking de modelos mundiais. Existe, mas praticamente nunca é usado.
Por esse motivo, a maioria dos sites e aplicativos usa apenas 2-3 modelos. Tudo o resto é uma questão de processamento e interpretação de dados internos. Por exemplo, agora o melhor modelo é o Modelo Europeu de Previsão Meteorológica de Médio Prazo (ECMWF). Este modelo usa Foreca, intellicast e Gismeteo. MAS! Como eu disse, o processamento de previsões se resume a padrões internos que “polem” os arquivos de modelo bruto. Gismeteo faz o pior, e Intelicast faz melhor. Em seguida serão os números que confirmam isso.
Ok, resolvi isso. Uma execução de um modelo de computador é uma previsão puramente determinística, baseada no princípio "como está". O principal problema das previsões determinísticas são os erros nos dados iniciais, que levam ao efeito borboleta. Os menores distúrbios iniciais levam a enormes erros no médio prazo. Para resolver esse problema, os cientistas desenvolveram
previsões de conjuntos . Imagine uma previsão determinística normal. Um erro artificial é introduzido nessa previsão usando um gerador de números pseudo-aleatórios.
Previsão do conjunto. Modelo americano GFS. 20 membros.E assim é feito mais 20 ou 50 vezes. Em seguida, é criado um gráfico no qual é possível ver a sensibilidade da previsão a erros nos dados iniciais. Se a previsão determinística aquecer após 10 dias, e 20 membros do grupo cairem, ou seja, eles esfriarem, a previsão determinística para esse período será incorreta.
Mas os cientistas foram ainda mais longe. Eles começaram a sincronizar previsões determinísticas e criar
previsões multimodais , quando a previsão é construída não com base em um modelo, mas imediatamente em uma dúzia.
Uma previsão de vários modelos para Moscou no site meteoblue. 11 modelosPor exemplo, 7 modelos produzem precipitação após 5 dias e 3 prevêem tempo seco. Portanto, a probabilidade de precipitação é de 70%. Juntos, é recomendável assistir também à previsão do conjunto.
E agora chegamos à própria essência. Como o Centro Hidrometeorológico contornou Yandex?
Previsão abrangenteEm 2014, o chefe do departamento de previsões hidrodinâmicas de curto prazo do Centro Hidrometeorológico da Rússia e o homólogo meteorologista Alexei Bagrov, juntamente com sua equipe, desenvolveram um
esquema estatístico simples, mas fundamentalmente
novo, para o processamento de dados brutos de previsão . Foi publicado na revista Meteorology and Hydrology em um artigo intitulado "Previsão abrangente de valores meteorológicos de superfície".
A essência da técnica é simples, mas essa é sua superioridade. Uma previsão abrangente é obtida pelo processamento estatístico dos resultados dos modelos incluídos. Ao mesmo tempo, para a temperatura do ar, vento e ponto de orvalho, é utilizado um arquivo de previsões para os 20 dias anteriores para os modelos correspondentes e dados reais na estação e, para precipitação, um arquivo semelhante por um ano. O cálculo é realizado separadamente para cada estação e para cada previsão de lead time.
Para simplificar ainda mais, Bagrov propõe realizar um ajuste estatístico das previsões dos melhores modelos com base nos dados reais da estação meteorológica local.
A técnica é descrita em detalhes no próprio artigo . Aqui vou me concentrar em alguns pontos-chave. O cálculo das temperaturas máxima e mínima é realizado levando em consideração o erro dos últimos 5 ou 3 dias. Por exemplo, nos últimos 5 dias, nossos modelos subestimaram a temperatura em uma média de 2 graus; portanto, precisamos incluir esse erro na última previsão e estabilizar a previsão no valor mais provável. Assim, a previsão se corrige automaticamente, com base em desvios anteriores na direção de exagero ou subavaliação.
Durante 4 anos, a previsão estava na fase de testes. Em setembro de 2018, os resultados dos testes foram publicados na revista
Russian Meteorology and Hydrology . Resumidamente, os resultados do estudo são
anunciados aqui . Observo que nos quatro anos em que a previsão foi publicada no site do escritório metodológico do Centro Hidrometeorológico da Rússia. Foi calculado para 224 cidades da Rússia. Todo mês, um relatório de justificativa era publicado. Eles continuam saindo até hoje.
Modesto e tranquilo - criou uma previsão melhorO Centro Hidrometeorológico da Rússia fez o que ninguém mais poderia fazer. Eles coletaram automaticamente previsões de 7 sites de previsão diferentes e analisaram sua precisão. Abaixo estão os dados de 1,5 anos - de janeiro de 2016 a junho de 2017 para Moscou, São Petersburgo e Yakutsk.
O erro médio absoluto das previsões de temperatura mínima (a) e máxima (b) por cidade: Moscou, São Petersburgo, Yakutsk para o período de 1 de janeiro de 2016 a 30 de junho de 2017. Previsões do site: 1 - Meteoinfo.ru; 2 - Gismeteo.ru; 3 - Fobos (meteovesti.ru); 4 - Rp5.ru; 5 - Yandex.ru; 6 - Intellicast.com; 7 - Previsão abrangente Bagrov.Chegamos à própria essência. A partir dos dados, pode-se observar que, no primeiro dia da temperatura diurna, o Yandex utiliza cerca de três recursos ao mesmo tempo: meteoinfo, intellicast e a previsão abrangente de Bagrov. O último mostra o erro mais baixo por 1-2 dias. O Intellicast e uma previsão abrangente estão levando por 3-4 dias. Yandex é apenas em 3 posições.
Observe que o Gismeteo mais popular no Runet não é tão preciso. No primeiro dia, seu erro médio de 2 graus é muito. O anti-líder da classificação é o site meteovesti.ru
Não pense que não há mais dados atualizados. No início de 2018, a seção
“Avaliação de previsões em vários sites da Internet” apareceu no site do escritório metodológico do Centro Hidrometeorológico da Rússia. A seção publica dados sobre 47 cidades, individualmente e em conjunto.
Muitos podem dizer que esses são dados desatualizados, mas já existe um novo relatório de responsabilidade de outubro. Vamos estudá-lo. Faça uma amostra de 27 cidades para a ETR.
A previsão da temperatura diária do Yandex para um dia é comparável na precisão do intellicast e em uma previsão abrangente. Nos próximos 2 a 5 dias, o intellicast ignora levemente o Yandex. Com a previsão da temperatura noturna, Meteum é um pouco pior. No primeiro dia, três sites o ignoram: meteoinfo, intellicast e uma previsão abrangente. No dia seguinte, a tendência continua. No dia 6, Yandex ultrapassa intellicast e meteoinfo.
Para o território asiático, a distribuição é aproximadamente semelhante. Em quase todos os casos, o Yandex ignora os três meteoinfo, intelicast e complexo. Muitos notaram que o site oficial da meteoinfo fornece precisão meritória. É sim. Agora, o site usa um esquema de processamento de dados de modelo estatístico independente chamado
REP (cálculo de elementos climáticos) . Esse esquema não é ruim, mas é um pouco pior do que uma previsão abrangente. No inverno, ela prevê mal o resfriamento noturno. Chamo a atenção para o fato de que todos esses esquemas de processamento de dados foram inventados muito antes da criação do Yandex proprietário. Meteum.
Problemas de saída e exibiçãoNão é suficiente criar uma previsão de alta qualidade; ainda é necessário aprender a exibi-la adequadamente para pessoas comuns. Quando um usuário visita um site meteorológico, ele primeiro analisa a previsão por 10 dias, obtendo uma imagem geral da mudança de temperatura. Mas se você se aprofundar, observando a temperatura, muitas nuances se abrirão. Por exemplo, o site diz que serão +15 graus durante o dia, mas você abre a tabela de temperaturas e entende que esses +15 serão à noite e durante o dia a temperatura será mais baixa! Essa situação é chamada de reversão de temperatura, quando é mais quente à noite do que durante o dia. O problema de derivar as temperaturas máximas e mínimas aqui é que os valores de min e max são capturados de toda a série temporal, sem dividir dia e noite. Do ponto de vista do leigo, isso é uma farsa. Todos os sites pecam. A temperatura máxima geralmente é fixada de 08 a 20 horas, dependendo da estação do ano, das condições climáticas e das coordenadas da estação meteorológica. O mínimo é observado de 20 a 08 horas, novamente, dependendo da estação e das condições climáticas. Isso é chamado de dia meteorológico. Por exemplo, a principal estação meteorológica em
Moscou no VDNKh envia uma temperatura máxima de 21 horas e um mínimo de 9 horas.
Abaixo citei situações de comportamento atípico da temperatura, quando é importante capturar as temperaturas máxima e mínima, não de toda a série temporal, mas em intervalos estritamente definidos. Se as condições não forem atendidas, o usuário será enganado, mesmo com a previsão qualitativa.
Outro problema é que, alguns anos atrás, a Yandex começou a fornecer dados climáticos para uma previsão de longo prazo, o que não está totalmente correto. A Yandex decidiu usar os arquivos de reanálise de computador CFSR brutos (NCEP) nos últimos 7 anos, criando uma pequena amostra climática. Agora eles mudaram para um período médio de 10 anos, o que não muda a situação. Também no site apareceu o parâmetro "Probabilidade de precipitação", que foi calculado da mesma forma nos últimos 10 anos com base na reanálise por computador, mas há um problema sério. A reanálise computacional modela muito mal as chuvas convectivas e a queda de neve leve no inverno, para que o Yandex possa dar uma probabilidade de 0% e, de acordo com a estação meteorológica, era de 50%, apenas porque a estação meteorológica possui um medidor de precipitação que registra a precipitação real, não virtual . Portanto, é mais correto calcular a média dos dados em uma estação meteorológica do que em uma reanálise por computador. Escrevi para a Yandex e recebi a resposta: “Adicionamos (aviso) à lista de ofertas de nossos usuários. Nossos especialistas sempre se familiarizam com essas idéias quando preparam alterações no serviço e tentam, sempre que possível, levá-las em consideração. ” Após 6 meses, nada mudou.
Permaneça vivo (s)Sugeri também que o Yandex usasse previsões do modelo climático de longo prazo CFSv2 em vez de calcular a média dos dados por 10 anos. É atualizado 4 vezes ao dia e considera a previsão com 9 meses de antecedência. Obviamente, estamos falando em obter dados médios da década ou da média mensal. Mas essa é uma previsão real, não uma informação histórica. Por exemplo, agora o modelo trai que
novembro na parte européia da Rússia estará quente e seco .
Foi especialmente engraçado assistir ao Yandex lançando mapas de previsão épicamente, embora na época earth.nullschool.net, windytv.com e ventusky.com já existissem. Esses serviços fornecem muitas vezes mais informações sobre vários modelos. Yandex escreveu que a principal diferença deles é que eles têm maior precisão. Bem, bem.
O problema do resfriamento noturnoAgora, na meteorologia sinóptica, a questão da previsão de temperaturas noturnas sob condições de resfriamento de ar anticiclonal ainda é uma questão aguda. Qual é o problema? O problema é que os modelos de computador quase sempre em uma situação sinóptica aumentam a temperatura. Por exemplo, em Kurgan, de acordo com a maioria das previsões, à noite a temperatura cai para -30 graus: ficará claro, a pressão aumentará, o núcleo do anticiclone passará pela área. Condições ideais para resfriamento. Mas, de fato, o mínimo pode cair para -35 ...- 37 graus! Quando a Yandex lançou o Meteum, pensei que finalmente seria possível resolver esse problema. Mas já, em que inverno o Yandex continua a elevar a temperatura noturna em condições de resfriamento. No momento, existem apenas 2 modelos no mundo que podem calcular adequadamente essa temperatura. O primeiro é o modelo canadense GEM. O segundo é o NAEFS norte-americano.
Em outras situações sinópticas, esses modelos não mostram nada de extraordinário; portanto, minha tarefa como previsão do tempo é incluir esses modelos na previsão no momento certo e excluí-los da previsão no momento certo. A previsão abrangente de Bagrov também lida com o resfriamento, precisamente devido a ajustes estatísticos baseados na estação meteorológica local.ConclusãoOs dados obtidos nos permitem dizer com muita confiança que a previsão de temperatura do Yandex usando a tecnologia Meteum não mostra resultados excepcionais em comparação com os serviços de prognóstico já comprovados. Pelo contrário, o Yandex é de qualidade inferior a recursos como intellicast, meteoinfo e a previsão abrangente de Bagrov, publicada no site do escritório de metodologia do Centro Hidrometeorológico da Rússia. Os piores serviços meteorológicos são Gismeteo e meteovesti.ru, . – , . – . , , , , , , , , .