Avec quelle précision Yandex prévoit-il les précipitations en hiver? Nous analysons la précision des services prédictifs

En novembre, j'ai publié un article «Yandex.Meteum - technologie sans technologie. Marketing précis au niveau du district » , qui a corrélé la qualité des prévisions Yandex avec d'autres services. L'accent était mis sur la température, sans analyser d'autres paramètres. La conclusion était la suivante: la prévision de température de Yandex ne montre pas de résultats exceptionnels par rapport aux services de prévision déjà éprouvés. Je vous recommande de lire le texte intégral. Cette fois, il est temps de vérifier un autre paramètre clé - les précipitations.

Conditions de vérification et prévisions de contrôle

L'objectif principal de l'étude est de comprendre la qualité de la prévision des précipitations Yandex par rapport à d'autres services de prévision. J'attire votre attention sur le fait que l'accent était mis sur la prévision du phénomène, et non sur la phase de précipitation ou leur quantité.

En tant que prévisions de contrôle, nous avons utilisé les données du site Web intellicast.com, qui a fusionné avec le service wundeground en janvier, mais cela n'a pas affecté les prévisions, seule l'interface a changé. La deuxième prévision de contrôle est une prévision complète du site Web du bureau méthodologique du Centre hydrométéorologique de Russie. J'ai parlé de cette prévision dans une publication précédente.

La prévision a été interceptée manuellement. La période d'évaluation est une journée météorologique, c'est-à-dire d'environ 8 h à 9 h à 20 h 21. Je n'ai pas pris en compte les précipitations nocturnes. Les prévisions ont été estimées du 3 novembre 2018 au 31 mars 2019, c'est-à-dire pour la période pendant laquelle l'hiver climatique tombe dans la partie européenne de la Russie et une partie de l'Oural, et il n'y a pas d'influence de la convection.

Les prévisions Yandex ont également été saisies uniquement pour la journée. En même temps, j'ai essayé de corréler les prévisions du site avec celles qu'Alice a envoyées dans les notifications push. Plus tard, il s'est avéré que les prévisions ne sont pas d'accord, mais nous en parlerons plus.

Les villes ont été choisies pour que je puisse capturer une partie du sud de l'Oural et la partie principale du territoire européen de la Russie. J'ai tracé une ligne de Kurgan à Moscou et j'ai choisi les villes sur ce site à intervalles approximativement égaux. Ce sont Kurgan, Ufa, Kazan et Moscou. La distance moyenne entre les points est de 591 km.

Le Manuel des prévisions météorologiques générales à court terme , utilisé par Roshydromet pour évaluer les prévisions jusqu'à 72 heures, a été utilisé comme technique d'évaluation. Comme je l'ai dit, il était important pour moi d'évaluer le fait des précipitations, et non leur quantité ou phase. Par conséquent, j'ai entré deux paramètres dans les tableaux: sec (pas de précipitation) ou précipitation.

Si le site a prédit des précipitations à n'importe quelle heure de la journée, alors la prévision a montré la gradation de "Précipitation", s'il n'y avait pas de précipitation dans la prévision, alors "Sec".

Les classements officiels des stations Roshydromet ont été utilisés comme informations factuelles. Si, dans une station météorologique, le compteur de précipitations a enregistré au moins 0,1 mm en 12 heures, le statut «Précipitations» est entré dans le tableau. De plus, les gradations pronostiques et réelles étaient corrélées. Je donne le nombre de stations météorologiques qui ont été utilisées dans l'étude: 28661 (Kurgan), 28722 (Ufa), 27595 (Kazan), 27612 (Moscou, VDNH).

Par exemple, Yandex prévoit de faibles chutes de neige pendant la journée et la station météo n'enregistre pas, puis la prévision est fixée à 0%. S'il y a une certaine quantité de précipitations, alors 100%. Ainsi, toutes les prévisions ont été placées dans des conditions d’évaluation égales.

Pour plus de transparence, je publie un lien vers les tables source avec toutes les données . J'ai également essayé non seulement d'évaluer les prévisions, mais aussi de les corréler avec des cartes synoptiques de zéro délai, ce qui m'a permis d'identifier les situations synoptiques dans lesquelles Yandex donne les résultats de justification les plus bas.

Résultats de recherche

Au départ, j'ai émis l'hypothèse que Yandex afficherait des résultats similaires avec d'autres sites, ou qu'ils seraient légèrement inférieurs au niveau des concurrents. J'ai dû dire adieu à cette hypothèse fin novembre, quand il s'est avéré que la précision de Yandex était comparable à lancer une pièce. Les résultats étaient au niveau des prévisions aléatoires et variaient de 50 à 60%.
Pendant 5 mois, la précision Yandex des précipitations pendant 24 heures était de 58%. Intellicast / wunderground a 81%, et la prévision intégrée du Centre hydrométéorologique a 80%!



Yandex a réussi à découvrir une caractéristique intéressante - plus loin de Moscou, plus la précision est faible. À Kurgan, la précision moyenne était de 45,6% et à Moscou - 67,8%. Les prévisions des concurrents variaient de 75% à 85%, ce qui semble très décent pour la saison d'hiver.



Le principal problème de Yandex en hiver est les fausses précipitations. Yandex prévoit des précipitations, tandis que d'autres services prévoient un temps sec, une situation typique. Le plus triste est que Yandex prédit les précipitations même dans les territoires sur lesquels il existe un anticyclone étendu. Par exemple, le 12 novembre, Yandex a prédit des précipitations pour Kazan tout au long de la journée, mais il ne devrait pas y en avoir, car le centre de l’anticyclone a traversé la région, le temps est clair et il ne peut pas y avoir de pluie physiquement.



Une situation similaire s'est répétée le 20 décembre, mais à Kurgan. Encore une fois, un anticyclone a été établi sur la ville, mais Yandex a constamment émis des précipitations. Il y avait beaucoup de situations étranges, je viens de donner les exemples les plus vivants.



Un autre problème s'est avéré être avec Alice et ses notifications push, qu'elle envoie via l'application Yandex principale. Par exemple, le 3 janvier, il était écrit sur le site Web qu'il ne pleuvrait pas le 4 janvier et Alice m'a envoyé: «La neige est belle. Demain un peu de neige. " Pendant les 5 mois, il n'y a eu que quelques cas de ce type, mais le fait d'un désaccord entre les services conduit à des réflexions différentes.



Bien sûr, le plus souvent, Alice a rapporté les mêmes prévisions que celles indiquées sur le site, mais il n'y a pas eu de précipitations. L'erreur de Meteum est traduite dans le travail de tous les autres services et quelque chose doit être fait.

Données climatiques

Nous avons calculé les prévisions de précipitations pour 24 heures, mais je voudrais souligner un autre problème important qui est présent dans le Yandex. Le temps. "
Dans l'article précédent, j'ai déjà écrit que Yandex publie les précipitations mensuelles moyennes dans toutes les villes. Le problème est la source de données. Le site indique la source de la NOAA, je peux supposer que Yandex utilise simplement les données de la réanalyse informatique américaine CFSR. La réanalyse convient aux études de température, mais elle est extrêmement mauvaise pour étudier les précipitations. Le modèle informatique ne reproduit pas mal les précipitations réelles, notamment de faible intensité. Le compteur de précipitations à la station météorologique enregistre la quantité réelle de précipitations, et l'ordinateur (réanalyse) calcule le virtuel. Pour cette raison, une erreur peut se produire.

La différence est particulièrement prononcée en été, lorsque les processus convectifs sont lancés et que les modèles sont de très mauvais amis avec eux. Les précipitations frontales sont beaucoup plus faciles à calculer que les précipitations après avoir traversé une cellule orageuse (nuage d'orage). L'erreur augmente en terrain montagneux ou en climat marin. Par conséquent, lors de l'étude du climat, il est conseillé de se fier uniquement aux données de la station météorologique la plus proche . La réanalyse informatique ne devrait être utilisée que si nous ne disposons tout simplement pas de données analogiques.



Par exemple, Yandex Ufa a dénombré 803 mm de précipitations par an, bien qu'en fait le taux annuel soit de 586 mm. Précipitations surdimensionnées de Yandex de 37%. À Vladivostok, Yandex, en revanche, a sous-estimé les précipitations de 40%. Selon Yandex, Ufa a plus de précipitations qu'à Vladivostok, ce qui est absolument stupide. J'ai écrit à Yandex à propos de ce problème, mais mon appel a été ignoré. Bien que le téléchargement de tableaux prêts à l'emploi par les stations et leur traitement, pour Yandex, je pense, n'est pas un gros problème.

Conclusion

La prévision de Yandex sur les précipitations pendant 24 heures est de bien inférieure en qualité à d'autres services de prévision. Pendant 5 mois, la précision Yandex des précipitations pendant 24 heures était de 58%. Intellicast / wunderground a 81%, et la prévision intégrée du Centre hydrométéorologique a 80%! Yandex a réussi à découvrir une caractéristique intéressante - plus loin de Moscou, plus la précision est faible. À Kurgan, la précision moyenne était de 45,6% et à Moscou - 67,8%. Les paramètres de prévision ne concordent pas: les précipitations sont prévues par temps clair anticyclonique.
Je déconseille fortement d'utiliser les informations Yandex comme source de base ou unique de prévisions.



Image principale: insidecorp.ru
Cartes synoptiques GFS - meteoweb.ru/alter/prec.php