Yandex.Meteum - technologie sans technologie. Marketing par zone

Exactement 3 ans se sont écoulés depuis le lancement du service Yandex.Meteum, qui, selon les développeurs, donne des prévisions de la plus haute qualité parmi tous les sites de prévisions. Il est temps de faire le point. Le nouveau produit Yandex est-il vraiment révolutionnaire ou n'est-ce qu'un zilch marketing? Et comme une équipe de scientifiques du Centre hydrométéorologique de Russie a réussi à contourner Yandex et à créer une prévision de haute qualité.


D'abord, je me présente. Je m'appelle Ilya Vinstein, je suis un météorologue amateur de Kurgan. Je fais de la météorologie depuis 14 ans. J’administre mon projet régional «Météo 45» , a donné plusieurs conférences pour le projet scientifique et éducatif «Gutenberg’s Smoking Room».

Meteum. Commencer

Le problème de la qualité des prévisions du Yandex. Meteum »que j'ai désigné au début de 2016 , mais à ce moment-là, je disposais d'une très petite quantité de données pour tirer des conclusions sans ambiguïté. J'ai surtout critiqué la campagne d'information lancée par Yandex. Si, au tout début, ils ont utilisé le slogan «Prévision précise à domicile», ils l'ont changé en «Prévision précise au niveau du district».

Sous quelle forme médiatique la naissance du Meteum? Il y a eu beaucoup de publications dans les médias, plusieurs publications sur Habré, puis de courtes vidéos scientifiques expliquant la création du premier service de prévision basé sur un réseau de neurones. La création du Meteum a eu lieu à une époque où les réseaux de neurones étaient très populaires, et les médias les ont présentés comme une panacée qui pourrait résoudre de nombreux problèmes de l'humanité.

Dans le sillage de la géo-géolocalisation générale, Yandex a décidé de mettre à jour sa principale section météorologique. La mise à jour de conception habituelle et l'ajout de nouvelles fonctionnalités ne sont pas une option, mais l'objectif principal de la mise à jour est d'attirer un nouveau public de concurrents. La seule façon était de changer le paradigme de la perception des services. Pas seulement une section météo, mais un service complètement nouveau capable de prédire la météo mieux que tous les autres concurrents. Pas seulement Yandex. Météo »et« Yandex. Meteum »- un système capable de produire une prévision précise pour une maison ou une zone.

Le problème est que le produit final est complexe en termes d'évaluation et de réception des commentaires. Qui vérifiera la qualité des prévisions? Comment les commentaires seront-ils évalués par les utilisateurs? Dans notre cas, le consommateur n'est pas en mesure d'évaluer la qualité du produit final, il peut donc être «transpiré», tout peut être fait. Les utilisateurs de tous les sites pronostiques picorent cette astuce.

Par conséquent, toute la campagne d'information pour lancer le Meteum ressemble à une farce anti-scientifique. Pendant les 3 années, Yandex ne nous a fourni aucun chiffre objectif. Nous n'avons pas vu un seul rapport sur la justification.

Tous les chiffres se résument à ceci:

«Selon nos propres estimations (hélas, il n'y a pas encore de compteurs indépendants dans cette zone), nos prévisions météorologiques sont aujourd'hui plus précises que tous nos concurrents que nous connaissons. Par exemple, notre prévision de température sur 24 heures est 35% inférieure à celle de notre concurrent le plus proche. »

C'est un mensonge absolu. Je vais vous expliquer pourquoi. Si l'année était 1960, alors cette déclaration était absolument juste, mais maintenant les prévisions à court terme ont déjà atteint un certain plafond. La lutte est pour l'intérêt et même pour des dixièmes de pour cent. Par exemple, selon le Centre hydrométéorologique russe, la précision des prévisions de la température de l'air en Russie en 2017 par jour s'élevait à 93%. Nous parlons de ces prévisions qui ont été émises par les météorologues des centres hydrométéorologiques locaux. Pour les sites prédictifs et les modèles informatiques, la précision varie de 85% à 95%. Il n'y a pas de 35% ici et ne peut pas l'être!

Comment cela se produit-il dans le monde de la science?

Disons que Yandex a réussi à créer un produit révolutionnaire qui surpasse vraiment tous ses concurrents. Initiez le monde à cette technologie. Laissez l'équipe Yandex montrer au monde entier ce qu'elle a réussi à créer. Pourquoi ne pas commencer par un article dans une revue scientifique? Je comprends que cela ne vaut peut-être pas la peine de révéler toutes les cartes, car le produit a en fait une composante commerciale, il n'y a rien de mal à cela, mais seulement si ce produit fonctionne vraiment.

Toute technique de prévision scientifique passe la phase de test. En règle générale, les lièvres expérimentaux sont des données d'archives. Dans certains cas, il est nécessaire de collecter des données sur une année ou plusieurs années, puis de publier un article. Après cela, les prévisions sont comparées aux rapports réels des stations météorologiques. Les champs prédictifs correspondent aux champs réels. La masse des paramètres est calculée: erreur de température moyenne arithmétique, erreur de température absolue moyenne, erreur relative et justification en pourcentage. Ensuite, sur la base des résultats des tests opérationnels, une commission méthodologique spéciale prend une décision - recommander l'utilisation de cette méthode de prévision ou refuser.

Et maintenant une question pour les développeurs Yandex. Où sont ces données? Où sont ces articles et études? "Nous avons les prévisions les plus précises, faites-nous confiance", disent-ils dans Yandex. Rien à montrer. Il n'y a rien à se vanter.


Nous avons des chiffres, mais nous ne vous les montrerons pas. Vous n'avez aucun document.

Prévisions d'ensemble et multimodèles

Récemment, parmi l'ensemble des prévisionnistes, les prévisions multimodèles et complexes ont gagné en popularité. Qu'est-ce que cela signifie? Tout d'abord, un peu de théorie. La principale source de toutes les prévisions sont les modèles informatiques. Programmes qui simulent toute l'atmosphère de la Terre depuis le sol jusqu'aux couches supérieures de la stratosphère. Le principal aliment des modèles est les données satellitaires dans toutes les gammes spectrales visibles et invisibles. Les données des stations au sol n'ont plus une telle influence sur la qualité des prévisions. Si la couche de station météorologique est exclue des modèles, la qualité chutera de 7% et si les données satellite sont exclues, de 35 à 40%. Dans le monde, il existe 11 modèles mondiaux et une douzaine d'autres modèles régionaux.

Les modèles informatiques sont très, très complexes! Tous les États ne sont pas en mesure de créer leur propre modèle qualitatif. Par exemple, le modèle PLAV domestique occupe la 8ème position dans le classement des modèles mondiaux. Il existe, mais n'est pratiquement jamais utilisé.

Pour cette raison, la plupart des sites et applications n'utilisent que 2 à 3 modèles. Tout le reste est une question de traitement et d'interprétation des données internes. Par exemple, le meilleur modèle est désormais le modèle européen de prévision météorologique à moyen terme (ECMWF). Ce modèle utilise Foreca, intellicast et Gismeteo. MAIS! Comme je l'ai dit, le traitement des prévisions se résume à des modèles internes qui «polissent» les fichiers de modèle bruts. Gismeteo fait le pire et Intelicast le fait mieux. Viennent ensuite les chiffres qui le confirment.

D'accord, trié. Une série de modèles informatiques est une prévision purement déterministe basée sur le principe «tel quel». Le principal problème des prévisions déterministes réside dans les erreurs dans les données initiales, qui conduisent à l'effet papillon. Les moindres perturbations initiales entraînent d'énormes erreurs à moyen terme. Pour résoudre ce problème, les scientifiques ont développé des prévisions d'ensemble . Imaginez une prévision déterministe normale. Une erreur artificielle est introduite dans cette prédiction à l'aide d'un générateur de nombres pseudo-aléatoires.


Prévisions d'ensemble. Modèle américain GFS. 20 membres.

Et cela se fait encore 20 ou 50 fois. Ensuite, un graphique est construit où vous pouvez voir à quel point la prévision est sensible aux erreurs dans les données initiales. Si la prévision déterministe donne un réchauffement après 10 jours et que 20 membres de l'ensemble baissent, c'est-à-dire qu'ils donnent un refroidissement, alors la prévision déterministe pour cette période est erronée.

Mais les scientifiques sont allés encore plus loin. Ils ont commencé à synchroniser les prévisions déterministes et à créer des prévisions multimodèles , lorsque la prévision est construite non pas sur la base d'un modèle, mais immédiatement sur une douzaine.


Une prévision multimodèle pour Moscou sur le site meteoblue. 11 modèles

Par exemple, 7 modèles produisent des précipitations après 5 jours et 3 prédisent un temps sec. Par conséquent, la probabilité de précipitation est de 70%. Ensemble, il est recommandé de regarder également les prévisions d'ensemble.

Et maintenant, nous sommes arrivés à l'essence même. Comment le Centre hydrométéorologique s'est-il déplacé à Yandex?

Prévisions complètes

En 2014, le chef du département des prévisions hydrodynamiques à court terme du Centre hydrométéorologique de Russie et le météorologue honoré Alexei Bagrov, avec son équipe, ont développé un schéma statistique simple mais fondamentalement nouveau pour le traitement des données brutes de prévision . Il a été publié dans la revue Meteorology and Hydrology dans un article intitulé "Comprehensive Forecast of Surface Meteorological Values".

L'essence de la technique est simple, mais c'est sa supériorité. Une prévision complète est obtenue par traitement statistique des résultats des modèles inclus. Dans le même temps, pour la température de l'air, le vent et le point de rosée, une archive des prévisions pour les 20 jours précédents pour les modèles correspondants et les données réelles à la station est utilisée, et pour les précipitations une archive similaire pour un an. Le calcul est effectué séparément pour chaque station et pour chaque prévision de délai.

Pour le rendre encore plus simple, Bagrov propose d'effectuer un ajustement statistique des prévisions des meilleurs modèles sur la base des données réelles de la station météo locale. La technique est décrite en détail dans l'article lui-même . Ici, je vais me concentrer sur certains points clés. Le calcul des températures maximales et minimales est effectué en tenant compte de l'erreur des 5 ou 3 derniers jours. Par exemple, au cours des 5 derniers jours, nos modèles ont sous-estimé la température en moyenne de 2 degrés, nous devons donc inclure cette erreur dans la dernière prévision et stabiliser la prévision à la valeur la plus probable. Ainsi, la prévision se corrige automatiquement, en fonction des écarts antérieurs dans le sens d'une surestimation ou d'une sous-estimation.

Pendant 4 ans, la prévision était en phase de test. En septembre 2018, les résultats des tests ont été publiés dans la revue Russian Meteorology and Hydrology . Brièvement, les résultats de l'étude sont annoncés ici . Je note que tous les 4 ans, les prévisions ont été publiées sur le site Web du bureau méthodologique du Centre hydrométéorologique de Russie. Il a été calculé pour 224 villes de Russie. Chaque mois, un rapport de justification était publié. Ils continuent de sortir jusqu'à ce jour.

Modeste et silencieux - créé une meilleure prévision

Le Centre hydrométéorologique de Russie a fait ce que personne d'autre ne pouvait faire. Ils ont automatiquement collecté les prévisions de 7 sites de prévisions différents et analysé leur exactitude. Voici les données pour 1,5 an - de janvier 2016 à juin 2017 pour Moscou, Saint-Pétersbourg et Iakoutsk.


L'erreur absolue moyenne des prévisions des températures minimales (a) et maximales (b) par ville: Moscou, Saint-Pétersbourg, Iakoutsk pour la période du 1er janvier 2016 au 30 juin 2017. Prévisions du site Web: 1 - Meteoinfo.ru; 2 - Gismeteo.ru; 3 - Fobos (meteovesti.ru); 4 - Rp5.ru; 5 - Yandex.ru; 6 - Intellicast.com; 7 - Prévisions complètes Bagrov.

Nous sommes arrivés à l'essence même. D'après les données, on peut constater que le premier jour de la température diurne, Yandex parcourt 3 ressources à la fois: meteoinfo, intellicast et Bagrov. Ce dernier montre l'erreur la plus faible depuis 1-2 jours. Intellicast et une prévision complète mènent pendant 3-4 jours. Yandex n'est qu'à 3 positions.

Veuillez noter que le Gismeteo le plus populaire sur Runet n'est pas aussi précis. Le premier jour, son erreur moyenne de 2 degrés est beaucoup. L'anti-leader de la notation est le site meteovesti.ru

Ne pensez pas qu'il n'y a plus de nouvelles données. Début 2018, la rubrique «Évaluation des prévisions sur différents sites Internet» est apparue sur le site Internet du bureau méthodologique du Centre hydrométéorologique de Russie. La section publie des données sur 47 villes, individuellement et ensemble.

Beaucoup peuvent dire que ce sont des données obsolètes, mais il y a déjà un nouveau rapport de responsabilité d'octobre. Nous allons l'étudier. Prenez un échantillon de 27 villes pour ETR.



Les prévisions de température quotidiennes pour Yandex pour une journée sont comparables en termes de précision Intellicast et de prévisions complètes. Pendant les 2 à 5 prochains jours, l'intellicast contourne légèrement Yandex. Avec la prévision de la température nocturne, Meteum est légèrement pire. Le premier jour, 3 sites le contournent: meteoinfo, intellicast et une prévision complète. Le lendemain, la tendance se poursuit. Le jour 6, Yandex dépasse l'intellicast et le meteoinfo.

Pour le territoire asiatique, la répartition est à peu près similaire. Dans presque tous les cas, Yandex contourne les trois meteoinfo, intellicast et complex. Beaucoup ont remarqué que le site officiel de meteoinfo fournit une précision méritoire. Oui. Désormais, le site utilise un modèle de traitement de données indépendant du modèle statistique appelé REP (calcul des éléments météorologiques) . Ce schéma n'est pas mauvais, mais un peu pire qu'une prévision globale. En hiver, elle prédit mal le refroidissement nocturne. J'attire votre attention sur le fait que tous ces schémas de traitement des données ont été inventés bien avant la création de Yandex propriétaire. Meteum.

Problèmes de sortie et d'affichage

Il ne suffit pas de créer une prévision de haute qualité, il faut tout de même apprendre à l'afficher correctement pour le profane. Lorsqu'un utilisateur visite un site météo, il regarde d'abord les prévisions sur 10 jours, obtenant une image générale du changement de température. Mais si vous creusez plus profondément, en regardant la température, de nombreuses nuances s'ouvriront. Par exemple, le site indique qu'il fera +15 degrés pendant la journée, mais ensuite vous ouvrez le graphique des températures et comprenez que ces +15 seront la nuit, et pendant la journée, la température sera plus basse! Cette situation est appelée inversion de température, lorsqu'il fait plus chaud la nuit que le jour. Le problème de la dérivation des températures maximales et minimales ici est que les valeurs de min et max sont capturées à partir de la série temporelle entière, sans diviser le jour et la nuit. Du point de vue du profane, c'est un canular. Tous les sites pèchent. La température maximale est généralement fixée de 08 à 20 heures, selon la saison, les conditions météorologiques et les coordonnées de la station météo. Le minimum est observé de 20 à 08 heures, là encore, selon la saison et les conditions météorologiques. C'est ce qu'on appelle une journée météorologique. Par exemple, la principale station météorologique de Moscou à VDNKh envoie une température maximale de 21 heures et un minimum de 9 heures.
Ci-dessous, j'ai cité des situations de comportement de température atypique lorsqu'il est important de capturer les températures maximale et minimale non pas à partir de la série temporelle entière, mais à des intervalles strictement définis. Si les conditions ne sont pas remplies, l'utilisateur sera trompé, même en dépit de la prévision qualitative.



Un autre problème est qu'il y a quelques années, Yandex a commencé à fournir des données climatiques pour une prévision à long terme, ce qui n'est pas tout à fait exact. Yandex a décidé d'utiliser des fichiers de réanalyse informatique bruts CFSR (NCEP) au cours des 7 dernières années, créant ainsi un petit échantillon climatique. Maintenant, ils sont passés à une période moyenne de 10 ans, ce qui ne change rien à la situation. Sur le site est également apparu le paramètre "Probabilité de précipitation", qui a été calculé de manière similaire au cours des 10 dernières années sur la base d'une réanalyse informatique, mais il existe un problème sérieux. La réanalyse informatique modélise très mal les précipitations convectives et les faibles chutes de neige en hiver, donc Yandex pourrait donner une probabilité de 0%, et selon la station météorologique, elle était de 50%, uniquement parce que la station météorologique a un compteur de précipitations qui enregistre les précipitations réelles, non virtuel . Par conséquent, il est plus correct de faire la moyenne des données sur une station météo, plutôt que sur une nouvelle analyse informatique. J'ai écrit à Yandex et j'ai reçu la réponse: «Nous l'avons ajouté (notez les conseils) à la liste des offres de nos utilisateurs. Nos experts se familiarisent toujours avec ces idées lorsqu'ils préparent des modifications au service et essaient, dans la mesure du possible, de les prendre en compte. » Après 6 mois, rien n'a changé.


Restez en vie

J'ai également suggéré que Yandex utilise les prévisions du modèle climatique à long terme CFSv2 au lieu de faire la moyenne des données sur 10 ans. Il est mis à jour 4 fois par jour et prend en compte les prévisions à 9 mois à l'avance. Bien sûr, nous parlons d’obtenir la moyenne des données sur la décennie ou la moyenne mensuelle. Mais c'est une vraie prévision, pas une information historique. Par exemple, maintenant le modèle trahit que novembre dans la partie européenne de la Russie sera chaud et sec .

C'était particulièrement drôle de regarder Yandex déployer de manière épique des cartes de prévisions, bien qu'à cette époque earth.nullschool.net, windytv.com et ventusky.com existaient déjà. Ces services fournissent de nombreuses fois plus d'informations sur différents modèles. Yandex a écrit que la principale différence avec eux est qu'ils ont une plus grande précision. Et bien.



Le problème du refroidissement nocturne

Maintenant, en météorologie synoptique, la question de la prévision des températures nocturnes dans des conditions de refroidissement anticyclonique est toujours un problème aigu. Quel est le problème? Le problème est que les modèles informatiques presque toujours dans une telle situation synoptique augmentent la température. Par exemple, à Kurgan, selon la plupart des prévisions, la nuit, la température descend à -30 degrés: ce sera clair, la pression augmentera, le cœur de l'anticyclone passera sur la zone. Conditions idéales pour le refroidissement. Mais en fait, le minimum peut chuter à -35 ...- 37 degrés! Lorsque Yandex a lancé le Meteum, j'ai pensé qu'il serait enfin possible de résoudre ce problème. Mais déjà, quel hiver Yandex continue d'élever la température nocturne dans des conditions de refroidissement. Pour le moment, il n'y a que 2 modèles dans le monde qui peuvent calculer correctement cette température. Le premier est le modèle GEM canadien. Le deuxième est le NAEFS nord-américain. , , , . , .

Conclusion

, «» - . , intellicast, meteoinfo , . Gismeteo meteovesti.ru

, . – , . – . , , , , , , , , .