Genau drei Jahre sind seit dem Start des Yandex.Meteum-Dienstes vergangen, der nach Angaben der Entwickler Prognosen von höchster Qualität unter allen Prognoseseiten liefert. Es ist Zeit, Bilanz zu ziehen. Ist das neue Yandex-Produkt wirklich revolutionär oder ist es nur ein Marketing-Zilch? Und als Team von Wissenschaftlern des Hydrometeorologischen Zentrums Russlands gelang es, sich um Yandex zu bewegen und eine wirklich qualitativ hochwertige Prognose zu erstellen.
Stell mich zuerst vor. Mein Name ist Ilya Vinstein, ich bin ein Amateur-Wettervorhersager aus Kurgan. Ich mache seit 14 Jahren Meteorologie. Ich verwalte mein Regionalprojekt
„Wetter 45“ und hielt mehrere Vorträge für das wissenschaftlich-pädagogische Projekt „Gutenbergs Raucherzimmer“.
Meteum. Starten SieDas Problem der Qualität der Prognosen des Yandex. Meteum “, das ich
Anfang 2016 benannt habe , aber zu diesem Zeitpunkt hatte ich nur eine sehr kleine Datenmenge, um eindeutige Schlussfolgerungen zu ziehen. Meistens kritisierte ich die von Yandex gestartete Informationskampagne. Wenn sie zu Beginn den Slogan „Prognose genau nach Hause“ verwendeten, änderten sie ihn in „Prognose genau nach Distrikt“.
In welcher Medienform wurde das Meteum geboren? Es gab viele Veröffentlichungen in den Medien, mehrere Veröffentlichungen über Habré und kurze wissenschaftliche Videos, in denen die Erstellung des ersten Prognosedienstes auf der Grundlage eines neuronalen Netzwerks erläutert wurde. Die Schaffung des Meteums fand zu einer Zeit statt, als neuronale Netze sehr beliebt waren, und die Medien präsentierten sie als Allheilmittel, das viele der Probleme der Menschheit lösen konnte.
Nach dem allgemeinen Neuro-Geotagging beschloss Yandex, seinen meteorologischen Hauptabschnitt zu aktualisieren. Das übliche Design-Update und das Hinzufügen neuer Funktionen ist keine Option, aber das Hauptziel des Updates besteht darin, ein neues Publikum von Wettbewerbern anzuziehen. Der einzige Weg bestand darin, das Paradigma der Servicewahrnehmung zu ändern. Nicht nur ein Wetterabschnitt, sondern ein völlig neuer Dienst, der das Wetter besser vorhersagen kann als alle anderen Wettbewerber. Nicht nur Yandex. Wetter “und„ Yandex. Meteum “- ein System, mit dem eine Prognose erstellt werden kann, die auf ein Haus oder ein Gebiet genau ist.
Das Problem ist, dass das Endprodukt hinsichtlich der Bewertung und des Empfangs von Feedback komplex ist. Wer überprüft die Qualität der Prognosen? Wie wird das Feedback der Benutzer bewertet? In unserem Fall kann der Verbraucher die Qualität des Endprodukts nicht beurteilen, daher kann er „geschwitzt“ werden und alles kann getan werden. Benutzer aller prognostischen Websites picken auf diesen Trick.
Daher sieht die gesamte Informationskampagne zum Start des Meteums wie eine anti-wissenschaftliche Farce aus. Yandex hat uns für alle 3 Jahre keine objektiven Zahlen zur Verfügung gestellt. Wir haben keinen einzigen Bericht zur Rechtfertigung gesehen.
Alle Zahlen kamen darauf an:
„Nach unseren eigenen Schätzungen (leider gibt es in diesem Bereich noch keine unabhängigen Zähler) ist unsere Wettervorhersage heute genauer als alle uns bekannten Wettbewerber. Zum Beispiel ist unsere 24-Stunden-Temperaturprognose 35% niedriger als die unseres engsten Konkurrenten. “
Das ist eine absolute Lüge. Ich werde erklären warum. Wenn das Jahr 1960 war, dann war diese Aussage absolut fair, aber jetzt haben die kurzfristigen Prognosen bereits eine bestimmte Obergrenze erreicht. Der Kampf ist um Interesse und sogar um Zehntel Prozent. Beispielsweise
betrug nach Angaben des Russischen Hydrometeorologischen Zentrums die Genauigkeit der Vorhersage der Lufttemperatur in Russland im Jahr 2017 pro Tag 93%. Wir sprechen über jene Vorhersagen, die von Wettervorhersagern lokaler hydrometeorologischer Zentren abgegeben wurden. Bei prädiktiven Standorten und Computermodellen liegt die Genauigkeit zwischen 85% und 95%. Es gibt keine 35% hier und kann nicht sein!
Wie passiert das in der Welt der Wissenschaft?Nehmen wir an, Yandex konnte ein revolutionäres Produkt entwickeln, das alle Wettbewerber wirklich übertrifft. Führen Sie die Welt in diese Technologie ein. Lassen Sie das Yandex-Team der ganzen Welt zeigen, was sie geschaffen haben. Warum nicht mit einem Artikel in einem Wissenschaftsjournal beginnen? Ich verstehe, dass es sich möglicherweise nicht lohnt, alle Karten aufzudecken, da das Produkt tatsächlich eine kommerzielle Komponente hat. Daran ist nichts auszusetzen, aber nur, wenn dieses Produkt wirklich funktioniert.
Jede wissenschaftliche Prognosetechnik besteht die Testphase. Typischerweise sind experimentelle Hasen Archivdaten. In einigen Fällen ist es erforderlich, Daten für ein Jahr oder mehrere Jahre zu sammeln und erst dann einen Artikel zu veröffentlichen. Danach wird die Vorhersage mit den tatsächlichen Wetterstationsberichten verglichen. Vorhersagefelder entsprechen den tatsächlichen. Die Masse der Parameter wird berechnet: arithmetischer mittlerer Temperaturfehler, durchschnittlicher absoluter Temperaturfehler, relativer Fehler und Begründung in Prozent. Auf der Grundlage der Ergebnisse von Betriebstests trifft dann eine spezielle methodische Kommission eine Entscheidung - empfehlen Sie die Verwendung dieser Prognosemethode oder lehnen Sie ab.
Und jetzt eine Frage an die Yandex-Entwickler. Wo sind diese Daten? Wo sind diese Artikel und Studien? "Wir haben die genauesten Prognosen, vertrauen Sie uns", heißt es in Yandex. Nichts zu zeigen. Es gibt nichts zu prahlen.
Wir haben Zahlen, aber wir zeigen sie Ihnen nicht. Sie haben keine Dokumente.Ensemble- und Multimodell-PrognosenIn jüngster Zeit haben Multimodell- und komplexe Vorhersagen unter den Wettervorhersagen große Popularität erlangt. Was bedeutet das? Zunächst eine kleine Theorie. Die Hauptquelle aller Prognosen sind Computermodelle. Programme, die die gesamte Erdatmosphäre vom Boden bis zu den oberen Schichten der Stratosphäre simulieren. Das Hauptnahrungsmittel für Modelle sind
Satellitendaten in allen sichtbaren und unsichtbaren Spektralbereichen. Daten von Bodenstationen haben keinen so starken Einfluss mehr auf die Qualität der Vorhersage. Wenn die Wetterstationsschicht von den Modellen ausgeschlossen wird, sinkt die Qualität um 7%, und wenn Satellitendaten ausgeschlossen werden, um 35-40%. In der Welt gibt es 11 globale Modelle und ein Dutzend weitere regionale.
Computermodelle sind sehr, sehr komplex! Nicht jeder Staat kann sein eigenes qualitatives Modell erstellen. Zum Beispiel belegt das inländische PLAV-Modell den 8. Platz in der Rangliste der Weltmodelle. Es existiert, wird aber praktisch nie benutzt.
Aus diesem Grund verwenden die meisten Websites und Anwendungen nur 2-3 Modelle. Alles andere ist eine Frage der internen Datenverarbeitung und -interpretation. Das beste Modell ist beispielsweise das Europäische Mittelstrecken-Wettervorhersagemodell (EZMW). Dieses Modell verwendet Foreca, Intellicast und Gismeteo. ABER! Wie gesagt, die Prognoseverarbeitung beruht auf internen Mustern, die die Rohmodelldateien „polieren“. Gismeteo macht es am schlechtesten und Intelicast macht es besser. Als nächstes werden die Zahlen angezeigt, die dies bestätigen.
Okay, habe es geklärt. Ein Durchlauf eines Computermodells ist eine rein deterministische Prognose, die auf dem Ist-Prinzip basiert. Das Hauptproblem deterministischer Vorhersagen sind Fehler in den Anfangsdaten, die zum Schmetterlingseffekt führen. Die kleinsten Anfangsstörungen führen mittelfristig zu großen Fehlern. Um dieses Problem zu lösen, entwickelten Wissenschaftler
Ensemble-Prognosen . Stellen Sie sich eine normale deterministische Prognose vor. Ein künstlicher Fehler wird in diese Vorhersage unter Verwendung eines Pseudozufallszahlengenerators eingeführt.
Ensemble-Prognose. Amerikanisches Modell GFS. 20 Mitglieder.Und so wird es noch 20 oder 50 Mal gemacht. Anschließend wird ein Diagramm erstellt, in dem Sie sehen können, wie empfindlich die Prognose auf Fehler in den Anfangsdaten reagiert. Wenn die deterministische Prognose nach 10 Tagen eine Erwärmung ergibt und 20 Ensemblemitglieder ausfallen, dh abkühlen, ist die deterministische Prognose für diesen Zeitraum fehlerhaft.
Aber die Wissenschaftler gingen noch weiter. Sie begannen, deterministische Prognosen zu synchronisieren und
Multimodell-Prognosen zu erstellen, wenn die Prognose nicht auf einem Modell basiert, sondern sofort auf einem Dutzend.
Eine Multi-Modell-Prognose für Moskau auf der Meteoblue-Website. 11 ModelleZum Beispiel produzieren 7 Modelle nach 5 Tagen Niederschlag und 3 sagen trockenes Wetter voraus. Daher beträgt die Niederschlagswahrscheinlichkeit 70%. Zusammen wird empfohlen, auch die Ensemble-Vorhersage zu sehen.
Und jetzt sind wir auf das Wesentliche gekommen. Wie kam das Hydrometeorologische Zentrum um Yandex herum?
Umfassende Prognose2014 entwickelten der Leiter der Abteilung für hydrodynamische Kurzzeitprognosen des Hydrometeorologischen Zentrums Russlands und der geehrte Meteorologe Alexei Bagrov zusammen mit seinem Team ein einfaches, aber grundlegend
neues statistisches Schema für die Verarbeitung von Rohprognosedaten . Es wurde in der Zeitschrift Meteorology and Hydrology in einem Artikel mit dem Titel "Comprehensive Forecast of Surface Meteorological Values" veröffentlicht.
Das Wesen der Technik ist einfach, aber dies ist ihre Überlegenheit. Eine umfassende Prognose wird durch statistische Verarbeitung der Ergebnisse der enthaltenen Modelle erhalten. Gleichzeitig wird für Lufttemperatur, Wind und Taupunkt ein Archiv mit Vorhersagen für die letzten 20 Tage für die entsprechenden Modelle und tatsächlichen Daten an der Station verwendet, und für Niederschläge ein ähnliches Archiv für ein Jahr. Die Berechnung wird für jede Station und für jede Vorlaufzeitprognose separat durchgeführt.
Um es noch einfacher zu machen, schlägt Bagrov vor, eine statistische Anpassung der Vorhersagen der besten Modelle auf der Grundlage der tatsächlichen Daten der örtlichen Wetterstation vorzunehmen.
Die Technik wird im Artikel selbst ausführlich beschrieben . Hier werde ich mich auf einige wichtige Punkte konzentrieren. Die Berechnung der maximalen und minimalen Temperaturen erfolgt unter Berücksichtigung des Fehlers der letzten 5 oder 3 Tage. In den letzten 5 Tagen haben unsere Modelle beispielsweise die Temperatur um durchschnittlich 2 Grad unterschätzt. Daher müssen wir diesen Fehler in die letzte Prognose einbeziehen und die Prognose auf den wahrscheinlichsten Wert stabilisieren. Somit korrigiert sich die Prognose automatisch selbst, basierend auf früheren Abweichungen in Richtung Über- oder Untertreibung.
Für 4 Jahre befand sich die Prognose in der Testphase. Im September 2018 wurden die Testergebnisse in der Zeitschrift
Russian Meteorology and Hydrology veröffentlicht . Kurz werden die Ergebnisse der Studie hier
bekannt gegeben . Ich stelle fest, dass die Prognose alle 4 Jahre auf der Website des methodischen Büros des Hydrometeorologischen Zentrums Russlands veröffentlicht wurde. Es wurde für 224 Städte Russlands berechnet. Jeden Monat wurde ein Begründungsbericht veröffentlicht. Sie gehen bis heute aus.
Bescheiden und leise - eine bessere Prognose erstelltDas Hydrometeorologische Zentrum Russlands tat, was sonst niemand tun konnte. Sie sammelten automatisch Prognosen von 7 verschiedenen Prognosestellen und analysierten deren Genauigkeit. Nachfolgend finden Sie die Daten für 1,5 Jahre - von Januar 2016 bis Juni 2017 für Moskau, St. Petersburg und Jakutsk.
Der durchschnittliche absolute Fehler der Prognosen der minimalen (a) und maximalen (b) Temperaturen nach Stadt: Moskau, St. Petersburg, Jakutsk für den Zeitraum vom 1. Januar 2016 bis 30. Juni 2017. Website-Prognosen: 1 - Meteoinfo.ru; 2 - Gismeteo.ru; 3 - Fobos (meteovesti.ru); 4 - Rp5.ru; 5 - Yandex.ru; 6 - Intellicast.com; 7 - Umfassende Prognose Bagrov.Wir sind auf das Wesentliche gekommen. Aus den Daten geht hervor, dass Yandex am ersten Tag der Tagestemperatur drei Ressourcen gleichzeitig nutzt: Meteoinfo, Intellicast und Bagrovs umfassende Prognose. Letzteres zeigt den niedrigsten Fehler seit 1-2 Tagen. Intellicast und eine umfassende Prognose führen für 3-4 Tage. Yandex ist nur an 3 Positionen.
Bitte beachten Sie, dass das beliebteste Gismeteo auf Runet nicht so genau ist. Am ersten Tag ist der durchschnittliche Fehler von 2 Grad sehr hoch. Der Anti-Leader der Bewertung ist die Website meteovesti.ru
Denken Sie nicht, dass es keine neuen Daten mehr gibt. Anfang 2018 erschien auf der Website des Methodenbüros des Hydrometeorologischen Zentrums Russlands der Abschnitt
„Auswertung von Prognosen auf verschiedenen Internetseiten“ . Die Sektion veröffentlicht Daten zu 47 Städten, sowohl einzeln als auch zusammen.
Viele mögen sagen, dass dies veraltete Daten sind, aber es gibt bereits einen neuen Bericht über die Rechenschaftspflicht im Oktober. Wir werden es studieren. Nehmen Sie eine Stichprobe von 27 Städten für ETR.
Die tägliche Tagestemperaturprognose für Yandex für einen Tag ist in Bezug auf Intellicast-Genauigkeit und umfassende Prognose vergleichbar. In den nächsten 2-5 Tagen umgeht Intellicast Yandex leicht. Mit der Vorhersage der Nachttemperatur ist Meteum etwas schlechter. Am ersten Tag umgehen 3 Websites dies: Meteoinfo, Intellicast und eine umfassende Prognose. Am nächsten Tag setzt sich der Trend fort. Am 6. Tag überholt Yandex Intellicast und Meteoinfo.
Für das asiatische Gebiet ist die Verteilung ungefähr ähnlich. In fast allen Fällen umgeht Yandex die drei Meteoinfo Intellicast und Complex. Viele haben bemerkt, dass die offizielle Website von meteoinfo verdienstvolle Genauigkeit bietet. Ja das stimmt. Jetzt verwendet die Website ein unabhängiges statistisches Modelldatenverarbeitungsschema namens
REP (Berechnung von Wetterelementen) . Dieses Schema ist nicht schlecht, aber etwas schlechter als eine umfassende Prognose. Im Winter sagt sie eine nächtliche Abkühlung schlecht voraus. Ich mache Sie darauf aufmerksam, dass all diese Datenverarbeitungsschemata lange vor der Gründung von Yandex erfunden wurden. Meteum.
Ausgabe- und AnzeigeproblemeEs reicht nicht aus, eine qualitativ hochwertige Prognose zu erstellen, sondern es muss noch gelernt werden, wie man sie für den Laien angemessen anzeigt. Wenn ein Benutzer eine Wetterseite besucht, betrachtet er zunächst die Vorhersage für 10 Tage und erhält ein allgemeines Bild der Temperaturänderung. Wenn Sie jedoch tiefer graben und die Temperatur betrachten, öffnen sich viele Nuancen. Zum Beispiel sagt die Site, dass es tagsüber +15 Grad sein wird, aber dann öffnen Sie die Temperaturtabelle und verstehen, dass diese +15 nachts sein werden und die Temperatur tagsüber niedriger sein wird! Diese Situation wird als Temperaturumkehr bezeichnet, wenn es nachts wärmer ist als tagsüber. Das Problem bei der Ableitung der maximalen und minimalen Temperaturen besteht darin, dass die Werte von min und max aus der gesamten Zeitreihe erfasst werden, ohne Tag und Nacht zu teilen. Aus Sicht des Laien ist dies ein Scherz. Alle Seiten sündigen. Die maximale Temperatur wird normalerweise von 08 bis 20 Stunden festgelegt, abhängig von der Jahreszeit, den Wetterbedingungen und den Koordinaten der Wetterstation. Das Minimum wird je nach Jahreszeit und Wetterbedingungen zwischen 20 und 08 Stunden eingehalten. Dies wird als meteorologischer Tag bezeichnet. Beispielsweise sendet die Hauptwetterstation in
Moskau am VDNKh eine maximale Temperatur von 21 Stunden und eine minimale von 9 Stunden.
Im Folgenden habe ich Situationen mit atypischem Temperaturverhalten angeführt, in denen es wichtig ist, die maximalen und minimalen Temperaturen nicht aus der gesamten Zeitreihe, sondern in streng festgelegten Intervallen zu erfassen. Wenn die Bedingungen nicht erfüllt sind, wird der Benutzer trotz der qualitativen Prognose getäuscht.
Ein weiteres Problem ist, dass Yandex vor einigen Jahren begann, Klimadaten für eine Langzeitprognose herauszugeben, was nicht ganz richtig ist. Yandex hat in den letzten 7 Jahren beschlossen, rohe CFSR-Computer-Reanalyse-Dateien (NCEP) zu verwenden, um eine kleine Klimaprobe zu erstellen. Jetzt haben sie auf einen Durchschnittszeitraum von 10 Jahren umgestellt, was die Situation nicht ändert. Ebenfalls auf der Website erschien der Parameter "Wahrscheinlichkeit des Niederschlags", der in den letzten 10 Jahren auf der Grundlage einer Computer-Reanalyse auf ähnliche Weise berechnet wurde, aber es gibt ein ernstes Problem. Die Computer-Reanalyse modelliert konvektive Niederschläge und leichten Schneefall im Winter sehr schlecht, sodass Yandex eine Wahrscheinlichkeit von 0% angeben konnte. Laut Wetterstation waren es 50%, nur weil die Wetterstation über einen Niederschlagsmesser verfügt, der realen Niederschlag aufzeichnet, nicht virtuellen . Daher ist es korrekter, Daten über eine Wetterstation zu mitteln, als über eine Computer-Reanalyse. Ich schrieb an Yandex und erhielt die Antwort: „Wir haben es (Hinweis beachten) zur Liste der Angebote unserer Benutzer hinzugefügt. Unsere Experten machen sich immer mit diesen Ideen vertraut, wenn sie Änderungen am Service vorbereiten, und versuchen, sie nach Möglichkeit zu berücksichtigen. “ Nach 6 Monaten hat sich nichts geändert.
Bleib am LebenIch schlug Yandex außerdem vor, Prognosen des Langzeitklimamodells CFSv2 zu verwenden, anstatt die Daten für 10 Jahre zu mitteln. Es wird viermal täglich aktualisiert und berücksichtigt die Prognose für 9 Monate im Voraus. Natürlich sprechen wir über das Erhalten der durchschnittlichen Daten des Jahrzehnts oder des Monats. Dies ist jedoch eine echte Prognose, keine historische Information. Zum Beispiel verrät das Modell jetzt, dass der
November im europäischen Teil Russlands warm und trocken sein wird .
Es war besonders lustig zu sehen, wie Yandex Prognosekarten auf epische Weise herausbrachte, obwohl zu diesem Zeitpunkt bereits earth.nullschool.net, windytv.com und ventusky.com existierten. Diese Dienste bieten ein Vielfaches an Informationen zu verschiedenen Modellen. Yandex schrieb, dass der Hauptunterschied zu ihnen darin besteht, dass sie eine höhere Genauigkeit haben. Gut, gut.
Das Problem der NachtkühlungIn der synoptischen Meteorologie ist das Problem der Vorhersage von Nachttemperaturen unter Bedingungen der antizyklonalen Luftkühlung immer noch ein akutes Problem. Was ist das Problem? Das Problem ist, dass Computermodelle in einer solchen synoptischen Situation fast immer die Temperatur erhöhen. Zum Beispiel sinkt in Kurgan nach den meisten Prognosen nachts die Temperatur auf -30 Grad: Es wird klar sein, der Druck wird steigen, der Kern des Antizyklons wird über das Gebiet gehen. Ideale Bedingungen zum Kühlen. Tatsächlich kann das Minimum jedoch auf -35 ...- 37 Grad fallen! Als Yandex das Meteum startete, dachte ich, dass es endlich möglich sein würde, dieses Problem zu lösen. Aber schon in diesem Winter erhöht Yandex die Nachttemperatur unter Kühlbedingungen weiter. Derzeit gibt es weltweit nur zwei Modelle, die diese Temperatur angemessen berechnen können. Das erste ist das kanadische GEM-Modell. Die zweite ist die nordamerikanische NAEFS. , , , . , .
, «» - . , intellicast, meteoinfo , . Gismeteo meteovesti.ru
, . – , . – . , , , , , , , , .