Han pasado exactamente 3 años desde el lanzamiento del servicio Yandex.Meteum, que, según los desarrolladores, ofrece los pronósticos de mayor calidad entre todos los sitios de pronósticos. Es hora de hacer un balance. ¿El nuevo producto Yandex es realmente revolucionario o es solo una estrategia de marketing? Y como un equipo de científicos del Centro Hidrometeorológico de Rusia logró moverse por Yandex y crear un pronóstico verdaderamente de alta calidad.
Primero, presénteme. Mi nombre es Ilya Vinstein, soy un meteorólogo aficionado de Kurgan. He estado haciendo meteorología durante 14 años. Administro mi proyecto regional
"Weather 45" , di varias conferencias para el proyecto científico-educativo "Sala de fumadores de Gutenberg".
Meteum InicioEl problema de la calidad de las previsiones del Yandex. Meteum ”que designé a
principios de 2016 , pero en ese momento tenía una cantidad muy pequeña de datos para sacar conclusiones inequívocas. Principalmente critiqué la campaña de información que lanzó Yandex. Si al principio usaron el lema "Pronóstico preciso para el hogar", entonces lo cambiaron a "Pronóstico preciso para el distrito".
¿En qué forma de medios fue el nacimiento del Meteum? Hubo muchas publicaciones en los medios, varias publicaciones sobre Habré, luego hubo videos científicos cortos que explicaban la creación del primer servicio de pronóstico basado en una red neuronal. La creación del Meteum tuvo lugar en un momento en que las redes neuronales eran muy populares, y los medios las presentaron como una panacea que podía resolver muchos de los problemas de la humanidad.
A raíz del neuro-geoetiquetado general, Yandex decidió actualizar su sección meteorológica principal. La actualización de diseño habitual y la adición de nuevas características no son una opción, pero el objetivo principal de la actualización es atraer a una nueva audiencia de los competidores. La única forma era cambiar el paradigma de la percepción del servicio. No solo una sección del clima, sino un servicio completamente nuevo capaz de predecir el clima mejor que todos los demás competidores. No solo Yandex. El tiempo "y" Yandex. Meteum ”: un sistema capaz de producir un pronóstico preciso para una casa o área.
El problema es que el producto final es complejo en términos de evaluación y recepción de comentarios. ¿Quién verificará la calidad de los pronósticos? ¿Cómo se evaluarán los comentarios de los usuarios? En nuestro caso, el consumidor no puede evaluar la calidad del producto final, por lo tanto, puede ser "sudado", se puede hacer cualquier cosa. Los usuarios de todos los sitios pronósticos pronostican este truco.
Por lo tanto, toda la campaña de información para lanzar el Meteum parece una farsa anti-científica. Durante los 3 años, Yandex no nos ha proporcionado cifras objetivas. No hemos visto un solo informe sobre justificación.
Todos los números se redujeron a esto:
“Según nuestras propias estimaciones (por desgracia, todavía no hay medidores independientes en esta área), hoy nuestro pronóstico del tiempo es más preciso que todos los competidores que conocemos. Por ejemplo, nuestro pronóstico de temperatura de 24 horas es un 35% menor que nuestro competidor más cercano ".
Esta es una mentira absoluta. Explicaré por qué. Si el año era 1960, entonces esta declaración era absolutamente justa, pero ahora las previsiones a corto plazo ya han alcanzado un cierto límite. La lucha es por intereses e incluso décimas de porcentaje. Por ejemplo,
según el Centro Hidrometeorológico de Rusia, la precisión del pronóstico de la temperatura del aire en Rusia en 2017 por día ascendió al 93%. Estamos hablando de los pronósticos emitidos por los meteorólogos de los centros hidrometeorológicos locales. Para sitios predictivos y modelos de computadora, la precisión varía de 85% a 95%. ¡No hay un 35% aquí y no puede ser!
¿Cómo sucede esto en el mundo de la ciencia?Digamos que Yandex pudo crear un producto revolucionario que realmente supera a todos los competidores. Introduce al mundo a esta tecnología. Deje que el equipo de Yandex muestre a todo el mundo lo que lograron crear. ¿Por qué no comenzar con un artículo en una revista científica? Entiendo que puede no valer la pena revelar todas las tarjetas, porque el producto, de hecho, tiene un componente comercial, no hay nada de malo en eso, pero solo si este producto realmente funciona.
Cualquier técnica de pronóstico científico pasa la etapa de prueba. Típicamente, las liebres experimentales son datos de archivo. En algunos casos, es necesario recopilar datos durante un año o varios años, y solo luego publicar un artículo. Después de eso, el pronóstico se compara con los informes reales de la estación meteorológica. Los campos predictivos corresponden a los reales. Se calcula la masa de parámetros: error de temperatura media aritmética, error de temperatura absoluta promedio, error relativo y justificación en porcentaje. Luego, con base en los resultados de las pruebas operacionales, una comisión metodológica especial toma una decisión: recomendar el uso de este método de pronóstico o rechazar.
Y ahora una pregunta para los desarrolladores de Yandex. ¿Dónde están estos datos? ¿Dónde están estos artículos y estudios? "Tenemos los pronósticos más precisos, confíen en nosotros", dicen en Yandex. Nada que mostrar No hay nada de qué presumir.
Tenemos números, pero no se los mostraremos. No tienes documentosConjunto y pronósticos multimodeloRecientemente, entre el conjunto de pronosticadores meteorológicos, los pronósticos multimodelo y complejos han ganado gran popularidad. ¿Qué significa esto? Primero, una pequeña teoría. La fuente principal de todos los pronósticos son los modelos de computadora. Programas que simulan toda la atmósfera de la Tierra desde el suelo hasta las capas superiores de la estratosfera. El alimento principal para los modelos son
los datos satelitales en todos los rangos espectrales visibles e invisibles. Los datos de las estaciones terrestres ya no tienen una influencia tan fuerte en la calidad del pronóstico. Si la capa de la estación meteorológica se excluye de los modelos, la calidad disminuirá en un 7%, y si se excluyen los datos satelitales, en un 35-40%. En el mundo hay 11 modelos globales y una docena más regionales.
¡Los modelos de computadora son muy, muy complejos! No todos los estados pueden crear su propio modelo cualitativo. Por ejemplo, el modelo PLAV doméstico ocupa la 8ª posición en el ranking de modelos mundiales. Existe, pero prácticamente nunca se usa.
Por esta razón, la mayoría de los sitios y aplicaciones usan solo 2-3 modelos. Todo lo demás es una cuestión de procesamiento e interpretación de datos internos. Por ejemplo, ahora el mejor modelo es el Modelo europeo de predicción meteorológica a medio plazo (ECMWF). Este modelo utiliza Foreca, intellicast y Gismeteo. PERO! Como dije, el procesamiento de pronósticos se reduce a patrones internos que "pulen" los archivos de modelo sin procesar. Gismeteo lo hace peor, e Intelicast lo hace mejor. A continuación serán los números que confirman esto.
De acuerdo, lo solucioné. Una ejecución de un modelo de computadora es un pronóstico puramente determinista basado en el principio "tal cual". El principal problema de los pronósticos deterministas son los errores en los datos iniciales, que conducen al efecto mariposa. Las perturbaciones iniciales más pequeñas conducen a grandes errores en el mediano plazo. Para resolver este problema, los científicos desarrollaron
pronósticos conjuntos . Imagine un pronóstico determinista normal. Se introduce un error artificial en esta predicción utilizando un generador de números pseudoaleatorio.
Conjunto de pronósticos. Modelo estadounidense GFS. 20 miembros.Y así se hace otras 20 o 50 veces. Luego se construye un gráfico donde puede ver cuán sensible es el pronóstico a los errores en los datos iniciales. Si el pronóstico determinista da calentamiento después de 10 días, y 20 miembros del conjunto caen, es decir, dan un enfriamiento, entonces el pronóstico determinista para este período es erróneo.
Pero los científicos fueron aún más lejos. Comenzaron a sincronizar pronósticos deterministas y crear
pronósticos multimodelo , cuando el pronóstico no se basa en un modelo, sino inmediatamente en una docena.
Un pronóstico multimodelo para Moscú en el sitio web de meteoblue. 11 modelosPor ejemplo, 7 modelos producen precipitación después de 5 días, y 3 predicen el clima seco. Por lo tanto, la probabilidad de precipitación es del 70%. Juntos, se recomienda ver también el pronóstico del conjunto.
Y ahora llegamos a la esencia misma. ¿Cómo se movió el Centro Hidrometeorológico por Yandex?
Pronóstico integralEn 2014, el jefe del departamento de pronósticos hidrodinámicos a corto plazo del Centro Hidrometeorológico de Rusia y el honorable meteorólogo Alexei Bagrov, junto con su equipo, desarrollaron un
esquema estadístico simple pero fundamentalmente
nuevo para procesar datos de pronósticos brutos . Fue publicado en la revista Meteorology and Hydrology en un artículo titulado "Pronóstico integral de valores meteorológicos de superficie".
La esencia de la técnica es simple, pero esta es su superioridad. Se obtiene un pronóstico integral mediante el procesamiento estadístico de los resultados de los modelos incluidos. Al mismo tiempo, para la temperatura del aire, el viento y el punto de rocío, se utiliza un archivo de pronósticos para los 20 días anteriores para los modelos correspondientes y los datos reales en la estación, y para precipitaciones un archivo similar durante un año. El cálculo se realiza por separado para cada estación y para cada pronóstico de tiempo de entrega.
Para hacerlo aún más simple, Bagrov propone llevar a cabo un ajuste estadístico de los pronósticos de los mejores modelos en función de los datos reales de la estación meteorológica local.
La técnica se describe en detalle en el artículo mismo . Aquí me centraré en algunos puntos clave. El cálculo de las temperaturas máximas y mínimas se realiza teniendo en cuenta el error de los últimos 5 o 3 días. Por ejemplo, en los últimos 5 días, nuestros modelos han subestimado la temperatura en un promedio de 2 grados, por lo que debemos incluir este error en el último pronóstico y estabilizar el pronóstico al valor más probable. Por lo tanto, el pronóstico se corrige automáticamente, en función de las desviaciones anteriores en la dirección de exageración o subestimación.
4 años el pronóstico estaba en la fase de prueba. En septiembre de 2018, los resultados de las pruebas se publicaron en la revista
Russian Meteorology and Hydrology . Brevemente, los resultados del estudio se
anuncian aquí . Observo que los 4 años el pronóstico se publicó en el sitio web de la oficina metodológica del Centro Hidrometeorológico de Rusia. Se calculó para 224 ciudades de Rusia. Todos los meses se publicaba un informe de justificación. Continúan saliendo hasta el día de hoy.
Modesta y silenciosa: creó un mejor pronósticoEl Centro Hidrometeorológico de Rusia hizo lo que nadie más podía hacer. Recopilaron automáticamente pronósticos de 7 sitios de pronósticos diferentes y analizaron su precisión. A continuación se muestran los datos de 1,5 años, desde enero de 2016 hasta junio de 2017 para Moscú, San Petersburgo y Yakutsk.
El error absoluto promedio de los pronósticos de temperaturas mínimas (a) y máximas (b) por ciudad: Moscú, San Petersburgo, Yakutsk para el período del 1 de enero de 2016 al 30 de junio de 2017. Pronósticos del sitio web: 1 - Meteoinfo.ru; 2 - Gismeteo.ru; 3 - Fobos (meteovesti.ru); 4 - Rp5.ru; 5 - Yandex.ru; 6 - Intellicast.com; 7 - Previsión integral Bagrov.Llegamos a la esencia misma. De los datos se puede ver que el primer día de la temperatura diurna, Yandex utiliza 3 recursos a la vez: meteoinfo, intellicast y el pronóstico integral de Bagrov. Este último muestra el error más bajo durante 1-2 días. Intellicast y un pronóstico integral son líderes en 3-4 días. Yandex solo tiene 3 posiciones.
Tenga en cuenta que el Gismeteo más popular en Runet no es tan preciso. El primer día, su error promedio de 2 grados es mucho. El anti-líder de la calificación es el sitio meteovesti.ru
No piense que no hay más datos nuevos. A principios de 2018, la sección
"Evaluación de pronósticos en varios sitios de Internet" apareció en el sitio web de la oficina metodológica del Centro Hidrometeorológico de Rusia. La sección publica datos sobre 47 ciudades, tanto individualmente como juntas.
Muchos pueden decir que se trata de datos obsoletos, pero ya hay un nuevo informe de responsabilidad de octubre. Lo estudiaremos Tome una muestra de 27 ciudades para ETR.
El pronóstico diario de temperatura diaria para Yandex para un día es comparable en precisión de intellicast y un pronóstico integral. Durante los próximos 2-5 días, intellicast pasa por alto ligeramente a Yandex. Con el pronóstico de la temperatura nocturna, Meteum es un poco peor. El primer día, 3 sitios lo omiten: meteoinfo, intellicast y un pronóstico completo. Al día siguiente, la tendencia continúa. En el día 6, Yandex supera a intellicast y meteoinfo.
Para el territorio asiático, la distribución es aproximadamente similar. En casi todos los casos, Yandex pasa por alto los tres meteoinfo, intellicast y complex. Muchos han notado que el sitio web oficial de meteoinfo proporciona una precisión meritoria. Si lo es Ahora el sitio web utiliza un esquema de procesamiento de datos de modelo estadístico independiente llamado
REP (cálculo de elementos climáticos) . Este esquema no es malo, pero algo peor que un pronóstico integral. En invierno, predice mal el enfriamiento nocturno. Le llamo la atención sobre el hecho de que todos estos esquemas de procesamiento de datos se inventaron mucho antes de la creación de Yandex. Meteum
Problemas de salida y visualizaciónNo es suficiente crear un pronóstico de alta calidad; aún es necesario aprender cómo mostrarlo adecuadamente para la gente común. Cuando un usuario visita un sitio meteorológico, primero mira el pronóstico durante 10 días, obteniendo una imagen general del cambio de temperatura. Pero si profundizas, observando la temperatura, se abrirán muchos matices. Por ejemplo, el sitio dice que será +15 grados durante el día, pero luego abre la tabla de temperatura y comprende que estos +15 serán de noche, ¡y durante el día la temperatura será más baja! Esta situación se llama inversión de temperatura, cuando hace más calor por la noche que durante el día. El problema de derivar las temperaturas máximas y mínimas aquí es que los valores de min y max se capturan de toda la serie de tiempo, sin dividir el día y la noche. Desde el punto de vista del laico, esto es un engaño. Todos los sitios pecan. La temperatura máxima generalmente se fija de 08 a 20 horas, dependiendo de la temporada, las condiciones climáticas y las coordenadas de la estación meteorológica. El mínimo se observa de 20 a 08 horas, nuevamente, dependiendo de la temporada y las condiciones climáticas. Esto se llama un día meteorológico. Por ejemplo, la estación meteorológica principal en
Moscú en VDNKh envía una temperatura máxima de 21 horas y un mínimo de 9 horas.
A continuación, he citado situaciones de comportamiento de temperatura atípico cuando es importante capturar las temperaturas máximas y mínimas no de toda la serie de tiempo, sino a intervalos estrictamente establecidos. Si no se cumplen las condiciones, el usuario será engañado, incluso a pesar del pronóstico cualitativo.
Otro problema es que, hace un par de años, Yandex comenzó a entregar datos climáticos para un pronóstico a largo plazo, lo que no es del todo correcto. Yandex decidió usar archivos de reanálisis de computadora CFSR sin procesar (NCEP) en los últimos 7 años, creando una pequeña muestra del clima. Ahora han cambiado a un período promedio de 10 años, lo que no cambia la situación. También en el sitio apareció el parámetro "Probabilidad de precipitación", que se calculó de manera similar en los últimos 10 años sobre la base del reanálisis por computadora, pero hay un problema grave. El reanálisis por computadora simula muy pobremente la lluvia convectiva y las nevadas ligeras en invierno, por lo que Yandex podría dar una probabilidad del 0%, y según la estación meteorológica fue del 50%, solo porque la estación meteorológica tiene un medidor de precipitación que registra la precipitación real, no virtual . Por lo tanto, es más correcto promediar datos en una estación meteorológica, en lugar de en un reanálisis de computadora. Le escribí a Yandex y recibí la respuesta: “Lo agregamos (tenga en cuenta los consejos) a la lista de ofertas de nuestros usuarios. Nuestros expertos siempre se familiarizan con estas ideas cuando preparan cualquier cambio en el servicio e intentan, siempre que sea posible, tenerlas en cuenta ”. Después de 6 meses, nada ha cambiado.
Mantenerse vivo (s)También sugerí que Yandex use pronósticos del modelo climático a largo plazo CFSv2 en lugar de promediar datos durante 10 años. Se actualiza 4 veces al día y considera el pronóstico con 9 meses de anticipación. Por supuesto, estamos hablando de obtener la década promedio o los datos promedio mensuales. Pero este es un pronóstico real, no información histórica. Por ejemplo, ahora el modelo traiciona que
noviembre en la parte europea de Rusia será cálido y seco .
Fue especialmente divertido ver a Yandex desplegar mapas de pronósticos épicamente, aunque en ese momento ya existían earth.nullschool.net, windytv.com y ventusky.com. Estos servicios proporcionan muchas veces más información sobre varios modelos. Yandex escribió que la principal diferencia de ellos es que tienen una mayor precisión. Bien bien
El problema del enfriamiento nocturno.Ahora en meteorología sinóptica, el problema de predecir las temperaturas nocturnas bajo condiciones de enfriamiento anticiclonal del aire sigue siendo un problema grave. Cual es el problema El problema es que los modelos de computadora casi siempre en una situación tan sinóptica aumentan la temperatura. Por ejemplo, en Kurgan, según la mayoría de los pronósticos, por la noche la temperatura baja a -30 grados: será claro, la presión aumentará, el núcleo del anticiclón pasará sobre el área. Condiciones ideales para el enfriamiento. Pero, de hecho, ¡el mínimo puede caer a -35 ...- 37 grados! Cuando Yandex lanzó el Meteum, pensé que finalmente sería posible resolver este problema. Pero ya, en qué invierno Yandex continúa elevando la temperatura nocturna en condiciones de enfriamiento. Por el momento, solo hay 2 modelos en el mundo que pueden calcular adecuadamente esta temperatura. El primero es el modelo canadiense GEM. El segundo es el NAEFS norteamericano.
En otras situaciones sinópticas, estos modelos no muestran nada sobresaliente, por lo que mi tarea como pronosticador del tiempo es incluir estos modelos en el pronóstico en el momento adecuado y luego excluirlos del pronóstico en el momento correcto. El pronóstico integral de Bagrov también hace frente al enfriamiento, precisamente debido a los ajustes estadísticos basados en la estación meteorológica local.ConclusiónLos datos obtenidos nos permiten decir con bastante confianza que el pronóstico de temperatura de Yandex utilizando la tecnología Meteum no muestra resultados excepcionales en comparación con los servicios de pronóstico ya probados. Por el contrario, Yandex es inferior en calidad a recursos como intellicast, meteoinfo y el pronóstico integral de Bagrov, publicado en el sitio web de la oficina metodológica del Centro Hidrometeorológico de Rusia. Los peores servicios meteorológicos son Gismeteo y meteovesti.ruHay ciencia, pero hay marketing. Por un lado, el objetivo es lograr un resultado, en nuestro caso de alta precisión. En otro, el objetivo es obtener ganancias y obtener un logro imaginario e inflado que no tiene ningún significado práctico para el profano. Sí, el Centro Hidrometeorológico es una organización estatal que no tiene presupuestos y capacidades publicitarias como Yandex, pero lo principal es que todavía hay personas allí que no pueden crear dinero, sino ciencia.