Bagaimana Yandex membuat perkiraan curah hujan global menggunakan radar dan satelit

Tim YandexWeather memiliki tradisi berbicara tentang teknologi baru di Habré. Kami telah berbicara tentang bagaimana metode pembelajaran mesin memungkinkan kami untuk membuat ramalan cuaca yang lebih akurat, serta bagaimana jaringan saraf dan data radar membantu memprediksi curah hujan.

Hari ini kami akan memberi tahu pembaca Habr tentang teknologi baru, dengan bantuan yang kami dapat memprediksi curah hujan akurat hingga beberapa menit bahkan ketika tidak ada data dari radar. Dan mereka membantu kami dengan gambar satelit ini.


Gambar satelit Meteosat-8 dari luar angkasa (sumber: EUMETSAT )

Tentang radar dan sains

Penduduk bagian tengah Rusia sangat beruntung, karena di sinilah dipasang radar cuaca Roshydromet - alat modern yang memungkinkan Anda mendapatkan peta curah hujan dalam radius 250 kilometer dari titik pemasangan radar. Pada saat yang sama, resolusi spasial dari peta ini adalah 2x2 kilometer per piksel, dan interval antara dua gambar berturut-turut hanya 10 menit.

Kiri menunjukkan seperti apa radar cuaca (sumber: LEMZ )

Apa artinya ini bagi orang biasa yang tertarik dengan cuaca? Di daerah yang dicakup oleh payung radar, curah hujan dapat dilaporkan akurat ke tempat tinggal. Data seperti itu sangat memperjelas ramalan cuaca tradisional, karena mereka membawa informasi tentang apa yang terjadi beberapa menit yang lalu. Rincian lebih lanjut tentang manfaat radar dijelaskan dalam artikel kami sebelumnya. Sekarang pertimbangkan kekurangan mereka.

Yang utama adalah skalabilitas yang buruk, terkait dengan biaya yang sangat besar dari alat pengukur seperti itu dan kompleksitas desain. Ingatlah bahwa sekarang hanya bagian dari wilayah Eropa Rusia, serta Barabinsk dan Vladivostok, yang dilindungi oleh radar. Selain itu, pengamatan radar menderita dari bangunan di sekitarnya - misalnya, gedung tinggi dapat mengaburkan pandangan di seluruh sektor, yang memengaruhi kualitas bidang curah hujan yang diterima dari gambar radar. Contoh bagaimana pengamatan selama beberapa bulan rata-rata pada masing-masing radar yang tersedia terlihat seperti ditunjukkan pada ilustrasi di bawah ini.


Rata-rata beberapa bulan pengukuran radar

Seperti yang Anda lihat, kualitas radar yang dipasang di Sheremetyevo dan Vladivostok sangat terpengaruh, dan seluruh sektor jatuh di Mineralnye Vody.

Kami melihat ini pada keluhan dari pengguna kami. Juga, dalam kasus curah hujan rendah, radar mungkin tidak terlihat untuk semua 250 kilometer karena kelengkungan permukaan bumi, yang mempengaruhi kemungkinan menentukan curah hujan lebih dekat ke garis pandang. Selain itu, radar gagal, kadang-kadang untuk waktu yang lama, karena itulah pengguna kami menderita, yang terbiasa dengan peta curah hujan dan peringatan hujan. Karena itu, misalnya, "ledakan" yang tak terduga terjadi di bidang presipitasi, seperti yang terjadi baru-baru ini di Vologda. Yang tentu saja menjadi kesempatan untuk berbagai macam meme.

Satelit sebagai sumber informasi

Agar tidak melekat pada radar, kami benar-benar memutuskan untuk membuat produk luar angkasa, yang ditunjukkan oleh gambar judul. Selain pengukuran radar, ada pendekatan serupa untuk memperkirakan curah hujan berdasarkan citra satelit. Ada sekelompok satelit meteorologi khusus (ada sekitar 30 kendaraan di orbit): keduanya mengorbit kutub, yang menutupi Bumi dengan gambar, seperti luka benang di sekitar bola, dan geostasioner - satelit terletak di ketinggian sekitar 36.000 kilometer dari permukaan Bumi dan berputar dalam sinkronisasi dengan Rotasi bumi di atas garis khatulistiwa. Keunikan orbit jenis satelit kedua memungkinkan Anda untuk "menggantung" pada titik yang sama secara konstan dan mendapatkan gambar yang sama seperti di awal artikel. Konstelasi satelit situs geostasioner memungkinkan untuk menutupi hampir seluruh bumi dengan pengamatan menggunakan satelit Eropa ( Meteosat ), Amerika ( GOES ) dan Jepang ( Himawari ) untuk tujuan ini. Produk berdasarkan pada mereka memiliki resolusi spasial 0,5 hingga 3 kilometer per piksel, tetapi ada masalah. Satelit menggantung di atas garis khatulistiwa, sehingga garis lintang kita jatuh ke tepi gambar, yang menyebabkan data menderita distorsi geometris.

Perkiraan citra satelit

Gagasan menggunakan citra satelit untuk peramalan cuaca bukanlah hal baru - informasi dari mereka digunakan dalam model peramalan cuaca global tradisional. Selain itu, informasi yang berguna diekstraksi dari gambar satelit: dari pemantauan abu vulkanik dan kebakaran hutan hingga menemukan fitoplankton. Tentu saja, citra satelit juga digunakan untuk memantau curah hujan dan prakiraan jangka pendeknya. Sebagai contoh, ada algoritma standar untuk mendeteksi area dengan curah hujan - SAFNWC , tetapi mereka hanya bekerja dengan baik untuk curah hujan konvektif. Menurut metrik ketat kami yang kami gunakan untuk ilmuwan radar, algoritma semacam itu, sayangnya, adalah orang luar. Tetapi kami ingin membuat produk yang sebanding dalam kualitas dengan solusi saat ini pada data radar, tetapi juga dapat diukur secara global. Untuk melakukan ini, kami mengambil kekuatan dari setiap pendekatan dan menerapkan keajaiban pembelajaran mesin.

Meteosat sebagai sumber informasi

Setelah percobaan pertama pada algoritma standar, kami memutuskan ilmu satelit apa yang ada di Weather. Tapi di sini muncul masalah pertama: dari mana mendapatkan gambar satelit? Di era digital, tampaknya tidak akan ada masalah dengan memperoleh informasi satelit. Semuanya dapat ditemukan di Internet ... kecuali apa yang kamu butuhkan. Dengan satelit, situasinya adalah sebagai berikut: untuk dapat dengan cepat menerima gambar dari luar angkasa, perlu untuk membuat stasiun penerima. Perangkat standar meliputi parabola, tuner DVB-S dan komputer tempat menyimpan dan memproses gambar. Ya, teknologinya sepenuhnya analog dengan televisi satelit, hanya piringan yang sedikit lebih besar dari ketinggian manusia, dan tunernya sedikit lebih mahal.

Jadi, di DC baru kami di Vladimir, kami memiliki stasiun kami sendiri untuk menerima informasi satelit. Data berasal dari satelit Meteosat generasi kedua Eropa. Untuk menutupi bagian barat Rusia, kami memilih satelit Meteosat-8, yang menggantung di atas Samudra Hindia pada garis bujur 41,5 °. Gambar diambil setiap 15 menit - selama itu pemindaian penuh dari area yang terlihat dari satelit berlangsung, setelah itu pemindaian dimulai lagi. Karena itu, gambar berada 15 menit di belakang waktu nyata. Pemotretan terjadi dalam 12 saluran: 11 saluran dalam rentang yang terlihat dan inframerah dengan resolusi 3x3 km, serta 1 saluran dalam spektrum yang terlihat dengan resolusi 1x1 km (contoh pemotretan di saluran yang berbeda ditunjukkan di sebelah kanan, sumber: EUMETSAT ). Gambar penuh memiliki resolusi 3712x3712 piksel atau sekitar 14 megapiksel, seperti kamera smartphone modern.

Cuplikan dibagi menjadi 8 bagian (garis lintang), yang terkadang memengaruhi kualitas data - hilangnya satu bagian dapat membuat keseluruhan gambar tidak berguna.

Deteksi presipitasi

Karena percobaan pertama kami menunjukkan bahwa kualitas produk ketika menggunakan pendekatan tradisional menderita, kami memutuskan untuk menggunakan apa yang membawa kami sukses dalam kasus ilmuwan biasa. Jaringan saraf datang untuk menyelamatkan. Sebagai parameter input, kami menggunakan informasi dari 11 saluran citra satelit, dan dilatih tentang gambar radar, digabungkan menjadi satu bidang tunggal pada kisi 2x2 kilometer. Kami menggunakan pendekatan tradisional yang memecahkan masalah serupa dalam visi komputer. Hingga saat-saat terakhir, dua arsitektur bersaing berdasarkan model-model yang mirip dengan ResNet (dikarang oleh irina-rud ) dan model seperti U-Net (dikarang oleh vlivashkin ).

ResNet digunakan dalam tugas-tugas klasifikasi gambar dan bisa sangat dalam, sementara meningkatkan jumlah lapisan memberikan peningkatan kualitas yang stabil. Namun, arsitektur seperti itu memiliki kelemahan dalam penggunaan - kami terpaksa menggunakan model yang terlatih di setiap titik dari grid geografis kami. Sebagai alternatif, U-net dipilih - arsitektur jaringan saraf convolutional, yang biasanya digunakan dalam tugas segmentasi gambar. Awalnya dikembangkan untuk tujuan biomedis untuk bekerja dengan cepat dengan gambar besar. Dengan arsitektur seperti itu, lebih cepat untuk menguji hipotesis kami, di samping itu, kami dapat menggunakan model terlatih bukan titik demi titik, yang secara signifikan mempengaruhi kecepatan pemrosesan gambar satelit. Di bawah ini adalah perbandingan metrik yang diperoleh untuk kedua arsitektur. Karena kami berhasil membawa model U-net lebih dekat ke ResNet dalam kualitas, tetapi U-net memungkinkan kami untuk memproses gambar satelit lebih cepat, kami menggunakannya sebagai solusi produksi.


Bagan ini menunjukkan ukuran F1 - metrik standar dalam masalah klasifikasi yang menunjukkan betapa curah hujan satelit kami berbeda dari radar. Dengan pasangan yang sempurna, itu harus sama dengan satu. Seperti dapat dilihat dari grafik, kualitas deteksi presipitasi tergantung pada waktu hari, karena gambar dalam rentang yang terlihat adalah sumber informasi yang penting.

Tugas ini rumit oleh fakta bahwa Anda tidak hanya perlu menyorot awan dalam gambar, tetapi juga untuk menentukan apakah akan turun hujan. Selama percobaan, kami menemukan bahwa informasi dari 11 saluran tidak cukup. Untuk membuat produk berkualitas tinggi, penting untuk memperhitungkan parameter akun seperti sudut matahari di atas cakrawala, ketinggian relief, data untuk jam-jam mendatang dari model meteorologi, misalnya, kadar air awan, kelembaban di atmosfer di berbagai tingkatan, dll.
Hasilnya, model yang terlatih memungkinkan curah hujan diekstraksi dengan sangat akurat. Jadi gambar tersebut menunjukkan superposisi presipitasi oleh satelit dan medan radar. Di sini, warna ungu adalah satelit di luar radar, warna merah adalah persimpangan radar dan satelit, biru adalah apa yang dideteksi satelit tetapi tidak mendeteksi radar, dan merah adalah apa yang radar hanya mendeteksi. Gambar tersebut menunjukkan sedikit perubahan sistematis ke utara, karena fakta bahwa kita tidak mendeteksi hujan dari bawah awan, seperti radar, tetapi dari atas, dari luar angkasa dan dari sudut. Masalah ini akan diperbaiki pada rilis berikutnya, yang akan mempengaruhi peningkatan akurasi.

Ilmu satelit

Karena teknologinya cukup baru, kami memutuskan untuk tidak meninggalkan radar, tetapi meninggalkannya di tempat-tempat di mana pengguna kami sudah terbiasa menggunakan sains. Di sini muncul masalah: bagaimana menampilkan produk yang berbeda dalam metode pengukuran dalam satu antarmuka. Kami memutuskan pada percobaan yang berani - untuk menunjukkan radar dan satelit dalam antarmuka tunggal yang ramah pengguna dari ilmuwan radar, memperluas area dengan bantuan satelit. Sebuah pekerjaan besar telah dilakukan untuk ini, karena kita perlu, pertama, untuk mengoordinasikan satelit dan radar tepat waktu, dan, kedua, untuk merekatkan mereka dengan benar di perbatasan visibilitas radar.

Untuk membawa citra satelit 15 menit ke interval 10 menit yang akrab bagi pengguna kami, kami menggunakan Optical Flow untuk membuat bingkai perantara di antara citra satelit berturut-turut. Aliran optik atau aliran optik adalah teknologi yang digunakan dalam visi komputer untuk mendeteksi pergeseran antar gambar. Dengan menggunakan dua gambar, kita dapat membuat bidang vektor pemindahan gambar di setiap titik - titik yang memungkinkan kita memperoleh yang berikutnya dari gambar sebelumnya. Dengan menggunakan vektor transfer, kita juga bisa mendapatkan frame perantara untuk membawanya ke skala waktu tunggal dengan interval 10 menit. Algoritma yang sama (melalui upaya bonext dan ruguevara ) masih digunakan untuk meramalkan 2 jam ke depan dengan resolusi 10 menit untuk gambar satelit, dan radar dihitung oleh algoritma lama yang terbukti berdasarkan jaringan saraf yang dijelaskan dalam artikel kami tentang ilmu radar. Dalam pembaruan berikutnya, kami berencana untuk sepenuhnya beralih ke transfer seluruh bidang curah hujan menggunakan arsitektur jaringan saraf.

Ketika menempelkan data heterogen, tentu saja, kadang-kadang terjadi artefak, seperti pada gambar di sebelah kiri. Masalah standar untuk radar terlihat di sini - di garis pandang mereka tidak melihat curah hujan, dan informasi dari satelit yang berhasil mendeteksi hujan jatuh ke dalam segitiga di antara mereka. Berpikir tentang memecahkan masalah menempelkan dua area data yang berbeda sifatnya, kami mengingat masalah seperti inpainting. Nvidia, dalam sebuah artikel baru-baru ini, Gambar Inpainting untuk Lubang Tidak Teratur Menggunakan Konvolusi Parsial, menunjukkan bagaimana jaringan saraf dapat merekonstruksi detail gambar dari topeng tidak teratur. Pada Yet Another Conference, dijelaskan bagaimana Dmitry Ulyanov menggunakan inpainting mengembalikan fresco. Kami berencana untuk menggunakan pendekatan yang sama dalam kasus kami, dan sudah ada perkembangan sukses yang akan segera masuk ke produksi, yang akan memungkinkan kami untuk dengan benar memperhitungkan informasi heterogen dari berbagai sumber tentang fakta hujan.

Apa selanjutnya

Saat ini, untuk 100% pengguna kami, seorang ilmuwan sedang bekerja, dibangun berdasarkan pengukuran radar dan satelit (berkat dukungan ruang dari imalion dan kerja tim backend dan depan). Kami berharap bahwa pengguna kami, yang sedang menunggu ilmu pengetahuan di kota mereka, mulai menggunakannya dan menerima informasi tepat waktu tentang curah hujan yang akan datang. Saat ini, zona ini terbatas pada area satelit yang terlihat di utara dan timur (di sebelah timur Sungai Ob). Di selatan, kami sejauh ini membatasi zona di bagian bawah Siprus, dan di barat hingga Swiss. Sekarang Anda dapat menyaksikan pendekatan dari garis depan saat mendekati kota Anda dan menyaksikan keanehan cuaca yang indah. Dan perbedaan dalam cakupan terlihat dengan mata telanjang.



Dengan demikian, kami telah membahas sebagian besar Rusia, CIS dan beberapa tujuan wisata. Tentu saja, kami tidak melupakan bagian timur negara kami - sekarang kami bekerja dengan satelit Jepang Himawari, yang menggantung di Australia dan akan segera memungkinkan para ilmuwan untuk menyenangkan perbatasan timur kami.

Dan kemudian - peta curah hujan global untuk seluruh dunia, bebas dari penyakit masa kanak-kanak, dengan peningkatan akurasi deteksi curah hujan, algoritma transfer terpadu dan pengeleman yang benar dari semua data curah hujan.

Tetap bersama kami, gunakan ilmu pengetahuan, bagikan kesan dan umpan balik Anda.