يتمتع فريق Yandex.Weather بتقليد الحديث عن التقنيات الجديدة في حبري. لقد تحدثنا بالفعل عن الكيفية التي ساعدت بها أساليب التعلم الآلي في إنشاء توقعات أكثر دقة للطقس ، وكذلك كيف تساعد الشبكات العصبية وبيانات الرادار في التنبؤ بهطول الأمطار.
اليوم سنخبر قراء هبر عن التكنولوجيا الجديدة ، التي تمكنا من خلالها من تحقيق توقعات هطول الأمطار دقيقة إلى دقائق حتى في حالة عدم وجود بيانات من الرادارات. وقد ساعدونا في هذه الصور الفضائية.
صور الأقمار الصناعية Meteosat-8 من الفضاء (المصدر: EUMETSAT )حول الرادارات والعلوم
كان سكان الجزء المركزي من روسيا محظوظين بشكل لا يصدق ، لأنه هنا تم تثبيت رادارات الطقس Roshydromet - أدوات حديثة تسمح لك بالحصول على خريطة هطول الأمطار داخل دائرة نصف قطرها 250 كيلومترًا من نقطة تثبيت الرادار. في الوقت نفسه ، تبلغ الدقة المكانية لهذه الخريطة 2x2 كيلومتر لكل بكسل ، والفاصل الزمني بين صورتين متتاليتين هو 10 دقائق فقط.
يظهر اليسار كيف يبدو رادار الطقس (المصدر:
LEMZ )
ماذا يعني هذا للشخص العادي المهتم بالطقس؟ في المناطق التي تغطيها مظلة الرادار ، يمكن الإبلاغ عن هطول الأمطار دقيقة لربع سكني. توضح هذه البيانات بشكل كبير توقعات الطقس التقليدية ، لأنها تحمل معلومات حول ما حدث حرفياً قبل بضع دقائق. تم وصف المزيد من التفاصيل حول فوائد الرادارات في مقالتنا السابقة. الآن فكر في عيوبهم.
العامل الرئيسي هو قابلية التوسع الضعيفة ، المرتبطة بالتكلفة الهائلة لأداة القياس هذه وتعقيد التصميم. تذكر أن جزءًا فقط من الأراضي الأوروبية لروسيا ، بالإضافة إلى بارابينسك وفلاديفوستوك ، مغطى بالرادارات. بالإضافة إلى ذلك ، تعاني ملاحظات الرادار من المباني حولها - على سبيل المثال ، يمكن للمباني الشاهقة أن تحجب الرؤية في قطاعات كاملة ، مما يؤثر على جودة حقول هطول الأمطار المستلمة من صور الرادار. يوضح الشكل التوضيحي مثالاً على كيفية متوسط المشاهدات على مدار عدة أشهر عبر كل رادار متوفر.
عدة أشهر من قياسات متوسط الراداركما ترون ، تتأثر جودة الرادارات المثبتة في شيريميتيفو وفلاديفوستوك بشكل كبير ، ويقع قطاع كامل في Mineralnye Vody.
نرى هذا على شكاوى المستخدمين. أيضًا ، في حالة انخفاض هطول الأمطار ، قد لا يكون الرادار مرئيًا لجميع 250 كيلومترًا بسبب انحناء سطح الأرض ، مما يؤثر على إمكانية تحديد هطول الأمطار أقرب إلى خط البصر. بالإضافة إلى ذلك ، تفشل الرادارات ، أحيانًا لفترة طويلة ، والتي يعاني منها مستخدمونا ، الذين اعتادوا على خريطة هطول الأمطار والتحذيرات من المطر. ولهذا السبب ، على سبيل المثال ، تحدث "انفجارات" غير متوقعة في مجال هطول الأمطار ، كما كان الحال مؤخرًا في فولوغدا. والتي ، بالطبع ، تصبح مناسبة لموجة من جميع أنواع الميمات.
الأقمار الصناعية كمصدر للمعلومات
لكي لا نعلق على الرادارات ، قررنا حرفيًا أن نصنع منتجًا فضائيًا ، يتم التلميح إليه من خلال صورة العنوان. بالإضافة إلى قياسات الرادار ، توجد نُهج مماثلة لتقدير هطول الأمطار بناءً على صور الأقمار الصناعية. هناك مجموعة من سواتل الأرصاد الجوية الخاصة (يوجد حوالي 30 جهازًا في المدار): كل من المدار القطبي ، الذي يغطي الأرض بالصور ، مثل خيط ملفوف حول الكرة ، ومستقر بالنسبة إلى الأرض - تقع السواتل على ارتفاع حوالي 36000 كيلومتر من سطح الأرض وتدور بالتزامن مع دوران الأرض فوق خط الاستواء. تتيح لك خصوصية مدار النوع الثاني من الأقمار الصناعية "تعليق" باستمرار على نفس النقطة والحصول على نفس الصور كما في بداية المقالة. تتيح كوكبة الأقمار الصناعية للمواقع المستقرة بالنسبة للأرض تغطية الأرض بأكملها تقريبًا بالملاحظات باستخدام الأقمار الصناعية الأوروبية (
Meteosat ) والأمريكية (
GOES ) واليابانية (
Himawari ) لهذه الأغراض. المنتجات المستندة إليها لها دقة مكانية من 0.5 إلى 3 كيلومترات لكل بكسل ، ولكن هناك مشكلة. تتدلى الأقمار الصناعية فوق خط الاستواء ، لذا تقع خطوط العرض لدينا حتى حافة الصورة ، مما يتسبب في معاناة البيانات من التشوهات الهندسية.
توقعات صور القمر الصناعي
إن فكرة استخدام صور الأقمار الصناعية للتنبؤ بالطقس ليست جديدة - حيث يتم استخدام المعلومات منها في نماذج التنبؤ بالطقس العالمية التقليدية. بالإضافة إلى ذلك ، يتم استخراج معلومات مفيدة من صور الأقمار الصناعية: من رصد الرماد البركاني وحرائق الغابات إلى العثور على العوالق النباتية. بالطبع ، تُستخدم صور الأقمار الصناعية أيضًا لرصد هطول الأمطار والتنبؤ بها على المدى القصير. على سبيل المثال ، هناك خوارزميات قياسية للكشف عن المناطق ذات هطول الأمطار -
SAFNWC ، لكنها تعمل بشكل جيد فقط من أجل هطول الأمطار. وفقًا لمقاييسنا الصارمة التي نستخدمها لعالم الرادار ، مثل هذه الخوارزميات ، للأسف ، هم من الغرباء. لكننا أردنا أن نجعل منتجًا قابلاً للمقارنة من حيث الجودة مع الحل الحالي لبيانات الرادار ، ولكن أيضًا قابل للتطوير عالميًا. للقيام بذلك ، اتخذنا نقاط القوة لكل نهج وتطبيق سحر التعلم الآلي.
Meteosat كمصدر للمعلومات
بعد التجارب الأولى على الخوارزميات القياسية ، قررنا ما هو علم الأقمار الصناعية في الطقس. ولكن هنا نشأت المشكلة الأولى: من أين تحصل على صور الأقمار الصناعية؟ في العصر الرقمي ، يبدو أنه لا ينبغي أن تكون هناك مشاكل في الحصول على معلومات الأقمار الصناعية. يمكن العثور على كل شيء على الإنترنت ...
باستثناء ما تحتاجه. مع الأقمار الصناعية ، يكون الوضع كما يلي: من أجل استقبال الصور بسرعة من الفضاء ، من الضروري إنشاء محطة استقبال. تتضمن المجموعة القياسية صحن أقمار صناعية وموالف DVB-S وجهاز كمبيوتر يتم تخزين الصور ومعالجتها. نعم ، التكنولوجيا مماثلة تمامًا لتلفزيون الأقمار الصناعية ، فقط الطبق أكبر قليلاً من ارتفاع الإنسان ، والموالف أغلى قليلاً قليلاً.
وهكذا ، في DC الجديد الخاص بنا في فلاديمير ، لدينا محطة خاصة بنا لاستقبال معلومات الأقمار الصناعية. تأتي البيانات من الجيل الثاني من سواتل Meteosat الأوروبية. لتغطية الجزء الغربي من روسيا ، اخترنا القمر الصناعي Meteosat-8 ، الذي يتدلى فوق المحيط الهندي عند خط طول 41.5 درجة.
يتم التقاط الصور كل 15 دقيقة - يتم خلالها مسح كامل للمنطقة المرئية من القمر الصناعي ، وبعد ذلك يبدأ الفحص مرة أخرى. وبسبب هذا ، فإن الصور متأخرة 15 دقيقة عن الوقت الحقيقي. يتم التصوير في 12 قناة: 11 قناة في النطاقات المرئية والأشعة تحت الحمراء بدقة 3x3 كم ، وكذلك قناة واحدة في الطيف المرئي بدقة 1x1 كم (يتم عرض مثال على التصوير في قنوات مختلفة على اليمين ، المصدر:
EUMETSAT ). تبلغ دقة الصورة الكاملة 3712 × 3712 بكسل أو حوالي 14 ميجابكسل ، مثل كاميرا الهاتف الذكي الحديث.
تنقسم اللقطة إلى 8 أجزاء (خطوط في خطوط العرض) ، والتي تؤثر في بعض الأحيان على جودة البيانات - فقد يؤدي فقدان جزء واحد إلى جعل الصورة بأكملها عديمة الفائدة.
كشف هطول الأمطار
منذ أن أظهرت تجاربنا الأولى أن جودة المنتج عند استخدام الأساليب التقليدية تعاني ، قررنا استخدام ما جلب لنا النجاح في حالة العالم العادي. جاءت الشبكات العصبية للإنقاذ. كمعلمات إدخال ، استخدمنا معلومات من 11 قناة من صور الأقمار الصناعية ، وتم تدريبنا على صور الرادار ، مجتمعة في حقل واحد على شبكة 2x2 كيلومتر. استخدمنا الأساليب التقليدية التي تحل مشاكل مماثلة في رؤية الكمبيوتر. حتى اللحظة الأخيرة ، تنافس بنيان معماريان على أساس ResNet-like (من تأليف
irina-rud ) و U-Net-like (من تأليف
vlivashkin ).
تُستخدم ResNet في مهام تصنيف الصور ويمكن أن تكون عميقة جدًا ، بينما تؤدي زيادة عدد الطبقات إلى زيادة مطردة في الجودة. ومع ذلك ، فإن مثل هذه العمارة لها عيوب في الاستخدام - فنحن مضطرون لاستخدام نموذج مدرب في كل نقطة من شبكتنا الجغرافية. كبديل ، تم اختيار U-net - بنية الشبكة العصبية التلافيفية ، والتي تُستخدم عادةً في مهام تجزئة الصورة. تم تطويره في الأصل لأغراض طبية حيوية للعمل بسرعة مع الصور الكبيرة. مع مثل هذه البنية ، من الأسرع اختبار فرضياتنا ، بالإضافة إلى ذلك ، يمكننا استخدام النموذج المدرّب وليس نقطة بنقطة ، مما يؤثر بشكل كبير على سرعة معالجة صور الأقمار الصناعية. فيما يلي مقارنة بين المقاييس التي تم الحصول عليها للبنيتين. نظرًا لأننا تمكنا من تقريب طراز U-net من ResNet في الجودة ، لكن U-net تسمح لنا بمعالجة صور الأقمار الصناعية بشكل أسرع ، استخدمناها كحل إنتاج.
يوضح هذا الرسم البياني مقياس F1 - مقياس قياسي في مشاكل التصنيف يوضح مدى اختلاف هطول الأمطار عبر القمر الصناعي عن الرادار. مع تطابق مثالي ، يجب أن تكون مساوية لواحد. كما يمكن رؤيته من الرسم البياني ، تعتمد جودة الكشف عن هطول الأمطار على الوقت من اليوم ، لأن الصورة في النطاق المرئي مصدر مهم للمعلومات.
إن المهمة معقدة بحقيقة أنك لا تحتاج فقط إلى تسليط الضوء على السحابة في الصورة ، ولكن أيضًا لتحديد ما إذا كانت ستمطر. خلال التجارب ، وجدنا أن المعلومات من 11 قناة ليست كافية. لصنع منتج عالي الجودة ، من المهم أن تأخذ في الاعتبار معلمات مثل زاوية الشمس فوق الأفق ، وارتفاع الإغاثة ، وبيانات الساعات القادمة من نموذج الأرصاد الجوية ، على سبيل المثال ، محتوى الرطوبة في السحب ، والرطوبة في الغلاف الجوي على مختلف المستويات ، وما إلى ذلك.
ونتيجة لذلك ، يسمح النموذج المدرب باستخراج الترسيب بدقة كبيرة. لذلك يوضح الشكل تراكب هطول الأمطار بواسطة الأقمار الصناعية ومجال الرادار. هنا ، اللون البنفسجي هو الأقمار الصناعية خارج الرادار ، واللون القرمزي هو تقاطع الرادار والأقمار الصناعية ، والأزرق هو ما تكتشفه الأقمار الصناعية وليس الرادار ، والأحمر هو ما تكتشفه الرادارات فقط. يوضح الشكل تحولًا منهجيًا طفيفًا إلى الشمال ، نظرًا لأننا لا نكتشف المطر من تحت السحب ، كما تفعل الرادارات ، ولكن من الأعلى ، من الفضاء وزاوية. سيتم إصلاح هذه المشكلة في الإصدار التالي ، مما سيؤثر على زيادة الدقة.
علم الأقمار الصناعية
نظرًا لأن التكنولوجيا جديدة تمامًا ، فقد قررنا عدم التخلي عن الرادارات ، ولكن تركها في تلك الأماكن حيث اعتاد مستخدمونا بالفعل على استخدام العلم. هنا تبرز المشكلة: كيفية عرض المنتجات التي تختلف في طريقة القياس في واجهة واحدة. قررنا تجربة جريئة - لإظهار الرادارات والأقمار الصناعية في واجهة واحدة سهلة الاستخدام لعالم الرادار ، وتوسيع المنطقة بمساعدة الأقمار الصناعية. وقد تم القيام بعمل ضخم من أجل ذلك ، حيث نحتاج أولاً إلى تنسيق الأقمار الصناعية والرادارات في الوقت المناسب ، وثانيًا ، لصقها بشكل صحيح على حدود رؤية الرادارات.
لجلب صور القمر الصناعي لمدة 15 دقيقة إلى فواصل زمنية مدتها 10 دقائق مألوفة لمستخدمينا ، نستخدم التدفق البصري لإنشاء إطارات وسيطة بين صور القمر الصناعي المتتالية. التدفق البصري أو التدفق البصري هي تقنية تستخدم في رؤية الكمبيوتر لاكتشاف التحولات بين الصور. باستخدام صورتين ، يمكننا إنشاء حقل من ناقلات إزاحة الصورة في كل نقطة - واحدة تسمح لنا بالحصول على الصورة التالية من الصورة السابقة. باستخدام ناقلات النقل ، يمكننا أيضًا الحصول على إطارات وسيطة من أجل إحضارها إلى مقياس زمني واحد على فترات 10 دقائق. نفس الخوارزمية (من خلال جهود
bonext و
ruguevara ) لا تزال تستخدم للتنبؤ بساعتين قبل دقة 10 دقائق لصور الأقمار الصناعية ، ويتم حساب الرادارات بواسطة الخوارزمية القديمة المثبتة بناءً على الشبكات العصبية الموصوفة في مقالنا حول علم الرادار. في التحديث التالي ، نخطط للتبديل تمامًا إلى نقل حقل هطول الأمطار بالكامل باستخدام بنية الشبكة العصبية.
عند لصق البيانات غير المتجانسة ، بالطبع ، تحدث بعض القطع الأثرية ، على سبيل المثال ، كما هو الحال في الشكل على اليسار.
المشكلة القياسية للرادارات ملحوظة هنا - عند خط البصر لا يرون هطول الأمطار ، والمعلومات من القمر الصناعي التي تكتشف بنجاح سقوط المطر في المثلث بينهما. بالتفكير في حل مشكلة لصق مجالين للبيانات من طبيعة مختلفة ، تذكرنا مشكلة مثل inpainting. نفيديا ، في مقالة حديثة ، صورة Inpainting للثغرات غير المنتظمة باستخدام التلافيف الجزئي ،
يوضح كيف يمكن للشبكات العصبية إعادة بناء تفاصيل الصورة من الأقنعة غير المنتظمة. في مؤتمر آخر ، تم وصف كيف أن ديمتري أوليانوف باستخدام inpainting أعاد الجص. نحن نخطط لاستخدام نفس النهج في حالتنا ، وهناك بالفعل تطورات ناجحة ستذهب قريبًا إلى الإنتاج ، والتي ستسمح لنا بأخذ المعلومات غير المتجانسة من مصادر مختلفة حول حقيقة المطر بشكل صحيح.
ما هي الخطوة التالية؟
في الوقت الحالي ، بالنسبة إلى 100٪ من مستخدمينا ، يعمل عالم مبني على كل من قياسات الرادار والأقمار الصناعية (بفضل الدعم الفضائي
للإمليون وعمل الواجهة الخلفية والفرق الأمامية). نأمل أن مستخدمينا ، الذين كانوا ينتظرون العلم في مدينتهم ، بدأوا في استخدامه وتلقي معلومات في الوقت المناسب حول هطول الأمطار الوشيك. في الوقت الحالي ، تقتصر المنطقة على المنطقة المرئية للقمر الصناعي في الشمال والشرق (شرق نهر أوب). في الجنوب ، حددنا المنطقة حتى الآن في الجزء السفلي من قبرص ، وفي الغرب إلى سويسرا. الآن يمكنك مشاهدة نهج الجبهات أثناء الاقتراب من مدينتك ومشاهدة المراوغات الجوية الجميلة. والفرق في التغطية مرئي بالعين المجردة.
وهكذا ، قمنا بتغطية معظم روسيا وكومنولث الدول المستقلة وبعض الوجهات السياحية. بالطبع ، لم ننسى الجزء الشرقي من بلدنا - الآن نحن نعمل مع القمر الصناعي الياباني هيماواري ، الذي يخيم على أستراليا وسيتيح للعالم قريبًا إرضاء حدودنا الشرقية.
ثم - خريطة عالمية لهطول الأمطار للعالم كله ، خالية من أمراض الطفولة ، مع زيادة دقة الكشف عن هطول الأمطار ، وخوارزمية نقل موحدة ولصق جميع بيانات هطول الأمطار بشكل صحيح.
ابق معنا ، استخدم العلم ، شارك انطباعاتك وملاحظاتك.