कैसे यैंडेक्स ने रडार और सैटेलाइट का उपयोग करके एक वैश्विक वर्षा का अनुमान लगाया

Yandex.Weather टीम की Habré पर नई तकनीकों के बारे में बात करने की परंपरा है। हमने पहले से ही इस बारे में बात की थी कि कैसे मशीन सीखने के तरीकों ने हमें अधिक सटीक मौसम पूर्वानुमान बनाने की अनुमति दी है, साथ ही साथ तंत्रिका नेटवर्क और रडार डेटा वर्षा की भविष्यवाणी करने में कैसे मदद करते हैं।

आज हम Habr के पाठकों को नई तकनीक के बारे में बताएंगे, जिसकी मदद से हम उन मिनटों तक सटीक रूप से वर्षा की भविष्यवाणी करने में सक्षम थे, जहाँ राडार का कोई डेटा नहीं है। और उन्होंने इस उपग्रह चित्रों के साथ हमारी मदद की।


अंतरिक्ष से मेटोसैट -8 उपग्रह चित्र (स्रोत: EUMETSAT )

राडार और विज्ञान के बारे में

रूस के मध्य भाग के अभेद्य अविश्वसनीय रूप से भाग्यशाली थे, क्योंकि यह यहां था कि रोशाइड्रोमेट मौसम रडार स्थापित किए गए थे - आधुनिक उपकरण जो आपको रडार स्थापना बिंदु से 250 किलोमीटर के दायरे में एक वर्षा मानचित्र प्राप्त करने की अनुमति देते हैं। इसी समय, इस मानचित्र का स्थानिक रिज़ॉल्यूशन 2x2 किलोमीटर प्रति पिक्सेल है, और दो लगातार छवियों के बीच का अंतराल केवल 10 मिनट है।

बाएं से पता चलता है कि मौसम रडार कैसा दिखता है (स्रोत: LEMZ )

एक साधारण व्यक्ति के लिए इसका क्या मतलब है जो मौसम में रुचि रखता है? एक रडार छाता द्वारा कवर किए गए क्षेत्रों में, वर्षा एक आवासीय तिमाही के लिए सटीक बताई जा सकती है। इस तरह के डेटा पारंपरिक मौसम पूर्वानुमान को बहुत स्पष्ट करते हैं, क्योंकि वे इस बारे में जानकारी देते हैं कि कुछ दस मिनट पहले सचमुच क्या हुआ था। रडार के लाभों के बारे में अधिक विवरण हमारे पिछले लेख में वर्णित हैं। अब उनकी कमियों पर विचार करें।

मुख्य एक खराब मापनीयता है, जो इस तरह के एक मापने वाले उपकरण की भारी लागत और डिजाइन की जटिलता से जुड़ा है। स्मरण करो कि अब केवल रूस के यूरोपीय क्षेत्र का हिस्सा है, साथ ही बाराबिन्स्क और व्लादिवोस्तोक, राडार द्वारा कवर किए गए हैं। इसके अलावा, रडार अवलोकन आसपास की इमारतों से पीड़ित हैं - उदाहरण के लिए, ऊंची इमारतें पूरे क्षेत्रों में दृश्य को अस्पष्ट कर सकती हैं, जो रडार छवियों से प्राप्त वर्षा क्षेत्रों की गुणवत्ता को प्रभावित करती हैं। उपलब्ध राडार में से प्रत्येक पर औसतन कई महीनों तक देखे जाने का एक उदाहरण नीचे दिए गए उदाहरण में दिखाया जा सकता है।


कई महीनों के औसत रडार माप

जैसा कि आप देख सकते हैं, Sheremetyevo और व्लादिवोस्तोक में स्थापित राडार की गुणवत्ता बहुत प्रभावित होती है, और एक पूरा क्षेत्र Mineralnye Vody में पड़ता है।

हम इसे अपने उपयोगकर्ताओं की शिकायतों पर देखते हैं। इसके अलावा, कम वर्षा की स्थिति में, रडार पृथ्वी की सतह की वक्रता के कारण सभी 250 किलोमीटर तक दिखाई नहीं दे सकता है, जो वर्षा को दृष्टि की रेखा के करीब निर्धारित करने की संभावना को प्रभावित करता है। इसके अलावा, रडार कभी-कभी विफल होते हैं, कभी-कभी लंबे समय तक, जिसके कारण हमारे उपयोगकर्ता पीड़ित होते हैं, जो वर्षा मानचित्र और बारिश की चेतावनी के लिए उपयोग किए जाते हैं। इस वजह से, उदाहरण के लिए, अप्रत्याशित "विस्फोट" वर्षा क्षेत्र में होते हैं, जैसा कि हाल ही में वोलोग्दा में हुआ था। जो निश्चित रूप से, सभी प्रकार के मेमों की हड़बड़ाहट के लिए एक अवसर बन जाता है।

सूचना के स्रोत के रूप में उपग्रह

राडार से जुड़े नहीं होने के लिए, हमने शाब्दिक रूप से एक अंतरिक्ष उत्पाद बनाने का फैसला किया, जो कि शीर्षक चित्र द्वारा संकेतित है। रडार माप के अलावा, उपग्रह इमेजरी के आधार पर वर्षा का अनुमान लगाने के लिए इसी तरह के दृष्टिकोण मौजूद हैं। विशेष मौसम संबंधी उपग्रहों का एक समूह है (कक्षा में लगभग 30 उपकरण हैं): दोनों ध्रुवीय-परिक्रमा करते हैं, जो पृथ्वी को चित्रों के साथ कवर करते हैं, जैसे एक गेंद के चारों ओर एक धागा घाव, और भूस्थैतिक - उपग्रह पृथ्वी की सतह से लगभग 36,000 किलोमीटर की ऊंचाई पर स्थित हैं और सिंक्रनाइज़ेशन के साथ घुमाते हैं। भूमध्य रेखा के ऊपर पृथ्वी का घूमना। दूसरे प्रकार के उपग्रहों की कक्षा की ख़ासियत आपको एक ही बिंदु पर लगातार "लटका" करने की अनुमति देती है और लेख की शुरुआत के समान चित्र प्राप्त करती है। भूस्थैतिक साइटों के उपग्रह नक्षत्र इन उद्देश्यों के लिए यूरोपीय उपग्रहों ( मेटोसैट ), अमेरिकन ( जीओईएस ) और जापानी ( हिमवारी ) का उपयोग करके लगभग पूरी पृथ्वी को कवर करना संभव बनाता है। उन पर आधारित उत्पादों में 0.5 से 3 किलोमीटर प्रति पिक्सेल का स्थानिक संकल्प है, लेकिन एक समस्या है। उपग्रह भूमध्य रेखा से ऊपर लटकते हैं, इसलिए हमारे अक्षांश छवि के बहुत किनारे तक गिर जाते हैं, जिससे डेटा ज्यामितीय विकृतियों से पीड़ित होता है।

सैटेलाइट इमेजरी का पूर्वानुमान

मौसम की भविष्यवाणी के लिए उपग्रह इमेजरी का उपयोग करने का विचार नया नहीं है - उनसे मिली जानकारी का उपयोग पारंपरिक वैश्विक मौसम पूर्वानुमान मॉडल में किया जाता है। इसके अलावा, उपयोगी जानकारी उपग्रह छवियों से निकाली गई है: ज्वालामुखी राख और जंगल की आग की निगरानी से फाइटोप्लांकटन की खोज करने के लिए। बेशक, उपग्रह चित्रों का उपयोग वर्षा और उनके अल्पकालिक पूर्वानुमान की निगरानी के लिए भी किया जाता है। उदाहरण के लिए, वर्षा के साथ क्षेत्रों का पता लगाने के लिए मानक एल्गोरिदम हैं - SAFNWC , लेकिन वे केवल संवहन वर्षा के लिए अच्छी तरह से काम करते हैं। हमारे सख्त मैट्रिक्स के अनुसार जो हम एक रडार वैज्ञानिक के लिए उपयोग करते हैं, ऐसे एल्गोरिदम, अफसोस, बाहरी लोग हैं। लेकिन हम राडार डेटा पर मौजूदा समाधान के साथ गुणवत्ता में एक उत्पाद को तुलनीय बनाना चाहते थे, लेकिन वैश्विक स्तर पर भी यह स्केलेबल है। ऐसा करने के लिए, हमने प्रत्येक दृष्टिकोण की ताकत ली और मशीन सीखने के जादू को लागू किया।

सूचना के स्रोत के रूप में मेटोसैट

मानक एल्गोरिदम पर पहले प्रयोगों के बाद, हमने तय किया कि मौसम में उपग्रह विज्ञान क्या होगा। लेकिन यहां पहली समस्या उत्पन्न हुई: उपग्रह चित्र कहां प्राप्त करें? डिजिटल युग में, ऐसा लगता है कि उपग्रह की जानकारी प्राप्त करने में कोई समस्या नहीं होनी चाहिए। सब कुछ इंटरनेट पर पाया जा सकता है ... सिवाय इसके कि आपको क्या चाहिए। उपग्रहों के साथ, स्थिति इस प्रकार है: अंतरिक्ष से छवियों को जल्दी से प्राप्त करने के लिए, एक प्राप्त स्टेशन स्थापित करना आवश्यक है। मानक सेट में एक उपग्रह डिश, एक डीवीबी-एस ट्यूनर और एक कंप्यूटर शामिल है जिस पर चित्रों को संग्रहीत और संसाधित किया जाता है। हां, प्रौद्योगिकी पूरी तरह से उपग्रह टेलीविजन के अनुरूप है, केवल डिश मानव ऊंचाई से थोड़ा बड़ा है, और ट्यूनर थोड़ा अधिक महंगा है।

इस प्रकार, व्लादिमीर में हमारे नए डीसी में, उपग्रह सूचना प्राप्त करने के लिए हमारा अपना स्टेशन है। डेटा यूरोपीय दूसरी पीढ़ी के मेटियोसैट उपग्रहों से आता है। रूस के पश्चिमी भाग को कवर करने के लिए, हमने मेटोसैट -8 उपग्रह को चुना, जो 41.5 डिग्री के देशांतर पर हिंद महासागर में लटका हुआ है। तस्वीरें हर 15 मिनट में ली जाती हैं - उनके दौरान उपग्रह के दृश्य क्षेत्र का एक पूरा स्कैन होता है, जिसके बाद स्कैन फिर से शुरू होता है। इस वजह से, तस्वीरें वास्तविक समय से 15 मिनट पीछे हैं। शूटिंग 12 चैनलों में होती है: 3x3 किमी के संकल्प के साथ दृश्य और अवरक्त रेंज में 11 चैनल, साथ ही 1x1 किमी के संकल्प के साथ दृश्य स्पेक्ट्रम में 1 चैनल (विभिन्न चैनलों में शूटिंग का एक उदाहरण दाईं ओर, स्रोत: EUMETSAT ) दिखाया गया है। पूरी तस्वीर में एक आधुनिक स्मार्टफोन के कैमरे की तरह, 3712x3712 पिक्सेल या लगभग 14 मेगापिक्सेल का रिज़ॉल्यूशन है।

एक स्नैपशॉट को 8 भागों (अक्षांशों में धारियों) में विभाजित किया गया है, जो कभी-कभी डेटा की गुणवत्ता को प्रभावित करता है - एक भाग का नुकसान पूरी छवि को बेकार कर सकता है।

वर्षा का पता लगाना

चूंकि हमारे पहले प्रयोगों से पता चला है कि पारंपरिक दृष्टिकोणों का उपयोग करते समय उत्पाद की गुणवत्ता में गिरावट आती है, इसलिए हमने यह प्रयोग करने का फैसला किया कि हमें साधारण वैज्ञानिक के मामले में क्या सफलता मिली। तंत्रिका नेटवर्क बचाव में आए। इनपुट मापदंडों के रूप में, हमने उपग्रह इमेजरी के 11 चैनलों से जानकारी का उपयोग किया, और रडार छवियों पर प्रशिक्षित किया गया, जो एक 2x2 किलोमीटर ग्रिड पर एक ही क्षेत्र में संयुक्त था। हमने पारंपरिक दृष्टिकोणों का उपयोग किया जो कंप्यूटर दृष्टि में समान समस्याओं को हल करते हैं। आखिरी क्षण तक, दो आर्किटेक्चर ने रेसनेट-जैसे (इरिना-रड द्वारा लिखित) और यू-नेट-जैसे ( वीएलवाशकीन द्वारा लिखित ) मॉडल के आधार पर प्रतिस्पर्धा की।

ResNet का उपयोग छवि वर्गीकरण कार्यों में किया जाता है और यह बहुत गहरा हो सकता है, जबकि परतों की संख्या बढ़ने से गुणवत्ता में लगातार वृद्धि होती है। हालांकि, इस तरह की वास्तुकला में उपयोग में कमियां हैं - हम अपने भौगोलिक ग्रिड के हर बिंदु पर एक प्रशिक्षित मॉडल का उपयोग करने के लिए मजबूर हैं। एक विकल्प के रूप में, यू-नेट को चुना गया - दृढ़ तंत्रिका नेटवर्क वास्तुकला, जिसका उपयोग आमतौर पर छवि विभाजन कार्यों में किया जाता है। यह मूल रूप से बड़ी छवियों के साथ जल्दी से काम करने के लिए बायोमेडिकल उद्देश्यों के लिए विकसित किया गया था। इस तरह की वास्तुकला के साथ, यह हमारी परिकल्पनाओं का परीक्षण करने के लिए तेज़ है, इसके अलावा, हम प्रशिक्षित मॉडल का उपयोग बिंदु द्वारा नहीं कर सकते हैं, जो उपग्रह छवियों की प्रसंस्करण गति को काफी प्रभावित करता है। नीचे दो आर्किटेक्चर के लिए प्राप्त मीट्रिक की तुलना है। चूंकि हम गुणवत्ता में यू-नेट मॉडल को रेसनेट के करीब लाने में कामयाब रहे, लेकिन यू-नेट हमें उपग्रह चित्रों को तेजी से संसाधित करने की अनुमति देता है, हमने इसका उपयोग उत्पादन समाधान के रूप में किया।


यह चार्ट एफ 1 माप दिखाता है - वर्गीकरण समस्याओं में एक मानक मीट्रिक जो दिखाता है कि हमारा उपग्रह वर्षा रडार से कितना अलग है। एक परिपूर्ण मैच के साथ, यह एक के बराबर होना चाहिए। जैसा कि ग्राफ से देखा जा सकता है, वर्षा का पता लगाने की गुणवत्ता दिन के समय पर निर्भर करती है, क्योंकि दृश्यमान रेंज में छवि जानकारी का एक महत्वपूर्ण स्रोत है।

कार्य इस तथ्य से जटिल है कि आपको न केवल छवि में बादल को उजागर करने की आवश्यकता है, बल्कि यह भी निर्धारित करना है कि क्या बारिश होगी। प्रयोगों के दौरान, हमने पाया कि 11 चैनलों की जानकारी पर्याप्त नहीं है। उच्च-गुणवत्ता वाला उत्पाद बनाने के लिए, पैरामीटर को ध्यान में रखना आवश्यक है जैसे कि क्षितिज के ऊपर सूर्य का कोण, राहत की ऊंचाई, मौसम संबंधी मॉडल से आने वाले घंटों के लिए डेटा, उदाहरण के लिए, बादलों की नमी, विभिन्न स्तरों पर वातावरण में नमी, आदि।
नतीजतन, प्रशिक्षित मॉडल वर्षा को बहुत सटीकता के साथ निकालने की अनुमति देता है। तो यह आंकड़ा उपग्रहों और रडार क्षेत्र द्वारा वर्षा के सुपरपोज़िशन को दर्शाता है। यहां, वायलेट रंग रडार के बाहर के उपग्रह हैं, क्रिमसन रंग राडार और उपग्रहों के चौराहे हैं, नीले रंग का है जो उपग्रहों का पता लगाते हैं, लेकिन रडार का पता नहीं लगाते हैं, और लाल वह है जो केवल रडार का पता लगाता है। यह आंकड़ा उत्तर में एक मामूली व्यवस्थित बदलाव दिखाता है, इस तथ्य के कारण कि हम बादलों के नीचे से बारिश का पता नहीं लगाते हैं, जैसा कि रडार करते हैं, लेकिन ऊपर से, अंतरिक्ष से और एक कोण पर। यह समस्या अगली रिलीज़ में ठीक हो जाएगी, जो सटीकता में वृद्धि को प्रभावित करेगी।

उपग्रह विज्ञान

चूंकि तकनीक काफी नई है, हमने राडार को नहीं छोड़ने का फैसला किया, लेकिन उन्हें उन जगहों पर छोड़ दिया, जहां हमारे उपयोगकर्ता पहले से ही विज्ञान का उपयोग कर रहे हैं। यहां समस्या उत्पन्न होती है: एक इंटरफ़ेस में माप पद्धति में भिन्न होने वाले उत्पादों को कैसे प्रदर्शित किया जाए। हमने एक बोल्ड प्रयोग का निर्णय लिया - रडार और उपग्रहों को एक राडार वैज्ञानिक के एकल उपयोगकर्ता-अनुकूल इंटरफेस में दिखाने के लिए, उपग्रहों की मदद से क्षेत्र का विस्तार करना। इसके लिए एक बहुत बड़ा काम किया गया है, क्योंकि हमें जरूरत है, सबसे पहले, समय में उपग्रहों और राडार को समन्वित करने की, और दूसरी, राडार की दृश्यता की सीमा पर उन्हें ठीक से गोंदने की।

अपने उपयोगकर्ताओं के लिए परिचित 15-मिनट की सैटेलाइट इमेजरी को 10-मिनट के अंतराल पर लाने के लिए, हम क्रमिक सैटेलाइट इमेजरी के बीच मध्यवर्ती फ्रेम बनाने के लिए ऑप्टिकल फ्लो का उपयोग करते हैं। ऑप्टिकल फ्लो या प्रकाशीय प्रवाह एक तकनीक है जिसका उपयोग कंप्यूटर विज़न में छवियों के बीच बदलाव का पता लगाने के लिए किया जाता है। दो छवियों का उपयोग करके, हम प्रत्येक बिंदु पर छवि विस्थापन वैक्टर के एक क्षेत्र का निर्माण कर सकते हैं - एक जो हमें पिछली छवि से अगला प्राप्त करने की अनुमति देता है। ट्रांसफर वैक्टर का उपयोग करके, हम उन्हें 10-मिनट के अंतराल पर एक बार के पैमाने पर लाने के लिए मध्यवर्ती फ्रेम भी प्राप्त कर सकते हैं। समान एल्गोरिथ्म ( बोनटेक्स और रग्वेवारा के प्रयासों के माध्यम से) का उपयोग अभी भी उपग्रह चित्रों के लिए 10 मिनट के संकल्प के साथ 2 घंटे आगे की भविष्यवाणी के लिए किया जाता है, और रडार की गणना हमारे विज्ञान में वर्णित तंत्रिका नेटवर्क पर आधारित पुराने नेटवर्क के पुराने एल्गोरिदम द्वारा की जाती है। अगले अद्यतन में, हम पूरी तरह से तंत्रिका नेटवर्क वास्तुकला का उपयोग करके पूरे वर्षा क्षेत्र के हस्तांतरण पर स्विच करने की योजना बनाते हैं।

जब विषम डेटा को देखा जाता है, तो निश्चित रूप से, कभी-कभी कलाकृतियां होती हैं, उदाहरण के लिए, बाईं ओर की आकृति में। राडार के लिए मानक समस्या यहां ध्यान देने योग्य है - दृष्टि की रेखा पर वे वर्षा नहीं देखते हैं, और एक उपग्रह से जानकारी जो सफलतापूर्वक पता लगाती है कि बारिश उनके बीच त्रिकोण में आती है। अलग-अलग प्रकृति के दो डेटा क्षेत्रों को ग्लूइंग करने की समस्या को हल करने के बारे में सोचकर, हमें ऐसी समस्या याद आई। एनवीडिया, हाल ही में एक लेख में, आंशिक बातचीत का उपयोग करते हुए अनियमित छेद के लिए इमेज इनपेंटिंग, दिखाता है कि कैसे तंत्रिका नेटवर्क अनियमित मास्क से चित्र विवरण को फिर से संगठित कर सकते हैं। फिर भी एक और सम्मेलन में, यह वर्णन किया गया था कि कैसे दिमित्री उल्यानोव ने इनपैनटिंग का उपयोग करके फ्रेस्को को बहाल किया। हम अपने मामले में उसी दृष्टिकोण का उपयोग करने की योजना बनाते हैं, और पहले से ही सफल घटनाक्रम हैं जो जल्द ही उत्पादन में जाएंगे, जो हमें बारिश के तथ्य के बारे में विभिन्न स्रोतों से विषम जानकारी को सही ढंग से ध्यान में रखने की अनुमति देगा।

आगे क्या है?

अभी, हमारे 100% उपयोगकर्ताओं के लिए, एक वैज्ञानिक काम कर रहा है, जो रडार और उपग्रह माप दोनों पर बनाया गया है (धन्यवाद, अंतरिक्ष के समर्थन और बैकएंड और फ्रंट टीमों के काम के लिए)। हमें उम्मीद है कि हमारे उपयोगकर्ता, जो अपने शहर में विज्ञान की प्रतीक्षा कर रहे थे, उन्होंने इसका उपयोग करना शुरू कर दिया और आसन्न वर्षा के बारे में समय पर जानकारी प्राप्त की। फिलहाल, क्षेत्र उत्तर और पूर्व (ओब नदी के पूर्व में) उपग्रह के दृश्य क्षेत्र तक सीमित है। दक्षिण में, हमने अब तक इस क्षेत्र को साइप्रस के निचले हिस्से तक और पश्चिम में स्विट्जरलैंड तक सीमित कर दिया है। अब आप अपने शहर से संपर्क करते हुए मोर्चों के दृष्टिकोण को देख सकते हैं और सुंदर मौसम की विचित्रता देख सकते हैं। और कवरेज में अंतर नग्न आंखों को दिखाई देता है।



इस प्रकार, हमने अधिकांश रूस, सीआईएस और कुछ पर्यटन स्थलों को कवर किया है। बेशक, हम अपने देश के पूर्वी हिस्से के बारे में नहीं भूले - अब हम जापानी उपग्रह हिमावरी के साथ काम कर रहे हैं, जो ऑस्ट्रेलिया पर लटका हुआ है और जल्द ही वैज्ञानिक के लिए हमारी पूर्वी सीमाओं को खुश करना संभव बना देगा।

और फिर - पूरे विश्व के लिए वर्षा का एक वैश्विक मानचित्र, बचपन की बीमारियों से मुक्त, वर्षा का पता लगाने की सटीकता में वृद्धि, एक एकीकृत हस्तांतरण एल्गोरिथ्म और सभी वर्षा डेटा का सही gluing।

हमारे साथ रहें, विज्ञान का उपयोग करें, अपने इंप्रेशन और प्रतिक्रिया साझा करें।