ई-लर्निंग का उपयोग करके भूमि कवर का वर्गीकरण। भाग २

भाग 1
भाग 3

अपने कंप्यूटर को छोड़े बिना डेटा से परिणामों तक ले जाना

स्लोवेनिया में एक छोटे से क्षेत्र की छवियों का एक ढेर, और आलेख में वर्णित तरीकों का उपयोग करके प्राप्त वर्गीकृत भूमि कवर के साथ एक नक्शा।

प्रस्तावना

ई-लर्न लाइब्रेरी का उपयोग करके भूमि कवर वर्गीकरण पर लेखों की एक श्रृंखला का दूसरा भाग। हम आपको याद दिलाते हैं कि पहले लेख ने निम्नलिखित का प्रदर्शन किया:

• ईओपीच नामक अंशों में विभाजित एओआई (ब्याज का क्षेत्र)
• प्रहरी -2 उपग्रहों से चित्र और क्लाउड मास्क प्राप्त करना
• NDWI , NDVI जैसी अतिरिक्त जानकारी की गणना
• एक संदर्भ मुखौटा बनाना और इसे स्रोत डेटा में जोड़ना

इसके अलावा, हमने डेटा का एक सतही अध्ययन किया, जो मशीन सीखने में गोता लगाने से पहले एक अत्यंत महत्वपूर्ण कदम है। उपरोक्त कार्यों को ज्यूपिटर नोटबुक के रूप में एक उदाहरण द्वारा पूरक किया गया था , जिसमें अब इस लेख की सामग्री शामिल है।

इस लेख में, हम डेटा की तैयारी पूरी कर लेंगे, और 2017 में स्लोवेनिया के लिए भूमि कवर मानचित्र बनाने के लिए पहला मॉडल भी बनाएंगे।

डेटा की तैयारी

मशीन लर्निंग से सीधे संबंधित कोड की मात्रा पूर्ण कार्यक्रम की तुलना में काफी कम है। नौकरी का शेर का हिस्सा डेटा को साफ करना है, डेटा को इस तरह से हेरफेर करना है जैसे कि क्लासिफायरियर के साथ सहज उपयोग सुनिश्चित करना। काम का यह हिस्सा नीचे वर्णित किया जाएगा।

एक मशीन लर्निंग पाइप लाइन आरेख जो दिखाता है कि कोड का उपयोग केवल एमएल पूरी प्रक्रिया का एक छोटा सा अंश है। स्रोत

क्लाउड इमेज फ़िल्टरिंग

बादल वे इकाइयाँ हैं जो आमतौर पर हमारे औसत ईओपीच (1000x1000 पिक्सल, रिज़ॉल्यूशन 10 मी) से अधिक के पैमाने पर दिखाई देती हैं। इसका मतलब यह है कि किसी भी साइट को यादृच्छिक तिथियों पर बादलों द्वारा पूरी तरह से कवर किया जा सकता है। ऐसी छवियों में उपयोगी जानकारी नहीं होती है और केवल संसाधनों का उपभोग करते हैं, इसलिए हम उन्हें कुल संख्या के लिए वैध पिक्सेल के अनुपात के आधार पर छोड़ देते हैं और एक सीमा निर्धारित करते हैं। हम उन सभी पिक्सेल को वैध कह सकते हैं जिन्हें बादलों के रूप में वर्गीकृत नहीं किया गया है और वे उपग्रह छवि के अंदर स्थित हैं। यह भी ध्यान दें कि हम सेंटिनल -2 छवियों के साथ आपूर्ति किए गए मास्क का उपयोग नहीं करते हैं, क्योंकि वे पूर्ण छवियों के स्तर पर गणना करते हैं (पूर्ण एस 2 छवि का आकार 10980 × 10980 पिक्सेल, लगभग 110 × 110 किमी) है, जिसका अर्थ है कि अधिकांश भाग के लिए हमारे एओआई की आवश्यकता नहीं है। बादलों को निर्धारित करने के लिए, हम क्लाउड पिक्सल का मुखौटा प्राप्त करने के लिए s2cloudless पैकेज से एल्गोरिथ्म का उपयोग करेंगे।

हमारी नोटबुक में, दहलीज 0.8 पर सेट है, इसलिए हम केवल सामान्य डेटा से भरे चित्रों को 80% तक चुनते हैं। यह एक उच्च मूल्य की तरह लग सकता है, लेकिन चूंकि बादल हमारे एओआई के लिए बहुत बड़ी समस्या नहीं हैं, इसलिए हम इसे बर्दाश्त कर सकते हैं। यह विचार करने योग्य है कि इस दृष्टिकोण को ग्रह पर किसी भी बिंदु पर विचारपूर्वक लागू नहीं किया जा सकता है, क्योंकि आपके द्वारा चुने गए क्षेत्र को वर्ष के महत्वपूर्ण भाग के लिए बादलों के साथ कवर किया जा सकता है।

लौकिक प्रक्षेप

इस तथ्य के कारण कि छवियों को कुछ तिथियों पर छोड़ दिया जा सकता है, साथ ही असंगत एओआई अधिग्रहण तिथियों के कारण, डेटा का अभाव पृथ्वी अवलोकन के क्षेत्र में एक बहुत ही सामान्य घटना है। इस समस्या को हल करने का एक तरीका पिक्सेल वैधता (पिछले चरण से) का मुखौटा लगाना है और मूल्यों को "छेदों" में बदलना है। प्रक्षेप प्रक्रिया के परिणामस्वरूप, लापता पिक्सेल मूल्यों को एक ईओपीच बनाने के लिए गणना की जा सकती है जिसमें समान रूप से वितरित दिनों में स्नैपशॉट होते हैं। इस उदाहरण में, हमने रैखिक प्रक्षेप का उपयोग किया, लेकिन कुछ अन्य विधियां हैं, जिनमें से कुछ पहले से ही ईओ-लर्न में लागू हैं।

बाईं ओर एक बेतरतीब ढंग से चयनित एओआई से सेंटिनल -2 छवियों का एक ढेर है। पारदर्शी पिक्सल का मतलब बादलों के कारण लापता डेटा है। दाईं ओर की छवि इंटरपोलेशन के बाद स्टैक दिखाती है, जो क्लाउड मास्क को ध्यान में रखता है।

आवरण की वर्गीकरण में लौकिक जानकारी अत्यंत महत्वपूर्ण है, और अंकुर संस्कृति की पहचान के कार्य में और भी महत्वपूर्ण है। यह सब इस तथ्य के कारण है कि भूमि कवर के बारे में बड़ी मात्रा में जानकारी छिपी हुई है कि पूरे वर्ष में भूखंड कैसे बदलता है। उदाहरण के लिए, जब प्रक्षेपित NDVI मूल्यों को देखते हैं, तो आप देख सकते हैं कि जंगलों और खेतों में मूल्य वसंत / गर्मियों में अपने अधिकतम तक पहुंच जाते हैं और गिरावट / सर्दियों में दृढ़ता से गिर जाते हैं, जबकि पानी और कृत्रिम सतह इन मूल्यों को पूरे वर्ष में लगभग स्थिर रखती हैं। पानी की तुलना में कृत्रिम सतहों में थोड़ा अधिक एनडीवीआई मूल्य होते हैं, और आंशिक रूप से जंगलों और खेतों के विकास को दोहराते हैं, क्योंकि शहरों में अक्सर आप पार्क और अन्य वनस्पति पा सकते हैं। आपको छवियों के संकल्प से जुड़ी सीमाओं को भी ध्यान में रखना चाहिए - अक्सर एक पिक्सेल द्वारा कवर किए गए क्षेत्र में, आप एक ही समय में कई प्रकार के कवरेज का निरीक्षण कर सकते हैं।

पूरे वर्ष में भूमि के विशिष्ट प्रकारों से पिक्सल के लिए NDVI मूल्यों का अस्थायी विकास

नकारात्मक बफरिंग

यद्यपि कार्यों की एक विस्तृत श्रृंखला के लिए 10 मीटर की छवि का संकल्प पर्याप्त है, छोटी वस्तुओं के दुष्प्रभाव काफी महत्वपूर्ण हैं। इस तरह की वस्तुएं विभिन्न प्रकार के आवरणों के बीच की सीमा पर स्थित होती हैं, और इन पिक्सल को केवल एक प्रकार के मूल्यों को सौंपा जाता है। इसके कारण, क्लासिफायर का प्रशिक्षण करते समय, इनपुट डेटा में अतिरिक्त शोर मौजूद होता है, जिससे परिणाम बिगड़ जाता है। इसके अलावा, 1 पिक्सेल की चौड़ाई वाली सड़कें और अन्य वस्तुएं मूल नक्शे पर मौजूद हैं, हालांकि उन्हें छवियों से पहचानना बेहद मुश्किल है। हम इनपुट से लगभग सभी समस्या क्षेत्रों को हटाते हुए, संदर्भ मानचित्र में 1-पिक्सेल नकारात्मक बफरिंग लागू करते हैं।

AOI संदर्भ मानचित्र पहले (बाएं) और बाद में (दाएं) नकारात्मक बफरिंग

यादृच्छिक डेटा चयन

जैसा कि पिछले लेख में बताया गया है, पूरा एओआई लगभग 300 टुकड़ों में विभाजित है, जिनमें से प्रत्येक में ~ 1 मिलियन पिक्सेल होते हैं। यह इन समान पिक्सेल की एक बहुत प्रभावशाली राशि है, इसलिए हम समान रूप से प्रत्येक EOPatch को 12 मिलियन प्रतियों का डेटा सेट प्राप्त करने के लिए लगभग 40,000 पिक्सेल लेते हैं। चूंकि पिक्सेल समान रूप से लिए जाते हैं, इसलिए संदर्भ मानचित्र पर बड़ी संख्या में कोई फर्क नहीं पड़ता, क्योंकि यह डेटा अज्ञात है (या पिछले चरण के बाद खो गया था)। क्लासिफायर के प्रशिक्षण को आसान बनाने के लिए इस तरह के डेटा को फ़िल्टर करना समझ में आता है, क्योंकि हमें "नो डेटा" लेबल को परिभाषित करने के लिए इसे सिखाने की आवश्यकता नहीं है। परीक्षण सेट के लिए एक ही प्रक्रिया दोहराई जाती है, क्योंकि इस तरह के डेटा कृत्रिम रूप से क्लासिफायरियर भविष्यवाणियों के गुणवत्ता संकेतकों को नीचा दिखाते हैं।

डेटा पृथक्करण और सृजन

हमने EOPatch स्तर पर भी क्रमशः इनपुट डेटा को प्रशिक्षण / परीक्षण सेट में 80/20% के अनुपात में विभाजित किया है, जो हमें गारंटी देता है कि ये सेट प्रतिच्छेद नहीं करते हैं। हम एक ही तरीके से परीक्षण और क्रॉस-सत्यापन के लिए सेट में प्रशिक्षण के लिए सेट से पिक्सेल को भी विभाजित करते हैं। अलग होने के बाद, हमें आयाम (p,t,w,h,d) एक numpy.ndarray सरणी मिलता है, जहां:
p डेटा सेट में EOPatch की संख्या है
t - प्रत्येक ईओपीच के लिए प्रक्षेपित छवियों की संख्या
* w, h, d - चौड़ाई, ऊंचाई, और चित्रों में परतों की संख्या, क्रमशः।

सबसेट का चयन करने के बाद, चौड़ाई w चयनित पिक्सल की संख्या (उदाहरण के लिए, 40,000) से मेल खाती है, जबकि आयाम h 1 है। सरणी के आकार में अंतर कुछ भी नहीं बदलता है, यह प्रक्रिया केवल छवियों के साथ काम करना आसान बनाने के लिए आवश्यक है।

किसी भी छवि में सेंसर और मास्क d से डेटा प्रशिक्षण के लिए इनपुट डेटा निर्धारित करता है, जहां ऐसे उदाहरण कुल p*w*h । क्लासिफायर के लिए डेटा को सुपाच्य रूप में परिवर्तित करने के लिए, हमें सरणी के आयाम को फॉर्म के मैट्रिक्स (p*w*h, d*t) । यह निम्नलिखित कोड का उपयोग करना आसान है:

 import numpy as np p, t, w, h, d = features_array.shape #   t axis   1   3 features_array = np.moveaxis(features_array, 1, 3) #    features_array = features_array.reshape(p*w*h, t*d) 

इस तरह की प्रक्रिया से एक ही फॉर्म के नए डेटा पर एक भविष्यवाणी करना संभव हो जाएगा, और फिर उन्हें वापस कन्वर्ट करके मानक तरीकों से उन्हें कल्पना करना होगा।

मशीन लर्निंग मॉडल बनाना

क्लासिफायरियर का इष्टतम विकल्प दृढ़ता से विशिष्ट कार्य पर निर्भर करता है, और यहां तक ​​कि सही विकल्प के साथ हमें एक विशिष्ट मॉडल के मापदंडों के बारे में नहीं भूलना चाहिए, जिसे कार्य से कार्य में बदलना होगा। आमतौर पर किसी विशेष स्थिति में क्या आवश्यक है, यह कहने के लिए मापदंडों के विभिन्न सेटों के साथ कई प्रयोगों का संचालन करना आवश्यक है।

लेखों की इस श्रृंखला में, हम लाइट जीबीएम पैकेज का उपयोग करते हैं, क्योंकि यह निर्णय पेड़ों के आधार पर मॉडल के निर्माण के लिए एक सहज, तेज, वितरित और उत्पादक ढांचा है। क्लासिफायर के हाइपरपैरामीटर का चयन करने के लिए, विभिन्न दृष्टिकोणों का उपयोग कर सकते हैं, जैसे कि ग्रिड खोज , जिसे परीक्षण सेट पर परीक्षण किया जाना चाहिए। सरलता के लिए, हम इस चरण को छोड़ देंगे और डिफ़ॉल्ट मापदंडों का उपयोग करेंगे।

लाइट जीबीएम में निर्णय पेड़ों के काम की योजना। स्रोत

मॉडल का कार्यान्वयन काफी सरल है, और चूंकि डेटा पहले से ही मैट्रिक्स के रूप में आता है, हम बस इस डेटा को मॉडल के इनपुट पर फ़ीड करते हैं और प्रतीक्षा करते हैं। बधाई! अब आप सभी को बता सकते हैं कि आप मशीन सीखने में लगे हुए हैं और एक पार्टी में सबसे फैशनेबल आदमी होंगे, जबकि आपकी माँ रोबोट के विद्रोह और मानवता की मृत्यु से घबरा जाएगी।

मॉडल सत्यापन

मशीन लर्निंग में प्रशिक्षण मॉडल आसान है। कठिनाई उन्हें अच्छी तरह से प्रशिक्षित करने की है। इसके लिए, हमें एक उपयुक्त एल्गोरिथ्म, एक विश्वसनीय संदर्भ कार्ड और पर्याप्त मात्रा में कंप्यूटिंग संसाधनों की आवश्यकता है। लेकिन इस मामले में भी, परिणाम वे नहीं हो सकते हैं जो आप चाहते थे, इसलिए त्रुटि वाले मेट्रिसेस और अन्य मैट्रिक्स के साथ क्लासिफायर की जांच करना आपके काम के परिणामों में कम से कम कुछ आत्मविश्वास के लिए बिल्कुल आवश्यक है।

त्रुटि मैट्रिक्स

क्लासिफायर की गुणवत्ता का मूल्यांकन करते समय त्रुटि मैट्रीस पहली चीज है। वे संदर्भ कार्ड से प्रत्येक टैग के लिए सही और गलत तरीके से अनुमानित टैग की संख्या दिखाते हैं और इसके विपरीत। आमतौर पर, एक सामान्यीकृत मैट्रिक्स का उपयोग किया जाता है, जहां लाइनों में सभी मूल्यों को कुल राशि से विभाजित किया जाता है। इससे पता चलता है कि क्या क्लासिफायर में एक दूसरे के सापेक्ष एक निश्चित प्रकार के आवरण के प्रति पूर्वाग्रह नहीं है

प्रशिक्षित मॉडल के दो सामान्यीकृत त्रुटि मैट्रिक्स।

अधिकांश कक्षाओं के लिए, मॉडल अच्छे परिणाम दिखाता है। कुछ वर्गों के लिए, इनपुट डेटा में असंतुलन के कारण त्रुटियां होती हैं। हम देखते हैं कि समस्या है, उदाहरण के लिए, झाड़ियों और पानी, जिसके लिए मॉडल अक्सर पिक्सेल लेबल को भ्रमित करता है और उन्हें गलत तरीके से पहचानता है। दूसरी ओर, जिसे बुश या पानी के रूप में चिह्नित किया गया है, संदर्भ मानचित्र के साथ काफी अच्छी तरह से संबद्ध है। निम्नलिखित छवि से, हम देख सकते हैं कि उन वर्गों के लिए समस्याएँ पैदा होती हैं जिनके पास प्रशिक्षण की कम संख्या है - यह मुख्य रूप से हमारे उदाहरण में डेटा की थोड़ी मात्रा के कारण है, लेकिन यह समस्या किसी भी वास्तविक कार्य में हो सकती है।

प्रशिक्षण सेट में प्रत्येक वर्ग के पिक्सेल की घटना की आवृत्ति।

प्राप्तकर्ता ऑपरेटिंग विशेषता - आरओसी वक्र

क्लासिफायर एक निश्चित निश्चितता के साथ लेबल की भविष्यवाणी करते हैं, लेकिन किसी विशेष लेबल के लिए यह सीमा को बदला जा सकता है। ROC वक्र संवेदनशीलता थ्रेशोल्ड को बदलते समय सही अनुमान लगाने के लिए क्लासिफायर की क्षमता को दर्शाता है। आमतौर पर यह ग्राफ बाइनरी सिस्टम के लिए उपयोग किया जाता है, लेकिन इसका उपयोग हमारे मामले में किया जा सकता है यदि हम प्रत्येक वर्ग के लिए "लेबल बनाम अन्य सभी" विशेषता की गणना करते हैं। एक्स-अक्ष गलत-सकारात्मक परिणाम दिखाता है (हमें उनकी संख्या कम करने की आवश्यकता है), और अलग-अलग थ्रेसहोल्ड पर y- अक्ष सही-सकारात्मक परिणाम दिखाता है (हमें उनकी संख्या बढ़ाने की आवश्यकता है)। एक अच्छा क्लासिफायर एक वक्र द्वारा वर्णित किया जा सकता है जिसके तहत वक्र का क्षेत्र अधिकतम है। इस सूचक को वक्र, एयूसी के तहत क्षेत्र के रूप में भी जाना जाता है। आरओसी-घटता के ग्राफ से "बुश" वर्ग के उदाहरणों की अपर्याप्त संख्या के बारे में एक ही निष्कर्ष निकाला जा सकता है, हालांकि पानी के लिए वक्र बहुत बेहतर दिखता है - यह इस तथ्य के कारण है कि नेत्रहीन रूप से पानी अन्य वर्गों से बहुत अलग है, यहां तक ​​कि आंकड़ों में अपर्याप्त संख्या के उदाहरण भी।

आरओसी प्रत्येक वर्ग के लिए "सभी के खिलाफ एक" के रूप में, क्लासिफायर के घटता है। कोष्ठक में संख्या AUC मान हैं।

लक्षणों का महत्व

यदि आप क्लासिफायरियर की पेचीदगियों में गहराई से उतरना चाहते हैं, तो आप फ़ीचर महत्व के ग्राफ को देख सकते हैं, जो हमें बताता है कि कौन से विशेषताओं ने अंतिम परिणाम को अधिक प्रभावित किया। कुछ मशीन लर्निंग एल्गोरिदम, जैसे कि हम इस लेख में उपयोग करते हैं, इन मूल्यों को वापस करते हैं। अन्य मॉडलों के लिए, इस मीट्रिक को स्वयं माना जाना चाहिए।

उदाहरण से क्लासिफायर के लिए विशेषताओं के महत्व का मैट्रिक्स

हालांकि वसंत में अन्य संकेत (NDVI) आम तौर पर अधिक महत्वपूर्ण होते हैं, हम देखते हैं कि एक सटीक तिथि है जब संकेतों में से एक (बी 2 - नीला) सबसे महत्वपूर्ण है। यदि आप तस्वीरों को देखते हैं, तो यह पता चलता है कि इस अवधि के दौरान एओआई बर्फ में ढंका हुआ था। यह निष्कर्ष निकाला जा सकता है कि बर्फ अंतर्निहित आवरण के बारे में जानकारी को प्रकट करता है, जो सतह के प्रकार को निर्धारित करने में क्लासिफायर को बहुत मदद करता है। यह याद रखने योग्य है कि इस तरह की घटना मनाया एओआई के लिए विशिष्ट है और सामान्य तौर पर इस पर भरोसा नहीं किया जा सकता है।

बर्फ से ढका 3x3 ईओपीएच AOI भाग

भविष्यवाणी के परिणाम

सत्यापन के बाद, हम अपने मॉडल की ताकत और कमजोरियों को बेहतर ढंग से समझते हैं। यदि हम वर्तमान स्थिति से संतुष्ट नहीं हैं, तो आप पाइपलाइन में बदलाव कर सकते हैं और फिर से प्रयास कर सकते हैं। मॉडल को अनुकूलित करने के बाद, हम एक सरल ईओटैस्क को परिभाषित करते हैं जो ईओपीच और क्लासिफायर मॉडल को स्वीकार करता है, एक भविष्यवाणी करता है, और इसे टुकड़े पर लागू करता है।

AOI से एक यादृच्छिक टुकड़े के लिए प्रहरी -2 (बाएं), सत्य (केंद्र) और भविष्यवाणी (दाएं) की छवि। आप छवियों में कुछ अंतर देख सकते हैं, जिन्हें मूल नक्शे पर नकारात्मक बफरिंग के उपयोग द्वारा समझाया जा सकता है। सामान्य तौर पर, इस उदाहरण के लिए परिणाम संतोषजनक है।

आगे का रास्ता साफ है। सभी टुकड़ों के लिए प्रक्रिया को दोहराना आवश्यक है। तुम भी उन्हें GeoTIFF प्रारूप में निर्यात कर सकते हैं, और उन्हें gdal_merge.py का उपयोग करके गोंद कर सकते हैं ।

हमने अपने GeoPedia पोर्टल पर Glied GeoTIFF अपलोड किया है, आप यहां विवरणों में परिणाम देख सकते हैं

इस पोस्ट के दृष्टिकोण का उपयोग करके भूमि कवर स्लोवेनिया 2017 की भविष्यवाणी का स्क्रीनशॉट। उपरोक्त लिंक पर एक इंटरैक्टिव प्रारूप में उपलब्ध है

आप क्लासिफायर के परिणाम के साथ आधिकारिक डेटा की तुलना भी कर सकते हैं। भूमि उपयोग और भूमि कवर की अवधारणाओं के बीच अंतर पर ध्यान दें, जो अक्सर मशीन सीखने के कार्यों में पाया जाता है - प्रकृति में आधिकारिक रजिस्टरों से कक्षाओं में डेटा को मैप करना हमेशा आसान नहीं होता है। एक उदाहरण के रूप में, हम स्लोवेनिया में दो हवाई अड्डे दिखाते हैं। पहला Levets, Celje के शहर के पास है । यह हवाई अड्डा छोटा है, जिसका उपयोग मुख्य रूप से निजी जेट विमानों के लिए किया जाता है, और यह घास में कवर किया जाता है। आधिकारिक तौर पर, क्षेत्र को कृत्रिम सतह के रूप में चिह्नित किया जाता है, हालांकि क्लासिफायर क्षेत्र को घास के रूप में सही ढंग से पहचानने में सक्षम है, नीचे देखें।

छोटे खेल हवाई अड्डे के आसपास के क्षेत्र के लिए प्रहरी -2 (बाएं), सच (केंद्र), और भविष्यवाणी (दाएं) की छवि। क्लासिफायर रनवे को घास के रूप में परिभाषित करता है, हालांकि यह वर्तमान डेटा में कृत्रिम सतह के रूप में चिह्नित है।

दूसरी ओर, स्लोवेनिया के सबसे बड़े हवाई अड्डे, लजुब्लाजाना में , नक्शे पर कृत्रिम सतह के रूप में चिह्नित क्षेत्र सड़क हैं। इस मामले में, क्लासिफायरियर संरचना के बीच अंतर करता है, जबकि पड़ोसी क्षेत्र में घास और खेतों को सही ढंग से अलग करता है।

लजुबलाना के आसपास के क्षेत्र के लिए प्रहरी -2 (बाएं), सत्य (केंद्र), और भविष्यवाणी (दाएं) की छवि। क्लासिफायर रनवे और सड़कों को निर्धारित करता है, जबकि पड़ोस में घास और खेतों को सही ढंग से अलग करता है

देखा!

अब आप जानते हैं कि राष्ट्रीय स्तर पर एक विश्वसनीय मॉडल कैसे बनाया जाए! इसे अपने रिज्यूमे में शामिल करना याद रखें।