एक उदाहरण के रूप में वृक्ष की मान्यता का उपयोग करते हुए उपग्रह छवियों का विभाजन

उपग्रह या हवाई चित्रों की स्वचालित पहचान जमीन पर विभिन्न वस्तुओं के स्थान के बारे में जानकारी प्राप्त करने का सबसे आशाजनक तरीका है। मैन्युअल छवि विभाजन की अस्वीकृति विशेष रूप से प्रासंगिक है जब यह थोड़े समय में पृथ्वी की सतह के बड़े क्षेत्रों को संसाधित करने की बात आती है।

हाल ही में, मुझे सैद्धांतिक कौशल लागू करने और वास्तविक छवि विभाजन परियोजना पर मशीन सीखने के क्षेत्र में खुद को आज़माने का अवसर मिला। परियोजना का लक्ष्य वन स्टैंड की मान्यता है, अर्थात् उच्च-रिज़ॉल्यूशन उपग्रह चित्रों में पेड़ मुकुट। कटौती के तहत, मैं अपने अनुभव और परिणाम साझा करूंगा।

जब छवि प्रसंस्करण की बात आती है, तो विभाजन को निम्नलिखित परिभाषा दी जा सकती है - यह उन विशिष्ट क्षेत्रों की छवि पर मौजूद है जो समान रूप से सुविधाओं के इस स्थान में वर्णित हैं।

चमक, समोच्च, बनावट और शब्दार्थ विभाजन के बीच अंतर।

सिमेंटिक (या शब्दार्थ) छवि विभाजन छवि पर क्षेत्रों को उजागर करने के लिए है, जिनमें से प्रत्येक एक विशिष्ट विशेषता से मेल खाती है। सामान्य शब्दों में, शब्दार्थ विभाजन की समस्याओं को एल्गोरिथ्म करना मुश्किल है, इसलिए परिणामी तंत्रिका नेटवर्क जो अच्छे परिणाम दिखाते हैं, वर्तमान में छवि विभाजन के लिए व्यापक रूप से उपयोग किए जाते हैं।

समस्या का बयान

द्विआधारी विभाजन समस्या का समाधान किया जा रहा है - रंगीन चित्र (उच्च-रिज़ॉल्यूशन उपग्रह चित्र) तंत्रिका नेटवर्क के इनपुट को खिलाया जाता है, जिस पर एक ही वर्ग - पेड़ों से संबंधित पिक्सेल के क्षेत्रों को उजागर करना आवश्यक है।

स्रोत डेटा

मेरे निपटान में एक आयताकार क्षेत्र के उपग्रह छवि टाइल का एक सेट था जिसमें बहुभुज फिट बैठता है। इसके अंदर, और आपको पेड़ों को देखने की जरूरत है। बहुभुज या बहुभुज को एक जेजेन्सन फ़ाइल के रूप में प्रस्तुत किया जाता है। मेरे मामले में, टाइलें सही रंग में 256 पिक्सल के आकार के पीएनजी प्रारूप में थीं। (अफसोस, आईआर के बिना) फार्म में टाइल्स की संख्या / zz/x/y.png।

यह गारंटी दी जाती है कि सेट में सभी टाइलें वर्ष के लगभग एक ही समय (देर से वसंत - शुरुआती शरद ऋतु, एक विशेष क्षेत्र की जलवायु के आधार पर) और सतह के समान कोण पर एक दिन में ली गई उपग्रह छवियों से प्राप्त की जाती हैं, जहां मामूली बादल कवर की अनुमति थी।

डेटा की तैयारी

चूंकि वांछित बहुभुज का क्षेत्र इस आयताकार क्षेत्र से कम हो सकता है, इसलिए पहली बात यह है कि उन टाइलों को बाहर करना है जो बहुभुज की सीमाओं से परे जाते हैं। ऐसा करने के लिए, एक साधारण स्क्रिप्ट लिखी गई थी जो कि जियोसन फ़ाइल बहुभुज से आवश्यक टाइलों का चयन करती है। यह निम्नानुसार काम करता है। के साथ शुरू करने के लिए, बहुभुज के सभी कोने के निर्देशांक टाइल संख्याओं में बदल दिए जाते हैं और एक सरणी में जोड़ दिए जाते हैं। उत्पत्ति के सापेक्ष एक ऑफसेट भी है। दृश्य निरीक्षण के लिए, एक छवि उत्पन्न होती है जहां एक पिक्सेल एक टाइल के बराबर होता है। छवि में बहुभुज पहले से ही पीआईएल का उपयोग करके ऑफसेट से भरा है। उसके बाद, छवि को एक सरणी में स्थानांतरित किया जाता है, जहां से आवश्यक टाइलें चुनी जाती हैं, जो बहुभुज के अंदर आती हैं।

from PIL import Image, ImageDraw # . . . #             . img = Image.new("L", (x, y), 0) draw = ImageDraw.Draw(img) #    .     . points —  . draw.polygon(points, fill=255) img.show() mask = numpy.array(img) # . . . 

बहुभुज को टाइल्स के एक सेट में बदलने का दृश्य परिणाम

नेटवर्क मॉडल

छवि विभाजन की समस्याओं को हल करने के लिए, बहुसांस्कृतिक तंत्रिका नेटवर्क के कई मॉडल हैं। मैंने यू-नेट का उपयोग करने का निर्णय लिया, जो कि द्विआधारी छवि विभाजन के कार्यों में खुद को साबित कर चुका है। यू-नेट वास्तुकला में तथाकथित संकुचन और एक विस्तृत पथ शामिल हैं, जो उचित आकार के चरणों में प्रोब्रोस से जुड़े हैं, और पहले छवि के संकल्प को कम करते हैं, और फिर इसे बढ़ाते हैं, पहले इसे छवि डेटा के साथ जोड़ते हैं और अन्य परतों से गुजरते हैं। घुमाव। इस प्रकार, नेटवर्क एक प्रकार के फिल्टर के रूप में कार्य करता है। संपीड़ित और विघटित करने वाले ब्लॉकों को एक निश्चित आयाम के ब्लॉक के रूप में प्रस्तुत किया जाता है। और प्रत्येक ब्लॉक में बुनियादी संचालन शामिल हैं: दृढ़ संकल्प, ReLu और अधिकतम पूलिंग। केरस, टेन्सरफ्लो, कैफ, और प्योरोर्च पर यू-नेट मॉडल के कार्यान्वयन हैं। मैंने कैरस का इस्तेमाल किया।

प्रशिक्षण सेट बनाना

इस यूनेट मॉडल को सीखने के लिए, आपको छवियों की आवश्यकता है। मेरे सिर में पहली चीज ओपनचिटपार्ट डेटा लेने और उनके आधार पर प्रशिक्षण के लिए मास्क बनाने के विचार के साथ आई। लेकिन जैसा कि यह मेरे मामले में निकला, बहुभुज की सटीकता के लिए मुझे वांछित होने के लिए पत्तियों की आवश्यकता होती है। मुझे एकल पेड़ों की उपस्थिति की भी आवश्यकता थी, जो हमेशा मैप नहीं होते हैं। इसलिए, मुझे ऐसे उपक्रम को छोड़ना पड़ा। लेकिन यह कहने योग्य है, अन्य वस्तुओं के लिए, जैसे कि सड़क या भवन, यह दृष्टिकोण प्रभावी हो सकता है ।



चूंकि OSM डेटा पर आधारित प्रशिक्षण नमूने को स्वचालित रूप से जनरेट करने का विचार छोड़ना पड़ा, इसलिए मैंने एक छोटे से क्षेत्र को मैन्युअल रूप से चिह्नित करने का निर्णय लिया। ऐसा करने के लिए, मैंने JOSM संपादक का उपयोग किया, जहां मैंने उपलब्ध सब्सट्रेट के रूप में उपलब्ध इलाके की छवियों का उपयोग किया, जिसे मैंने एक स्थानीय सर्वर पर रखा। फिर एक और समस्या सामने आई - मुझे नियमित JOSM टूल्स का उपयोग करके टाइल ग्रिड के प्रदर्शन को चालू करने का अवसर नहीं मिला। इसलिए, किसी अन्य निर्देशिका से एक ही सर्वर पर .htaccess में सरल लाइनों के एक जोड़े ने फार्म ग्रिड_टाइल / z / x / y.png के किसी भी अनुरोध के लिए पिक्सेल बॉर्डर के साथ एक खाली टाइल जारी करना शुरू किया और JOSM में इस तरह की एक impromptu परत को जोड़ा। ऐसी बाइक।



सबसे पहले, मैंने लगभग 30 टाइलों को चिह्नित किया। JOSM में ग्राफिक्स टैबलेट और "फास्ट ड्रॉइंग मोड" के साथ, ज्यादा समय नहीं लगा। मैं समझ गया कि इस तरह की मात्रा पूर्ण प्रशिक्षण के लिए पर्याप्त नहीं है, लेकिन इसके साथ शुरू करने का फैसला किया। इसके अलावा, इतने डेटा पर प्रशिक्षण काफी तेजी से होगा।

प्रशिक्षण और पहला परिणाम

बिना पूर्व डेटा संवर्द्धन के नेटवर्क को 15 युगों के लिए प्रशिक्षित किया गया है। ग्राफ परीक्षण नमूने पर नुकसान और सटीकता के मूल्यों को दर्शाता है:



उन छवियों की मान्यता का परिणाम जो न तो प्रशिक्षण में थे और न ही परीक्षण नमूने में, काफी समझदार थे:



परिणामों के अधिक गहन अध्ययन के बाद, कुछ समस्याएं स्पष्ट हो गईं। कई मिसेज छवियों के छाया क्षेत्रों में थे - नेटवर्क को या तो छाया में पेड़ मिले जहां वे नहीं थे, या बिल्कुल विपरीत। यह अपेक्षित था, क्योंकि प्रशिक्षण सेट में ऐसे कुछ उदाहरण थे। लेकिन मुझे उम्मीद नहीं थी कि धातु प्रोफ़ाइल (संभवतः) से पानी की सतह और अंधेरे छतों के कुछ टुकड़े पेड़ों के रूप में पहचाने जाएंगे। लॉन के साथ गलतियाँ भी थीं। विवादास्पद वर्गों के साथ बड़ी संख्या में छवियों को जोड़कर नमूने को बेहतर बनाने का निर्णय लिया गया, इस प्रकार प्रशिक्षण नमूना लगभग दोगुना हो गया।

डेटा ऑगमेंटेशन

डेटा की मात्रा को और बढ़ाने के लिए, मैंने एक मनमाने कोण पर छवि को घुमाने का फैसला किया। सबसे पहले, मैंने मानक मॉड्यूल keras.preprocessing.image.ImageDataGenerator की कोशिश की। जब आप पैमाने को संरक्षित करते हुए घूमते हैं, तो खाली क्षेत्र छवियों के किनारों पर बने रहते हैं, जिनमें से भरना fill_mode पैरामीटर द्वारा निर्धारित किया जाता है। आप इन क्षेत्रों को केवल रंग से भर सकते हैं, इसे cval में निर्दिष्ट करके, लेकिन मैं एक पूर्ण रोटेशन चाहता था, उम्मीद है कि चयन अधिक पूर्ण होगा, और मैंने स्वयं जनरेटर को लागू किया। इससे आकार में दस गुना से अधिक की वृद्धि हुई।


fill_mode = निकटतम

मेरा डेटा जनरेटर 512x512 px के एकल स्रोत टाइल में चार पड़ोसी टाइलों को चमकता है। रोटेशन कोण को यादृच्छिक रूप से चुना जाता है, इसे ध्यान में रखते हुए, x और y के स्वीकार्य अंतराल की गणना परिणामस्वरूप टाइल के केंद्र के लिए की जाती है, जिसमें यह मूल टाइल से परे नहीं जाता है। केंद्र के निर्देशांक को अनियमित रूप से स्वीकार्य अंतरालों को ध्यान में रखते हुए चुना जाता है। बेशक, ये सभी परिवर्तन टाइल मुखौटा जोड़ी पर लागू होते हैं। यह सब पड़ोसी टाइलों के विभिन्न समूहों के लिए दोहराया जाता है। एक समूह से आप एक दर्जन से अधिक टाइलें प्राप्त कर सकते हैं, जो अलग-अलग कोणों पर घुमाए गए इलाके के विभिन्न वर्गों के साथ हैं।

 #       # image —  , center (x, y) —   , a —   , width  height —   . shape = image.shape[:2] matrix = cv2.getRotationMatrix2D( center=center, angle=a, scale=1 ) image = cv2.warpAffine( src=image, M=matrix, dsize=shape ) x = int( center[0] - width/2 ) y = int( center[1] - height/2 ) image = image[ y:y+height, x:x+width ] #  

जनरेटर के परिणाम का एक उदाहरण

अधिक डेटा के साथ सीखना

नतीजतन, प्रशिक्षण नमूने का आकार 1881 छवियां थीं, मैंने युगों की संख्या भी 30 कर दी:



मॉडल को डेटा की एक नई मात्रा पर प्रशिक्षित करने के बाद, छत और पानी के गलत विभाजन के साथ समस्याओं का पता नहीं चला। छाया में त्रुटियों से बिल्कुल छुटकारा पाना संभव नहीं था, लेकिन वे आंखों में कम हो गए, साथ ही लॉन के साथ त्रुटियां भी थीं। यह ध्यान दिया जाना चाहिए कि सामान्य रूप से त्रुटियों की विशाल बहुमत यह है कि नेटवर्क उन पेड़ों को देखता है जहां वे नहीं हैं, और इसके विपरीत नहीं। बड़ी संख्या में चैनलों के साथ उपग्रह चित्रों का उपयोग करके और विशिष्ट कार्य के लिए नेटवर्क आर्किटेक्चर को संशोधित करके प्राप्त सटीकता में सुधार किया जा सकता है।



सामान्य तौर पर, मैं किए गए कार्य के परिणाम से संतुष्ट था, और वास्तविक समस्याओं को हल करने के लिए प्रशिक्षित नेटवर्क प्रोटोटाइप लागू किया गया था। उदाहरण के लिए, मॉस्को में वनों के घनत्व की गणना: