समुद्री अनुसंधान में कंप्यूटर दृष्टि का उपयोग या एक मृत व्यक्ति की छाती पर 12 लोग

हार्दिक बधाई, प्रिय साथियों।
OpenDataScience समुदाय सफलतापूर्वक ML4SG पहल - मशीन लर्निंग फॉर सोशल गुड का विकास कर रहा है । इसकी रूपरेखा के भीतर, कई दिलचस्प परियोजनाएं शुरू हुई हैं, जो विभिन्न क्षेत्रों में आपके साथ हमारे जीवन को बेहतर बनाती हैं।

हम इनमें से एक प्रोजेक्ट के बारे में बात करना चाहेंगे, जिसका नाम #proj_shipwrecks है । परियोजना को ओडीएस समुदाय के सदस्यों द्वारा लॉन्च किया गया था, जो एक समय में वे क्या पसंद करते हैं, इस पर मुफ्त में काम करने के लिए सहमत थे, लेकिन किसी कारण से हाथ अभी तक नहीं पहुंचे हैं। अब यह परियोजना एक छोटे गैर-लाभकारी स्टार्टअप के रूप में विकसित हो गई है, जिसमें अनुसंधान और विकास के विभिन्न क्षेत्र हैं।

परियोजना के हिस्से के रूप में, हम समुद्री पुरातत्वविदों, जीवविज्ञानी और समुद्र विज्ञानियों से लेकर जल बचाव टीमों तक, हमारी दृष्टि में हमारी विशेषज्ञता का उपयोग करते हुए और कभी-कभी अप्रत्याशित कदमों के साथ आने वाले विभिन्न प्रकार के समुद्री अनुसंधान में लगे लोगों की मदद करने का प्रयास करते हैं।

यह सब क्या है?

संक्षेप में, हमारी परियोजना का उद्देश्य समुद्री जीवविज्ञानी और पुरातत्वविदों, जल बचाव टीमों और सभी धारियों के समुद्री शोधकर्ताओं की मदद करना है। हम सोनारों, उपग्रहों, सिंथेटिक एपर्चर राडार और बस दृश्य चित्रों और वीडियो के डेटा के साथ काम को स्वचालित करके समय और लागत को कम करने का प्रयास करते हैं।

हमारा शोध न केवल डाइविंग के लिए नए स्थानों की खोज करने में मदद करेगा, बल्कि उन लोगों की भी मदद करेगा जिनके प्रियजन गायब हैं। अगला कदम एक अलग टीम का निर्माण है जो समुद्री जीवों और जीवविज्ञानियों को समुद्री जीवन की आबादी की निगरानी करने में मदद करेगी, सील से लेकर कॉलोनी कोरल, साथ ही मौसम विज्ञानी ध्रुवीय चक्रवातों के गठन और आंदोलन की निगरानी करने के लिए।

यह परियोजना अपेक्षाकृत हाल ही में शुरू हुई, सक्रिय चरण इस साल के फरवरी-मार्च में शुरू हुआ। तब से, हमने अवधारणा पर फैसला किया, हमें एक अच्छी टीम मिली, हमने खुद को एक तरह के स्टार्टअप में व्यवस्थित किया और सीखा कि सभी प्रकार की शांत चीजें कैसे करें। लेकिन पहले बातें पहले।

हम कौन हैं

हम 12 वीं (+ -, टीम की संरचना कुछ हद तक तरल है) कनिष्ठता के अलग-अलग डिग्री के शैतानियों की तारीख है। कोई लंबे समय से न्यूरॉन्स बह रहा है, कोई सिर्फ कुर्सर्स के बाहर डीप लर्निंग की जादुई दुनिया की खोज कर रहा है। इसके अलावा, हमारी टीम पंप-अप डेवलपर्स और एक मेगा-कूल डेट इंजीनियर को नियुक्त करती है। हर कोई अलग-अलग समय पर आया था, मुख्य रूप से वर्तमान यूडीएफ सदस्यों ने परियोजना शुरू की थी, लेकिन कोई परियोजना के बारे में जानने के बाद ही वहां आया था। मई की शुरुआत में आयोजित डेटाफेस्ट के बाद हमें बड़ी संख्या में बढ़त मिली, जब टीम लगभग दोगुनी हो गई।

हम एगेल द्वारा काम करते हैं, हमारे पास एक योजना नहीं है जो दिन के अनुसार निर्धारित है, हमारे पास केवल उस अवधारणा का एक दृश्य है जहां हम आना चाहते हैं और अंत में क्या प्राप्त करना चाहते हैं, हम जो डेटा एकत्र करने में कामयाब रहे हैं, क्या यह या उस परिकल्पना पर काम करने के आधार पर, कार्य में परिवर्तन होता है। क्या आपको उस सुविधा की आवश्यकता है जिस पर पूरे साप्ताहिक स्प्रिंट ने काम किया या क्या यह अप्रचलित हो गया, क्योंकि किसी को सबसे अच्छा विचार मिला।

सामान्य तौर पर, हम मज़े करते हैं और आराम से :)

हम क्या कर रहे हैं?

जैसा कि नाम से ही स्पष्ट है, हम समुद्री अनुसंधान के विभिन्न क्षेत्रों में कंप्यूटर विज़न के उपयोग पर काम कर रहे हैं, दोनों सामाजिक भलाई के लिए और सीधे व्यापार के लिए।

आइए सामाजिक भलाई के कार्यों पर ध्यान दें और उनमें से पहले दो पर विस्तार से चर्चा करें - समुद्री पुरातत्व और खोज और बचाव

समुद्री पुरातत्व

विकिपीडिया हमें बताता है कि समुद्री पुरातत्व संबंधित भौतिक अवशेषों की जांच करके समुद्र, झीलों और नदियों के साथ मनुष्य की बातचीत का अध्ययन करता है, चाहे वह जहाजों, तटीय संरचनाओं, संबंधित संरचनाओं, कार्गो, मानव अवशेष और पानी के नीचे के परिदृश्य हों। एक संबंधित अनुशासन पानी के नीचे पुरातत्व है, जो पानी के नीचे किसी भी कलाकृतियों के माध्यम से अतीत का अध्ययन करता है।

ऐसा करना इतना महत्वपूर्ण क्यों है? सबसे पहले, पुरातत्व के लिए धन्यवाद, हम अपनी विरासत को बेहतर ढंग से जानते हैं, इस मामले में समुद्री एक, हम उन कलाकृतियों को ढूंढते हैं जो अतीत से घटनाओं पर प्रकाश डालते हैं या यहां तक ​​कि कुछ ऐतिहासिक क्षणों के बारे में हमारे दृष्टिकोण को गंभीरता से बदलते हैं। दूसरे, यह मत भूलो कि बेड़े की सक्रिय भागीदारी के साथ हमारे 2 विश्व युद्ध थे, और कई मृत नाविकों की आत्मा अभी भी भूमि पर एक सभ्य बाकी अवशेषों की प्रतीक्षा कर रही है।

यूनेस्को (बहुत अनुमानित) के अनुसार, दुनिया में लगभग 3 मिलियन मलबे हैं, जिसमें 3,500 कार्गो और यात्री जहाजों (3,500, कार्ल!), 175 युद्धपोतों और 783 पनडुब्बियों को अकेले 1939-1945 में अटलांटिक की लड़ाई में मार दिया गया था। यह सब वैभव, भगवान से मना किया, 10 प्रतिशत, या उससे भी कम पाया गया।

कंप्यूटर की दृष्टि इस सभी को भव्यता को खोजने में कैसे मदद करती है?
आखिरकार, अक्सर, मौत का एक बहुत ही अनुमानित स्थान, खुले समुद्र में एक निश्चित वर्ग, डूबे हुए जहाज के बारे में जाना जाता है, और यहां तक ​​कि सटीक भी नहीं है।

समस्या को हल करने के लिए, हमने इसे 3 भागों में विभाजित किया।

1. पहले आपको सोनार और बाथमीट्री छवियों में विसंगतियों को उजागर करते हुए एक विस्तृत वर्ग को स्कैन करने की आवश्यकता है
2. फिर हमने जो पाया, उसे समझने के लिए मिली विसंगति को वर्गीकृत करें
3. अंत में, वस्तु का एक दृश्य निरीक्षण करें

पहली दिशा में, हम सोनार छवियों (विसंगति का पता लगाने) पर अच्छी तरह से ज्ञात वस्तु का पता लगाने की समस्या को हल करते हैं, साथ ही साथ सीखने के लिए रैंक कार्य - हम इस विसंगति की "प्रासंगिकता" का निर्धारण करते हैं, अर्थात विसंगति वास्तव में एक जहाज, या एक हवाई जहाज है। उदाहरण के लिए, कुछ और मानव निर्मित, पत्थर नहीं।

इस दिशा में अगला कार्य एक विसंगति का वर्गीकरण है - यह एक जहाज है, या अभी भी एक हवाई जहाज, या शायद एक कंटेनर है। ऐसा करने के लिए, सोनार की आवृत्ति बदल जाती है, जो आपको उच्च रिज़ॉल्यूशन वाली तस्वीर प्राप्त करने और ऑब्जेक्ट को वर्गीकृत करने का प्रयास करने की अनुमति देती है।

वैसे, सोनार कैसे साइड-स्कैन करता है?

साइड स्कैन एक सोनार का उपयोग करता है जो संवेदक पथ के लिए चौड़े कोण कोण के माध्यम से समुद्र के नीचे शंक्वाकार या पंखे के आकार की दालों का उत्सर्जन करता है। इस पंखे के आकार के बीम के सीबक से ध्वनिक प्रतिबिंबों की तीव्रता अनुप्रस्थ वर्गों की एक श्रृंखला में दर्ज की गई है। यात्रा की दिशा में एक साथ सिलाई, ये टुकड़े बीम की पट्टी (कवरेज चौड़ाई) के भीतर सीबेड की एक छवि बनाते हैं। साइड-स्कैन सोनार में प्रयुक्त ध्वनि आवृत्तियां आमतौर पर 100 से 500 किलोहर्ट्ज़ की सीमा में होती हैं; उच्च आवृत्तियाँ बेहतर रिज़ॉल्यूशन देती हैं लेकिन एक छोटी रेंज।

सोनार ऑपरेशन की एक महत्वपूर्ण विशेषता यह है कि इसके द्वारा "स्कैन" की गई वस्तु में ध्वनिक छाया होती है, जिसका आकार कभी-कभी वस्तु के आकार की तुलना में अधिक अचानक होता है।

दूसरी दिशा में, दूसरी बार हम एक उच्च पद के साथ प्रत्येक विसंगति पर एक सोनार पास करते हैं और वर्गीकरण समस्या को हल करते हैं, यह निर्धारित करने की कोशिश करते हैं कि हम किस तरह के जहाज या विमान में आए थे।

पूरी चाल यह है कि अब इस तरह की खोज मैन्युअल रूप से की जाती है। ऑपरेटर बैठता है (कभी-कभी 12 घंटे के लिए!) और सोनार स्क्रीन को देखता है, यह निर्धारित करने की कोशिश कर रहा है कि वहां कुछ नीचे है या नहीं। हम जिस समाधान पर काम कर रहे हैं, वह पूरी प्रक्रिया के स्वचालन को अधिकतम करेगा।

जहाँ पैसा डेटा, लेबोव्स्की?

अध्ययन के दौरान हमने जो मुख्य समस्या का सामना किया वह सरल तथ्य है कि सार्वजनिक रूप से उपलब्ध सोनार छवियां बहुत कम हैं। लगभग 220 चित्रों, एक अच्छे डिटेक्टर और इसके अलावा, एकत्र किए गए डेटा सेट पर, क्लासिफायर सिखाने के लिए व्यावहारिक रूप से असंभव है। फिर भी, हम एक रास्ता खोजने में कामयाब रहे: हम सिर्फ अपने डेटासेट उत्पन्न करते हैं;)

संक्षेप में, दृष्टिकोण यह है:

1) बाढ़ के मामले में, जहाज सबसे अधिक बार नीचे गिरता है, कम अक्सर जहाज पर, बहुत कम ही डेक।
2) हम अभी भी जीवित जहाज की तस्वीरें लेते हैं (हवाई फोटोग्राफी, उपग्रह, ऐसे डेटासेट होते हैं, कागले पर एयरबस प्रतियोगिता से एक ही सेट, उदाहरण के लिए) और "डूब"।

"बाढ़" के लिए हम CycleGAN का उपयोग करते हैं - जनरेटिव एडवरसैरियल नेटवर्क की एक उप-प्रजाति, जो एक छवि को दूसरे में स्थानांतरित करने की शैली के लिए अनुमति देता है। लगभग 400 युगों और ~ 220 जोड़े ए और बी (जीवित और धँसा) पर प्रशिक्षण के बाद, पहले से ही पर्याप्त चित्र प्राप्त करना संभव है।

हम असली छवि सोनार से लेते हैं:

सैटेलाइट छवि:

और अंत में हमें यह चित्र मिलता है:

और हम सावधानीपूर्वक सत्यापन सेट का चयन करते हैं ताकि डिटेक्टर या क्लासिफायर का मॉडल कृत्रिम चित्रों पर वापस न हो।

अंत में, तीसरी दिशा में - दृश्य निरीक्षण और विश्लेषण - हम, अन्य बातों के अलावा, सभी समान GAN का उपयोग करके छवियों और वीडियो के रंग सुधार, डीहेज़िंग और सुपर-रिज़ॉल्यूशन की समस्याओं को हल करते हैं, लेकिन इस बार आर्किटेक्चर U-GAN, W-GAN और SRGAN।

पानी के नीचे की शूटिंग की प्रकृति ऐसी है कि प्राकृतिक प्रकाश के बहुत कम स्रोत हैं (अधिक सटीक रूप से, वे बिल्कुल मौजूद नहीं हैं), और गहरे समुद्र के वाहनों की सर्चलाइट की कृत्रिम रोशनी कम-शक्ति है।

नतीजतन, पानी के नीचे ली गई तस्वीर आमतौर पर कुछ इस तरह दिखती है:

हमारी पाइपलाइन आपको वर्तमान में इन छवियों को प्राप्त करने की अनुमति देती है:

यह वीडियो पर भी लागू होता है (वीडियो रिमोट कंट्रोल अंडरवाटर वाहन ग्नोम प्रो पर शूट किया गया था):

खोज और बचाव

यूरोपीय संघ के आंकड़ों के अनुसार , 2011 से 2017 तक, 20,000 से अधिक जहाजों ने विभिन्न घटनाओं में भाग लिया, जिसमें लगभग 7,000 लोग घायल हुए, जिनमें से 683 की मृत्यु हो गई।

घटनाएं बहुत भिन्न थीं, विभिन्न कारणों से: अंधेरे में या खराब दृश्यता की अन्य स्थितियों में एक जहाज के नियंत्रण के नुकसान से। ट्रांसपोंडर के टूटने पर जहाज खुले समुद्र में खो जाते हैं, बिजली संयंत्र विफल हो जाते हैं और जहाज को डी-एनर्जेट किया जा सकता है, अंत में, टीम के किसी व्यक्ति को एक बहती लहर से धोया जा सकता है।

हम अपने आप को किसी भी तरह से इस तरह के दुखद आंकड़ों को प्रभावित करने का लक्ष्य निर्धारित करते हैं और इसके लिए हम निम्नलिखित कार्यों का समाधान कर रहे हैं

1) सिंथेटिक एपर्चर रडार के साथ छवि का पता लगाने और वर्गीकरण
2) उपग्रह / विमान छवि द्वारा एक पोत का पता लगाने और वर्गीकरण
3) डूबे हुए लोगों की खोज और सोनार की छवियों से टूटे हुए उपकरण और कार्गो

इसके अलावा, हम सोनार से छवि में पोत के विभाजन की समस्या को भी हल करते हैं, जो हमें बाद के डाइविंग के लिए अधिक सटीक बिंदुओं को निर्धारित करने की अनुमति देगा।

आइए हम प्रत्येक कार्य पर अधिक विस्तार से ध्यान दें।

उपग्रह का पता लगाने के साथ, सब कुछ कम या ज्यादा स्पष्ट है, ऊपर वर्णित एयरबस कागले प्रतियोगिता में एक समान समस्या पहले से ही हल हो गई थी। तुम भी kaggle पर एक अच्छा डाटासेट डाउनलोड कर सकते हैं।

एसएआर छवियों के साथ, यह भी कम या ज्यादा स्पष्ट है, एक अच्छा ओपनशिपशिप डेटासेट है , जो सार्वजनिक डोमेन में है, क्योंकि यूरोपीय संघ द्वारा सेंटिनल -1 उपग्रह के प्रक्षेपण ने सार्वजनिक डोमेन में अधिक विषम डेटा बना दिया है।

एक तेज आधार रेखा, यहां तक ​​कि युगों की एक छोटी संख्या में, ResNet वास्तुकला पर एक स्वीकार्य गति दिखाती है।

आगे वर्गीकरण मुश्किल है सिवाय इसके कि मार्कअप पर बहुत सारे मानव-घंटे खर्च किए जाते हैं।

अवरक्त छवियों के मामले में कुछ और दिलचस्प है। शायद जहाजों की अवरक्त छवियों के साथ केवल एक अच्छा डेटासेट है - वीएआईएस , लेकिन यह अपेक्षाकृत छोटा है।

लेकिन, जैसा कि आप अनुमान लगा सकते हैं, स्टाइल ट्रांसफर का उपयोग करके सेट को बढ़ाने की परिकल्पना भी यहां आ सकती है। फिर भी, शुरुआती डेटासेट पर भी, हम स्याम देश के नेटवर्क पर एक अच्छा (यादृच्छिक से बेहतर) बेसलाइन क्लासिफायरफ़ायर प्राप्त करने में कामयाब रहे।

डूबे हुए लोगों का पता लगाने के साथ सब कुछ बहुत अधिक जटिल है।

सबसे पहले, कोई डेटासेट नहीं हैं।
दूसरे, वे नहीं हैं।
तीसरे, वे बिलकुल नहीं हैं।

इसके बावजूद समस्या का समाधान किया जा रहा है।

सोनार स्क्रीन पर एक डूबे हुए व्यक्ति को किसी तरह देखा जाता है:

मृत्यु के क्षण के बाद से चली गई अवधि के आधार पर, नीचे से ऊपर की ऊंचाई अलग-अलग हो सकती है।

ऐसी तस्वीरों के साथ हमें एक डेटासेट कैसे मिलता है? आप बेशक, कई पुतलों को डुबो सकते हैं और एक सोनार के साथ तस्वीरें ले सकते हैं, लेकिन एक सस्ता तरीका है।

हम मुफ्त छवि बैंकिंग साइटों पर लोगों के 3D मॉडल एकत्र कर सकते हैं, और यह बनावट या उच्च विवरण के साथ आवश्यक नहीं है। फिर या तो एक असमान तल के साथ दृश्यों को गर्म करें, या 3 डी मॉडल को ओपन सोर्स सिमुलेटर जैसे यूडब्ल्यूएसआईएम या यूयूवीसीमुलेटर, जहां पानी और उसके नीचे की सभी चीजों में से सभी कैनन के अनुसार सिम्युलेटेड हैं।

फिर आप इन दृश्यों के स्क्रीनशॉट प्राप्त कर सकते हैं, जो तब ... सही ढंग से, शैली हस्तांतरण लागू करें। GANS के देवता से अधिक GANS!

नतीजतन, पाइपलाइन इस तरह होगी:

यह दृष्टिकोण आपको अनावश्यक लागतों की आवश्यकता के बिना एक वैध डेटासेट प्राप्त करने की अनुमति देता है।

आगे की योजना

और हमारी भविष्य की योजनाएं बड़ी हैं :) हम उन सभी दिशा-निर्देशों पर काम कर रहे हैं, जो लेख की शुरुआत में उन तकनीकों और हैक्स का उपयोग करके दिखाए गए हैं, जो हमने समुद्री पुरातत्व और खोज और बचाव के लिए काम करते समय सीखे थे।

हम मॉस्को स्टेट यूनिवर्सिटी के सेंटर फॉर मरीन रिसर्च , यूएस नेशनल ओशनिक एंड एटमॉस्फेरिक एडमिनिस्ट्रेशन , एस्टोनियाई क्लाइमेट एंड एनवायर्नमेंटल मॉनिटरिंग एजेंसी क्लाइमेट 4मीडिया, साथ ही सोनार निर्माताओं और पानी के लिए खोज और बचाव के लिए जिम्मेदार सरकारी सेवाओं के साथ साझेदारी की साझेदारी कर रहे हैं।

और, ज़ाहिर है, हम और अधिक सहायकों और भागीदारों की तलाश कर रहे हैं।

सबसे पहले, हम समुद्री जीवविज्ञानी, पारिस्थितिकीविज्ञानी, पुरातत्वविदों और समुद्र विज्ञानियों के लिए खुश होंगे - हम आपको डीप लर्निंग में सिखाएंगे, और आप बाकी काम करेंगे :)
यदि आपके पास हमारे विषय पर सोनार, इन .xtf या .dat प्रारूप या किसी अन्य डेटा का डेटा है, तो हमें भी सहयोग करने में खुशी होगी।

दूसरे, हम बहुत सारे शोध करते हैं (GANs, कार्ल! हमारे पास अभी भी 3D GANs हैं जो 3D बिंदु बादलों को उत्पन्न करने के लिए), जिसमें महत्वपूर्ण कंप्यूटिंग शक्ति, मुख्य रूप से GPU की आवश्यकता होती है।

तीसरा, हम संभावित ग्राहकों की तलाश कर रहे हैं ताकि युद्ध की स्थिति में हमारे समाधान का प्रयास किया जा सके।

और अंत में, हम उन निवेशकों की तलाश कर रहे हैं जो हमारे काम में रुचि रखते हैं और न केवल सामाजिक अच्छे के लिए, बल्कि व्यापार के लिए भी इसके परिणामों का उपयोग करने की संभावनाएं हैं।

हमारी सबसे महत्वपूर्ण योजना यह है कि "शाम और सप्ताहांत में करें" मोड से "यह मोड" हमारा काम है और हमें यह पसंद है ":)

लेख के अवलोकन प्रकृति के कारण, मैं विस्तार से उपयोग की जाने वाली तकनीकों पर ध्यान नहीं देता था। यदि आपके प्रश्न हैं - टिप्पणियों का स्वागत करते हुए, प्रोजेक्ट पेज पर , पीएम को, मेल (pavel.golubev@maritimeai.net) पर, SLM स्लैक में, अंत में! आप यहाँ पर मई में आयोजित DataFest में ML4SG सेक्शन में हमारी छोटी रिपोर्ट भी देख सकते हैं । यदि कुछ तकनीकों पर विस्तार से विचार करना दिलचस्प होगा - लिखें, हम एक अलग पोस्ट लिखेंगे।

कि शायद सभी अच्छे काम करते हैं :)