हाय सब, मैं एक अनुसंधान प्रोग्रामर के रूप में काम करता हूं Mail.ru Group की कंप्यूटर विज़न टीम में। इस साल विजय दिवस के लिए, हमने सैन्य तस्वीरों की बहाली के लिए एक परियोजना बनाने का फैसला किया। फोटो बहाली क्या है? इसमें तीन चरण होते हैं:

• हम सभी छवि दोषों को पाते हैं: टूट, खुरचनी, छेद;
  
• उनके आसपास पिक्सेल मूल्यों के आधार पर पाए जाने वाले दोषों पर पेंट;
  
• छवि को रंगीन करें।
  

इस लेख में, मैं बहाली के प्रत्येक चरण के बारे में विस्तार से जाऊंगा और आपको बताऊंगा कि हमने कैसे और कहां से डेटा लिया, हमने कौन से नेटवर्क सीखे, हमने क्या किया, हमने कौन सी रेक पर कदम रखा।

ख़राब खोज

हम अपलोड किए गए फ़ोटो में दोषों से संबंधित सभी पिक्सेल ढूंढना चाहते हैं। सबसे पहले, हमें यह समझने की आवश्यकता है कि युद्ध के वर्षों में लोग किस तरह की तस्वीरें अपलोड करेंगे। हमने अमर रेजिमेंट परियोजना के आयोजकों की ओर रुख किया, जिन्होंने हमारे साथ डेटा साझा किया। उनका विश्लेषण करने के बाद, हमने देखा कि लोग अक्सर पोर्ट्रेट, एकल या समूह अपलोड करते हैं, जिनमें मध्यम या बड़ी संख्या में दोष होते हैं।

फिर प्रशिक्षण नमूना एकत्र करना आवश्यक था। विभाजन कार्य के लिए प्रशिक्षण का नमूना एक छवि और एक मुखौटा है जिस पर सभी दोष चिह्नित हैं। सबसे आसान तरीका है कि मार्करों को मार्करों को फोटो दें। बेशक, लोग दोष खोजने में अच्छे हैं, लेकिन समस्या यह है कि मार्कअप एक बहुत लंबी प्रक्रिया है।



एक तस्वीर में दोषों से संबंधित पिक्सेल को चिह्नित करने में एक घंटे से लेकर पूरे कार्य दिवस तक का समय लग सकता है, इसलिए कुछ हफ्तों में 100 से अधिक फ़ोटो का नमूना एकत्र करना मुश्किल है। इसलिए, हमने किसी तरह अपने डेटा को पूरक करने की कोशिश की और खुद को दोष लिखा: हमने एक साफ तस्वीर ली, उस पर कृत्रिम दोष लगाए और हमें एक मुखौटा दिखाया जो हमें दिखाते हैं कि छवि के विशेष हिस्से क्षतिग्रस्त हो गए थे। हमारे प्रशिक्षण नमूने का मुख्य भाग 79 मैन्युअल रूप से चिह्नित तस्वीरें थीं, जिनमें से 11 को परीक्षण नमूने में स्थानांतरित किया गया था।

विभाजन की समस्या के लिए सबसे लोकप्रिय दृष्टिकोण: पूर्व-प्रशिक्षित एनकोडर के साथ यूनेट लें और राशि को कम से कम करें $$$ब स$ ( बाइनरी क्रॉस-एंट्रोपी ) और $$$डाइस$ ( सोरेंसन - पासा गुणांक )।

दोषों के विभाजन की समस्या में इस दृष्टिकोण के साथ क्या समस्याएं पैदा होती हैं?

• यहां तक ​​कि अगर यह हमें लगता है कि फोटो में बहुत सारे दोष हैं, कि यह बहुत गंदा है और समय के साथ बहुत ही विकृत है, तो दोषों द्वारा कब्जा कर लिया गया क्षेत्र अभी भी छवि के undamaged हिस्से की तुलना में बहुत छोटा है। इस समस्या को हल करने के लिए, आप सकारात्मक वर्ग का वजन बढ़ा सकते हैं $$$ब स$ , और इष्टतम वजन दोषों से संबंधित पिक्सेल की संख्या के लिए सभी शुद्ध पिक्सेल की संख्या का अनुपात होगा।
  
• दूसरी समस्या यह है कि यदि हम पूर्व-प्रशिक्षित एनकोडर के साथ बॉक्स से बाहर यूनेट का उपयोग करते हैं, उदाहरण के लिए अल्बनेट -18, तो हम बहुत सी स्थिति संबंधी जानकारी खो देते हैं। अल्बनेट -18 की पहली परत में 5 का कोर के साथ एक कनवल्शन होता है और दो के बराबर होता है। इससे नेटवर्क जल्दी काम कर सकता है। हमने दोषों के बेहतर स्थानीयकरण के लिए नेटवर्क के संचालन समय का बलिदान किया: हमने पहली परत के बाद अधिकतम पूलिंग को हटा दिया, 1 को घटा दिया और 3 को कम कर दिया।
  
• यदि हम छोटी छवियों के साथ काम करते हैं, उदाहरण के लिए, किसी चित्र को 256 x 256 या 512 x 512 से संपीड़ित करना, तो छोटे दोष केवल प्रक्षेप के कारण गायब हो जाएंगे। इसलिए, आपको एक बड़ी तस्वीर के साथ काम करने की आवश्यकता है। अब उत्पादन में हम 1024 x 1024 की तस्वीरों में दोषों का खंडन कर रहे हैं। इसलिए, बड़ी छवियों की बड़ी फसल में तंत्रिका नेटवर्क को प्रशिक्षित करना आवश्यक था। और इस वजह से, एक वीडियो कार्ड पर बैच के छोटे आकार के साथ समस्याएं हैं।
  
• प्रशिक्षण के दौरान, हमारे पास एक कार्ड पर रखी गई लगभग 20 तस्वीरें हैं। इस वजह से, बैचनॉर्म परतों में माध्य और विचरण का अनुमान गलत है। इन-प्लेस बैचनॉर्म हमें इस समस्या को हल करने में मदद करता है, जो सबसे पहले, मेमोरी को बचाता है, और दूसरी बात, इसमें सिंक्रोनाइज़्ड बैचनोर्म का एक संस्करण है, जो सभी कार्डों के बीच आंकड़ों को सिंक्रनाइज़ करता है। अब हम एक कार्ड पर 20 चित्रों द्वारा औसत और भिन्नता पर विचार करते हैं, लेकिन 4 कार्ड से 80 चित्रों द्वारा। यह नेटवर्क कनवर्जेन्स को बेहतर बनाता है।
  

अंत में, बढ़ते वजन $$$ब स$ आर्किटेक्चर को बदलने और इन-प्लेस बैचनॉर्म का उपयोग करके, हमने फोटो में दोषों की खोज करना शुरू कर दिया। लेकिन सस्ते में आप टेस्ट टाइम ऑग्मेंटेशन को जोड़कर थोड़ा बेहतर भी कर सकते थे। हम इनपुट इमेज में एक बार नेटवर्क चला सकते हैं, फिर उसे मिरर कर सकते हैं और फिर से नेटवर्क चला सकते हैं, इससे हमें छोटे-छोटे दोषों का पता लगाने में मदद मिल सकती है।



परिणामस्वरूप, हमारा नेटवर्क 18 घंटों में चार GeForce 1080Ti पर परिवर्तित हो गया। इंजेक्शन 290 एमएस लेता है। यह काफी लंबा हो जाता है, लेकिन यह इस तथ्य के लिए एक शुल्क है कि हम छोटे दोषों को अच्छी तरह से देख रहे हैं। मान्यकरण $$$डाइस$ 0.35 के बराबर, और $$$ROCAUC$ - 0.93।

फ्रैगमेंट रिस्टोरेशन

यूनेट ने हमें इस समस्या को फिर से हल करने में मदद की। इनपुट के लिए हमने उसे मूल छवि और एक मुखौटा दिया, जिस पर हम इकाइयों के साथ स्वच्छ स्थान चिह्नित करते हैं, और उन पिक्सेल जिन्हें हम शून्य के साथ पेंट करना चाहते हैं। हमने निम्नानुसार डेटा एकत्र किया: हमने इंटरनेट से चित्रों के साथ एक बड़ा डेटासेट लिया, उदाहरण के लिए, OpenImagesV4, और कृत्रिम रूप से जोड़े गए दोष जो वास्तविक जीवन में पाए गए आकार के समान हैं। और इसके बाद उन्होंने लापता हिस्सों की मरम्मत के लिए नेटवर्क को प्रशिक्षित किया।

हम इस कार्य के लिए यूनेट को कैसे संशोधित कर सकते हैं?

आप सामान्य कनवल्शन के बजाय आंशिक रूपांतरण का उपयोग कर सकते हैं। उसका विचार यह है कि जब हम किसी कर्नेल के साथ किसी चित्र के क्षेत्र को ढहाते हैं, तो हम दोष से संबंधित पिक्सेल मूल्यों को ध्यान में नहीं रखते हैं। यह पेंटिंग को अधिक सटीक बनाने में मदद करता है। एक NVIDIA लेख से एक उदाहरण। केंद्रीय चित्र में, उन्होंने सामान्य कनवल्शन के साथ यूनेट का उपयोग किया, और दाईं ओर - आंशिक रूपांतरण के साथ:



हमने 5 दिनों के लिए नेटवर्क को प्रशिक्षित किया। आखिरी दिन, हमने बैचनॉर्म को फ्रीज किया, इससे छवि के चित्रित हिस्से की सीमाओं को कम ध्यान देने योग्य बनाने में मदद मिली।

नेटवर्क 50 एमएस में 512 x 512 की एक तस्वीर संसाधित करता है। सत्यापन PSNR 26.4 है। हालाँकि, इस कार्य में मीट्रिक पर बिना शर्त के भरोसा नहीं किया जा सकता है। इसलिए, हमने पहले अपने डेटा पर कई अच्छे मॉडल चलाए, परिणामों को अज्ञात किया, और फिर उन लोगों के लिए मतदान किया जिन्हें हमने अधिक पसंद किया था। इसलिए हमने फाइनल मॉडल चुना।

मैंने उल्लेख किया कि हमने चित्रों को साफ करने के लिए कृत्रिम रूप से दोष जोड़े हैं। जब प्रशिक्षण, आपको सुपरिंपोज्ड दोषों के अधिकतम आकार की सावधानीपूर्वक निगरानी करने की आवश्यकता होती है, क्योंकि बहुत बड़े दोषों के साथ जो नेटवर्क ने सीखने की प्रक्रिया में कभी नहीं देखा है, यह बेतहाशा कल्पना करेगा और एक बिल्कुल अनुचित परिणाम देगा। इसलिए, यदि आपको बड़े दोषों पर पेंट करने की आवश्यकता है, तो प्रशिक्षण के दौरान बड़े दोष भी लागू करें।

यहाँ एल्गोरिथ्म का एक उदाहरण दिया गया है:

विचित्र रंगना

हमने दोषों को खंडित किया और उन्हें चित्रित किया, तीसरा चरण रंग का पुनर्निर्माण है। आपको याद दिला दूं कि "अमर रेजीमेंट" की तस्वीरों में बहुत सारे एकल या समूह चित्र हैं। और हम चाहते थे कि हमारा नेटवर्क उनके साथ अच्छा काम करे। हमने अपना रंग बनाने का फैसला किया, क्योंकि हमारे द्वारा जानी जाने वाली सेवाओं में से कोई भी पेंट जल्दी और अच्छी तरह से चित्रित नहीं होती है।



GitHub के पास तस्वीरों को रंगने के लिए एक लोकप्रिय भंडार है । औसतन, वह इस काम को अच्छी तरह से करता है, लेकिन उसे कई समस्याएं हैं। उदाहरण के लिए, वह नीले रंग में कपड़े पेंट करना पसंद करता है। इसलिए, हमने इसे भी खारिज कर दिया।

इसलिए, हमने रंगीकरण के लिए एक तंत्रिका नेटवर्क बनाने का फैसला किया। सबसे स्पष्ट विचार: एक काली और सफेद छवि लें और तीन चैनलों की भविष्यवाणी करें, लाल, हरा और नीला। लेकिन, आम तौर पर बोलना, हम अपने काम को आसान बना सकते हैं। हम रंग के RGB प्रतिनिधित्व के साथ नहीं, बल्कि YCbCr प्रतिनिधित्व के साथ काम कर सकते हैं। घटक Y चमक (luma) है। डाउनलोड की गई काली और सफेद छवि Y चैनल है, हम इसे फिर से उपयोग करेंगे। यह Cb और Cr की भविष्यवाणी करता रहा: Cb नीले रंग और चमक में अंतर है, और Cr लाल रंग और चमक में अंतर है।



हमने YCbCr दृश्य क्यों चुना? रंग बदलने की तुलना में चमक में परिवर्तन के लिए मानव आंख अधिक संवेदनशील होती है। इसलिए, हम वाई-घटक (चमक) का पुन: उपयोग करते हैं, कुछ ऐसा जो आंख शुरू में अच्छी तरह से ग्रहणशील है, और सीबी और सीआर की भविष्यवाणी करता है, जिसमें हम थोड़ी अधिक गलती कर सकते हैं, क्योंकि लोग रंगों में कम "झूठे" नोटिस करते हैं। यह सुविधा रंगीन टेलीविज़न के भोर में सक्रिय रूप से उपयोग की जाने लगी, जब चैनल बैंडविड्थ पूरे रंग को प्रसारित करने के लिए पर्याप्त नहीं था। छवि को YCbCr में स्थानांतरित किया गया था, वाई घटक को अपरिवर्तित स्थानांतरित किया गया था, और सीबी और सीआर को दो बार संकुचित किया गया था।

कैसे आधारभूत इकट्ठा करने के लिए

आप फिर से एक पूर्व-प्रशिक्षित एनकोडर के साथ यूनेट ले सकते हैं और वास्तविक CbCr और अनुमानित एक के बीच L1 हानि को कम कर सकते हैं। हम चित्रों को रंगना चाहते हैं, इसलिए OpenImages से फ़ोटो के अलावा, हमें अपने कार्य के लिए विशिष्ट फ़ोटो जोड़ने की आवश्यकता है।

मुझे सैन्य वर्दी में लोगों की रंगीन तस्वीरें कहां मिल सकती हैं? इंटरनेट पर ऐसे लोग हैं जो पुरानी तस्वीरों को शौक के रूप में या ऑर्डर करने के लिए पेंट करते हैं। वे इसे बहुत सावधानी से करते हैं, सभी बारीकियों का पूरी तरह से पालन करने की कोशिश कर रहे हैं। वर्दी, एपॉलेट, पदक को रंगते हुए, वे अभिलेखीय सामग्रियों की ओर मुड़ते हैं, इसलिए उनके काम के परिणाम पर भरोसा किया जा सकता है। कुल मिलाकर, हमने 200 हाथ से पेंट की गई तस्वीरों का इस्तेमाल किया। दूसरा उपयोगी डेटा स्रोत वर्कर्स की साइट और किसानों की लाल सेना है । इसके एक निर्माता को महान देशभक्तिपूर्ण युद्ध के दौरान एक सैन्य वर्दी के लगभग सभी संभावित वेरिएंट में फोटो खींचा गया था।



कुछ तस्वीरों में, उन्होंने प्रसिद्ध अभिलेखीय तस्वीरों के लोगों के पोज़ को दोहराया। यह विशेष रूप से अच्छा है कि उन्होंने एक सफेद पृष्ठभूमि पर शूटिंग की, इससे हमें विभिन्न प्राकृतिक वस्तुओं को पृष्ठभूमि में जोड़कर डेटा को बहुत अच्छी तरह से बढ़ाने की अनुमति मिली। हम लोगों के साधारण आधुनिक चित्रों का भी उपयोग करते थे, उन्हें प्रतीक चिन्ह और मस्तिष्कीय कपड़े की अन्य विशेषताओं के साथ पूरक करते थे।

हमने अल्बुनेट -50 को प्रशिक्षित किया - यह यूनेट है, जिसमें अल्बुनेट -50 का उपयोग एनकोडर के रूप में किया जाता है। नेटवर्क ने पर्याप्त परिणाम देना शुरू कर दिया: त्वचा गुलाबी है, आंखें ग्रे-नीली हैं, कंधे की पट्टियाँ पीले रंग की हैं। लेकिन समस्या यह है कि उसने चित्रों को स्पॉट के साथ चित्रित किया। यह इस तथ्य के कारण है कि एल 1 त्रुटि के दृष्टिकोण से यह कभी-कभी अधिक लाभदायक होता है कि किसी भी रंग की भविष्यवाणी करने की कोशिश करने की तुलना में कुछ भी न करें।


हम अपने परिणाम की तुलना ग्राउंड ट्रुथ की फोटो के साथ कर रहे हैं - उपनाम क्लिंबिम के तहत कलाकार का मैन्युअल रंगीकरण

इस समस्या को कैसे हल करें? हमें एक विवेकशील की आवश्यकता है: एक तंत्रिका नेटवर्क, जिसमें हम इनपुट के लिए छवियों की आपूर्ति करेंगे, और यह कहेंगे कि यह छवि कितनी यथार्थवादी दिखती है। नीचे, एक तस्वीर हाथ से पेंट की गई है, और दूसरी तंत्रिका नेटवर्क द्वारा। आपको कौन सा लगता है?




एक विवेचक के रूप में, हम स्व-ध्यान गण के लेख से विवेचक का उपयोग करते हैं । यह एक छोटा सा कन्वेन्शन नेटवर्क है, जिसकी अंतिम परतों में तथाकथित सेल्फ अटेंशन अंतर्निहित है। यह आपको छवि विवरण पर अधिक "ध्यान देने" की अनुमति देता है। हम स्पेक्ट्रल सामान्यीकरण का भी उपयोग करते हैं। लेख में सटीक व्याख्या और प्रेरणा मिल सकती है। हमने एल 1-नुकसान के संयोजन के साथ एक नेटवर्क को प्रशिक्षित किया और त्रुटि को भेदभावकर्ता ने वापस कर दिया। अब नेटवर्क छवि के विवरण को बेहतर ढंग से पेंट करता है, और पृष्ठभूमि अधिक सुसंगत है। एक अन्य उदाहरण: बाईं ओर केवल L1- नुकसान के साथ प्रशिक्षित नेटवर्क का परिणाम है, दाईं ओर - L1-loss और एक विभेदक त्रुटि के साथ।



चार Geforce 1080Ti पर, प्रशिक्षण में दो दिन लगे। नेटवर्क ने 30 एमएस में 512 x 512 चित्र में काम किया। सत्यापन MSE 34.4 था। जैसा कि inpainting समस्या में, मैट्रिक्स पर पूरी तरह से भरोसा नहीं किया जा सकता है। इसलिए, हमने 6 मॉडलों का चयन किया जिनके पास सत्यापन के लिए सबसे अच्छा मैट्रिक्स था, और नेत्रहीन ने सर्वश्रेष्ठ मॉडल के लिए मतदान किया।

उत्पादन में मॉडल को रोल करने के बाद, हमने प्रयोगों को जारी रखा और इस निष्कर्ष पर पहुंचे कि बेहतर है कि प्रति पिक्सेल एल 1-नुकसान को कम न किया जाए, लेकिन अवधारणात्मक नुकसान। इसकी गणना करने के लिए, आपको वीजीजी -16 नेटवर्क के माध्यम से नेटवर्क भविष्यवाणी और स्रोत फोटो को चलाने की जरूरत है, निचली परतों पर विशेषता नक्शे लें और एमएसई के अनुसार उनकी तुलना करें। यह दृष्टिकोण अधिक क्षेत्रों को पेंट करता है और अधिक रंगीन चित्र प्राप्त करने में मदद करता है।

निष्कर्ष और निष्कर्ष

यूनेट एक कूल मॉडल है। पहली विभाजन समस्या में, हमें उच्च-रिज़ॉल्यूशन छवियों के साथ प्रशिक्षण और काम करने में समस्या का सामना करना पड़ा, इसलिए हम इन-प्लेस बैच नोर्म का उपयोग करते हैं। दूसरे कार्य (Inpainting) में, सामान्य दृढ़ संकल्प के बजाय, हमने आंशिक रूपांतरण का उपयोग किया, इससे बेहतर परिणाम प्राप्त करने में मदद मिली। यूनेट के लिए रंगीकरण की समस्या में, हमने एक छोटे से भेदभावकर्ता नेटवर्क को जोड़ा, जिसने एक अवास्तविक दिखने वाली छवि के लिए जनरेटर को जुर्माना किया और अवधारणात्मक नुकसान का इस्तेमाल किया।

दूसरा निष्कर्ष यह है कि एक्सेसर्स महत्वपूर्ण हैं। और न केवल प्रशिक्षण से पहले चित्रों को चिह्नित करने के चरण में, बल्कि अंतिम परिणाम को मान्य करने के लिए भी, क्योंकि पेंटिंग दोष या रंगीकरण की समस्याओं में, आपको अभी भी एक व्यक्ति की मदद से परिणाम को मान्य करने की आवश्यकता है। हम उपयोगकर्ता को तीन फोटो देते हैं: हटाए गए दोषों के साथ मूल एक, हटाए गए दोषों के साथ रंगीन, और दोषों को खोजने और चित्रित करने के मामले में सिर्फ रंगीन फोटो।

हमने मिलिट्री एल्बम परियोजना की कुछ तस्वीरें लीं और उन्हें अपने तंत्रिका नेटवर्क के साथ संसाधित किया। यहां प्राप्त परिणाम हैं:



और यहां आप उन्हें मूल समाधान और प्रसंस्करण के प्रत्येक चरण में देख सकते हैं।