हाय सब लोग! मैं Mail.ru ग्रुप कंप्यूटर विज़न टीम में एक रिसर्च इंजीनियर हूँ। इस लेख में, मैं एक कहानी बताने जा रहा हूं कि हमने पुरानी सैन्य तस्वीरों के लिए AI- आधारित फोटो बहाली परियोजना कैसे बनाई है। "फोटो बहाली" क्या है? इसमें तीन चरण होते हैं:

• हमें सभी छवि दोष मिलते हैं: फ्रैक्चर, स्कफ, छेद;
  
• हमने उनके आसपास पिक्सेल मूल्यों के आधार पर, खोजे गए दोषों को दूर किया;
  
• हम छवि को रंगीन करते हैं।
  

इसके अलावा, मैं फोटो बहाली के हर चरण का वर्णन करूंगा और आपको बताऊंगा कि हमें अपना डेटा कैसे मिला, हमने क्या प्रशिक्षण दिया, हमने क्या पूरा किया और हमने क्या गलतियाँ कीं।

दोषों की तलाश

हम अपलोड की गई फ़ोटो में दोषों से संबंधित सभी पिक्सेल ढूंढना चाहते हैं। सबसे पहले, हमें यह पता लगाना होगा कि लोग किस तरह की तस्वीरें अपलोड करेंगे। हमने "अमर रेजीमेंट" प्रोजेक्ट के संस्थापकों से बात की, जो एक गैर-व्यावसायिक संगठन है, जिसने WW2 की विरासत तस्वीरें संग्रहीत की हैं, जिन्होंने हमारे साथ अपना डेटा साझा किया है। इसका विश्लेषण करने पर, हमने देखा कि लोग ज्यादातर व्यक्ति या समूह को मध्यम से बड़ी संख्या में दोषों के साथ अपलोड करते हैं।

फिर हमें एक प्रशिक्षण सेट इकट्ठा करना था। एक विभाजन कार्य के लिए निर्धारित प्रशिक्षण एक छवि और एक मुखौटा है जहां सभी दोष चिह्नित हैं। सबसे आसान तरीका यह है कि मूल्यांकनकर्ताओं को विभाजन मास्क बनाने दें। बेशक, लोग बहुत अच्छी तरह से जानते हैं कि दोष कैसे पाया जाए, लेकिन यह बहुत लंबा समय लेगा।



एक तस्वीर में दोष पिक्सेल को चिह्नित करने में एक घंटे या पूरे कार्यदिवस का समय लग सकता है। इसलिए, कुछ हफ्तों में 100 से अधिक छवियों का प्रशिक्षण सेट एकत्र करना आसान नहीं है। इसलिए हमने अपने डेटा को बढ़ाने और अपने स्वयं के दोषों को बनाने की कोशिश की: हम एक अच्छी तस्वीर लेंगे, छवि पर यादृच्छिक चलता का उपयोग करके दोष जोड़ सकते हैं, और एक मुखौटा के साथ छवि भागों को दिखाते हुए समाप्त हो जाएंगे। संवर्द्धन के बिना, हमें प्रशिक्षण सेट में 68 मैन्युअल रूप से लेबल किए गए फ़ोटो और सत्यापन सेट में 11 फ़ोटो मिले हैं।

सबसे लोकप्रिय विभाजन दृष्टिकोण: प्री-प्रशिक्षित एनकोडर के साथ यूनेट को लें और बीसीई ( बाइनरी क्रॉस-एंट्रोपी ) और डीआईसीई ( सोरेंसन - पासा गुणांक ) का योग कम से कम करें।

जब हम अपने कार्य के लिए इस विभाजन दृष्टिकोण का उपयोग करते हैं तो क्या समस्याएं आती हैं?

• यहां तक ​​कि अगर ऐसा लगता है कि तस्वीर में बहुत सारे दोष हैं, तो यह बहुत पुराना और जर्जर है, दोषों वाला क्षेत्र अभी भी अप्रकाशित की तुलना में बहुत छोटा है। इस समस्या को हल करने के लिए, हम बीसीई में सकारात्मक वर्ग वजन बढ़ा सकते हैं; एक इष्टतम वजन दोषपूर्ण लोगों के लिए स्वच्छ पिक्सेल का अनुपात होगा।
  
• दूसरी समस्या यह है कि यदि हम पूर्व-प्रशिक्षित एनकोडर (उदाहरण के लिए अल्बनेट -18) के साथ एक आउट-ऑफ-द-बॉक्स यूनेट का उपयोग करते हैं, तो हम बहुत अधिक स्थिति वाले डेटा खो देते हैं। अल्बनेट -18 की पहली परत में एक कर्नेल 5 के साथ एक कनवल्शन होता है और एक स्ट्राइड जो दो के बराबर होता है। यह नेट को तेजी से काम करने की अनुमति देता है। हमने स्थानीय ऑपरेशन को बेहतर बनाने के लिए नेट ऑपरेशन टाइम को बंद कर दिया: हमने पहली परत के बाद अधिकतम पूलिंग को हटा दिया, 1 तक घटा दिया और 3 के लिए कन्वेक्शन कर्नेल को घटा दिया।
  
• यदि हम छोटी छवियों के साथ उन्हें संकुचित करके काम करते हैं, उदाहरण के लिए, 256 x 256 या 512 x 512 पिक्सेल, तो छोटे दोष प्रक्षेप के कारण गायब हो जाएंगे। इसलिए, हमें बड़ी छवियों के साथ काम करने की आवश्यकता है। वर्तमान में हम उत्पादन में 1024 x 1024 आकार के फ़ोटो में दोषों का खंडन कर रहे हैं। इसलिए हमें बड़ी छवि वाली फसलों पर जाल को प्रशिक्षित करना पड़ा। हालाँकि, यह एकल GPU पर एक छोटे बैच आकार के साथ समस्याओं का कारण बनता है।
  
• प्रशिक्षण के दौरान, हम एक GPU पर लगभग 20 छवियों को फिट कर सकते हैं। उसके कारण, हम बैचमोन परतों में गलत माध्य और मानक विचलन मूल्यों के साथ समाप्त होते हैं। हम इन-प्लेस बैचनॉर्म का उपयोग करके इस समस्या को हल कर सकते हैं, कि एक तरफ, मेमोरी स्पेस को बचाता है, और दूसरी तरफ, एक सिंक्रोनाइज़्ड बैचनॉर्म वर्जन है, जो सभी जीपीयू के आंकड़ों को सिंक्रोनाइज़ करता है। अब हम एक GPU पर 20 छवियों के लिए नहीं, बल्कि 4 GPU से 80 छवियों के लिए माध्य और मानक विचलन मानों की गणना करते हैं। यह शुद्ध अभिसरण में सुधार करता है।
  

अंत में, BCE वजन बढ़ने, वास्तुकला बदलने और इन-प्लेस बैचनॉर्म का उपयोग करने पर, हमने विभाजन को बेहतर बनाया। हालाँकि, टेस्ट टाइम ऑगमेंटेशन को जोड़कर कुछ बेहतर करने के लिए बहुत अधिक लागत नहीं होगी। हम एक बार इनपुट चित्र पर नेट चला सकते हैं, फिर इसे मिरर कर सकते हैं और सभी छोटे दोषों को खोजने के लिए नेट को फिर से चला सकते हैं।



नेट चार GeForce 1080Ti पर 18 घंटे में परिवर्तित होता है। इंजेक्शन 290 एमएस लेता है। यह काफी लंबा है, लेकिन यह हमारे बेहतर-डिफ़ॉल्ट प्रदर्शन की कीमत है। सत्यापन DICE 0.35, और ROCAUC - 0.93 के बराबर है।

छवि अयोग्य

उसी सेगमेंटेशन कार्य के साथ हमने यूनेट का उपयोग किया। Inpainting करने के लिए हम एक ओरिजिनल इमेज और एक मास्क अपलोड करेंगे, जहाँ हमने सभी क्लीन एरिया को अपने साथ, और शून्य के साथ - उन सभी पिक्सल्स को चिन्हित किया है, जिन्हें हम अयोग्य बनाना चाहते हैं। यह वह है जो हम डेटा एकत्र कर रहे थे: किसी भी स्रोत के लिए एक ओपन-सोर्स इमेज डेटासेट से, उदाहरण के लिए, OpenImagesV4, हम उन दोषों को जोड़ते हैं जो हम वास्तविक जीवन में देखते हैं। तब हमने लापता हिस्सों को बहाल करने के लिए नेट को प्रशिक्षित किया था।

हम इस कार्य के लिए यूनेट को कैसे संशोधित कर सकते हैं?

हम एक मूल के बजाय आंशिक दृढ़ संकल्प का उपयोग कर सकते हैं। विचार यह है कि जब हम किसी क्षेत्र को कुछ कर्नेल के साथ जोड़ते हैं, तो हम दोष पिक्सेल मानों को ध्यान में नहीं रखते हैं। यह inpainting को और अधिक सटीक बनाता है। हम आपको हाल ही में NVIDIA के पेपर से एक उदाहरण दिखाते हैं। उन्होंने मध्य चित्र में एक डिफ़ॉल्ट 2-आयामी कनवल्शन और एक आंशिक कनवल्शन के साथ यूनेट का उपयोग किया - चित्र में दाईं ओर।



हमने पांच दिनों तक नेट का प्रशिक्षण लिया। आखिरी दिन, हम चित्रित भाग की सीमाओं को कम दृश्यमान बनाने के लिए बैचनॉर्म को फ्रीज करते हैं।

एक 512 x 512 चित्र को संसाधित करने के लिए शुद्ध 50 ms लेता है। मान्यता PSNR 26.4 के बराबर होती है। हालाँकि, आप इस कार्य में पूरी तरह से मैट्रिक्स पर भरोसा नहीं कर सकते। सर्वश्रेष्ठ मॉडल चुनने के लिए, हम मूल्यांकन छवियों पर कई अच्छे मॉडल चलाते हैं, परिणामों को अज्ञात करते हैं, और फिर उन लोगों के लिए मतदान करते हैं जिन्हें हमने सबसे अधिक पसंद किया था। इस तरह हमने अपना अंतिम मॉडल चुना।

मैंने पहले उल्लेख किया है कि हमने कृत्रिम रूप से स्वच्छ चित्रों में कुछ दोष जोड़े हैं। आपको प्रशिक्षण के दौरान हमेशा जोड़े गए दोषों के अधिकतम आकार को ट्रैक करना चाहिए; ऐसे मामले में जब आप किसी चित्र को नेट पर एक बहुत बड़े दोष के साथ खिलाते हैं, जो कभी प्रशिक्षण चरण में निपटाया नहीं जाता है, तो नेट जंगली हो जाएगा और एक अनुपयुक्त परिणाम उत्पन्न करेगा। इसलिए, यदि आपको बड़े दोषों को ठीक करने की आवश्यकता है, तो उनके साथ अपने प्रशिक्षण सेट को बढ़ाएं।

यहाँ इस बात का उदाहरण है कि हमारा एल्गोरिथ्म कैसे काम करता है:

colorization

हमने दोषों को खंडित किया और उन्हें अयोग्य ठहराया; तीसरा चरण - रंग पुनर्निर्माण। जैसा कि मैंने पहले कहा था, अमर रेजीमेंट तस्वीरों के बीच बहुत सारे व्यक्तिगत और समूह चित्र हैं। हम चाहते थे कि हमारा नेट उनके साथ अच्छा काम करे। हमने अपने स्वयं के रंगीकरण के साथ आने का फैसला किया क्योंकि मौजूदा सेवाओं में से कोई भी पोर्ट्रेट्स को जल्दी और कुशलता से रंग नहीं सकता है। हम चाहते हैं कि हमारी रंगीन तस्वीरें अधिक विश्वसनीय हों।



GitHub में फोटो रंगकरण के लिए एक लोकप्रिय भंडार है । यह अच्छा काम करता है लेकिन फिर भी कुछ मुद्दे हैं। उदाहरण के लिए, यह कपड़े को नीला रंग देता है। इसलिए हमने इसे भी खारिज कर दिया।

इसलिए, हमने छवि रंगकरण के लिए एक एल्गोरिथ्म बनाने का निर्णय लिया। सबसे स्पष्ट विचार: एक काली-और-सफेद छवि लें और तीन चैनलों की भविष्यवाणी करें: लाल, हरा और नीला। हालांकि, हम अपने काम को आसान बना सकते हैं: RGB रंग प्रतिनिधित्व के साथ काम नहीं, लेकिन YCbCr रंग प्रतिनिधित्व के साथ। Y घटक चमक (luma) है। एक अपलोड की गई ब्लैक-एंड-व्हाइट छवि वाई चैनल है, और हम इसका पुन: उपयोग करने जा रहे हैं। अब हमें Cb और Cr की भविष्यवाणी करने की आवश्यकता है: Cb नीले रंग और चमक और Cr का अंतर है - लाल रंग और चमक का अंतर।



हमने YCbCr प्रतिनिधित्व क्यों चुना? एक मानव आँख रंग परिवर्तन की तुलना में चमक में अधिक संवेदनशील परिवर्तन है। इसलिए हम वाई घटक (चमक) का पुन: उपयोग करते हैं, जो एक मानव आंख सीबी और सीआर के प्रति सबसे अधिक संवेदनशील है और अनुमान लगाती है कि हम गलती कर सकते हैं क्योंकि हम रंग के गलत होने की सूचना नहीं दे सकते हैं। जब चैनल की क्षमता सभी रंगों को प्रसारित करने के लिए पर्याप्त नहीं थी, तो इस विशिष्ट विशेषता का उपयोग व्यापक रूप से रंगीन टेलीविजन के लिए किया जाता था। चित्र YCbCr में प्रसारित किया गया था, जो Y घटक के बिना अपरिवर्तित था, और Cb और Cr आधे से कम हो गए थे।

आधार रेखा कैसे बनाएं

हम यूनेट को एक प्रीट्रेन किए गए एनकोडर के साथ ले सकते हैं और मौजूदा सीबीसीआर मानों और अनुमानित लोगों के बीच एल 1 लॉस को कम कर सकते हैं। हम चित्रों को रंगना चाहते हैं और इसलिए, OpenImages फ़ोटो के अलावा, हमें अधिक कार्य-विशिष्ट फ़ोटो चाहिए।

हम सैन्य वर्दी में तैयार लोगों की रंगीन तस्वीरें कहां से प्राप्त कर सकते हैं? इंटरनेट पर ऐसे लोग हैं जो पुरानी तस्वीरों को शौक के रूप में या कीमत के लिए रंगते हैं। वे इसे बहुत सावधानी से करते हैं, बहुत सटीक होने की कोशिश कर रहे हैं। जब वे एक समान, कंधे के बोर्ड, और पदक रंगते हैं, तो वे पुरालेख सामग्री को संदर्भित करते हैं, इसलिए उनके काम के परिणाम भरोसेमंद होते हैं। कुल मिलाकर, हमने उन पर सैन्य वर्दी में लोगों के साथ 200 मैन्युअल रंगीन चित्रों का उपयोग किया।

अन्य उपयोगी डेटा स्रोत द वर्कर्स और किसानों की लाल सेना की वेबसाइट है। इसके संस्थापकों में से एक के पास अपनी तस्वीर थी जो हर विश्व युद्ध 2 सोवियत वर्दी में उपलब्ध थी।



कुछ तस्वीरों में, उन्होंने प्रसिद्ध आर्काइव तस्वीरों से लोगों के पोज की नकल की। यह अच्छी बात है कि उनके चित्रों में सफेद पृष्ठभूमि है: इसने हमें पृष्ठभूमि में विभिन्न प्राकृतिक वस्तुओं को जोड़कर डेटा को बहुत अच्छी तरह से बढ़ाने की अनुमति दी। हमने कुछ नियमित चित्रों का भी उपयोग किया, उन्हें प्रतीक चिन्ह और अन्य युद्धकालीन विशेषताओं के साथ पूरक किया।

हमने अल्बुनेट -50 को प्रशिक्षित किया - यह एक यूनेट है जो एनकोडर के रूप में प्रेटेन्स्ड रेसनेट -50 का उपयोग करता है। नेट ने पर्याप्त परिणाम देने शुरू कर दिए: त्वचा गुलाबी थी, आँखें - ग्रे-ब्लू, कंधे बोर्ड - पीली। हालाँकि, समस्या यह थी कि यह कुछ क्षेत्रों को फोटो से अछूता छोड़ देता है। यह इस तथ्य के कारण था कि त्रुटि के अनुसार L1 ऐसे इष्टतम को ढूंढता है जहां कुछ रंग की भविष्यवाणी करने की कोशिश करने से बेहतर कुछ नहीं करना है।


हम अपने परिणाम की तुलना ग्राउंड ट्रूथ फोटो के साथ कर रहे हैं - क्लिम्बिम द्वारा किया गया एक मैनुअल रंगीकरण

हम इस समस्या को कैसे हल कर सकते हैं? हमें एक विवेचक की आवश्यकता है: एक तंत्रिका नेटवर्क जो एक छवि प्राप्त करेगा और हमें बताएगा कि यह यथार्थवादी दिखता है या नहीं। नीचे दिए गए चित्रों में से एक मैन्युअल रूप से रंगीन है और दूसरा - हमारे जनरेटर, अल्बुनेट -50 द्वारा। मानव मैन्युअल रूप से और स्वचालित रूप से रंगीन तस्वीरों को कैसे भेद करता है? विवरण देखकर। क्या आप बता सकते हैं कि हमारे बेसलाइन समाधान द्वारा स्वचालित रूप से रंगीन फोटो कहां है?




हम स्व-ध्यान गण पेपर से विवेचक का उपयोग करते हैं। यह एक छोटा सा कन्वेंशन नेट है, जिसमें तथाकथित सेल्फ अटेंशन टॉप लेयर्स में बनाया गया है। यह हमें छवि विवरण पर "अधिक ध्यान देने" की अनुमति देता है। हम स्पेक्ट्रल सामान्यीकरण का भी उपयोग करते हैं। आप उपरोक्त कागज में अधिक जानकारी पा सकते हैं। हमने L1 नुकसान के संयोजन और भेदभावकर्ता से नुकसान के साथ नेट को प्रशिक्षित किया है। अब नेट छवि विवरण को बेहतर ढंग से चित्रित करता है, और पृष्ठभूमि अधिक सुसंगत दिखती है। एक और उदाहरण: बाईं ओर केवल L1 नुकसान के साथ प्रशिक्षित प्रशिक्षित द्वारा काम है; दाईं ओर - L1 विभेदक नुकसान के संयोजन के साथ।



प्रशिक्षण प्रक्रिया चार GeForce 1080Ti पर दो दिन लगी। 512 x 512 चित्र को संसाधित करने के लिए शुद्ध 30 ms लेता है। सत्यापन MSE - 34.4। बस inpainting के साथ की तरह, मैट्रिक्स आप मैट्रिक्स पर भरोसा नहीं करना चाहते हैं। यही कारण है कि हमने छह मॉडल को सर्वश्रेष्ठ सत्यापन मेट्रिक्स के साथ चुना और नेत्रहीन रूप से सर्वश्रेष्ठ मॉडल के लिए मतदान किया।

जब हमने पहले से ही एक उत्पादन प्रणाली बनाई है और एक वेबसाइट लॉन्च की है, तो हमने प्रयोग जारी रखा और निष्कर्ष निकाला कि हम बेहतर प्रति पिक्सेल एल 1 नुकसान को कम नहीं करते हैं, लेकिन अवधारणात्मक नुकसान। इसकी गणना करने के लिए, हम वीजीजी -16 नेट को शुद्ध भविष्यवाणियों और एक ग्राउंड-ट्रुटल फोटो खिलाते हैं, नीचे की परतों पर फीचर मैप लेते हैं और उनकी तुलना एमएसई से करते हैं। यह दृष्टिकोण अधिक क्षेत्रों को पेंट करता है और अधिक रंगीन परिणाम देता है।

संक्षिप्त

Unet एक बहुत अच्छा मॉडल है। पहले विभाजन कार्य में, हमें प्रशिक्षण के दौरान एक समस्या का सामना करना पड़ा, और उच्च-रिज़ॉल्यूशन छवियों के साथ काम करना और इसीलिए हम इन-प्लेस बैचनॉर्म का उपयोग करते हैं। अपने दूसरे कार्य (Inpainting) में हमने डिफ़ॉल्ट के बजाय आंशिक रूपांतरण का उपयोग किया, और इसने हमें बेहतर परिणाम प्राप्त करने की अनुमति दी। रंगीकरण पर काम करते समय, हमने एक छोटा सा भेदभाव करनेवाला जाल जोड़ा जो अवास्तविक छवियों के लिए जनरेटर को दंडित करता है। हमने एक अवधारणात्मक नुकसान का भी इस्तेमाल किया।

दूसरा निष्कर्ष - मूल्यांकनकर्ता आवश्यक हैं। और न केवल विभाजन विभाजन के चरण के दौरान, बल्कि अंतिम परिणाम सत्यापन के लिए भी। अंत में, हम उपयोगकर्ता को तीन तस्वीरें देते हैं: अशुभ दोषों के साथ एक मूल छवि, अभेद्य दोषों के साथ एक रंगीन तस्वीर और दोष खोज और अशुद्धि के लिए एल्गोरिथ्म के मामले में बस एक रंग दिया गया।

हमने वॉर एल्बम प्रोजेक्ट से कुछ तस्वीरें लीं और उन्हें इन न्यूरॉन्स पर संसाधित किया। यहां हमें मिले परिणाम हैं:



इसके अलावा, यहां आप मूल चित्रों और सभी प्रसंस्करण चरणों का बारीकी से अवलोकन कर सकते हैं।