Pix2pix तंत्रिका नेटवर्क वास्तविक रूप से पेंसिल स्केच और काले और सफेद फोटो रंग

कार्यक्रम के चार उदाहरण, जिनका कोड सार्वजनिक डोमेन में प्रकाशित हुआ है। स्रोत छवियों को बाईं ओर दिखाया गया है, और स्वचालित प्रसंस्करण का परिणाम दाईं ओर दिखाया गया है।

छवि प्रसंस्करण, कंप्यूटर ग्राफिक्स और कंप्यूटर विज़न में कई कार्यों को "छवि" एक छवि (इनपुट पर) से दूसरे (आउटपुट पर) के कार्य में कम किया जा सकता है। जिस प्रकार अंग्रेजी या रूसी में एक ही पाठ का प्रतिनिधित्व किया जा सकता है, उसी प्रकार छवि को RGB रंगों में, ग्रेडिएंट में, वस्तुओं की सीमाओं के मानचित्र के रूप में, अर्थ लेबल के मानचित्र आदि के रूप में दर्शाया जा सकता है। स्वचालित अनुवाद प्रणालियों के मॉडल के आधार पर, बर्कले में कैलिफोर्निया विश्वविद्यालय के बर्कले एआई रिसर्च लेबोरेटरी (बीएआईआर) के डेवलपर्स ने एक एप्लिकेशन बनाया।स्वचालित रूप से छवियों को एक दृश्य से दूसरे में प्रसारित करना। उदाहरण के लिए, एक काले और सफेद स्केच से लेकर पूर्ण-रंगीन चित्र तक।

एक अनजान व्यक्ति के लिए, इस तरह के एक कार्यक्रम का काम जादू प्रतीत होगा, लेकिन यह सशर्त पीढ़ी के प्रतिकूल नेटवर्क (सीजीएएन) के एक कार्यक्रम मॉडल पर आधारित है - ज्ञात प्रतिकूल पीढ़ी के नेटवर्क (जीएएन) की किस्मों के प्रकार।

वैज्ञानिक कार्य के लेखक लिखते हैं कि छवियों का अनुवाद करते समय उत्पन्न होने वाली अधिकांश समस्याएं या तो "कई से एक" अनुवाद (कंप्यूटर विज़न - संबंधित फ़ोटो को अर्थ मैप्स, सेगमेंट, ऑब्जेक्ट बाउंड्रीज़ आदि) में अनुवाद करने से संबंधित हैं, या "एक से कई" "(कंप्यूटर ग्राफिक्स - यथार्थवादी छवियों में उपयोगकर्ता से लेबल या इनपुट डेटा का अनुवाद)। परंपरागत रूप से, इनमें से प्रत्येक कार्य एक अलग विशेष एप्लिकेशन द्वारा किया जाता है। अपने काम में, लेखकों ने ऐसी सभी समस्याओं के लिए एक एकल सार्वभौमिक ढांचा बनाने की कोशिश की। और उन्होंने ऐसा किया। नुकसान फ़ंक्शन

को कम करने के लिए प्रशिक्षित संवैधानिक तंत्रिका नेटवर्क छवियों को प्रसारित करने के लिए महान हैं।, अर्थात्, अनुमानित पैरामीटर और पैरामीटर अनुमान के सही मूल्य के बीच विसंगति का एक उपाय है। हालाँकि प्रशिक्षण अपने आप ही हो जाता है, फिर भी, नुकसान फ़ंक्शन को प्रभावी ढंग से कम करने के लिए महत्वपूर्ण मैनुअल काम की आवश्यकता होती है। दूसरे शब्दों में, हमें अभी भी तंत्रिका नेटवर्क को समझाने और दिखाने की आवश्यकता है जो विशेष रूप से कम से कम करने की आवश्यकता है। और यहाँ कई नुकसान हैं जो परिणाम को प्रतिकूल रूप से प्रभावित करते हैं, अगर हम निम्न-स्तरीय हानि फ़ंक्शन के साथ काम करते हैं जैसे कि "अनुमानित और वास्तविक पिक्सेल के बीच यूक्लिडियन दूरी को कम करें" - यह धुंधली छवियों की पीढ़ी को जन्म देगा।


परिणाम पर विभिन्न नुकसान कार्यों का प्रभाव

यह तंत्रिका नेटवर्क को उच्च-स्तरीय कार्यों में सेट करने के लिए बहुत सरल होगा, जैसे "वास्तविकता से अप्रभेद्य छवि उत्पन्न करना", और फिर स्वचालित रूप से सबसे अच्छा कार्य करने वाले नुकसान फ़ंक्शन को कम करने के लिए तंत्रिका नेटवर्क को प्रशिक्षित करना। यह इस तरह से है कि जनरेशनल प्रतिकूल नेटवर्क (GAN) काम करते हैं - आज तंत्रिका नेटवर्क के विकास में सबसे आशाजनक क्षेत्रों में से एक है। GAN नेटवर्क नुकसान फ़ंक्शन को प्रशिक्षित करता है, जिसका कार्य छवि को "वास्तविक" या "नकली" के रूप में वर्गीकृत करना है, जबकि इस फ़ंक्शन को कम करने के लिए जेनेरेटिव मॉडल को प्रशिक्षित करना। यहां, धुंधली छवियों को किसी भी तरह से उत्पादित नहीं किया जा सकता है, क्योंकि वे वर्गीकरण की जांच को "वास्तविक" के रूप में पारित नहीं करेंगे।

डेवलपर्स ने टास्क के लिए सशर्त जनरेटिव एडवरसरी नेटवर्क्स (cGAN) का इस्तेमाल किया, यानी सशर्त पैरामीटर के साथ GAN। जैसे GAN जेनेरिक डेटा मॉडल को आत्मसात करता है, cGAN एक निश्चित स्थिति के अनुसार जेनेरेटिव मॉडल को आत्मसात करता है, जो इसे "एक से एक" छवियों के प्रसारण के लिए उपयुक्त बनाता है।


प्रसारण शहरवासी यथार्थवादी तस्वीरों के लिए लेआउट बनाते हैं। बाईं ओर मार्कअप है, केंद्र में मूल है, और दाईं ओर उत्पन्न छवि है।

पिछले दो वर्षों में, GAN के कई अनुप्रयोगों का वर्णन किया गया है और उनके काम के सैद्धांतिक आधार का अच्छी तरह से अध्ययन किया गया है। लेकिन इन सभी कार्यों में, GAN का उपयोग केवल विशेष कार्यों के लिए किया जाता है (उदाहरण के लिए, भयावह चित्रों की पीढ़ी या अश्लील चित्रों की पीढ़ी)। यह पूरी तरह से स्पष्ट नहीं था कि GAN एक-से-एक छवियों के कुशल अनुवाद के लिए कैसे उपयुक्त है। इस काम का मुख्य लक्ष्य यह प्रदर्शित करना है कि इस तरह का एक तंत्रिका नेटवर्क काफी स्वीकार्य परिणाम दिखाते हुए विभिन्न कार्यों की एक बड़ी सूची का प्रदर्शन करने में सक्षम है।

उदाहरण के लिए, काले और सफेद पेंसिल स्केच (बाएं स्तंभ) का रंग बहुत अच्छा दिखता है, जिसके आधार पर तंत्रिका नेटवर्क फोटोरिलेस्टिक चित्र (दाएं स्तंभ) उत्पन्न करता है। कुछ मामलों में, तंत्रिका नेटवर्क के संचालन का परिणाम एक वास्तविक तस्वीर (तुलना के लिए केंद्रीय स्तंभ) की तुलना में अधिक यथार्थवादी लगता है।


यथार्थवादी तस्वीरों के लिए पेंसिल स्केच कास्ट करें। बाईं ओर एक पेंसिल ड्राइंग है, केंद्र में मूल है, और दाईं ओर एक उत्पन्न छवि है।




पेंसिल स्केच का यथार्थवादी तस्वीरों में अनुवाद।

अन्य जेनरिक नेटवर्क की तरह, इस GAN में तंत्रिका नेटवर्क आपस में युद्ध कर रहे हैं । उनमें से एक (जनरेटर) दूसरे (विवेचक) को बरगलाने के लिए एक नकली छवि बनाने की कोशिश कर रहा है। समय के साथ, जनरेटर बेहतर चालकता को सीखता है, यानी अधिक यथार्थवादी छवियां उत्पन्न करता है। पारंपरिक GANs के विपरीत, Pix2Pix में डिस्क्रिमिनेटर और जनरेटर दोनों की मूल छवि तक पहुंच है।


इलाके के नक्शे से हवाई तस्वीरों की भविष्यवाणी करने के लिए cGAN का प्रशिक्षण। हवाई तस्वीरों को इलाके के नक्शे


में अनुवाद करने में cGAN के काम के उदाहरण और इसके विपरीत। एक

वैज्ञानिक लेख सार्वजनिक डोमेन में प्रकाशित हुआ है, Pix2pix के लिए स्रोत कोड GitHub पर है । लेखक सभी को कार्यक्रम का अनुभव कराने की पेशकश करते हैं।

Source: https://habr.com/ru/post/hi399469/