Ganpaint चित्रमय संपादक वस्तुओं को आकर्षित करता है और GAN क्षमताओं को प्रदर्शित करता है

ब्रश में से एक पेड़ हटाता है / जोड़ता है, दूसरा - लोगों का, आदि।

जनरेटिव कंसंट्रेशन नेटवर्क (GAN) आश्चर्यजनक रूप से यथार्थवादी छवियां बनाते हैं, जो वास्तविक लोगों से अक्सर अप्रभेद्य होते हैं। 2014 में इस तरह के नेटवर्क के आविष्कार के बाद से, इस क्षेत्र में बहुत सारे शोध किए गए हैं और छवि हेरफेर और वीडियो भविष्यवाणी सहित कई अनुप्रयोगों का निर्माण किया गया है। कई GAN वेरिएंट विकसित किए गए हैं, और प्रयोग जारी हैं।

इस जबरदस्त सफलता के बावजूद, कई सवाल बने हुए हैं। यह स्पष्ट नहीं है कि वास्तव में बहुत अधिक अवास्तविक कलाकृतियों के कारण क्या हैं, विशिष्ट वस्तुओं को उत्पन्न करने के लिए न्यूनतम ज्ञान की आवश्यकता क्या है, क्यों एक गण संस्करण दूसरे की तुलना में बेहतर काम करता है, उनके तराजू में कौन से मूलभूत अंतर हैं? GAN की आंतरिक कार्यप्रणाली को बेहतर ढंग से समझने के लिए, मैसाचुसेट्स इंस्टीट्यूट ऑफ टेक्नोलॉजी, MIT-IBM Watson AI, और IBM Research के शोधकर्ताओं ने एक जेनेरिक एडवांस्ड नेटवर्क पर एक ग्राफिकल एडिटर GANDissection फ्रेमवर्क और GANpaint प्रोग्राम विकसित किया है।

काम एक वैज्ञानिक लेख के साथ है जो रूपरेखा की कार्यक्षमता के बारे में विस्तार से बताता है और उन सवालों पर चर्चा करता है जो शोधकर्ता उत्तर खोजने की कोशिश कर रहे हैं। विशेष रूप से, वे जेनरेटर-प्रतिस्पर्धी नेटवर्क के आंतरिक अभ्यावेदन का अध्ययन करने की कोशिश कर रहे हैं। इकाइयों, वस्तुओं और दृश्यों के स्तर पर GAN को देखने और समझने के लिए "विश्लेषणात्मक संरचना", यानी, Gandissection ढांचा, को मदद करनी चाहिए।

एक तस्वीर को भागों (विभाजन-आधारित नेटवर्क विच्छेदन) में विभाजित करने की विधि द्वारा, सिस्टम "व्याख्या की गई इकाइयों" के समूहों को निर्धारित करता है जो वस्तुओं की अवधारणाओं से निकटता से संबंधित हैं। फिर व्याख्यात्मक इकाइयों में परिवर्तन का कारण बनने वाले कारणों का एक मात्रात्मक मूल्यांकन किया जाता है। यह "बाहर निकलने पर वस्तुओं को नियंत्रित करने के लिए हस्तक्षेप की क्षमता को मापने के द्वारा किया जाता है।" सीधे शब्दों में कहें, शोधकर्ताओं ने पाया वस्तुओं को नई छवियों में पेश करके विशिष्ट वस्तुओं और उनके वातावरण के बीच संबंध का अध्ययन करते हैं।


GAN विच्छेदन ढांचा दर्शाता है कि GAN में विशिष्ट न्यूरॉन्स को उस दृश्य के प्रकार के आधार पर प्रशिक्षित किया जाता है जिसे वह आकर्षित करना सीख रहा है: उदाहरण के लिए, सम्मेलन कक्षों का अध्ययन करते समय एक जैकेट न्यूरॉन दिखाई देता है, और एक प्लेट न्यूरॉन प्रकट होता है जब रसोई खींचते हैं

यह सुनिश्चित करने के लिए कि न्यूरॉन्स के सेट वस्तुओं के आरेखण को नियंत्रित करते हैं, और केवल सहसंबंधित नहीं हैं, फ्रेमवर्क नेटवर्क में हस्तक्षेप करता है और सीधे न्यूरॉन्स को सक्रिय और निष्क्रिय करता है। यह आलेखीय संपादक GANpaint कैसे काम करता है - यह विश्लेषणात्मक ढांचे का एक दृश्य प्रदर्शन है।


Ganpaint छवियों को बनाने के लिए प्रशिक्षित नेटवर्क में न्यूरॉन्स को सक्रिय और निष्क्रिय कर देता है। बाएं पैनल का प्रत्येक बटन 20 न्यूरॉन्स के एक सेट से मेल खाता है। केवल सात बटन:

• एक पेड़;
• घास;
• दरवाजा;
• आकाश;
• एक बादल;
• ईंट;
• गुंबद।

गणपति ऐसी वस्तुओं को जोड़ या हटा सकता है।

न्यूरॉन्स को सीधे स्विच करके, आप दृश्य दुनिया की संरचना का निरीक्षण कर सकते हैं जिसे तंत्रिका नेटवर्क ने मॉडल करना सीखा है।

जब अन्य जेनेरिक-प्रतिस्पर्धी नेटवर्क के काम के परिणामों का अध्ययन करते हैं, तो एक बाहरी व्यक्ति एक प्रश्न पूछ सकता है: क्या जीएएन वास्तव में एक नई छवि बनाता है या क्या यह सिर्फ वस्तुओं से एक दृश्य बनाता है जो प्रशिक्षण के दौरान मिले थे? हो सकता है कि नेटवर्क सिर्फ छवियों को याद करता है और फिर उन्हें उसी तरह से खेलता है? यह शोध कार्य और गणपति संपादक दिखाते हैं कि नेटवर्क ने वास्तव में रचना के कुछ पहलुओं को सीखा है, लेखक कहते हैं।

एक दिलचस्प खोज यह है कि समान न्यूरॉन्स विभिन्न संदर्भों में वस्तुओं की एक निश्चित श्रेणी को नियंत्रित करते हैं, भले ही वस्तु का अंतिम स्वरूप बहुत भिन्न हो। समान न्यूरॉन्स "द्वार" की अवधारणा पर स्विच कर सकते हैं, भले ही आपको एक बड़ी पत्थर की दीवार पर एक छोटे से दरवाजे या एक छोटी सी झोपड़ी पर एक छोटे से दरवाजे को जोड़ने की आवश्यकता हो। GAN यह भी समझता है कि कब और किन वस्तुओं का निर्माण नहीं किया जा सकता है। उदाहरण के लिए, जब दरवाजा न्यूरॉन्स सक्रिय होते हैं, तो दरवाजा वास्तव में इमारत में सही जगह पर दिखाई देता है। लेकिन अगर आप आकाश में या पेड़ पर भी ऐसा करते हैं, तो आमतौर पर इस तरह के प्रयास का कोई प्रभाव नहीं पड़ता है।

वैज्ञानिक लेख "GAN Dissection: Visualizing and Understanding Generative Adversarial Networks" का प्रकाशन 26 नवंबर, 2018 को प्रीप्रिंट साइट arXiv.org (arXiv: 1811.10597v2) पर किया गया था।

इंटरएक्टिव डेमो, वीडियो, कोड, और डेटा जीथब और एमआईटी वेबसाइट पर प्रकाशित किए जाते हैं।