जेनरेटर-एडवरसरी नेटवर्क में टैग किए गए डेटा पर निर्भरता कम करना

जनरेटिव एडवरसियरी नेटवर्क्स (GAN) - दिलचस्प विशेषताओं के साथ गहरे जेनेरेटिव मॉडल का एक वर्ग। उनका मुख्य विचार दो तंत्रिका नेटवर्क को प्रशिक्षित करना है, एक जनरेटर जो डेटा के संश्लेषण को सीखता है (उदाहरण के लिए, चित्र), और एक भेदभाव करनेवाला जो सीखता है कि जेनरेटर के संश्लेषण से वास्तविक डेटा को कैसे अलग किया जाए। इस दृष्टिकोण का उपयोग उच्च गुणवत्ता वाले छवि संश्लेषण , बेहतर छवि संपीड़न , और अधिक के लिए सफलतापूर्वक किया गया है।


ImageNet पर प्रशिक्षण के दौरान उत्पन्न नमूनों का विकास। जनरेटर छवि के वर्ग (उदाहरण के लिए, "दाढ़ी वाले उल्लू" या "गोल्डन रिट्रीवर") द्वारा सीमित है।

प्राकृतिक छवियों के संश्लेषण के क्षेत्र में, सशर्त जीएसएस सर्वोत्तम परिणाम प्राप्त करते हैं, जो बिना शर्त वाले के विपरीत, प्रशिक्षण के दौरान लेबल ("मशीन", "कुत्ते", आदि) का उपयोग करते हैं। और यद्यपि यह कार्य को सरल करता है और परिणाम में एक महत्वपूर्ण सुधार प्रदान करता है, इस तरह के दृष्टिकोण को बड़ी मात्रा में टैग किए गए डेटा की आवश्यकता होती है, जो शायद ही कभी अभ्यास में पाया जाता है।

हमारे काम में "कम टैग के साथ उच्च गुणवत्ता वाली छवियों का निर्माण", हम उन्नत सशर्त जीएसएस प्रशिक्षण के लिए आवश्यक टैग किए गए डेटा की मात्रा को कम करने के लिए एक नया दृष्टिकोण प्रस्तावित करते हैं। बड़े पैमाने पर जीएसएस के विकास में हालिया सफलताओं के साथ इस दृष्टिकोण को जोड़ते हुए, हम 10 गुना कम टैग का उपयोग करके तुलनीय-गुणवत्ता वाले प्राकृतिक चित्र बनाते हैं। हम इस अध्ययन के आधार पर तुलना गण पुस्तकालय का एक बड़ा अद्यतन भी जारी कर रहे हैं, जिसमें आधुनिक आरएसएस के प्रशिक्षण और मूल्यांकन के लिए सभी आवश्यक घटक शामिल हैं।

अर्ध-पर्यवेक्षण और आत्म-पर्यवेक्षण के माध्यम से सुधार

सशर्त जीएसएस में, जनरेटर और भेदभावकर्ता आमतौर पर वर्ग लेबल तक सीमित होते हैं। हमारे काम में, हम मैन्युअल रूप से चिपकाए गए टैग को कथित लोगों के साथ बदलने का प्रस्ताव देते हैं। ज्यादातर अछूते डेटा वाले एक बड़े सेट के लिए अच्छी गुणवत्ता वाले लेबल प्रदर्शित करने के लिए, हम दो-चरणीय दृष्टिकोण का उपयोग करते हैं। सबसे पहले, हम सीखते हैं कि केवल डेटाबेस के बिना भाग के उदाहरण के साथ छवि सुविधाएँ कैसे प्रस्तुत करें। संकेतों की प्रस्तुति के बारे में जानने के लिए, हम हाल ही में प्रस्तावित दृष्टिकोण के रूप में स्व-पर्यवेक्षण का उपयोग करते हैं जिसमें गैर-सूचीबद्ध डेटा को बेतरतीब ढंग से मिश्रित किया जाता है, और एक गहरी संवेदी तंत्रिका नेटवर्क रोटेशन के कोण की भविष्यवाणी करता है। यह विचार है कि मॉडल को इस कार्य को सफलतापूर्वक पूरा करने के लिए बुनियादी वस्तुओं और उनके आकृतियों को पहचानने में सक्षम होना चाहिए:



फिर हम प्रशिक्षित नेटवर्क के मध्यवर्ती परतों में से एक के सक्रियण अनुक्रम को इनपुट डेटा की विशेषताओं का एक नया प्रतिनिधित्व मानते हैं, और प्रारंभिक डेटा सेट के लेबल वाले भाग का उपयोग करके इन इनपुट डेटा के लेबल को पहचानने के लिए क्लासिफायर ट्रेन करते हैं। चूँकि नेटवर्क शब्दार्थिक रूप से अर्थपूर्ण डेटा विशेषताएँ (कार्य में रोटेशन की भविष्यवाणी के साथ) निकालने के लिए प्रशिक्षित किया गया था, इसलिए इस क्लासिफायरियर का प्रशिक्षण खरोंच से पूरे नेटवर्क को प्रशिक्षित करने के उदाहरणों से अधिक कुशल है। अंत में, हम इस क्लासिफायर का उपयोग अनलॉक्ड डेटा को चिह्नित करने के लिए करते हैं।

मॉडल की गुणवत्ता और प्रशिक्षण की स्थिरता को और बेहतर बनाने के लिए, हम विभेदक नेटवर्क को उन विशेषताओं का सार्थक निरूपण सीखने के लिए प्रोत्साहित करते हैं, जो पहले प्रस्तुत किए गए सहायक घाटे के कारण प्रशिक्षण के दौरान भुलाए नहीं जाते हैं। ये दो फायदे, बड़े पैमाने पर प्रशिक्षण के साथ, उन्नत सशर्त जीएसएस प्रदान करते हैं जो कि इमेजनेट से छवियों को संश्लेषित करने के लिए अनुकूल हैं, जो कि फ्रेट दूरी से देखते हैं।


जनरेटर नेटवर्क एक eigenvector के आधार पर एक छवि का उत्पादन करता है। प्रत्येक पंक्ति में, सबसे बाईं और दाईं ओर के चित्रों के रेखीय प्रक्षेप से छवि स्थान में सिमेंटिक प्रक्षेप होता है।

GSS के प्रशिक्षण और मूल्यांकन के लिए GAN पुस्तकालय की तुलना करें

जीएसएस के क्षेत्र में उन्नत अनुसंधान अच्छी तरह से विकसित और परीक्षण किए गए कोड पर निर्भर करता है, क्योंकि पिछले परिणामों और तकनीकों के प्रजनन के लिए भी बहुत प्रयास की आवश्यकता होती है। खुले विज्ञान का समर्थन करने और अनुसंधान समुदाय को हाल की सफलताओं पर निर्माण करने की अनुमति देने के लिए, हम तुलनात्मक पुस्तकालय के लिए एक बड़ा अद्यतन जारी कर रहे हैं। इसमें नुकसान के कार्य, नियमितीकरण और सामान्यीकरण योजनाएं, तंत्रिका नेटवर्क वास्तुकला और संख्यात्मक मीट्रिक शामिल हैं, जिन्हें अक्सर आधुनिक जीएसएस में उपयोग किया जाता है। वह पहले से ही समर्थन करती है:

• GPU और TPU पर प्रशिक्षण।
• जिन ( उदाहरण ) के साथ आसान सेटअप।
• बड़ी संख्या में डेटा TensorFlow लाइब्रेरी के माध्यम से सेट होते हैं ।

निष्कर्ष और भविष्य की योजना

लेबल और अनलिस्टेड डेटा स्रोतों के बीच अंतर को देखते हुए, केवल आंशिक रूप से लेबल किए गए डेटा से सीखना महत्वपूर्ण होता जा रहा है । हमने दिखाया है कि आत्म-पर्यवेक्षण और अर्ध-निगरानी का एक सरल लेकिन शक्तिशाली संयोजन जीएसएस के लिए इस अंतर को पाटने में मदद कर सकता है। हमारा मानना ​​है कि स्व-पर्यवेक्षण एक आशाजनक विचार है, जिसे जनरेटिव मॉडलिंग के अन्य क्षेत्रों के लिए खोजा जाना चाहिए।