AttnGAN तंत्रिका नेटवर्क न केवल वाक्यों, बल्कि शब्दों के सदिश स्थान का उपयोग करके भागों में वस्तुओं को खींचता है

AttnGAN ऑपरेशन का उदाहरण। शीर्ष पंक्ति में एक तंत्रिका नेटवर्क द्वारा उत्पन्न विभिन्न प्रस्तावों के कई चित्र हैं। दूसरी और तीसरी पंक्तियों में सबसे अधिक प्रासंगिक अनुभागों को खींचने के लिए तंत्रिका नेटवर्क के ध्यान के दो मॉडल द्वारा पांच सबसे उपयुक्त शब्दों के प्रसंस्करण को दिखाया गया है

एक प्राकृतिक भाषा में पाठ विवरणों से स्वचालित रूप से चित्र बनाना कई अनुप्रयोगों के लिए एक मूलभूत समस्या है, जैसे कला पीढ़ी और कंप्यूटर डिजाइन। यह समस्या दृष्टि और भाषा के बीच संबंध के साथ मल्टीमॉडल एआई प्रशिक्षण के क्षेत्र में प्रगति को प्रोत्साहित करती है।

इस क्षेत्र के शोधकर्ताओं द्वारा हाल ही में किए गए शोध, जननिक प्रतिकूल नेटवर्क (GANs) पर आधारित हैं। सामान्य दृष्टिकोण वैश्विक वाक्य वेक्टर में संपूर्ण पाठ विवरण का अनुवाद करना है। यह दृष्टिकोण कई प्रभावशाली परिणामों को प्रदर्शित करता है, लेकिन इसके मुख्य नुकसान हैं: शब्द स्तर पर स्पष्ट विस्तार की कमी और उच्च-रिज़ॉल्यूशन छवियां उत्पन्न करने में असमर्थता। लीचाई यूनिवर्सिटी, रटगर्स यूनिवर्सिटी, ड्यूक यूनिवर्सिटी (सभी - यूएसए) और माइक्रोसॉफ्ट के डेवलपर्स की एक टीम ने समस्या के लिए अपने स्वयं के समाधान का प्रस्ताव दिया: नए तंत्रिका नेटवर्क एटेंटिकल जेनरेटिव एडवरसैरियल नेटवर्क (AttnGAN) पारंपरिक दृष्टिकोण में सुधार का प्रतिनिधित्व करता है और उत्पन्न छवि के बहु-मंच परिवर्तन की अनुमति देता है, पाठ में अलग-अलग शब्द बदलते हैं। वर्णन।



AttnGAN तंत्रिका नेटवर्क वास्तुकला। प्रत्येक ध्यान मॉडल स्वचालित रूप से छवि के विभिन्न क्षेत्रों को उत्पन्न करने के लिए स्थिति (अर्थात संबंधित शब्दावली वैक्टर) प्राप्त करता है। DAMSM मॉड्यूल जेनरेटर नेटवर्क में छवि से पाठ में अनुवाद में अनुरूपता हानि समारोह के लिए अतिरिक्त ग्रैन्युलैरिटी प्रदान करता है

जैसा कि आप तंत्रिका नेटवर्क की वास्तुकला का चित्रण चित्रण में देख सकते हैं, AttnGAN मॉडल में पारंपरिक दृष्टिकोणों की तुलना में दो नवाचार हैं।

सबसे पहले, यह एक प्रतिकूल नेटवर्क है, जो एक सीखने के कारक के रूप में ध्यान देने के लिए संदर्भित करता है (Attentional Generative Adversarial Network)। यही है, यह ध्यान तंत्र को लागू करता है, जो उन शब्दों को निर्धारित करता है जो चित्र के संबंधित भागों को उत्पन्न करने के लिए सबसे उपयुक्त हैं। दूसरे शब्दों में, वैश्विक वेक्टर वाक्यों के पूरे पाठ विवरण को कोड करने के अलावा, प्रत्येक व्यक्तिगत शब्द को टेक्स्ट वेक्टर के रूप में भी एन्कोड किया गया है। पहले चरण में, जेनरेटर न्यूरल नेटवर्क कम-रिज़ॉल्यूशन वाली छवि को प्रस्तुत करने के लिए वाक्यों के वैश्विक वेक्टर स्थान का उपयोग करता है। निम्नलिखित चरणों में, वह शब्द वेक्टर को क्वेरी करने के लिए प्रत्येक क्षेत्र में छवि वेक्टर का उपयोग करता है, शब्द परत वेक्टर का निर्माण करता है। फिर, क्षेत्रीय छवि वेक्टर को मल्टीमॉडल संदर्भ वेक्टर बनाने के लिए संबंधित शब्द संदर्भ वेक्टर के साथ जोड़ा जाता है, जिसके आधार पर मॉडल संबंधित क्षेत्रों में नई छवि सुविधाएँ उत्पन्न करता है। यह आपको संपूर्ण रूप से संपूर्ण छवि के रिज़ॉल्यूशन को प्रभावी ढंग से बढ़ाने की अनुमति देता है, क्योंकि प्रत्येक चरण में अधिक से अधिक विस्तार होता है।

Microsoft का दूसरा न्यूरल नेटवर्क इनोवेशन डीप अटेंडेंट मल्टीमॉडल समानता मॉडल (DAMSM) मॉड्यूल है। ध्यान तंत्र का उपयोग करते हुए, यह मॉड्यूल उत्पन्न छवि और पाठ वाक्य के बीच समानता की डिग्री की गणना करता है, वाक्यों के वेक्टर स्थान के स्तर और शब्दकोश वैक्टर के एक विस्तृत स्तर से दोनों जानकारी का उपयोग करता है। इस प्रकार, DAMSM जनरेटर को प्रशिक्षित करते समय छवि से पाठ में अनुवाद पर फिट फ़ंक्शन के नुकसान के लिए अतिरिक्त ग्रैन्युलैरिटी प्रदान करता है।

इन दो नवाचारों के लिए धन्यवाद, AttnGAN तंत्रिका नेटवर्क पारंपरिक जीएएन सिस्टम, डेवलपर्स द्वारा लिखे गए सर्वश्रेष्ठ परिणामों की तुलना में काफी बेहतर परिणाम दिखाता है। विशेष रूप से, मौजूदा तंत्रिका नेटवर्क के लिए अधिकतम ज्ञात अंतर्ग्रहण स्कोर CUB डेटासेट पर 14.14% (3.82 से 4.36 तक) और 170.25% (9.58 से 25.89 तक) में सुधार किया गया था अधिक परिष्कृत COCO डेटासेट पर।

इस विकास का महत्व अति कठिन है। AttnGAN तंत्रिका नेटवर्क ने पहली बार दिखाया कि एक बहुपरत जननिक-प्रतिकूल नेटवर्क, जो कि एक सीखने के कारक के रूप में ध्यान में आता है, एक छवि के व्यक्तिगत भागों को उत्पन्न करने के लिए स्वचालित रूप से शब्द-स्तर की स्थिति निर्धारित करने में सक्षम है।

वैज्ञानिक लेख 28 नवंबर, 2017 को प्रीप्रिंट साइट arXiv.org (arXiv: 1711.10485v1) पर प्रकाशित किया गया था।