तंत्रिका नेटवर्क ने एक पाठ्य विवरण से जटिल दृश्यों को आकर्षित करना सीखा है

अनुसंधान समूह माइक्रोसॉफ्ट रिसर्च ने एक जनरेटिव-प्रतिस्पर्धी न्यूरल नेटवर्क पेश किया जो एक टेक्स्ट विवरण के आधार पर कई वस्तुओं के साथ चित्र बनाने में सक्षम है। पहले की तरह ही टेक्स्ट-टू-इमेज एल्गोरिदम के विपरीत, जो केवल मूल वस्तुओं की छवियों को पुन: प्रस्तुत करने में सक्षम है, यह तंत्रिका नेटवर्क जटिल विवरणों का अधिक कुशलता से सामना कर सकता है।

इस तरह के एक एल्गोरिथ्म बनाने की जटिलता यह थी कि, सबसे पहले, बॉट अच्छी गुणवत्ता में उनके विवरण के अनुसार सभी मूल वस्तुओं को फिर से बनाने में सक्षम नहीं था, और दूसरी बात, यह विश्लेषण नहीं कर सका कि कितनी वस्तुएं एक-दूसरे से संबंधित हो सकती हैं एक रचना के भीतर। उदाहरण के लिए, वर्णन के अनुसार एक छवि बनाने के लिए "एक हेलमेट में एक महिला घोड़े पर बैठती है", तंत्रिका नेटवर्क को शब्दार्थ "समझना" था कि प्रत्येक वस्तु एक दूसरे से कैसे संबंधित है। हम 1.5 से अधिक वस्तुओं के लिए मार्कअप और विभाजन डेटा युक्त COCO खुले डेटा सेट के आधार पर तंत्रिका नेटवर्क को प्रशिक्षित करके इन समस्याओं को हल करने में कामयाब रहे।

एल्गोरिथ्म एक ऑब्जेक्ट-ओरिएंटेड जनरेटिव-कॉम्पिटिटिव न्यूरल नेटवर्क ObjGAN (ऑब्जेक्ट-चालित एटेंटिव जेनरेटिव एडवरसैरियल न्यूटॉर्क) पर आधारित है। वह पाठ का विश्लेषण करती है, इसे शब्दों-वस्तुओं से निकालती है जिन्हें छवि पर रखा जाना चाहिए। एक पारंपरिक जनरेटर-प्रतिकूल-नेटवर्क के विपरीत, जिसमें एक जनरेटर होता है जो छवियों को बनाता है और एक भेदभाव करनेवाला जो उत्पन्न छवियों की गुणवत्ता का मूल्यांकन करता है, ओबजान में दो अलग-अलग भेदभाव होते हैं। एक विश्लेषण करता है कि पुनरुत्पादित वस्तुओं में से प्रत्येक कितना यथार्थवादी है और यह मौजूदा विवरण से कितना मेल खाता है। दूसरी यह निर्धारित करती है कि पूरी रचना कितनी यथार्थवादी है और पाठ से संबंधित है।

ObjGAN एल्गोरिथ्म का पूर्ववर्ती AttnGAN था, जिसे Microsoft शोधकर्ताओं द्वारा भी विकसित किया गया था। यह सरल पाठ विवरण से वस्तुओं की छवियों को उत्पन्न करने में सक्षम है। डिजाइनरों और कलाकारों को रेखाचित्र बनाने में मदद करने के लिए पाठ को छवियों में परिवर्तित करने की तकनीक का उपयोग किया जा सकता है।

ओब्जागान एल्गोरिथ्म सार्वजनिक रूप से गिटहब पर उपलब्ध है।