रोजमर्रा के दृश्यों और यहां तक ​​कि कहानियों को साकार करने के लिए एक ड्राइंग बॉट

यदि आपको स्की गियर में, बर्फ में खड़े कई लोगों की तस्वीर खींचने के लिए कहा गया है, तो संभावना है कि आप तीन या चार लोगों की रूपरेखा के साथ शुरू करेंगे, जो उचित रूप से कैनवास के केंद्र में स्थित हैं, फिर उनके नीचे स्की में स्केच करें पैर। हालांकि यह निर्दिष्ट नहीं किया गया था, आप स्कीयर में से प्रत्येक को एक बैकपैक जोड़ने का फैसला कर सकते हैं, जो स्कीयर खेल होगा। अंत में, आप ध्यान से विवरण भरेंगे, शायद उनके कपड़े नीले रंग का, स्कार्फ गुलाबी, सभी एक सफेद पृष्ठभूमि के खिलाफ, इन लोगों को अधिक यथार्थवादी प्रतिपादन और यह सुनिश्चित करते हुए कि उनका परिवेश विवरण से मेल खाता है। अंत में, दृश्य को और अधिक उज्ज्वल बनाने के लिए, आप बर्फ के माध्यम से फैलने वाले कुछ भूरे पत्थरों में भी स्केच कर सकते हैं ताकि यह सुझाव दिया जा सके कि ये स्कीयर पहाड़ों में हैं।

अब एक बॉट है, जो यह सब कर सकता है।

Microsoft अनुसंधान AI में विकसित की जा रही नई AI तकनीक एक प्राकृतिक भाषा के विवरण को समझ सकती है, चित्र के एक लेआउट को स्केच कर सकती है, छवि को संश्लेषित कर सकती है, और फिर लेआउट और उपलब्ध कराए गए व्यक्तिगत शब्दों के आधार पर विवरण को परिष्कृत कर सकती है। दूसरे शब्दों में, यह बॉट प्रतिदिन के दृश्यों के कैप्शन जैसे टेक्स्ट विवरण से चित्र उत्पन्न कर सकता है। उद्योग जगत के मानक परीक्षणों के परिणामों के अनुसार, " जानबूझकर किए गए टेक्स्ट- " में परिणामों के अनुसार, इस जानबूझकर तंत्र ने पहले की अत्याधुनिक पीढ़ी के लिए अत्याधुनिक तकनीक की तुलना में उत्पन्न छवि गुणवत्ता में एक महत्वपूर्ण बढ़ावा दिया। एडवरसैरियल ट्रेनिंग के माध्यम से इमेज सिंथेसिस ”, इस महीने में लॉन्ग बीच, कैलिफोर्निया में 2019 IEEE सम्मेलन में कंप्यूटर विजन और पैटर्न मान्यता (CVPR 2019) में प्रकाशित किया जाएगा। यह माइक्रोसॉफ्ट रिसर्च एआई के पेंगचुआन जांग , कियुयुआन हुआंग और जियानफेंग गाओ , माइक्रोसॉफ्ट के लेई झांग , जेडी एआई रिसर्च के शियाओदोंग हे , और अल्बानी, सनी (वेनबो ली के रूप में विश्वविद्यालय के वेनबो ली और सियावी लुऊ के बीच एक सहयोग परियोजना है। माइक्रोसॉफ्ट रिसर्च एआई में एक इंटर्न)।

विवरण आधारित ड्राइंग बॉट समस्या के लिए दो मुख्य चुनौतियां आंतरिक हैं। पहला यह है कि रोजमर्रा के दृश्यों में कई तरह की वस्तुएं दिखाई दे सकती हैं और बॉट को उन सभी को समझने और आकर्षित करने में सक्षम होना चाहिए। पिछले पाठ से छवि पीढ़ी के तरीकों में छवि-कैप्शन जोड़े का उपयोग होता है जो केवल व्यक्तिगत वस्तुओं को उत्पन्न करने के लिए एक बहुत मोटे-दानेदार पर्यवेक्षण संकेत प्रदान करते हैं, जो उनके ऑब्जेक्ट पीढ़ी की गुणवत्ता को सीमित करते हैं। इस नई तकनीक में, शोधकर्ता COCO डेटासेट का उपयोग करते हैं, जिसमें 80 सामान्य ऑब्जेक्ट कक्षाओं में 1.5 मिलियन ऑब्जेक्ट इंस्टेंस के लिए लेबल और विभाजन मैप्स होते हैं, जो बॉट को इन ऑब्जेक्ट्स की अवधारणा और उपस्थिति दोनों को सीखने में सक्षम बनाता है। ऑब्जेक्ट जनरेशन के लिए यह ठीक-ठीक सुपरवाइज्ड सिग्नल इन कॉमन ऑब्जेक्ट क्लासेस के लिए जनरेशन क्वालिटी में काफी सुधार करता है।

दूसरी चुनौती एक दृश्य में कई वस्तुओं के बीच संबंधों की समझ और निर्माण में है। ऐसी छवियां उत्पन्न करने में बड़ी सफलता मिली है, जिसमें कई विशिष्ट डोमेन, जैसे कि चेहरे, पक्षी और सामान्य वस्तुओं के लिए केवल एक मुख्य वस्तु है। हालांकि, उन वस्तुओं में कई सार्थक अर्थों के साथ कई वस्तुओं वाले अधिक जटिल दृश्यों को उत्पन्न करना पाठ से छवि निर्माण तकनीक में एक महत्वपूर्ण चुनौती बनी हुई है। यह नया ड्राइंग बॉट COCO डाटासेट में सह-घटना पैटर्न से वस्तुओं के लेआउट को उत्पन्न करने के लिए सीखा, फिर पूर्व-निर्मित लेआउट पर वातानुकूलित एक छवि उत्पन्न करने के लिए।

ऑब्जेक्ट-चालित चौकस छवि पीढ़ी

माइक्रोसॉफ्ट रिसर्च एआई के ड्राइंग बॉट के मूल में एक तकनीक है जिसे जनरेटिव एडवरसरी नेटवर्क या GAN के रूप में जाना जाता है। GAN में दो मशीन लर्निंग मॉडल होते हैं - एक जनरेटर जो टेक्स्ट डिस्क्रिप्शन से इमेज जेनरेट करता है, और एक डिस्क्रिमिनेटर जो उत्पन्न की गई इमेज की प्रामाणिकता को आंकने के लिए टेक्स्ट डिस्क्रिप्शन का उपयोग करता है। जनरेटर विवेचक के सामने नकली चित्र प्राप्त करने का प्रयास करता है; दूसरी ओर भेदभाव करने वाला कभी भी मूर्ख नहीं बनना चाहता। एक साथ काम करते हुए, भेदभावकर्ता जनरेटर को पूर्णता की ओर धकेलता है।

ड्राइंग बॉट को 100,000 छवियों के एक डेटासेट पर प्रशिक्षित किया गया था, जिनमें से प्रत्येक को मुख्य ऑब्जेक्ट लेबल और सेगमेंटेशन मैप्स और पांच अलग-अलग कैप्शन के साथ, मॉडल को ऑब्जेक्ट्स और वस्तुओं के बीच अर्थ संबंधी संबंधों को गर्भ धारण करने की अनुमति मिलती है। GAN, उदाहरण के लिए, सीखता है कि कुत्ते के विवरण के साथ और बिना छवियों की तुलना करते समय कुत्ते को कैसा दिखना चाहिए।

चित्र 1: कई वस्तुओं और संबंधों के साथ एक जटिल दृश्य।

GANs अच्छी तरह से काम करते हैं, जब केवल एक ही मुख्य वस्तु, जैसे कि एक मानव चेहरा, पक्षियों या कुत्तों की छवियां उत्पन्न होती हैं, लेकिन गुणवत्ता अधिक जटिल रोजमर्रा के दृश्यों के साथ स्थिर हो जाती है, इस तरह के एक दृश्य को वर्णित किया गया है "हेलमेट पहने हुए एक महिला एक घोड़े की सवारी कर रही है" (चित्र देखें) 1.) ऐसा इसलिए है क्योंकि इस तरह के दृश्यों में कई वस्तुएं (महिला, हेलमेट, घोड़ा) और उनके बीच समृद्ध अर्थ संबंध हैं (महिला पहनें हेलमेट, महिला सवारी घोड़ा)। बॉट को पहले इन अवधारणाओं को समझना चाहिए और उन्हें एक सार्थक लेआउट के साथ छवि में रखना चाहिए। उसके बाद, ऑब्जेक्ट जनरेशन और लेआउट पीढ़ी को पढ़ाने में सक्षम अधिक पर्यवेक्षण संकेत इस भाषा-समझ और छवि-निर्माण कार्य को पूरा करने के लिए आवश्यक है।

जैसा कि मनुष्य इन जटिल दृश्यों को आकर्षित करते हैं, हम पहले मुख्य वस्तुओं पर कैनवास पर इन वस्तुओं के लिए बाउंडिंग बॉक्स रखकर ड्रॉ करने और बनाने का निर्णय लेते हैं। फिर हम प्रत्येक वस्तु पर ध्यान केंद्रित करते हैं, इस वस्तु का वर्णन करने वाले संबंधित शब्दों की बार-बार जाँच करके। इस मानव विशेषता को पकड़ने के लिए, शोधकर्ताओं ने बनाया कि उन्होंने ऑब्जेक्ट-चालित चौकस GAN, या ObjGAN, को गणितीय रूप से ऑब्जेक्ट के मानव व्यवहार को ध्यान में रखकर मॉडल कहा है। ObjGAN इनपुट टेक्स्ट को अलग-अलग शब्दों में तोड़कर और उन शब्दों को इमेज में मौजूद विशिष्ट वस्तुओं से मिलाता है।

ड्राइंग को परिष्कृत करने के लिए मनुष्य आम तौर पर दो पहलुओं की जाँच करता है: व्यक्तिगत वस्तुओं का यथार्थवाद और छवि पैच की गुणवत्ता। ओब्जेन इस व्यवहार की नकल करते हैं और साथ ही दो विभेदकों का परिचय देते हैं - एक वस्तु-वार विभेदक और एक पैच-वार विवेचक। ऑब्जेक्ट-वार डिस्क्रिमिनेटर यह निर्धारित करने की कोशिश कर रहा है कि उत्पन्न वस्तु यथार्थवादी है या नहीं और वस्तु वाक्य विवरण के अनुरूप है या नहीं। पैच-वार विवेचक यह निर्धारित करने की कोशिश कर रहा है कि यह पैच यथार्थवादी है या नहीं और यह पैच वाक्य विवरण के अनुरूप है या नहीं।

संबंधित कार्य: कहानी दृश्य

अत्याधुनिक टेक्स्ट-टू-इमेज जेनरेशन मॉडल एकल-वाक्य विवरण के आधार पर यथार्थवादी पक्षी चित्र उत्पन्न कर सकते हैं। हालाँकि, टेक्स्ट-टू-इमेज पीढ़ी एक वाक्य के आधार पर एकल छवि के संश्लेषण से बहुत आगे जा सकती है। " StoryGAN: स्टोरी विज़ुअलाइज़ेशन के लिए एक अनुक्रमिक सशर्त GAN " में, माइक्रोसॉफ्ट रिसर्च के जियानफ़ेंग गाओ , साथ में ज़ी गण, माइक्रोसॉफ्ट डायनेमिक्स 365 एआई रिसर्च के यिंगॉन्ग ली, डेविड कार्लसन और लॉरेंस कैरिन, ड्यूक यूनिवर्सिटी के येलोंग शेन। Tencent एआई रिसर्च और कार्नेगी मेलन यूनिवर्सिटी के यूक्सिन वू ने एक कदम आगे बढ़कर एक नया कार्य प्रस्तावित किया, जिसे स्टोरी विज़ुअलाइज़ेशन कहा जाता है। एक बहु-वाक्य पैराग्राफ को देखते हुए, एक पूर्ण कहानी की कल्पना की जा सकती है, जो छवियों के अनुक्रम को उत्पन्न करती है, प्रत्येक वाक्य के लिए। यह एक चुनौतीपूर्ण कार्य है, क्योंकि ड्राइंग बॉट को न केवल एक ऐसे परिदृश्य की कल्पना करने की आवश्यकता है जो कहानी को फिट करता है, कहानी में दिखने वाले विभिन्न पात्रों के बीच बातचीत को मॉडल करता है, बल्कि यह गतिशील दृश्यों और पात्रों के बीच वैश्विक स्थिरता बनाए रखने में सक्षम होना चाहिए। इस चुनौती को किसी एक छवि या वीडियो पीढ़ी विधियों द्वारा संबोधित नहीं किया गया है।

चित्र 2: कहानी दृश्य बनाम साधारण छवि निर्माण।

शोधकर्ताओं ने अनुक्रमिक सशर्त जीएएन फ्रेमवर्क के आधार पर एक नया स्टोरी-टू-इमेज-सीक्वेंस जेनरेशन मॉडल, स्टोरीगन बनाया। यह मॉडल इस मायने में अनूठा है कि इसमें एक गहरा संदर्भ एनकोडर है जो गतिशील रूप से कहानी के प्रवाह को ट्रैक करता है, और छवि की गुणवत्ता और उत्पन्न अनुक्रमों की स्थिरता को बढ़ाने के लिए कहानी और छवि स्तरों पर दो भेदभाव करता है। StoryGAN को इंटरेक्टिव इमेज एडिटिंग के लिए भी स्वाभाविक रूप से बढ़ाया जा सकता है, जहां टेक्स्ट निर्देशों के आधार पर इनपुट इमेज को क्रमिक रूप से संपादित किया जा सकता है। इस मामले में, उपयोगकर्ता निर्देशों का एक क्रम "कहानी" इनपुट के रूप में काम करेगा। तदनुसार, शोधकर्ताओं ने मौजूदा डेटासेट को CLEVR-SV और Pororo-SV डेटासेट बनाने के लिए संशोधित किया, जैसा कि चित्र 2 में दिखाया गया है।

व्यावहारिक अनुप्रयोग - एक वास्तविक कहानी

टेक्स्ट-टू-इमेज जनरेशन तकनीक चित्रकारों और इंटीरियर डिजाइनरों के लिए स्केच सहायक के रूप में या ध्वनि-सक्रिय फोटो संपादन के लिए एक उपकरण के रूप में व्यावहारिक अनुप्रयोगों को पा सकती है। अधिक कंप्यूटिंग शक्ति के साथ, शोधकर्ता स्क्रीनप्ले के आधार पर एनिमेटेड फिल्मों का निर्माण करने वाली तकनीक की कल्पना करते हैं, इसमें शामिल काम को उन्नत करते हुए एनिमेटेड फिल्म निर्माता कुछ श्रम श्रम को हटाते हैं।

अभी के लिए, उत्पन्न छवियां अभी भी फोटो यथार्थवादी से बहुत दूर हैं। व्यक्तिगत वस्तुएं लगभग हमेशा दोषों को प्रकट करती हैं, जैसे धुंधले चेहरे और विकृत आकृतियों के साथ बसें। ये दोष एक स्पष्ट संकेत हैं कि एक कंप्यूटर, एक मानव नहीं, चित्र बनाए। फिर भी, ओबजैन छवियों की गुणवत्ता पिछले सर्वश्रेष्ठ-इन-क्लास जीएएन छवियों की तुलना में काफी बेहतर है और एक सामान्य, मानव जैसी बुद्धि की ओर सड़क पर एक मील का पत्थर के रूप में काम करती है जो मानव क्षमताओं को बढ़ाती है।

एआई और मनुष्यों को समान दुनिया साझा करने के लिए, प्रत्येक के पास दूसरे के साथ बातचीत करने का एक तरीका होना चाहिए। भाषा और दृष्टि मनुष्य और मशीनों के लिए एक दूसरे के साथ बातचीत करने के लिए दो सबसे महत्वपूर्ण तौर-तरीके हैं। टेक्स्ट-टू-इमेज पीढ़ी एक महत्वपूर्ण कार्य है जो भाषा-दृष्टि मल्टी-मोडल इंटेलिजेंस अनुसंधान को आगे बढ़ाता है।

इस रोमांचक काम को बनाने वाले शोधकर्ता लॉन्ग बीच में सीवीपीआर में उपस्थित लोगों के साथ इन निष्कर्षों को साझा करने और जो आप सोचते हैं उसे सुनने के लिए तत्पर हैं। इस बीच, GitHub पर ObjGAN और StoryGAN के लिए उनके ओपन-सोर्स कोड की जांच करने के लिए स्वतंत्र महसूस करें