AttnGAN का उपयोग करके पाठ से चित्र बनाना

नमस्कार, हेब्र! मैं आपके लिए ताओ जू, पेंगचुआन झांग, कियुयुआन हुआंग, हान झांग, झेओन हुआंग, शियाओदोंग हेग द्वारा लेख " एटर्नगैन: फाइन-ग्रैन्ड टेक्स्ट टू इमेज जनरेशन विद एटेंटिव जेनरेटिव एडवांसर नेटवर्क्स " का अनुवाद प्रस्तुत करता हूं।

इस प्रकाशन में, मैं एक पाठ विवरण से चित्र उत्पन्न करने के लिए अत्तन वास्तुकला के साथ अपने प्रयोगों के बारे में बात करना चाहता हूं। 2018 की शुरुआत में मूल लेख के जारी होने के बाद इस वास्तुकला का उल्लेख पहले ही हबेरा में किया गया था, और मुझे इस सवाल में दिलचस्पी थी - ऐसे मॉडल को खुद को प्रशिक्षित करना कितना मुश्किल होगा?

वास्तुकला विवरण

उन लोगों के लिए जो अत्तन और क्लासिक गण से परिचित नहीं हैं, मैं संक्षेप में सार का वर्णन करूंगा। क्लासिक GAN में कम से कम 2 तंत्रिका नेटवर्क होते हैं - एक जनरेटर और एक विभेदक। जनरेटर का कार्य कुछ डेटा (चित्र, पाठ, ऑडियो, वीडियो, आदि) उत्पन्न करना है जो डेटासेट से वास्तविक डेटा के समान है। विवेचक का कार्य उत्पन्न आंकड़ों का मूल्यांकन करना है, उन्हें वास्तविक लोगों के साथ तुलना करने और उन्हें अस्वीकार करने का प्रयास है। जनरेटर के काम का अस्वीकृत परिणाम इसे "धोखेबाज" बनाने के लिए सबसे अच्छा परिणाम उत्पन्न करने के लिए उत्तेजित करता है, जो कि विवेकशील, जो बदले में, बेहतर पहचान करने के लिए सीख रहा है।

GAN के बहुत सारे संशोधन हैं, और AttnGAN के लेखकों ने वास्तुकला के प्रश्न पर काफी आविष्कार किया है। मॉडल में 9 तंत्रिका नेटवर्क होते हैं जो अंतःक्रिया के लिए बारीक होते हैं। यह कुछ इस तरह दिखता है:



पाठ और छवि एनकोडर (पाठ / छवि एनकोडर) मूल पाठ विवरण और वास्तविक छवियों को किसी प्रकार के आंतरिक प्रतिनिधित्व में परिवर्तित करते हैं। विशेषता से, इस मामले में, पाठ को अलग-अलग शब्दों के अनुक्रम के रूप में माना जाता है, जिसकी प्रस्तुति छवि के प्रतिनिधित्व के साथ एक साथ संसाधित होती है, जो आपको व्यक्तिगत शब्दों की तुलना छवि के अलग-अलग हिस्सों से करने की अनुमति देती है। इस तरह, DAMSM लेख के लेखकों द्वारा बुलाया गया ध्यान तंत्र कार्यान्वित किया जाता है।

Fca - पूरे पाठ विवरण के आधार पर, छवि में समग्र दृश्य का एक संक्षिप्त प्रतिनिधित्व बनाता है। आउटपुट पर C का मान Z के सामान्य वितरण से एक सदिश के साथ समतल होता है, जो दृश्य की परिवर्तनशीलता को निर्धारित करता है। यह जानकारी जनरेटर के संचालन का आधार है।

जनरेटर तीन स्तरों से युक्त सबसे बड़ा नेटवर्क है। प्रत्येक स्तर में 64 * 64 से 256 * 256 पिक्सेल तक बढ़ते रिज़ॉल्यूशन की छवियां उत्पन्न होती हैं, और प्रत्येक स्तर पर काम का परिणाम फेटन ध्यान नेटवर्क का उपयोग करके समायोजित किया जाता है, जो दृश्य में व्यक्तिगत वस्तुओं के सही स्थान के बारे में जानकारी रखता है। इसके अलावा, प्रत्येक स्तर पर परिणाम तीन अलग-अलग कार्यशील भेदभावकर्ताओं द्वारा जांचे जाते हैं जो छवि के यथार्थवाद और दृश्य के सामान्य विचार के साथ इसकी स्थिरता का मूल्यांकन करते हैं।

ट्रेनिंग

वास्तुकला का परीक्षण करने के लिए, मैंने पक्षियों के फोटो और पाठ विवरण के साथ मानक क्यूब डेटासेट का उपयोग किया।

पूरे मॉडल को दो चरणों में प्रशिक्षित किया गया है। पहला चरण डैमएसएम नेटवर्क का पूर्व प्रशिक्षण है, जिसमें एक पाठ और छवि एनकोडर होता है। इस चरण के दौरान, जैसा कि ऊपर वर्णित है, एक "ध्यान मानचित्र" बनाया गया है जो इस तरह दिखता है:



जैसा कि आंकड़े से देखा जा सकता है, DAMSM बहुत ही सटीक ढंग से टेक्स्ट डिस्क्रिप्शन और इमेज एलिमेंट्स से अलग-अलग शब्दों के बीच के रिश्ते को कैप्चर करता है, मॉडल के लिए रंगों को पहचानना विशेष रूप से आसान है। मुझे कहना होगा कि सिस्टम के पास "लाल", "पीले" या "पंख", "चोंच" के बारे में कोई अतिरिक्त जानकारी नहीं है। केवल ग्रंथों और चित्रों का एक समूह है।

DAMSM प्रशिक्षण बिना किसी समस्या के होता है, इस डेटासेट पर प्रशिक्षण का समय 150-200 युग है, जो उच्च-शक्ति वाले GPU पर कई घंटों से मेल खाता है।

दूसरा और मुख्य चरण DAMSM मॉडल का उपयोग करके जनरेटर को प्रशिक्षित कर रहा है।
प्रत्येक स्तर पर जनरेटर उच्च संकल्प की एक छवि उत्पन्न करता है - यह इस तरह दिखता है:



जनरेटर प्रशिक्षण में अधिक समय लगता है और हमेशा इतना स्थिर नहीं होता है, इस डेटासेट पर अनुशंसित प्रशिक्षण का समय 300-600 युग है, जो उच्च-शक्ति वाले GPU पर लगभग 4-8 दिनों से मेल खाता है।

जनरेटर के प्रशिक्षण में मुख्य समस्या, मेरी राय में, पर्याप्त रूप से अच्छे मेट्रिक्स की कमी है जो हमें प्रशिक्षण की गुणवत्ता का अधिक औपचारिक तरीके से मूल्यांकन करने की अनुमति देगा। मैंने इनसेप्शन स्कोर के कई कार्यान्वयनों का अध्ययन किया, जो सिद्धांत रूप में, इस तरह के कार्यों के लिए एक सार्वभौमिक मीट्रिक के रूप में तैनात है - लेकिन वे मुझे पर्याप्त आश्वस्त नहीं करते थे। यदि आप ऐसे जनरेटर को प्रशिक्षित करने का निर्णय लेते हैं, तो आपको मध्यवर्ती परिणामों के अनुसार, प्रशिक्षण की प्रगति की लगातार निगरानी करने की आवश्यकता होगी। हालांकि, यह नियम ऐसे किसी भी कार्य के लिए सही है, दृश्य नियंत्रण हमेशा आवश्यक होता है।

परिणाम

अब मजा हिस्सा है। प्रशिक्षित मॉडल का उपयोग करके, हम चित्र बनाने की कोशिश करेंगे, हम सरल वाक्यों के साथ शुरू करेंगे:



आइए अधिक जटिल विवरणों की कोशिश करें:



सभी पाठ विवरणों का आविष्कार किया गया है, मैंने जानबूझकर परीक्षणों के लिए डेटासेट के वाक्यांशों का उपयोग नहीं किया। बेशक, इन सभी छवियों को पहली कोशिश पर प्राप्त नहीं किया गया था। मॉडल गलत है, लेखक खुद इस बारे में बात कर रहे हैं। जैसा कि वर्णन पाठ और प्रदर्शित होने वाले तत्वों में वृद्धि होती है, पूरे दृश्य के यथार्थवाद को बनाए रखना कठिन हो जाता है। हालांकि, यदि आप उत्पादन में कुछ इसी तरह का उपयोग करना चाहते हैं, तो कहें, एक डिजाइनर के लिए कुछ वस्तुओं की तस्वीरें उत्पन्न करें, आप अपनी आवश्यकताओं के लिए सिस्टम को प्रशिक्षित और अनुकूलित कर सकते हैं, जो काफी सख्त हो सकता है।

प्रत्येक पाठ विवरण के लिए, आप कई छवि विकल्प (अवास्तविक सहित) उत्पन्न कर सकते हैं, इसलिए हमेशा चुनने के लिए बहुत कुछ होगा।

तकनीकी विवरण

इस काम में, मैंने प्रोटोटाइप के लिए एक कम-शक्ति वाले जीपीयू का उपयोग किया और प्रशिक्षण चरण के दौरान टेस्ला K80 के साथ एक Google क्लाउड सर्वर स्थापित किया।

स्रोत कोड लेख के लेखकों के भंडार से लिया गया था और गंभीर रिफैक्टिंग से गुजरता था। पायथोर 0.4.1 के साथ पायथन 3.6 में प्रणाली का परीक्षण किया गया था

आपका ध्यान के लिए धन्यवाद!

मूल लेख: AttnGAN: फाइन-ग्रेन्टेड टेक्स्ट टू इमेज जनरेशन विद अटेंडेंट जनरेटिव एडवरसरीए नेटवर्क्स , 2018 - ताओ जू, पेंगचुआन जांग, किउयुआन हुआंग, हान झांग, झे गान, ज़ियाओल हुआंग, ज़ियाओदोंग हे।