T2F: गहरी सीख के साथ चेहरे को ड्राइंग में टेक्स्ट परिवर्तित करने के लिए एक परियोजना

प्रोजेक्ट कोड रिपॉजिटरी में उपलब्ध है।

परिचय

जब मैंने पुस्तकों में पात्रों की उपस्थिति का वर्णन पढ़ा, तो मुझे हमेशा इस बात में दिलचस्पी थी कि वे जीवन में कैसे दिखते हैं। किसी व्यक्ति को समग्र रूप से कल्पना करना काफी संभव है, लेकिन सबसे अधिक ध्यान देने योग्य विवरणों का वर्णन एक मुश्किल काम है, और परिणाम व्यक्ति से दूसरे व्यक्ति में भिन्न होते हैं। कई बार मैं कुछ भी कल्पना नहीं कर सकता था लेकिन काम के बहुत अंत तक चरित्र का एक धुंधला सा चेहरा। केवल जब पुस्तक को फिल्म में बदल दिया जाता है, तो धुंधले चेहरे को विवरण से भर दिया जाता है। उदाहरण के लिए, मैं कभी सोच भी नहीं सकता कि राहेल का चेहरा " ट्रेन पर लड़की " पुस्तक से कैसा दिखता है। लेकिन जब फिल्म सामने आई, तो मैं राहेल के किरदार के साथ एमिली ब्लंट के चेहरे का मुकाबला कर पाई। निश्चित रूप से, अभिनेताओं के चयन में शामिल लोगों को स्क्रिप्ट में पात्रों को सही ढंग से चित्रित करने में बहुत समय लगता है।

इस समस्या ने मुझे एक समाधान खोजने के लिए प्रेरित और प्रेरित किया। उसके बाद, मैंने कुछ इसी तरह की खोज में गहन अध्ययन पर साहित्य का अध्ययन करना शुरू किया। सौभाग्य से, पाठ से छवियों के संश्लेषण पर काफी कुछ अध्ययन हुए हैं। यहाँ कुछ लोगों को बनाया गया है:

• arxiv.org/abs/1605.05396 "छवि संश्लेषण के लिए पीढ़ीगत प्रतिकूल पाठ"
• arxiv.org/abs/1612.03242 "स्टैकगन: स्टैक्ड जेनरेटिव एडवरसरीअल नेटवर्क्स के साथ फोटो-यथार्थवादी छवि संश्लेषण का पाठ"
• arxiv.org/abs/1710.10916 "स्टैकगैन ++: स्टैक्ड जेनरेटिव एडवरसियर नेटवर्क्स के साथ यथार्थवादी छवि संश्लेषण"

[ परियोजनाएं जेनेरेटर के प्रतिकूल नेटवर्क का उपयोग करती हैं, जीएसएस (जेनेरेशन के प्रतिकूल नेटवर्क, जीएएन) / लगभग। ट्रांस। ]

साहित्य का अध्ययन करने के बाद, मैंने एक आर्किटेक्चर चुना, जिसे स्टैकगैन ++ की तुलना में सरल बनाया गया था, और मेरी समस्या के साथ बहुत अच्छी तरह से मुकाबला करता है। निम्नलिखित अनुभागों में, मैं बताऊंगा कि मैंने इस समस्या को कैसे हल किया और प्रारंभिक परिणाम साझा किए। मैं कुछ प्रोग्रामिंग और प्रशिक्षण विवरणों का भी वर्णन करूंगा, जिन पर मैंने बहुत समय बिताया।

डेटा विश्लेषण

निस्संदेह, काम का सबसे महत्वपूर्ण पहलू मॉडल को प्रशिक्षित करने के लिए उपयोग किया जाने वाला डेटा है। जैसा कि प्रोफेसर एंड्रयू यून ने अपने deeplearning.ai पाठ्यक्रमों में कहा था: "मशीन सीखने के क्षेत्र में, यह वह नहीं है जिसके पास सबसे अच्छा एल्गोरिथ्म है, लेकिन वह जो सबसे अच्छा डेटा है।" इसलिए अच्छे, समृद्ध और विभिन्न पाठ्य विवरण के साथ चेहरों पर एक डेटासेट के लिए मेरी खोज शुरू हुई। मैं विभिन्न डेटा सेटों में आया - या तो यह सिर्फ चेहरे थे, या नामों के साथ चेहरे थे, या आंखों के रंग और चेहरे के आकार के विवरण के साथ चेहरे थे। लेकिन कोई भी ऐसा नहीं था जिसकी मुझे जरूरत थी। मेरा अंतिम विकल्प एक प्रारंभिक परियोजना का उपयोग करना था - एक प्राकृतिक भाषा में संरचनात्मक डेटा का विवरण उत्पन्न करना। लेकिन इस तरह का एक विकल्प पहले से ही काफी शोर डेटा सेट में अतिरिक्त शोर जोड़ देगा।

समय बीतता गया, और कुछ समय में एक नया Face2Text प्रोजेक्ट सामने आया । यह व्यक्तियों के विस्तृत पाठ विवरण के डेटाबेस का एक संग्रह था। मैं प्रदान किए गए डेटा सेट के लिए परियोजना के लेखकों को धन्यवाद देता हूं।

डेटा सेट में LFW डेटाबेस (टैग किए गए चेहरे) से 400 बेतरतीब ढंग से चयनित छवियों के शाब्दिक विवरण शामिल थे। अस्पष्ट और मामूली विशेषताओं को खत्म करने के लिए विवरण साफ किए गए थे। कुछ विवरणों में न केवल चेहरों के बारे में जानकारी थी, बल्कि छवियों के आधार पर किए गए कुछ निष्कर्ष भी थे - उदाहरण के लिए, "फोटो में व्यक्ति शायद एक अपराधी है"। इन सभी कारकों, साथ ही साथ डेटा सेट के छोटे आकार ने इस तथ्य को जन्म दिया है कि मेरी परियोजना अब तक केवल वास्तुकला के संचालन की साक्ष्य को प्रदर्शित करती है। इसके बाद, इस मॉडल को एक बड़े और अधिक विविध डेटा सेट पर स्केल किया जा सकता है।

आर्किटेक्चर

T2F परियोजना का आर्किटेक्चर चेहरे की छवियों को संश्लेषित करने के लिए सशर्त रूप से बढ़े हुए पाठ और ProGAN ( प्रगतिशील GSS विकास ) को एन्कोडिंग के लिए दो स्टैकगैन आर्किटेक्चर को जोड़ती है। मूल स्टैगनगन ++ आर्किटेक्चर ने विभिन्न स्थानिक प्रस्तावों के साथ कई जीएसएस का उपयोग किया, और मैंने फैसला किया कि यह किसी भी पत्राचार वितरण कार्य के लिए बहुत गंभीर था। लेकिन प्रोगान केवल एक जीएसएस का उपयोग करता है, उत्तरोत्तर कभी अधिक विस्तृत प्रस्तावों पर प्रशिक्षित। मैंने इन दोनों दृष्टिकोणों को संयोजित करने का निर्णय लिया।

डेटा प्रवाह के माध्यम से एक स्पष्टीकरण है: पाठ विवरण नेटवर्क LSTM (एम्बेडिंग) (psy_t) (आरेख देखें) में एम्बेड करके अंतिम वेक्टर में एन्कोड किया गया है। फिर, एम्बेडिंग को एक इनपुट के रूप में GSS के लिए eigenvector (VAE reparameterization तकनीक का उपयोग करके) के पाठ भाग को प्राप्त करने के लिए कंडीशनिंग ऑग्मेंटेशन ब्लॉक (एक रैखिक परत) के माध्यम से प्रेषित किया जाता है। आइजनवेक्टर का दूसरा भाग यादृच्छिक गाऊसी शोर है। परिणामस्वरूप eigenvector को GSS जनरेटर को खिलाया जाता है, और एम्बेडिंग को पत्राचार के सशर्त वितरण के लिए अंतिम विवेचक परत को खिलाया जाता है। जीएसएस प्रक्रियाओं का प्रशिक्षण बिल्कुल वैसा ही हो जाता है जैसा कि प्रोगान पर लेख में - परतों में, स्थानिक संकल्प में वृद्धि के साथ। पिछली सीखने के परिणामों को मिटाने से बचने के लिए फीडे-इन तकनीक का उपयोग करके एक नई परत पेश की जाती है।

कार्यान्वयन और अन्य विवरण

अजगर के ढांचे के उपयोग से अजगर में आवेदन लिखा गया था। मैं टेंसोफ़्लो और केरस पैकेज के साथ काम करता था, लेकिन अब मैं PyTorch की कोशिश करना चाहता था। मुझे नेटवर्क आर्किटेक्चर के साथ काम करने के लिए बिल्ट-इन अजगर डिबगर का उपयोग करना पसंद है - सभी शुरुआती निष्पादन रणनीति के लिए धन्यवाद। Tensorflow भी हाल ही में उत्सुक निष्पादन मोड पर बदल गया। हालांकि, मैं यह नहीं आंकना चाहता कि कौन सा ढांचा बेहतर है, मैं सिर्फ इस बात पर जोर देना चाहता हूं कि इस परियोजना के लिए कोड PyTch का उपयोग करके लिखा गया था।

परियोजना के कुछ हिस्से मुझे पुन: प्रयोज्य प्रतीत होते हैं, विशेषकर प्रोगान। इसलिए, मैंने PyTorch मॉड्यूल के विस्तार के रूप में उनके लिए अलग कोड लिखा, और इसका उपयोग अन्य डेटा सेटों पर भी किया जा सकता है। केवल GSS की विशेषताओं की गहराई और आकार को इंगित करना आवश्यक है। जीएसएस को किसी भी डेटा सेट के लिए उत्तरोत्तर प्रशिक्षित किया जा सकता है।

प्रशिक्षण विवरण

मैंने विभिन्न हाइपरपैरामीटर का उपयोग करके नेटवर्क के कुछ संस्करणों को प्रशिक्षित किया। कार्य विवरण इस प्रकार हैं:

1. भेदभाव करने वाले के पास बैच-मानक या परत-मानक संचालन नहीं है, इसलिए WGAN-GP का नुकसान विस्फोटक रूप से बढ़ सकता है। मैंने लैम्ब्डा के साथ बहाव को 0.001 के बराबर किया।
2. एन्कोडेड पाठ से प्राप्त अपनी खुद की विविधता को नियंत्रित करने के लिए, जेनरेटर के नुकसान में कुल्बैक - लीब्लर दूरी का उपयोग करना आवश्यक है।
3. परिणामी छवियों को आने वाले पाठ वितरण से बेहतर रूप से मेल खाने के लिए, संबंधित (मिलान-अवेयर) विभेदक के WGAN संस्करण का उपयोग करना बेहतर होता है।
4. ऊपरी स्तरों के लिए फीका समय कम लोगों के लिए फीका समय से अधिक होना चाहिए। मैंने प्रशिक्षण के दौरान 85% का उपयोग फीका-मूल्य के रूप में किया।
5. मैंने पाया कि उच्च रिज़ॉल्यूशन उदाहरण (32 x 32 और 64 x 64) कम रिज़ॉल्यूशन उदाहरणों की तुलना में अधिक पृष्ठभूमि शोर पैदा करते हैं। मुझे लगता है कि यह डेटा की कमी के कारण है।
6. एक प्रगतिशील कसरत के दौरान, कम प्रस्तावों पर अधिक समय बिताना बेहतर होता है, और उच्च संकल्पों के साथ काम करने में लगने वाले समय को कम करना।

वीडियो जेनरेटर के समय को दर्शाता है। वीडियो को जीएसएस के प्रशिक्षण के दौरान प्राप्त विभिन्न स्थानिक संकल्पों के साथ चित्रों से संकलित किया गया है।

निष्कर्ष

प्रारंभिक परिणामों के अनुसार, यह माना जा सकता है कि T2F परियोजना व्यावहारिक है और इसमें दिलचस्प अनुप्रयोग हैं। मान लीजिए कि इसका उपयोग फोटोबोट्स की रचना के लिए किया जा सकता है। या ऐसे मामलों के लिए जब कल्पना को बढ़ावा देना आवश्यक हो। मैं इस परियोजना को फ़्लिकर 8K, कोको कैप्शन और जैसे डेटा सेट पर स्केलिंग पर काम करना जारी रखूंगा।

प्रगतिशील जीएसएस विकास तेजी से और अधिक स्थिर जीएसएस प्रशिक्षण के लिए एक अभूतपूर्व तकनीक है। इसे अन्य लेखों में उल्लिखित विभिन्न आधुनिक तकनीकों के साथ जोड़ा जा सकता है। जीएसएस का उपयोग एमओ के विभिन्न क्षेत्रों में किया जा सकता है।