नए टीएल-गण का उपयोग करके छवि संश्लेषण और संपादन नियंत्रित किया


मेरे टीएल-जीएएन मॉडल (पारदर्शी अव्यक्त-अंतरिक्ष जीएएन, पारदर्शी छिपे हुए अंतरिक्ष के साथ जेनरेटर-सामग्री नेटवर्क) में नियंत्रित संश्लेषण का उदाहरण

सभी कोड और ऑनलाइन डेमो परियोजना पृष्ठ पर उपलब्ध हैं।

हम कंप्यूटर को फोटो खींचने के लिए प्रशिक्षित करते हैं

विवेकशील और पीढ़ीगत कार्य

किसी व्यक्ति के लिए एक तस्वीर का वर्णन करना आसान है, हम इसे बहुत कम उम्र से करना सीखते हैं। मशीन लर्निंग में, यह भेदभावपूर्ण वर्गीकरण / प्रतिगमन का कार्य है, अर्थात इनपुट छवियों से सुविधाओं की भविष्यवाणी। एमएल / एआई के तरीकों में हाल ही में प्रगति, विशेष रूप से गहन शिक्षण मॉडल में, इन कार्यों में उत्कृष्टता प्राप्त करना शुरू करते हैं, कभी-कभी मानवीय क्षमताओं तक पहुंच या पार करते हैं, जैसा कि वस्तुओं की दृश्य मान्यता जैसे कार्यों में दिखाया गया है (उदाहरण के लिए, एलेक्सनेट से रेसेनेट तक इमेजनेट वर्गीकरण के अनुसार) और पता लगाने / विभाजन। ऑब्जेक्ट्स (जैसे, RCNN से YOLO में COCO डेटासेट), आदि।

फिर भी, विवरण से यथार्थवादी छवियां बनाने का उलटा काम बहुत अधिक जटिल है और ग्राफिक डिजाइन में कई वर्षों के प्रशिक्षण की आवश्यकता होती है। मशीन लर्निंग में, यह एक जेनेरिक कार्य है, जो भेदभावपूर्ण कार्यों की तुलना में बहुत अधिक जटिल है, क्योंकि जेनेरेटिव मॉडल को छोटे प्रारंभिक डेटा के आधार पर बहुत अधिक जानकारी (उदाहरण के लिए, एक निश्चित स्तर पर विस्तार और भिन्नता पर एक पूर्ण छवि) उत्पन्न करनी चाहिए।

इस तरह के एप्लिकेशन बनाने की जटिलता के बावजूद, जेनरिक मॉडल (कुछ नियंत्रण के साथ) कई मामलों में बेहद उपयोगी होते हैं:

• सामग्री निर्माण : कल्पना कीजिए कि एक विज्ञापन कंपनी स्वचालित रूप से आकर्षक छवियां बनाती है जो वेब पेज की सामग्री और शैली से मेल खाती है जहां ये छवियां डाली जाती हैं। डिजाइनर "बाकी", "गर्मियों" और "भावुक" संकेतों से जुड़े 20 जूता पैटर्न उत्पन्न करने के लिए एल्गोरिथ्म का आदेश देकर प्रेरणा मांगता है। नया गेम आपको एक साधारण विवरण से यथार्थवादी अवतार उत्पन्न करने की अनुमति देता है।
• सामग्री के आधार पर स्मार्ट संपादन : फोटोग्राफर चेहरे की अभिव्यक्ति, झुर्रियों की संख्या और कुछ ही क्लिक में फोटो में हेअरस्टाइल को बदल देता है। एक हॉलीवुड स्टूडियो का एक कलाकार बादल भरी शाम को शॉट लेता है, जैसे कि उन्हें एक चमकदार सुबह पर ले जाया जाता है, स्क्रीन के बाईं ओर सूरज की रोशनी के साथ।
• डेटा ऑगमेंटेशन : एक ड्रोन डेवलपर प्रशिक्षण डेटा सेट को बढ़ाने के लिए एक विशिष्ट दुर्घटना परिदृश्य के लिए यथार्थवादी वीडियो को संश्लेषित कर सकता है। बैंक धोखाधड़ी-रोधी प्रणाली को बेहतर बनाने के लिए मौजूदा डेटा सेट में कुछ प्रकार के धोखाधड़ी डेटा को खराब तरीके से प्रस्तुत कर सकता है।

इस लेख में, हम अपने हाल के काम के बारे में बात करेंगे, जिसे ट्रांसपेरेंट लेटेंट-स्पेस GAN (TL-GAN) कहा जाता है, जो एक नया इंटरफ़ेस प्रदान करते हुए, सबसे आधुनिक मॉडलों की कार्यक्षमता का विस्तार करता है। हम वर्तमान में एक दस्तावेज़ पर काम कर रहे हैं जिसमें अधिक तकनीकी विवरण होंगे।

जनरेटिव मॉडल अवलोकन

गहन शिक्षण समुदाय तेजी से जेनेरिक मॉडल में सुधार कर रहा है। तीन होनहार प्रकारों को उनके बीच प्रतिष्ठित किया जा सकता है: ऑटोरेग्रेसिव मॉडल , वैरिएबल ऑटोकेनोडर्स (वीएई) और जेनेरिक एडवरसैरियल नेटवर्क (जीएएन) , जो नीचे दिए गए चित्र में दिखाए गए हैं। यदि आप विवरण में रुचि रखते हैं, तो कृपया उत्कृष्ट OpenAI ब्लॉग लेख पढ़ें ।


जेनेरिक नेटवर्क की तुलना। वाटरलू विश्वविद्यालय में STAT946F17 पाठ्यक्रम से छवि

वर्तमान में, उच्चतम गुणवत्ता वाली छवियां जीएएन नेटवर्क (उच्च संकल्प में ठोस विवरण के साथ फोटोरिलेस्टिक और विविध) द्वारा उत्पन्न की जाती हैं। एनवीडिया से तेजस्वी पीजी-जीएएन ( उत्तरोत्तर बढ़ते जीएएन ) नेटवर्क पर एक नजर डालें। इसलिए, इस लेख में हम GAN मॉडल पर ध्यान केंद्रित करेंगे।


एनवीडिया द्वारा उत्पन्न सिंथेटिक पीजी-गण । कोई भी चित्र वास्तविकता से संबंधित नहीं हैं।

GAN मॉडल समस्या प्रबंधन

यादृच्छिक और नियंत्रित छवि निर्माण

GAN का मूल संस्करण और इसके आधार पर कई लोकप्रिय मॉडल (जैसे DC-GAN और pg-GAN ) बिना शिक्षक के मॉडल सिखा रहे हैं। प्रशिक्षण के बाद, जेनेरिक न्यूरल नेटवर्क इनपुट के रूप में यादृच्छिक शोर लेता है और एक फोटोरिलेस्टिक छवि बनाता है जो प्रशिक्षण डेटा सेट से मुश्किल से अलग होता है। हालाँकि, हम अतिरिक्त रूप से उत्पन्न छवियों की सुविधाओं को नियंत्रित नहीं कर सकते हैं। अधिकांश अनुप्रयोगों में (उदाहरण के लिए, पहले खंड में वर्णित परिदृश्यों में), उपयोगकर्ता मनमानी विशेषताओं (उदाहरण के लिए, उम्र, बालों का रंग, चेहरे की अभिव्यक्ति, आदि) के साथ पैटर्न बनाना चाहेंगे। आदर्श रूप से, प्रत्येक फ़ंक्शन को आसानी से कॉन्फ़िगर करें।

इस तरह के नियंत्रित संश्लेषण के लिए कई GAN वेरिएंट बनाए गए हैं। उन्हें सशर्त रूप से दो प्रकारों में विभाजित किया जा सकता है: शैली हस्तांतरण नेटवर्क और सशर्त जनरेटर।

शैली हस्तांतरण नेटवर्क

CycleGAN और pix2pix शैली हस्तांतरण नेटवर्क को एक क्षेत्र (डोमेन) से एक छवि को दूसरे स्थान पर स्थानांतरित करने के लिए प्रशिक्षित किया जाता है: उदाहरण के लिए, एक घोड़े से ज़ेबरा तक, एक स्केच से रंग छवियों तक। नतीजतन, हम आसानी से दो असतत राज्यों के बीच एक विशिष्ट संकेत नहीं बदल सकते हैं (उदाहरण के लिए, चेहरे पर थोड़ी दाढ़ी जोड़ें)। इसके अलावा, एक नेटवर्क को एक प्रकार के प्रसारण के लिए डिज़ाइन किया गया है, इसलिए दस कार्यों को कॉन्फ़िगर करने के लिए दस अलग तंत्रिका नेटवर्क की आवश्यकता होगी।

हालत जनरेटर

सशर्त जनरेटर - सशर्त GAN , AC-GAN और स्टैक-GAN - प्रशिक्षण की प्रक्रिया में, एक साथ वस्तुओं की छवियों और लेबल का अध्ययन करते हैं, जो आपको विशेषताओं की सेटिंग के साथ छवियां उत्पन्न करने की अनुमति देता है। जब आप पीढ़ी की प्रक्रिया में नई सुविधाओं को जोड़ना चाहते हैं, तो आपको पूरे जीएएन मॉडल को फिर से प्राप्त करने की आवश्यकता होती है, जिसमें एक ही के -80 जीपीयू पर हाइपरपरमेटर्स के एक आदर्श सेट के साथ कई दिनों से लेकर हफ्तों तक भारी कम्प्यूटेशनल संसाधनों और समय (उदाहरण के लिए) की आवश्यकता होती है। इसके अलावा, प्रशिक्षण को पूरा करने के लिए, सभी उपयोगकर्ता-परिभाषित ऑब्जेक्ट लेबल वाले एक डेटा सेट पर भरोसा करना आवश्यक है, और कई डेटा सेटों से अलग-अलग लेबल का उपयोग नहीं करना है।

पारदर्शी छिपे हुए स्थान ( ट्रांसपेरेंट लेटेंट-स्पेस GAN , TL-GAN) के साथ हमारा जेनरेटर-प्रतिस्पर्धी नेटवर्क नियंत्रित पीढ़ी के लिए एक अलग दृष्टिकोण का उपयोग करता है - और इन समस्याओं को हल करता है। यह एकल नेटवर्क का उपयोग करके एक या एक से अधिक सुविधाओं को मूल रूप से कॉन्फ़िगर करने की क्षमता प्रदान करता है। इसके अलावा, आप प्रभावी रूप से एक घंटे से भी कम समय में नई कस्टम सुविधाएँ जोड़ सकते हैं।

टीएल-गण: नियंत्रित संश्लेषण और संपादन के लिए एक नया और प्रभावी दृष्टिकोण

इस रहस्यमयी पारदर्शी छिपे हुए स्थान को बनाना

एनवीडिया से pvGAN मॉडल को लें, जो चेहरे के उच्च-रिज़ॉल्यूशन फोटोरिलेस्टिक छवियों को उत्पन्न करता है, जैसा कि पिछले अनुभाग में दिखाया गया है। जेनरेट किए गए 1024 × 1024px छवि की सभी विशेषताएं विशेष रूप से छिपे हुए स्थान में 512-आयामी शोर वेक्टर (छवि सामग्री के कम-आयामी प्रतिनिधित्व के रूप में) द्वारा निर्धारित की जाती हैं। इसलिए, यदि हम समझते हैं कि एक छिपी हुई जगह (यानी, इसे पारदर्शी बनाएं) क्या है, तो हम पूरी तरह से पीढ़ी की प्रक्रिया को नियंत्रित कर सकते हैं ।


टीएल-गण प्रेरणा: जनरेशन प्रक्रिया के प्रबंधन के लिए छिपे हुए स्थान को समझना

पहले से प्रशिक्षित pg-GAN नेटवर्क के साथ प्रयोग करने पर, मैंने पाया कि छिपी हुई जगह में वास्तव में दो अच्छे गुण हैं:

• यह अच्छी तरह से भरा है, अर्थात्, अंतरिक्ष में अधिकांश बिंदु उचित चित्र उत्पन्न करते हैं।
• यह काफी निरंतर है, अर्थात्, एक छिपे हुए स्थान में दो बिंदुओं के बीच प्रक्षेप आमतौर पर संबंधित छवियों के एक चिकनी संक्रमण की ओर जाता है।

अंतर्ज्ञान कहता है कि छिपी हुई जगह में वे दिशाएँ हैं जो उन विशेषताओं का अनुमान लगाती हैं जिनकी हमें ज़रूरत है (उदाहरण के लिए, एक पुरुष / महिला)। यदि ऐसा है, तो इन निर्देशों के यूनिट वैक्टर पीढ़ी की प्रक्रिया को नियंत्रित करने के लिए कुल्हाड़ी बन जाएंगे (अधिक मर्दाना या अधिक स्त्रैण चेहरा)।

दृष्टिकोण: फ़ीचर एक्सिस विस्तार

छिपे हुए स्थान में विशेषताओं के इन अक्षों को खोजने के लिए, हम छिपे हुए वेक्टर के बीच संबंध बनाते हैं $$$z$ और टैग लेबल $$$य$ जोड़े में शिक्षक प्रशिक्षण का उपयोग करना $$$(z, y)$ । अब समस्या यह है कि इन जोड़े को कैसे प्राप्त किया जाए, क्योंकि मौजूदा डेटासेट में केवल छवियां होती हैं $$$x$ और इसी वस्तु लेबल $$$य$ ।


टैग लेबल y के साथ छिपे हुए वेक्टर z को जोड़ने के तरीके

संभव दृष्टिकोण:

एक विकल्प संगत छिपे हुए वैक्टरों की गणना करना है $$$z$ छवियों $$$x_ {वास्तविक}$ एक मौजूदा डेटासेट से जिसमें हमारे लिए ब्याज के लेबल हैं $$$y_ {वास्तविक}$ । हालांकि, GAN गणना का आसान तरीका प्रदान नहीं करता है $$$z_ {एन्कोड} = G ^ {- 1} x_ {वास्तविक}$ , जो इस विचार को लागू करना मुश्किल बनाता है।

दूसरा विकल्प सिंथेटिक छवियों को उत्पन्न करना है $$$x_ {gen}$ यादृच्छिक छिपे हुए वेक्टर से GAN का उपयोग करना $$$z$ कैसे $$$x_ {gen} = G (z)$ । समस्या यह है कि सिंथेटिक छवियों को टैग नहीं किया गया है, इसलिए टैग किए गए डेटा के एक सुलभ सेट का उपयोग करना मुश्किल है।

हमारे TL-GAN मॉडल का मुख्य नवाचार एक अलग एक्सट्रैक्टर का प्रशिक्षण है (मॉडल के लिए असतत लेबल या निरंतर के लिए वर्गीकरण) $$$Y = f (x)$ टैग किए गए डेटा के मौजूदा सेट का उपयोग करना ( $$$x_ {वास्तविक}$ । $$$y_ {वास्तविक}$ ), और फिर प्रशिक्षित गण-जनरेटर के एक समूह में लॉन्च किया गया $$$जी$ सुविधा निष्कर्षण नेटवर्क के साथ $$$एफ$ । यह आपको सुविधा लेबल की भविष्यवाणी करने की अनुमति देता है। $$$y_ {पूर्व}$ सिंथेटिक चित्र $$$x_ {gen}$ एक प्रशिक्षित सुविधा निष्कर्षण नेटवर्क (चिमटा) का उपयोग करना। इस प्रकार, सिंथेटिक छवियों के माध्यम से, एक कनेक्शन स्थापित किया जाता है $$$z$ और $$$य$ कैसे $$$x_ {gen} = G (z)$ और $$$y_ {पूर्व} = F (x_ {gen})$ ।

अब हमारे पास एक युग्मित छिपा हुआ वेक्टर और विशेषताएं हैं। आप प्रतिरूप मॉडल को प्रशिक्षित कर सकते हैं $$$y = A (z)$ छवि निर्माण प्रक्रिया को नियंत्रित करने के लिए सुविधाओं के सभी अक्ष को खोलने के लिए।


चित्रा: हमारे टीएल-गण मॉडल की वास्तुकला

उपरोक्त आंकड़ा टीएल-गण मॉडल की वास्तुकला को दर्शाता है, जिसमें पांच चरण हैं:

1. वितरण का अध्ययन । हम एक अच्छी तरह से प्रशिक्षित GAN मॉडल और एक जेनरेटरी नेटवर्क का चयन करते हैं। मैंने अच्छी तरह से प्रशिक्षित pg-GAN (Nvidia से) लिया, जो सबसे अच्छी गुणवत्ता वाली फेस जनरेशन प्रदान करता है।
2. वर्गीकरण । हम लक्षण निकालने के लिए एक पूर्व-प्रशिक्षित मॉडल का चयन करते हैं (एक्सट्रैक्टर एक कंसट्रक्शनल न्यूरल नेटवर्क या कंप्यूटर विज़न के अन्य मॉडल हो सकते हैं) या टैग किए गए डेटा के सेट का उपयोग करके अपने एक्सट्रैक्टर को प्रशिक्षित करते हैं। मैंने CelebA किट (40 से अधिक टैग के साथ 30,000 से अधिक चेहरे) का उपयोग करके एक सरल दृढ़ तंत्रिका नेटवर्क को प्रशिक्षित किया।
3. सृजन । हम कई यादृच्छिक छिपे हुए वैक्टर बनाते हैं, सिंथेटिक छवियों को बनाने के लिए प्रशिक्षित जीएएन जनरेटर से गुजरते हैं, फिर प्रत्येक छवि पर सुविधाओं को उत्पन्न करने के लिए प्रशिक्षित फीचर एक्सट्रैक्टर का उपयोग करते हैं।
4. सहसंबंध । हम छिपे हुए वैक्टर और सुविधाओं के बीच प्रतिगमन को लागू करने के लिए सामान्यीकृत रैखिक मॉडल (GLM) का उपयोग करते हैं। प्रतिगमन रेखा का ढलान लक्षणों की धुरी बन जाता है ।
5. अनुसंधान । हम एक छिपे हुए वेक्टर से शुरू करते हैं, इसे संकेतों के एक या कई अक्ष के साथ आगे बढ़ाते हैं, और अध्ययन करते हैं कि यह चित्रों की पीढ़ी को कैसे प्रभावित करता है।

मैंने इस प्रक्रिया को बहुत अनुकूलित किया है: एक पूर्व प्रशिक्षित जीएएन मॉडल पर, एक एक्सपीयू के साथ मशीन पर केवल एक घंटे के लिए फीचर कुल्हाड़ियों की पहचान करना। यह कई इंजीनियरिंग ट्रिक्स के माध्यम से प्राप्त किया जाता है, जिसमें प्रशिक्षण स्थानांतरित करना, चित्रों के आकार को कम करना, सिंथेटिक छवियों की प्रारंभिक कैशिंग, आदि शामिल हैं।

परिणाम

आइए देखें कि यह सरल विचार कैसे काम करता है।

वस्तुओं के अक्षों के साथ एक छिपे हुए वेक्टर को ले जाना

सबसे पहले, मैंने जाँच की कि क्या पता लगाया गया कुल्हाड़ी का उपयोग उत्पन्न छवि की संबंधित विशेषता को नियंत्रित करने के लिए किया जा सकता है। ऐसा करने के लिए, एक यादृच्छिक वेक्टर बनाएं $$$z_0$ GAN के छिपे हुए स्थान में और एक सिंथेटिक छवि उत्पन्न करते हैं $$$x_0$ इसे एक जनरेटिव नेटवर्क से गुजरना $$$x_0 = G (z_0)$ । फिर हम छिपे हुए वेक्टर को विशेषताओं के एक अक्ष के साथ स्थानांतरित करते हैं $$$यू$ (छिपी जगह में एक यूनिट वेक्टर, चेहरे के लिंग के अनुरूप,) $$$λ$ एक नई स्थिति के लिए $$$x_1 = x_0 + λu$ और एक नई छवि उत्पन्न करते हैं $$$x_1 = G (z_1)$ । आदर्श रूप में, नई छवि की संगत विशेषता को अपेक्षित दिशा में बदलना चाहिए।

एक वेक्टर को विशेषताओं के कई अक्ष (लिंग, आयु, आदि) के साथ आगे बढ़ने के परिणाम नीचे प्रस्तुत किए गए हैं। यह आश्चर्यजनक रूप से अच्छी तरह से काम करता है! आप आसानी से एक आदमी / औरत, एक जवान आदमी / बूढ़े आदमी, आदि के बीच छवि को बदल सकते हैं ।


पेचीदा फ़ीचर कुल्हाड़ियों के साथ एक छिपे हुए वेक्टर को स्थानांतरित करने का पहला परिणाम

सहसंबद्ध सुविधा अक्षों को खोलना

ऊपर के उदाहरणों में, मूल विधि का नुकसान दिखाई देता है, अर्थात्, विशेषताओं का भ्रमित अक्ष। उदाहरण के लिए, जब आपको चेहरे के बालों को कम करने की आवश्यकता होती है, तो उत्पन्न चेहरे अधिक स्त्रैण हो जाते हैं, जो अपेक्षित परिणाम नहीं है। समस्या यह है कि लिंग और दाढ़ी स्वाभाविक रूप से सहसंबद्ध हैं । एक गुण में एक परिवर्तन दूसरे में परिवर्तन की ओर जाता है। इसी तरह की चीजें अन्य विशेषताओं के साथ हुईं, जैसे कि बाल और घुंघराले बाल। जैसा कि नीचे की आकृति में दिखाया गया है, छिपी हुई जगह में "दाढ़ी" विशेषता का मूल अक्ष "मंजिल" अक्ष के लंबवत नहीं है।

समस्या को हल करने के लिए, मैंने सरल रैखिक बीजगणित की तकनीकों का उपयोग किया। विशेष रूप से, उसने दाढ़ी की धुरी को एक नई दिशा में प्रक्षेपित किया, फर्श की धुरी के लिए ऑर्थोगोनल, जो उनके सहसंबंध को प्रभावी ढंग से समाप्त कर देता है और इस प्रकार, उत्पन्न चेहरों पर इन दो संकेतों को संभावित रूप से उजागर कर सकता है।


रैखिक बीजगणित तकनीकों के साथ सहसंबद्ध विशेषता कुल्हाड़ियों को खोलना

मैंने उसी व्यक्ति को यह विधि लागू की। इस बार, लिंग और उम्र की कुल्हाड़ियों को अन्य लोगों की मदद करते हुए, उन्हें लिंग और उम्र के लिए रूढ़िवादी बनने के लिए चुना गया है। नए उत्पन्न फीचर अक्षों के साथ छिपे हुए वेक्टर को स्थानांतरित करके चेहरे उत्पन्न होते हैं (नीचे दिए गए चित्र में दिखाया गया है)। जैसा कि अपेक्षित था, अब केश और दाढ़ी जैसे संकेत मंजिल को प्रभावित नहीं करते हैं।


असंगत सुविधा अक्षों के साथ छिपे हुए वेक्टर को स्थानांतरित करने का बेहतर परिणाम

लचीला इंटरैक्टिव संपादन

यह देखने के लिए कि हमारे टीएल-गण मॉडल को लचीले ढंग से छवि निर्माण प्रक्रिया को नियंत्रित करने में सक्षम है, मैंने विभिन्न अक्षों के साथ वस्तुओं के मूल्यों में एक चिकनी बदलाव के साथ एक इंटरैक्टिव ग्राफिकल इंटरफ़ेस बनाया, जैसा कि नीचे दिखाया गया है।


टीएल-गण के साथ इंटरएक्टिव संपादन

और फिर, मॉडल आश्चर्यजनक रूप से अच्छी तरह से काम करता है यदि आप संकेतों की धुरी के साथ छवि बदलते हैं!

सारांश

यह परियोजना एक शिक्षक के बिना जेनेरिक मॉडल के प्रबंधन के लिए एक नई विधि प्रदर्शित करती है, जैसे कि GAN (जेनेरिक एडवरसैरियल नेटवर्क)। पूर्व-प्रशिक्षित जीएएन जनरेटर (एनवीडिया से पीजी-जीएएन) का उपयोग करते हुए, मैंने महत्वपूर्ण विशेषताओं के अक्षों को दिखाते हुए इसकी छिपी हुई जगह को पारदर्शी बना दिया। जब एक वेक्टर एक छिपे हुए स्थान में ऐसी धुरी के साथ चलता है, तो इसी छवि को इस विशेषता के साथ बदल दिया जाता है, नियंत्रित संश्लेषण और संपादन प्रदान करता है।

इस विधि के स्पष्ट लाभ हैं:

1. दक्षता: जनरेटर के लिए एक नया टैग ट्यूनर जोड़ने के लिए, आपको GAN मॉडल को वापस लेने की आवश्यकता नहीं है, इसलिए 40 टैग के लिए ट्यूनर को जोड़ने में एक घंटे से कम समय लगता है।
2. लचीलापन: आप किसी भी डेटासेट पर प्रशिक्षित किसी भी फीचर एक्सट्रैक्टर का उपयोग कर सकते हैं, अच्छी तरह से प्रशिक्षित जीएएन में अधिक सुविधाएँ जोड़ सकते हैं।

नैतिकता के बारे में कुछ शब्द

यह काम आपको छवि पीढ़ी को विस्तार से नियंत्रित करने की अनुमति देता है, लेकिन यह अभी भी काफी हद तक डेटा सेट की विशेषताओं पर निर्भर करता है। हॉलीवुड सितारों की तस्वीरों पर प्रशिक्षण का मतलब है कि मॉडल ज्यादातर सफेद और आकर्षक लोगों की तस्वीरों को बहुत अच्छी तरह से उत्पन्न करेगा। यह इस तथ्य को जन्म देगा कि उपयोगकर्ता मानवता के केवल एक छोटे से हिस्से का प्रतिनिधित्व करने वाले चेहरे बनाने में सक्षम होंगे। यदि आप इस सेवा को वास्तविक एप्लिकेशन के रूप में तैनात करते हैं, तो हमारे उपयोगकर्ताओं की विविधता को ध्यान में रखते हुए मूल डेटा सेट का विस्तार करना उचित है।

यद्यपि यह उपकरण रचनात्मक प्रक्रिया में बहुत मदद कर सकता है, आपको इसे अनुचित उद्देश्यों के लिए उपयोग करने की संभावनाओं के बारे में याद रखने की आवश्यकता है। यदि हम किसी भी प्रकार के यथार्थवादी चेहरे बनाते हैं, तो हम उस व्यक्ति पर किस हद तक भरोसा कर सकते हैं जिसे हम स्क्रीन पर देखते हैं? आज इस तरह के मुद्दों पर चर्चा करना जरूरी है। जैसा कि हमने डीपफेक तकनीक के हालिया उदाहरणों में देखा, एआई तेजी से प्रगति कर रहा है, इसलिए मानवता के लिए इस बात पर चर्चा शुरू करना महत्वपूर्ण है कि ऐसे अनुप्रयोगों को कैसे तैनात किया जाए।

ऑनलाइन डेमो और कोड

इस काम के लिए सभी कोड और ऑनलाइन डेमो GitHub पेज पर उपलब्ध हैं।

यदि आप ब्राउज़र में मॉडल के साथ खेलना चाहते हैं

आपको कोड, मॉडल या डेटा डाउनलोड करने की आवश्यकता नहीं है। इस रीडमी सेक्शन में दिए गए निर्देशों का पालन करें। आप ब्राउज़र में चेहरे बदल सकते हैं जैसा कि वीडियो में दिखाया गया है।

यदि आप कोड को आज़माना चाहते हैं

बस GitHub रिपॉजिटरी के रीडमे पेज पर जाएं। Tensorflow और Keras के साथ एनाकोंडा पायथन 3.6 पर संकलित कोड।

अगर आप योगदान देना चाहते हैं

आपका स्वागत है! पूल अनुरोध सबमिट करने या GitHub पर किसी समस्या की रिपोर्ट करने के लिए स्वतंत्र महसूस करें।

मेरे बारे में

मैंने हाल ही में ब्राउन विश्वविद्यालय से कम्प्यूटेशनल और संज्ञानात्मक न्यूरोबायोलॉजी में पीएचडी और कंप्यूटर विज्ञान में एक मास्टर की डिग्री प्राप्त की, जिसमें मशीन सीखने में विशेषज्ञता है। अतीत में, मैंने अध्ययन किया था कि मस्तिष्क में न्यूरॉन्स दृश्य धारणा जैसे उच्च-स्तरीय कार्यों को प्राप्त करने के लिए सामूहिक रूप से जानकारी को कैसे संसाधित करते हैं। मुझे बुद्धिमत्ता के विश्लेषण, अनुकरण और कार्यान्वयन के लिए एल्गोरिदमिक दृष्टिकोण पसंद है, साथ ही जटिल वास्तविक दुनिया की समस्याओं को हल करने के लिए एआई का उपयोग करना है। मैं सक्रिय रूप से प्रौद्योगिकी उद्योग में एक एमएल / एआई शोधकर्ता के रूप में नौकरी की तलाश कर रहा हूं।

धन्यवाद

यह काम तीन सप्ताह में इनसाइट एआई छात्रवृत्ति कार्यक्रम के लिए एक परियोजना के रूप में किया गया था। मैं कार्यक्रम के निदेशक इमैनुएल अमैसेन और मैट रूबास्किन को सामान्य नेतृत्व के लिए धन्यवाद देता हूं, विशेष रूप से अपने सुझावों के लिए और लेख को संपादित करने के लिए इमैनुअल। मैं उत्कृष्ट सीखने के माहौल और अन्य इनसाइट AI प्रोग्राम प्रतिभागियों के लिए सभी इनसाइट कर्मचारियों को भी धन्यवाद देता हूं जिनसे मैंने बहुत कुछ सीखा। , , , .