मैंने दो सप्ताह और $ 552 में अपना स्वयं का डिपफेक बनाया

इस वीडियो को बनाकर, मैंने बहुत कुछ सीखा

डिपफेक तकनीक वीडियो में एक व्यक्ति को दूसरे व्यक्ति के साथ बदलने के लिए गहरे तंत्रिका नेटवर्क का उपयोग करती है । इस तकनीक में दुर्भावनापूर्ण उपयोग की स्पष्ट क्षमता है, और यह आम होता जा रहा है। इस प्रवृत्ति के सामाजिक और राजनीतिक परिणामों के बारे में, कई अच्छे लेख पहले ही लिखे जा चुके हैं।

और यह उनमें से एक नहीं है। इसके बजाय, मैं इस तकनीक पर करीब से नज़र डालूँगा: कैसे सॉफ्टवेयर सॉफ्टवेयर काम करता है? उन्हें बनाना कितना कठिन है, और परिणाम कितने अच्छे हैं?

मैंने फैसला किया कि इन सवालों के जवाब देने के लिए अपना खुद का डुबकी-वीडियो बनाना सबसे अच्छा है। संपादकों ने मुझे सॉफ्टवेयर के साथ खेलने के लिए कुछ दिन दिए और क्लाउड कंप्यूटिंग के लिए 1000 डॉलर का भुगतान किया। कुछ हफ़्ते के बाद, मुझे लेख की शुरुआत में वीडियो में प्रस्तुत किया गया परिणाम मिला। मैंने कांग्रेस को संबोधित करते हुए मार्क जुकरबर्ग के एक वीडियो के साथ शुरुआत की और स्टार ट्रेक: द नेक्स्ट जनरेशन से लेफ्टिनेंट कमांडर डेटा (ब्रेंट स्पाइनर) के साथ अपना चेहरा बदल दिया। कुल $ 552 खर्च किया गया था।

वीडियो सही नहीं था। डेटा के चेहरे के सभी विवरण प्रसारित नहीं होते हैं, और यदि आप बारीकी से देखते हैं, तो कलाकृतियां किनारों पर दिखाई देती हैं।

फिर भी, यह काफी उल्लेखनीय है कि मेरे जैसा नवागंतुक एक ठोस वीडियो बना सकता है, और इतनी जल्दी और सस्ते में। यह मानने का हर कारण है कि आने वाले वर्षों में डिपफेक-टेक्नोलॉजी केवल बेहतर, तेज और सस्ती हो जाएगी।

इस लेख में, मैं आपको मेरे डुबकी मार्ग में हाथ से मार्गदर्शन करूंगा। मैं एक डीपफेक वीडियो बनाने के लिए आपके द्वारा उठाए जाने वाले हर कदम के बारे में बताऊंगा। साथ ही, मैं बताऊंगा कि यह तकनीक कैसे काम करती है और इसकी क्या सीमाएँ हैं।

Dipfeyks को कंप्यूटिंग शक्ति और डेटा की बहुत आवश्यकता होती है

हम इन वीडियो को डिप्शेक ["डीप फेक"] कहते हैं, क्योंकि ये डीप न्यूरल नेटवर्क का उपयोग करके बनाए गए हैं। पिछले एक दशक में, कंप्यूटर वैज्ञानिकों ने पाया है कि न्यूरॉन्स की अतिरिक्त परतों के साथ तंत्रिका नेटवर्क अधिक शक्तिशाली हो रहे हैं। लेकिन गहरे तंत्रिका नेटवर्क की पूर्ण क्षमता को उजागर करने के लिए, आपको बहुत अधिक डेटा और विशाल कंप्यूटिंग शक्ति की आवश्यकता होती है।

डिपफेक के लिए भी यही सच है। इस परियोजना के लिए, मैंने चार शक्तिशाली ग्राफिक्स कार्ड के साथ एक वर्चुअल मशीन किराए पर ली। और इन सभी घोड़ों के साथ भी, मुझे अपने मॉडल को प्रशिक्षित करने में लगभग एक सप्ताह का समय लगा।

मुझे मार्क जुकरबर्ग और डेटा की छवियों का एक पहाड़ भी चाहिए था। मुझे 38 सेकंड का एक वीडियो मिला, लेकिन प्रशिक्षण के लिए मुझे जुकरबर्ग और डेटा दोनों के लिए अधिक लंबे वीडियो की आवश्यकता थी।

ऐसा करने के लिए, मैंने उनके चेहरे वाले वीडियो का एक गुच्छा डाउनलोड किया: स्टार ट्रेक की क्लिप के साथ 14 क्लिप और मार्क जुकरबर्ग के साथ नौ क्लिप। बाद की औपचारिक रिपोर्टों में, टीवी पर कई साक्षात्कार और यहां तक ​​कि एक वीडियो भी था जिसमें ज़करबर्ग अपने यार्ड में एक बारबेक्यू तैयार कर रहे थे।

मैंने इन सभी क्लिपों को iMovie में अपलोड किया और उन फ़्रेमों को हटा दिया, जिनमें ज़करबर्ग और डेटा के चेहरे नहीं थे। मैंने सबसे लंबे अंशों को भी टुकड़ों में काट दिया। एक द्विध्रुवीय कार्यक्रम को न केवल बड़ी संख्या में छवियों की आवश्यकता होती है, बल्कि बड़ी संख्या में विभिन्न छवियां भी होती हैं। हमें अलग-अलग कोणों से और अलग-अलग प्रकाश व्यवस्था में विभिन्न कोणों से चेहरे की शूटिंग की आवश्यकता थी। एक घंटे का वीडियो जिसमें जुकरबर्ग रिपोर्ट पढ़ते हैं, पांच मिनट के सेगमेंट की तुलना में अधिक मूल्यवान शॉट्स का उत्पादन नहीं कर सकता है, क्योंकि यह एक ही कोण से एक ही प्रकाश में गोली मारता है और एक ही चेहरे की अभिव्यक्ति दिखाता है। इसलिए मैंने कुछ घंटों के वीडियो को डेटा के साथ 9 मिनट और जुकरबर्ग के साथ 7 मिनट तक क्रॉप किया।

Faceswap: डिपफेक बनाने के लिए एक सॉफ्टवेयर पैकेज

फिर यह डिपहाइका के लिए सॉफ्टवेयर का उपयोग करने का समय है। सबसे पहले मैंने प्रोग्राम DeepFaceLab का उपयोग करने की कोशिश की और मैं एक कठिन वीडियो बनाने में सक्षम था। तब मैंने SFWdeepfakes फोरम पर सलाह मांगी, और फिर कुछ लोगों ने मुझे Faceswap पर सलाह दी। लोगों ने नोट किया कि इस कार्यक्रम में अधिक सुविधाएँ, बेहतर प्रलेखन और बेहतर ऑनलाइन समर्थन है। मैंने उनकी सलाह मानने का फैसला किया।

Faceswap लिनक्स, विंडोज और मैक पर चलता है। पैकेज में डुबकी बनाने के सभी चरणों में काम करने के लिए उपकरण हैं, जो मूल वीडियो को आयात करने से लेकर समाप्त डिपफेक वीडियो बनाने तक के हैं। सॉफ्टवेयर सहज नहीं है, लेकिन इसके साथ एक विस्तृत प्रशिक्षण सामग्री आती है जो प्रक्रिया के सभी चरणों को कवर करती है। सामग्री Faceswap निर्माता मैट टोरा द्वारा लिखी गई थी, जिसने मुझे डिस्कॉर्ड के डीपफेक चैनल पर चैट करने में भी बहुत मदद की।

Faceswap को एक शक्तिशाली ग्राफिक्स कार्ड की आवश्यकता होती है। मुझे पता था कि मेरा मैकबुक प्रो इसे संभाल नहीं सकता है। मैंने हमारे संपादकीय कार्यालय के तकनीशियनों को क्लाउड सेवाओं के एक प्रमुख प्रदाता से लिनक्स के लिए एक आभासी मशीन किराए पर देने के लिए कहा। मैंने Nvidia K80 GPU और 12GB वीडियो मेमोरी के साथ एक वर्चुअल मशीन से शुरुआत की। कुछ दिनों बाद मैंने दो जीपीयू और फिर 4 जीपीयू के साथ एक मॉडल पर स्विच किया। उसके पास चार एनवीडिया टी 4 टेंसर कोर जीपीयू हैं जिसमें 16 जीबी मेमोरी प्रत्येक (और दूसरा 48 सीपीयू और 192 रैम है, जो ज्यादातर निष्क्रिय थे)।

दो सप्ताह के काम के बाद, मुझे $ 522 का चालान मिला। यकीन है, मैंने कंप्यूटर किराए पर लेने की सुविधा के लिए काफी बड़ी राशि खर्च की है। टोरा ने मुझे बताया कि फिलहाल, डुबकी के लिए सबसे लाभदायक हार्डवेयर विकल्प एनवीडिया जीटीएक्स 1070 या 8 जीबी मेमोरी के साथ 1080 कार्ड है। इस तरह के एक प्रयुक्त कार्ड की कीमत कई सौ डॉलर है। एक 1080 कार्ड मेरे जीपीयू में से चार के रूप में एक तंत्रिका नेटवर्क को नहीं सिखाता है, लेकिन अगर आप कुछ हफ्तों तक इंतजार करने के लिए तैयार हैं, तो आपको समान परिणाम मिलेंगे।

Faceswap में वर्कफ़्लो में तीन मूल चरण होते हैं:

• निष्कर्षण: वीडियो को फ़्रेम में काटें, प्रत्येक फ़्रेम में चेहरे ढूंढें, प्रत्येक चेहरे की अच्छी तरह से संरेखित और सावधानी से खड़ी छवियां प्रदर्शित करें।
• प्रशिक्षण: द्विध्रुवीय तंत्रिका नेटवर्क के प्रशिक्षण के लिए प्राप्त छवियों का उपयोग करें। यह एक व्यक्ति के चेहरे की एक छवि लेता है और उसी अभिव्यक्ति, प्रकाश और उसी स्थिति में किसी अन्य व्यक्ति के चेहरे की छवि बनाता है।
• परिवर्तन: एक डुबकी लगाने के लिए पिछले चरण में प्रशिक्षित मॉडल को एक विशिष्ट वीडियो पर लागू करें। मॉडल को प्रशिक्षित करने के बाद, इसे किसी भी वीडियो पर लागू किया जा सकता है जिसमें वे लोग मौजूद हैं जिनके चेहरे पर यह प्रशिक्षित किया गया था।

प्रत्येक तीन चरणों के लिए, व्यक्ति और मशीन से पूरी तरह से अलग समय की आवश्यकता होती है। छवि पुनर्प्राप्ति सॉफ़्टवेयर कई मिनटों तक चलता है, लेकिन किसी व्यक्ति को परिणामों को सत्यापित करने में घंटों लग सकते हैं। सॉफ्टवेयर प्रत्येक छवि में सभी चेहरों को नोट करता है, साथ ही साथ कुछ गलत सकारात्मक भी। अच्छे परिणाम प्राप्त करने के लिए, एक व्यक्ति को सभी परिणामों से गुजरने की आवश्यकता होती है, अनावश्यक चेहरे और वह सब कुछ जो सॉफ्टवेयर एक व्यक्ति के लिए लेता है।

सीखना स्थापित करना आसान है, और इसके लिए वस्तुतः किसी मानवीय भागीदारी की आवश्यकता नहीं है। हालांकि, अच्छे परिणाम प्राप्त करने के लिए कंप्यूटर समय के दिन या सप्ताह भी लग सकते हैं। मैंने 7 दिसंबर को अपने अंतिम मॉडल का प्रशिक्षण शुरू किया, और इसने 13 दिसंबर तक काम किया। यह संभव है कि काम के एक और सप्ताह के बाद, मेरे डिपफेक की गुणवत्ता में सुधार होगा। और मैंने अपने क्लाउड राक्षस का उपयोग चार उन्नत ग्राफिक्स कार्ड के साथ भी किया। यदि आप कम GPU की शक्ति के साथ अपने कंप्यूटर पर काम करते हैं, तो एक अच्छे मॉडल को प्रशिक्षित करने में कई सप्ताह लग सकते हैं।

अंतिम चरण, परिवर्तन, एक व्यक्ति और एक कंप्यूटर दोनों के लिए त्वरित है। एक उपयुक्त प्रशिक्षित मॉडल प्राप्त करके, आप एक मिनट से भी कम समय में डिपफेक वीडियो वितरित कर सकते हैं।

डिप्फेक्स कैसे काम करते हैं

Faceswap सीखने की प्रक्रिया का वर्णन करने से पहले, आपको यह समझाने की ज़रूरत है कि अंतर्निहित तकनीक कैसे काम करती है।

Faceswap के दिल में - और diphakes बनाने के लिए अन्य प्रमुख सॉफ्टवेयर पैकेज - ऑटो-एनकोडर है। यह एक तंत्रिका नेटवर्क है जो एक इनपुट छवि प्राप्त करने और एक समान छवि बनाने के लिए प्रशिक्षित है। अपने आप में यह कौशल इतना उपयोगी नहीं हो सकता है, लेकिन, जैसा कि हम बाद में देखेंगे, यह डुबकी बनाने की प्रक्रिया में एक महत्वपूर्ण निर्माण खंड है।



ऑटो एनकोडर एक संकीर्ण अंत से जुड़े दो फ़नल के सिद्धांत के अनुसार संरचित होता है। नेटवर्क के एक तरफ एक एनकोडर है जो एक छवि प्राप्त करता है और इसे बहुत कम संख्या में चर के लिए संकुचित करता है। Faceswap में मैंने जिस मॉडल का इस्तेमाल किया था, ये 1024 32-बिट फ्लोटिंग पॉइंट नंबर हैं। तंत्रिका नेटवर्क के दूसरी तरफ एक डिकोडर है। वह इस कॉम्पैक्ट प्रतिनिधित्व को लेता है, जिसे "अव्यक्त स्थान" के रूप में जाना जाता है, और प्रारंभिक छवि प्राप्त करने के बाद इसे विस्तारित करने की कोशिश करता है।

एनकोडर से डिकोडर तक प्रेषित डेटा की मात्रा को कृत्रिम रूप से सीमित करना इन दोनों नेटवर्क को मानव चेहरे का एक कॉम्पैक्ट प्रतिनिधित्व विकसित करता है। एक एनकोडर एक हानिपूर्ण संपीड़न एल्गोरिथ्म की तरह कुछ है जो भंडारण की मात्रा को सीमित करते हुए एक चेहरे के बारे में अधिक से अधिक जानकारी को बचाने की कोशिश करता है। अव्यक्त स्थान को किसी तरह महत्वपूर्ण विवरण निकालना होगा, उदाहरण के लिए, जिस दिशा में विषय देख रहा है, उसकी आँखें खुली या बंद हैं, वह मुस्कुरा रहा है या डूब रहा है।

यह महत्वपूर्ण है कि ऑटो-एनकोडर को चेहरे की केवल उन विशेषताओं को बचाने की जरूरत है जो समय के साथ बदलते हैं। उसे आंखों के रंग या नाक के आकार जैसी अपरिवर्तित चीजों को संग्रहीत करने की आवश्यकता नहीं है। अगर जुकरबर्ग की हर तस्वीर में उनकी नीली आंखें हैं, तो उनका नेटवर्क डिकोडर अपने आप नीली आंखों से अपना चेहरा बनाना सीख जाएगा। तंग अव्यक्त स्थान में जानकारी को रटना की आवश्यकता नहीं है जो एक छवि से दूसरे में संक्रमण के दौरान नहीं बदलती है। जैसा कि हम बाद में देखेंगे, तथ्य यह है कि ऑटो-एनकोडर में चेहरे की विशेषताओं को निरंतर और बदलते हुए अलग-अलग दृष्टिकोण हैं, जो डिपफेक जारी करने की उनकी क्षमता के लिए बेहद महत्वपूर्ण है।

तंत्रिका नेटवर्क के प्रशिक्षण के लिए प्रत्येक एल्गोरिथ्म को नेटवर्क की गुणवत्ता का मूल्यांकन करने के लिए किसी तरह की आवश्यकता होती है ताकि इसे बेहतर बनाया जा सके। कई मामलों में, यह शिक्षक के साथ प्रशिक्षण के माध्यम से किया जाता है, जब व्यक्ति प्रशिक्षण डेटा के सेट से प्रत्येक तत्व के लिए सही उत्तर प्रदान करता है। ऑटो एनकोडर अलग तरीके से काम करते हैं। चूंकि वे बस अपने स्वयं के इनपुट डेटा को पुन: पेश करने की कोशिश कर रहे हैं, प्रशिक्षण सॉफ्टवेयर स्वचालित रूप से अपने काम की गुणवत्ता का न्याय कर सकता है। मशीन लर्निंग के शब्दजाल में, इसे बिना शिक्षक के सीखना कहा जाता है।

किसी भी तंत्रिका नेटवर्क की तरह, फ़ेसपाइप में ऑटोएन्कोडर्स को बैकप्रोपैजेशन का उपयोग करके प्रशिक्षित किया जाता है। प्रशिक्षण एल्गोरिथ्म तंत्रिका नेटवर्क में एक विशिष्ट छवि को खिलाता है और यह देखता है कि आउटपुट में कौन से पिक्सेल इनपुट से मेल नहीं खाते हैं। फिर वह गणना करता है कि पिछली परत के कौन से न्यूरॉन ने त्रुटियों में सबसे बड़ा योगदान दिया और प्रत्येक न्यूरॉन के मापदंडों को थोड़ा ठीक किया ताकि यह बेहतर परिणाम दे।

फिर ये त्रुटियां पिछली परत पर वापस फैलती हैं, जहां प्रत्येक न्यूरॉन के मापदंडों को फिर से सही किया जाता है। त्रुटियां इस तरह से फैलती हैं जब तक कि तंत्रिका नेटवर्क के प्रत्येक पैरामीटर - एनकोडर और डिकोडर - दोनों को सही नहीं किया जाता है।

फिर प्रशिक्षण एल्गोरिथ्म नेटवर्क की एक और छवि को खिलाता है, और पूरी प्रक्रिया फिर से दोहराई जाती है। एक ऑटो एनकोडर बनाने के लिए ऐसे हजारों पुनरावृत्तियों की आवश्यकता हो सकती है जो अपने स्वयं के इनपुट को अच्छी तरह से पुन: पेश करते हैं।



डिपफेक सॉफ्टवेयर दो ऑटो-एनकोडर को एक साथ प्रशिक्षित करके काम करता है, एक मूल चेहरे के लिए, और दूसरा नया के लिए। प्रशिक्षण प्रक्रिया के दौरान, प्रत्येक ऑटो एनकोडर को केवल एक व्यक्ति की छवियां दी जाती हैं, और उसे मूल के समान छवियों का उत्पादन करने के लिए प्रशिक्षित किया जाता है।

हालाँकि, एक पकड़ है: दोनों नेटवर्क एक ही एनकोडर का उपयोग करते हैं। Decoders - नेटवर्क के दाईं ओर न्यूरॉन्स - अलग रहते हैं, और उनमें से प्रत्येक को एक अलग चेहरा देने के लिए प्रशिक्षित किया जाता है। लेकिन नेटवर्क के बाईं ओर के न्यूरॉन्स में सामान्य पैरामीटर होते हैं जो हर बार ऑटो-एनकोडर के प्रशिक्षित होने पर बदलते हैं। जब जुकरबर्ग नेटवर्क को जुकरबर्ग चेहरे पर प्रशिक्षित किया जाता है, तो यह एनकोडर से संबंधित नेटवर्क के आधे और डेटा के लिए नेटवर्क में बदल जाता है। हर बार डेटा के नेटवर्क को डेटा के चेहरे पर प्रशिक्षित किया जाता है, ज़करबर्ग एनकोडर को ये बदलाव विरासत में मिलते हैं।

परिणामस्वरूप, दो ऑटो-एनकोडर में एक सामान्य एनकोडर होता है जो ज़करबर्ग के चेहरे या डेटा के चेहरे को "पढ़" सकता है। एनकोडर का उद्देश्य चीजों के समान प्रतिनिधित्व का उपयोग करना है जैसे कि सिर का कोण या भौंहों का स्थान, चाहे वह इनपुट पर जुकरबर्ग फोटो या डेटा फोटो प्राप्त किया हो। और यह बदले में, इसका मतलब है कि जब आप एनकोडर के साथ अपना चेहरा निचोड़ते हैं, तो आप इसे किसी भी डिकोडर का उपयोग करके अनपैक कर सकते हैं।



तो, इस तरह से ऑटो-एनकोडर के एक जोड़े को प्रशिक्षित करना, डुबकी-नकली बनाने का एक सरल कदम है: आप डिकोडर स्वैप करते हैं। आप एक जुकरबर्ग फोटो को एन्कोडिंग कर रहे हैं, लेकिन डिकोडिंग चरण में डेटा डिकोडर का उपयोग कर रहे हैं। नतीजा डेटा की एक पुनर्निर्मित तस्वीर है - लेकिन जुकरबर्ग की मूल तस्वीर के रूप में एक ही सिर की स्थिति और चेहरे की अभिव्यक्ति के साथ।

याद रखें, मैंने उल्लेख किया है कि अव्यक्त स्थान किसी व्यक्ति की परिवर्तनशील चेहरे की विशेषताओं को पकड़ता है - अभिव्यक्ति, देखने की दिशा, भौंहों का स्थान - और ऐसी निरंतर चीजें जैसे आंखों का रंग या मुंह का आकार डिकोडर देता है। इसका मतलब यह है कि यदि आप जुकरबर्ग छवि को एनकोड करते हैं, और फिर इसे डेटा डिकोडर का उपयोग करके डिकोड करते हैं, तो आपको स्थायी डेटा सुविधाओं के साथ एक चेहरा मिलेगा - उदाहरण के लिए, एक चेहरा आकार - लेकिन मूल जुकरबर्ग चेहरे की अभिव्यक्ति और अभिविन्यास के साथ।

जुकरबर्ग के साथ एक वीडियो के लगातार फ्रेम में इस तकनीक को लागू करने पर, आपको एक नया वीडियो मिलता है, जहां डेटा का चेहरा एक ही आंदोलनों को करता है - मुस्कुराता है, झपकाता है, अपना सिर घुमाता है - जो कि जुकरबर्ग ने मूल वीडियो में किया था।

यह स्थिति सममित है। जब आप जुकरबर्ग की तस्वीर प्राप्त करने के लिए एक तंत्रिका नेटवर्क को प्रशिक्षित करते हैं और डेटा की एक तस्वीर जारी करते हैं, तो आप डेटा की एक तस्वीर प्राप्त करने और जुकरबर्ग की तस्वीर जारी करने के लिए एक साथ प्रशिक्षित करते हैं। Faceswap से वीडियो परिवर्तित करने के लिए उपकरण - डिपफेक बनाने की प्रक्रिया का अंतिम चरण - इसमें एक उपयोगी चेकमार्क "स्वैप मॉडल" शामिल है, जिससे उपयोगकर्ता डिकोडर्स को स्वैप कर सकता है। परिणामस्वरूप, जुकरबर्ग के चेहरे के स्थान पर डेटा के चेहरे को प्रतिस्थापित करने के बजाय, प्रोग्राम इसके विपरीत करता है, इस तरह से बहुत ही मजेदार वीडियो का निर्माण करता है:

प्रशिक्षण डेटा

व्यवहार में, एक डुबकी बनाते समय अच्छे परिणाम प्राप्त करना आसान नहीं होता है।

जैसा कि मैंने उल्लेख किया, मुझे डेटा के लिए सात मिनट का वीडियो और जुकरबर्ग के लिए नौ मिनट का वीडियो मिला। तब मैंने वीडियो को काटने और दोनों पुरुषों के चेहरे की फसली छवियां प्राप्त करने के लिए Faceswap छवि निष्कर्षण उपकरण का उपयोग किया। वीडियो में प्रति सेकंड लगभग 30 फ़्रेम होते हैं, लेकिन मैंने केवल प्रत्येक छठे को निकाला - यह अभ्यास Faceswap प्रलेखन में अनुशंसित है। ऐसा इसलिए है क्योंकि विभिन्न प्रकार की छवियों का अर्थ है उनकी संख्या से अधिक, और प्रत्येक फ़्रेम को सहेजने से बहुत बड़ी संख्या में समान छवियां बन सकती हैं।

Faceswap निष्कर्षण उपकरण ने बहुत सारी झूठी सकारात्मक चीजों का उत्पादन किया। उन्होंने कुछ शॉट्स की पृष्ठभूमि में असली चेहरे भी पाए। कुछ घंटों के लिए, मैंने सभी निकाले गए फ़ोटो को मैन्युअल रूप से हटा दिया, जो मेरे दो प्रायोगिक विषयों में से किसी के नहीं थे। नतीजतन, मुझे डेटा के चेहरे की 2598 छवियां और जुकरबर्ग के चेहरे की 2224 छवियां मिलीं।

और उस समय, आखिरकार, वास्तविक मॉडल प्रशिक्षण पर आगे बढ़ने का समय था। अब Faceswap 10 अलग-अलग डिपफेक एल्गोरिदम के साथ आता है जो विभिन्न छवि आकारों का समर्थन करते हैं और विभिन्न कंप्यूटिंग शक्तियों की आवश्यकता होती है। सबसे स्पष्ट में से एक "हल्का" मॉडल है जो आकार में 64 पिक्सेल से अधिक के चेहरे की छवियों के साथ काम करता है। इसे एक मशीन पर चलाया जा सकता है, जिसमें 2 जीबी से अधिक वीडियो मेमोरी नहीं होगी। अन्य मॉडल 128, 256, या यहां तक ​​कि 512 पिक्सल के आकार के चित्रों के साथ काम करते हैं - हालांकि, उन्हें बहुत अधिक वीडियो मेमोरी, साथ ही साथ अधिक प्रशिक्षण समय की आवश्यकता होती है।

मैंने डीएफएल-एसएई मॉडल का प्रशिक्षण शुरू किया, जो डीपफेसलैब के एल्गोरिदम से लिया गया है। हालाँकि, Faceswap दस्तावेज़ीकरण में एक चेतावनी थी कि यह मॉडल एक "पहचान रिसाव" से पीड़ित है जिसमें एक चेहरे की कुछ विशेषताएं दूसरे में रिस सकती हैं। ऐसा लग रहा था कि मैंने पहले टेस्ट वीडियो के एक जोड़े में कुछ ऐसा देखा था, इसलिए एक दिन बाद मैंने विलेन मॉडल पर स्विच किया, जो 128-पिक्सेल छवियों के साथ काम करता है। फेसस्पेस मैनुअल ने इसे वीआरएएम पर बहुत मांग के रूप में वर्णित किया है, और "उन लोगों के लिए एक अच्छा विकल्प है जो किसी भी पैरामीटर को समायोजित किए बिना उच्च रिज़ॉल्यूशन मॉडल प्राप्त करना चाहते हैं।"

फिर मैंने इंतजार किया। और उसने इंतजार किया। सीखने की प्रक्रिया तब भी खत्म नहीं हुई थी जब मेरी समय सीमा शुक्रवार को आई थी - और इसके छह दिनों के प्रशिक्षण के बाद। उस समय, मेरे मॉडल ने बहुत अच्छा डिपफेक बनाया। प्रगति की गति धीमी हो गई, लेकिन यह संभव है कि अगर मेरे पास एक और सप्ताह का कंप्यूटर समय होता तो मुझे बेहतर परिणाम मिलता।

Faceswap लंबी कंप्यूटिंग कार्य के लिए अच्छी तरह से अनुकूलित है। यदि आप ग्राफ़िकल इंटरफ़ेस से प्रशिक्षण टीम शुरू करते हैं, तो प्रोग्राम इंटरफ़ेस नियमित रूप से पूर्वावलोकन स्क्रीन को अपडेट करता है, जहां आप उदाहरण देख सकते हैं कि सॉफ्टवेयर कैसे डेटा और ज़करबर्ग के चित्र बनाता है। यदि आप कमांड लाइन से प्रशिक्षण लेना पसंद करते हैं, तो यह भी संभव है। Faceswap इंटरफ़ेस में एक उपयोगी "जनरेट" बटन है जो सटीक कमांड देता है जिसे आपको मॉडल में वर्तमान सेटिंग्स के साथ मॉडल को प्रशिक्षित करने के लिए निष्पादित करने की आवश्यकता है।

डिपफेक कितना अच्छा था?

सीखने की प्रक्रिया में, Faceswap लगातार दो ऑटो-एनकोडर में से प्रत्येक के लिए "नुकसान" का एक संख्यात्मक अनुमान प्रदर्शित करता है। इन अनुमानों से पता चलता है कि ज़करबर्ग के ऑटो-एनकोडर ज़करबर्ग की तस्वीरों को कितनी अच्छी तरह से निभा सकते हैं - और डेटा के ऑटो-एनकोडर डेटा की तस्वीरों को कितनी अच्छी तरह से चला सकते हैं। और ये संख्या तब भी कम हो रही थी जब मैंने शुक्रवार को सीखना बंद कर दिया था, हालांकि प्रगति की गति काफी धीमी हो गई थी।

बेशक, वास्तव में, हमारे लिए यह महत्वपूर्ण है कि डेटा का डिकोडर जुकरबर्ग के चेहरे को डेटा में कैसे बदल सकता है। हमें नहीं पता कि "अंतिम परिणाम" कैसा दिखना चाहिए, इसलिए सटीक संख्या में काम की गुणवत्ता को मापना असंभव है। सबसे अच्छा हम कर सकते हैं वीडियो की समीक्षा करें और तय करें कि क्या यह यथार्थवादी दिखता है।


ऊपर दिया गया वीडियो सीखने की प्रक्रिया के चार चरणों में डिपफेक की गुणवत्ता को दर्शाता है। 10 दिसंबर और 12 वें वीडियो आंशिक रूप से प्रशिक्षित विलेन मॉडल दिखाते हैं। शीर्ष बाईं ओर 6 दिसंबर का वीडियो एक अलग मॉडल के साथ एक प्रारंभिक परीक्षण है। निचला दायाँ अंतिम परिणाम है। प्रशिक्षण की प्रक्रिया में, उनके चेहरे का विवरण स्पष्ट और अधिक विश्वसनीय हो गया।

9 दिसंबर को, तीन दिनों के प्रशिक्षण के बाद, मैंने स्लैक में संपादकीय कार्यालय के आंतरिक चैनल पर एक प्रारंभिक वीडियो प्रकाशित किया। वीडियो ऊपरी बाएं कोने में स्थित के समान था। हमारे डिजाइन गुरु औरिच लॉसन ने व्यंग्यात्मक रूप से उनसे प्रतिक्रिया व्यक्त की।

"सामान्य तौर पर, यह बुरा लगता है," उन्होंने लिखा है, यह कहते हुए कि "आश्वस्त नहीं दिखता है। मैं उन वीडियो में से एक का इंतजार कर रहा हूं जो नकली न दिखें।

मुझे लगता है कि उनकी आलोचना में एक तर्कसंगत कर्नेल है। मुझे इस बात पर आश्चर्य हुआ कि Faceswap कितनी जल्दी चेहरे की छवियों को बनाने में सक्षम था जो ब्रेंट स्पाइनर की तरह दिखते थे, जुकरबर्ग से अधिक। हालांकि, यदि आप बारीकी से देखते हैं, तो आपको डिजिटल धोखाधड़ी के लक्षण दिखाई देंगे।

कुछ फ़्रेमों पर, डेटा के नकली चेहरे और ज़करबर्ग के सिर के बीच की सीमा बिल्कुल सही नहीं लगती है। कभी-कभी डेटा के चेहरे के नीचे से जुकरबर्ग की आइब्रो निकलती है। अन्य स्थानों पर, नकली चेहरे के किनारों को जुकरबर्ग के कानों पर कुछ पिक्सेल के साथ कवर किया गया है। किसी व्यक्ति द्वारा मैन्युअल पोस्ट-प्रोसेसिंग में रचना के साथ इन समस्याओं को ठीक करना संभव हो सकता है - लेकिन किसी को फ्रेम द्वारा वीडियो फ्रेम को स्क्रॉल करने और प्रत्येक के लिए मुखौटा समायोजित करने की आवश्यकता होगी।


हालांकि, एक अधिक मूलभूत समस्या यह है कि डिपफ़ेक एल्गोरिदम अभी तक मानव चेहरे के सबसे छोटे विवरणों को अच्छी तरह से पुन: पेश करने में सक्षम नहीं हैं। यह बहुत स्पष्ट है जब आप समानांतर में शुरू और अंत वीडियो देखते हैं। Faceswap आश्चर्यजनक रूप से अच्छी तरह से डेटा के चेहरे की समग्र संरचना से अवगत कराया। लेकिन एक सप्ताह के प्रशिक्षण के बाद भी चेहरा धुंधला दिखता है, और इसमें पर्याप्त महत्वपूर्ण विवरण नहीं हैं। उदाहरण के लिए, डिप्हेयका के लिए सॉफ्टवेयर शायद ही मानव दांतों की ड्राइंग का सामना कर सकता है। कभी-कभी दांत स्पष्ट रूप से दिखाई देते हैं, और अगले फ्रेम में वे गायब हो जाते हैं, कालापन छोड़कर।

इसका एक मुख्य कारण यह है कि Faceswap कार्य तेजी से उच्च संकल्पों के साथ अधिक जटिल हो जाता है। ऑटो एनकोडर 64x64 पिक्सेल छवियों के साथ एक अच्छा काम करते हैं। लेकिन 128x128 पिक्सेल छवियों के महीन विवरण को पुन: प्रस्तुत करना - 256 पिक्सेल या उससे अधिक की छवियों का उल्लेख नहीं करना - पहले से ही बहुत अधिक कठिन है। शायद यह एक कारण है कि सबसे प्रभावशाली दुपट्टे देखने में काफी चौड़े कोण हैं, बिना चेहरे के क्लोज-अप के।

हालाँकि, आपको इसे डिपाके तकनीक की मौलिक सीमा नहीं मानना ​​चाहिए। आने वाले वर्षों में, शोधकर्ता ऐसी तकनीकों को विकसित करने में सक्षम हो सकते हैं जो इन सीमाओं को पार कर सकें।

अक्सर एक द्विफ़ेका के लिए सॉफ़्टवेयर का आधार ग़लती से जेनरेटर-एडवरसरी नेटवर्क (जीएसएस), या ऐसे तंत्रिका नेटवर्क के रूप में वर्णित किया जाता है जो सॉफ़्टवेयर को "प्रतिनिधित्व" करने की अनुमति देते हैंकोई भी व्यक्ति , वस्तु या परिदृश्य नहीं। वास्तव में, ऑटोफेकोडर्स का उपयोग करके डिपफैकी काम करते हैं। हालांकि, जीएसएस तकनीक में नवीनतम प्रगति से पता चलता है कि डिपफेक में अभी भी सुधार की गुंजाइश है।

जीएसएस, जो पहली बार 2014 में दिखाई दिया था, केवल मोटे, कम-रिज़ॉल्यूशन छवियों का उत्पादन कर सकता था। लेकिन हाल ही में, शोधकर्ताओं ने यह पता लगाया है कि एक जीएसएस कैसे बनाया जाए जो आकार में 1024 पिक्सेल तक फोटोरिअलिस्टिक छवियों का निर्माण करता है। इन वैज्ञानिक कार्यों में उपयोग की जाने वाली विशिष्ट तकनीकें एक डुबकी बनाने के लिए लागू नहीं हो सकती हैं, लेकिन यह कल्पना करना आसान है कि कोई व्यक्ति ऑटो-एनकोडर के लिए एक समान तकनीक कैसे विकसित करेगा - या शायद एक पूरी तरह से नया तंत्रिका नेटवर्क वास्तुकला जो चेहरे को बदलने के लिए डिज़ाइन किया गया है।

डिपफेक पर्सपेक्टिव

डिपफेक्स की लोकप्रियता में वृद्धि स्पष्ट रूप से चिंताजनक है। कुछ समय पहले तक, लोग आसानी से अंकित मूल्य पर किसी व्यक्ति के साथ एक वीडियो ले सकते थे। डिपहाइका सॉफ्टवेयर और अन्य डिजिटल उपकरणों के आगमन ने हमें अब वीडियो के बारे में संदेह कर दिया है। यदि हम एक वीडियो देखते हैं जिसमें कोई व्यक्ति किसी निंदनीय का दावा करता है - या स्ट्रिप्स बंद करता है - हमें इस संभावना पर विचार करना चाहिए कि किसी ने इस वीडियो को उस व्यक्ति को बदनाम करने के लिए जाली बना दिया।

हालांकि, मेरा प्रयोग डिपफेक तकनीक की सीमाओं पर जोर देता है - कम से कम इसके वर्तमान स्वरूप में। व्यापक रूप से पूर्ण आभासी चेहरा बनाने के लिए व्यापक ज्ञान और प्रयास की आवश्यकता होती है। मैं सफल नहीं हुआ, और मुझे यकीन नहीं है कि कोई व्यक्ति पहले से ही एक डुबकी वीडियो बनाने में सक्षम था जो वास्तव में वास्तविक से अप्रभेद्य है।

इसके अलावा, आज चेहरे जैसे उपकरण केवल चेहरे के बदलाव से निपटते हैं। वे माथे, बाल, हाथ और पैर नहीं बदलते हैं। और यहां तक ​​कि अगर चेहरा एकदम सही है, तो तत्वों के आधार पर एक डुबकी वीडियो को परिभाषित करना संभव हो सकता है जो सही नहीं दिखता है।

हालाँकि, डिपफेक तकनीक की ये सीमाएँ गायब हो सकती हैं। कुछ वर्षों में, सॉफ़्टवेयर ऐसे वीडियो बनाना सीख सकता है जो वास्तविक लोगों से अलग नहीं हो सकते। फिर क्या?

इस मामले में, यह याद रखना उपयोगी होगा कि अन्य प्रकार के मीडिया लंबे समय से नकली हैं। तुच्छ कार्य एक ईमेल का स्क्रीन शॉट लेना होगा, जहां कोई व्यक्ति कुछ ऐसा लिखता है जो उसने वास्तव में नहीं लिखा है। और इससे धोखाधड़ी वाले ईमेलों के कारण रैगर्ड खदानों की संख्या में वृद्धि नहीं हुई, और न ही इसने पत्रों के स्क्रीनशॉट को सार्वजनिक चर्चा में इस्तेमाल किए गए सबूत के रूप में बदनाम किया।

लेकिन लोग जानते हैं कि ईमेल फेक हो सकते हैं, और ऐसे मामलों में अतिरिक्त पुष्टि की तलाश कर रहे हैं। घटनाओं की किस श्रृंखला ने पत्रों की ओर लोगों का ध्यान आकर्षित किया? क्या उस समय अन्य लोगों को इस ईमेल की प्रतियाँ प्राप्त हुई थीं, जिन्हें लिखा जाना चाहिए था? क्या पत्र के कथित लेखक ने उनके अधिकार को स्वीकार किया, या जालसाजी का दावा किया? ऐसे सवालों के जवाब लोगों को यह तय करने में मदद करते हैं कि वे कितनी गंभीरता से एक प्रकाशित पत्र ले सकते हैं।

आपको एक बार बेवकूफ बनाया जा सकता है

तो यह वीडियो के साथ है। शायद कुछ समय की अवधि होगी जब धोखेबाज एक वीडियो पोस्ट करके किसी व्यक्ति के कैरियर को नष्ट कर सकता है जहां वह कहता है या कुछ अपमानजनक है। लेकिन जल्द ही समाज संदेह के साथ वीडियो का इलाज करना सीखेगा, जब तक कि वीडियो क्लिप में कुछ प्रकार के दस्तावेजी सबूत, गवाह या अन्य सहायक कारक न हों।

मुझे लगता है कि यह द्विध्रुवीय प्रौद्योगिकी के सबसे अपमानजनक अपमान के मामलों में भी काम करेगा: एक अश्लील वीडियो में किसी व्यक्ति के चेहरे को सम्मिलित करना। यह स्पष्ट रूप से अपमानजनक और अस्वीकार्य है। लेकिन लोगों को चिंता है कि ऐसे वीडियो उनकी प्रतिष्ठा और कैरियर को नष्ट कर सकते हैं। मुझे लगता है कि ऐसा नहीं है।

दरअसल, इंटरनेट पर आप प्रसिद्ध हस्तियों (मुख्य रूप से महिलाओं) की पूरी छवियां पा सकते हैं, जिनके सिर फ़ोटोशॉप की मदद से पोर्नस्टार के शरीर से जुड़े हैं। महिलाओं की पीड़ा समझ में आती है। लेकिन जनता स्वचालित रूप से यह निष्कर्ष नहीं निकालती है कि इन महिलाओं ने नग्न तस्वीरें खिंचवाईं - हम फ़ोटोशॉप के अस्तित्व के बारे में और नकली फ़ोटो बनाने की संभावना के बारे में जानते हैं।

गहरी पोर्नोग्राफी के लिए भी यही सच है। जाहिर है, आपकी भागीदारी के साथ नकली पोर्न बनाना अच्छा नहीं है। लेकिन किसी तरह के व्यक्ति के साथ एक डुबकी वीडियो जारी करने से सेक्स का वास्तविक वीडियो जैसा विनाशकारी प्रभाव नहीं होगा। वीडियो की प्रामाणिकता के साक्ष्य के अभाव में, जनता यह निष्कर्ष निकालेगी कि यह नकली है।

Faceswap के लेखक, मैट टोरा, मुझे बताता है कि यह विचार पैकेज बनाने के लिए उसकी प्रेरणा के घटकों में से एक था। उनका मानना ​​है कि बदलते लोगों के लिए सॉफ्टवेयर अनिवार्य रूप से विकसित किया जाएगा। उन्हें उम्मीद है कि ओपन-सोर्स लोगों को प्रतिस्थापित करने के लिए एक उपयोगकर्ता-अनुकूल उपकरण बनाकर, वह इस तकनीक के साथ गोपनीयता के घूंघट को हटाने में मदद करेंगे और जनता को इसकी क्षमताओं और सीमाओं के बारे में बताएंगे। और यह बदले में, हमें जल्दी से उस बिंदु पर आने में मदद करेगा जहां जनता वीडियो के बारे में संदेह करेगी जो नकली हो सकती है।

लंबे समय में, हम जोखिम लेते हैं कि जनसंपर्क का पेंडुलम दूसरे तरीके से बहुत अधिक झूलता है, और डिपफेक बनाने की संभावना वीडियो की स्पष्ट शक्ति में विश्वास को नष्ट कर देगी। कुछ राजनेताओं ने पहले ही मीडिया की आलोचना को "झूठी खबर" के रूप में खारिज करने की आदत डाल ली है। यह रणनीति डिपफेक की तकनीक के बारे में समाज में बढ़ती जागरूकता के साथ और अधिक प्रभावी हो जाएगी।