एआई ने एक फ्रेम से वीडियो बनाना सीखा। पुरानी पेंटिंग को अब जीवंत बनाया जा सकता है

हैरी पॉटर की तकनीक आज तक बची हुई है। अब, किसी व्यक्ति का पूर्ण वीडियो बनाने के लिए, उसकी एक तस्वीर या तस्वीरें ही पर्याप्त हैं। मॉस्को में स्कोल्कोवो और सैमसंग एआई सेंटर के मशीन सीखने वाले शोधकर्ताओं ने ऐसी प्रणाली बनाने पर अपना काम प्रकाशित किया, साथ ही कई हस्तियों और कला वस्तुओं के वीडियो भी प्राप्त किए हैं जिन्हें एक नया जीवन मिला है।

वैज्ञानिक कार्य का पाठ यहां पढ़ा जा सकता है । सब कुछ काफी दिलचस्प है, बहुत सारे सूत्रों के साथ, लेकिन अर्थ सरल है: उनकी प्रणाली "स्थलों" द्वारा निर्देशित है, चेहरे की जगहें, जैसे कि एक नाक, दो आँखें, दो भौहें और ठोड़ी की रेखा। तो वह तुरंत एक व्यक्ति को पकड़ता है। और फिर यह किसी अन्य व्यक्ति के वीडियो के लिए बाकी सब कुछ (रंग, चेहरे की बनावट, मूंछें, मल आदि) को स्थानांतरित कर सकता है। नए हालात के लिए पुराने चेहरे को अपनाना।

बेशक, यह केवल पोर्ट्रेट पर काम करता है। मॉडल को केवल एक व्यक्ति की आवश्यकता होती है, एक चेहरा हमारी ओर मुड़ता है, ताकि वह कम से कम दोनों आंखों को देख सके। फिर सिस्टम इसके साथ कुछ भी कर सकता है, चेहरे के किसी भी भाव को संचारित कर सकता है। यह उसे उपयुक्त वीडियो देने के लिए पर्याप्त है (उसी स्थिति में उसके सिर के साथ किसी अन्य व्यक्ति के साथ)।

इससे पहले, एआई ने पहले ही सीख लिया था कि डिपशेक कैसे बनाया जाए, और इंटरनेट उपयोगकर्ताओं ने अपने चेहरे को पोर्न में डालकर और निकोलस केज के साथ मेमे बनाकर मशहूर हस्तियों का मजाक उड़ाया । लेकिन इसके लिए, उन्हें डेटा के मेगाबाइट्स (या बेहतर - गीगाबाइट्स) में एल्गोरिदम को प्रशिक्षित करना था, ताकि अधिक या कम सभ्य परिणाम उत्पन्न करने के लिए सेलिब्रिटी चेहरे के साथ अधिक से अधिक छवियां और वीडियो मिल सकें। डीपफेक के निर्माता ने खुद कहा कि एक लघु वीडियो को संकलित करने में 8-12 घंटे लगते हैं। नई प्रणाली तुरंत परिणाम उत्पन्न करती है, और इनपुट पर इसे केवल एक चित्र की आवश्यकता होती है।

पिछली प्रणाली के साथ, हम जीवित मोना लिसा को कभी नहीं देख पाएंगे, हमारे पास केवल एक कोण है। अब, बेंचमार्किंग एल्गोरिदम के साथ, यह संभव हो रहा है। आदर्श प्राप्त नहीं है, लेकिन कुछ पहले से ही करीब है।

मॉस्को के शोधकर्ता एक जेनरेटर-एडवरसैरियल नेटवर्क का भी उपयोग करते हैं। एल्गोरिथ्म के दो मॉडल एक-दूसरे से लड़ रहे हैं। प्रत्येक प्रतिद्वंद्वी को धोखा देने की कोशिश करता है, और उसे साबित करता है कि वह जो वीडियो बनाता है वह वास्तविक है। इस तरह, यथार्थवाद का एक निश्चित स्तर हासिल किया जाता है: यदि एक मानव चेहरे की तस्वीर "प्रकाश में" जारी नहीं की जाती है, अगर आलोचक मॉडल अपनी प्रामाणिकता के 90% से अधिक सुनिश्चित नहीं है। जैसा कि लेखक अपने काम में कहते हैं, छवियों में लाखों मापदंडों को विनियमित किया जाता है, लेकिन इस तरह की प्रणाली के कारण, काम जल्दी से उबलता है।

यदि कई चित्र हैं, तो परिणाम में सुधार होता है। फिर, सबसे आसान तरीका उन हस्तियों के साथ काम करना है जो पहले से ही सभी संभव कोणों से लिए गए हैं। "आदर्श यथार्थवाद" को प्राप्त करने के लिए 32 शॉट्स की आवश्यकता होती है। इस मामले में, कम रिज़ॉल्यूशन में उत्पन्न AI फ़ोटो वास्तविक मानव फ़ोटो से अप्रभेद्य होंगे। इस स्तर पर अप्रशिक्षित लोग अब एक नकली की पहचान करने में सक्षम नहीं हैं - शायद संभावना इन सभी छवियों के विशेषज्ञों या "प्रायोगिक" के करीबी रिश्तेदारों के साथ बनी हुई है।

यदि केवल एक तस्वीर या तस्वीर है, तो परिणाम हमेशा सबसे अच्छा नहीं होता है। आप वीडियो पर कलाकृतियों को देख सकते हैं जब सिर बिना किसी समस्या के गति में है। शोधकर्ताओं ने खुद कहा कि उनका सबसे कमजोर बिंदु टकटकी है। चेहरे की भूमि पर आधारित मॉडल अभी तक हमेशा यह नहीं समझता है कि किसी व्यक्ति को कैसे और कहां देखना चाहिए।