एनवीडिया ने वीडियो को धीमा करने के लिए तंत्रिका नेटवर्क सिखाया

हमारे जीवन में ऐसे कई क्षण हो सकते हैं जिन्हें धीमी गति से कैमरे पर रिकॉर्ड करने की आवश्यकता होती है - एक बच्चे के पहले कदम, समुद्र की पहली यात्रा, एक प्यारे कुत्ते की चाल। एक आधुनिक स्मार्टफोन आपको 240 फ्रेम प्रति सेकंड या उससे अधिक की आवृत्ति पर शूट करने की अनुमति देता है, लेकिन आप इस मोड में लगातार रिकॉर्ड करने में सक्षम नहीं होंगे - पर्याप्त मेमोरी नहीं होगी, और बैटरी जल्दी से निकल जाएगी। एनवीडिया द्वारा बनाया गया तंत्रिका नेटवर्क पहले से कैप्चर किए गए वीडियो के साथ काम करता है, जिससे उन्हें धीमी गति में बदल दिया जाता है।


एनवीडिया के शोधकर्ताओं ने 30 फ्रेम प्रति सेकंड की गति से धीमी गति वाले वीडियो में वीडियो को संसाधित करने के लिए एक गहन शिक्षण प्रणाली बनाई है। उन्होंने PyTorch डीप लर्निंग लाइब्रेरी और Nvidia Tesla V100 GPU का इस्तेमाल किया। हर रोज़ और खेल गतिविधि के 11,000 वीडियो का उपयोग करके प्रणाली को प्रशिक्षित किया गया था, प्रति सेकंड 240 फ्रेम की आवृत्ति पर शूट किया गया था। इस के लिए धन्यवाद, वह मध्यवर्ती शॉट्स की भविष्यवाणी करने लगी। प्रौद्योगिकी की सटीकता का परीक्षण करने के लिए, शोधकर्ताओं ने एक अलग वीडियो डेटाबेस का उपयोग किया।

तकनीक आपको वीडियो को सामान्य धीमेपन के मामले की तुलना में अधिक चिकनी और कम धुंधली बनाने की अनुमति देती है। फ्रेम दर 480 प्रति सेकंड तक बढ़ जाती है। परिणामों को प्रदर्शित करने के लिए, टीम ने स्लो मो गुज़ वीडियो ब्लॉगर्स द्वारा शूट किए गए स्लो -मोशन वीडियो की तुलना उसी वीडियो के साथ की जो एक नए तरीके से धीमा हो गया।

पहला तंत्रिका नेटवर्क वीडियो स्ट्रीम का मूल्यांकन करता है - दृश्य में आंदोलन, वस्तुओं, सतहों और किनारों की संरचना। वह इसे टाइमलाइन के साथ आगे बढ़ाती है, और दो इनपुट फ्रेम के लिए रिवर्स ऑर्डर में। प्रणाली तब भविष्यवाणी करती है कि इन आंदोलनों के 2 डी वैक्टर बनाने से पिक्सल एक फ्रेम से दूसरे फ्रेम तक कैसे जाएगा।

फिर दूसरा तंत्रिका नेटवर्क काम करता है, जो दृश्यता मानचित्र की भविष्यवाणी करता है - उन पिक्सेल को बाहर करता है जिन्हें कलाकृतियों को हटाने के लिए वस्तुओं द्वारा अवरुद्ध किया जाना चाहिए। और सभी प्राप्त आंकड़ों की मदद से सिस्टम एक चिकनी संक्रमण सुनिश्चित करने के लिए दो आउटपुट के बीच नए फ़्रेमों को विकृत करता है।

वीडियो में, आप परिणामों की तुलना कर सकते हैं। बेशक, कृत्रिम रूप से बनाए गए धीमी गति वाले वीडियो और मूल के बीच अंतर हैं, मूल रूप से उच्च फ्रेम दर पर शूट किया गया है। 54 सेकंड में एक पूल में कूदने वाले मो मो दोस्तों की तुलना में यह विशेष रूप से ध्यान देने योग्य है। लेकिन अगर तुलना करने के लिए कुछ भी नहीं था, तो एक असली वीडियो को "नकली" से अलग करना मुश्किल होगा।

टीम को अभी तक पता नहीं है कि उनके विकास का व्यवसायीकरण कैसे किया जाए। उनकी राय में, यह अभी भी आदर्श से बहुत दूर है और अस्थायी सहित कई संसाधनों की आवश्यकता है। यह संभावना है कि भले ही ऐसी तकनीक एक उत्पाद के रूप में लागू की जाती है, यह उपयोगकर्ता के डिवाइस पर नहीं चलेगी - गणना क्लाउड में होगी।



अप्रैल में, एनवीडिया के विशेषज्ञों ने एक और तकनीक दिखाई जो छवि में नए टुकड़े जोड़ते हैं - तस्वीरों का पुनर्निर्माण। विधि आपको छवि से किसी ऑब्जेक्ट को निकालने की अनुमति देती है, जिसके बाद सिस्टम खाली टुकड़े को एक यथार्थवादी पृष्ठभूमि के साथ बदल देगा, साथ ही फोटो से हटाने के बाद आंखों और चेहरे के अन्य हिस्सों को जोड़ देगा।

तंत्रिका नेटवर्क के प्रशिक्षण की तैयारी में, शोधकर्ताओं ने यादृच्छिक आकारों और विभिन्न आकारों के छिद्रों से 55 हजार से अधिक मास्क बनाए। एक और 25 हजार नए मास्क का इस्तेमाल प्रशिक्षण के बाद परिणामों की सटीकता को सत्यापित करने के लिए किया गया था।

प्रशिक्षण के दौरान, तंत्रिका नेटवर्क को लापता पिक्सल का पुनर्निर्माण करने का तरीका जानने में मदद करने के लिए छवियों पर मुखौटे लगाए गए थे।


सुपर स्लोमो के वैज्ञानिक कार्य: वीडियो इंटरपोलेशन के लिए कई इंटरमीडिएट फ्रेम्स के उच्च गुणवत्ता का अनुमान प्रिफर साइट arXiv.org: arXiv: 1712.00080 पर प्रकाशित किया गया है।