वीडियो प्रसारण की गुणवत्ता में सुधार के लिए यांडेक्स ने कंप्यूटर विज़न कैसे लागू किया। DeepHD प्रौद्योगिकी

जब लोग किसी चित्र या वीडियो के लिए इंटरनेट पर खोज करते हैं, तो वे अक्सर "अच्छी गुणवत्ता में" वाक्यांश जोड़ते हैं। गुणवत्ता आमतौर पर रिज़ॉल्यूशन को संदर्भित करती है - उपयोगकर्ता चाहते हैं कि छवि बड़ी हो और एक ही समय में आधुनिक कंप्यूटर, स्मार्टफोन या टीवी की स्क्रीन पर अच्छी दिखे। लेकिन क्या होगा अगर अच्छी गुणवत्ता का स्रोत मौजूद न हो?

आज हम Habr के पाठकों के बारे में बताएंगे कि कैसे, तंत्रिका नेटवर्क की मदद से, हम वास्तविक समय में वीडियो के रिज़ॉल्यूशन को बढ़ाने में सक्षम हैं। आप यह भी सीखेंगे कि इस समस्या को हल करने के लिए सैद्धांतिक दृष्टिकोण व्यावहारिक से कैसे अलग है। यदि आप तकनीकी विवरणों में रुचि नहीं रखते हैं, तो आप पोस्ट के माध्यम से सुरक्षित रूप से स्क्रॉल कर सकते हैं - अंत में आपको हमारे काम के उदाहरण मिलेंगे।



कम गुणवत्ता और रिज़ॉल्यूशन में इंटरनेट पर बहुत सारी वीडियो सामग्री है। यह दशकों पहले शूट की गई फिल्में हो सकती हैं, या टीवी चैनल प्रसारित कर सकते हैं, जो विभिन्न कारणों से सर्वोत्तम गुणवत्ता में नहीं हैं। जब उपयोगकर्ता इस तरह के वीडियो को पूर्ण स्क्रीन पर खींचते हैं, तो छवि धूमिल और अस्पष्ट हो जाती है। पुरानी फिल्मों के लिए एक आदर्श समाधान यह होगा कि मूल फिल्म को ढूंढें, इसे आधुनिक उपकरणों के साथ स्कैन करें और मैन्युअल रूप से पुनर्स्थापित करें, लेकिन यह हमेशा संभव नहीं है। प्रसारण अभी भी अधिक जटिल हैं - उन्हें लाइव संसाधित करने की आवश्यकता है। इस संबंध में, हमारे लिए काम करने का सबसे स्वीकार्य विकल्प कंप्यूटर दृष्टि प्रौद्योगिकी का उपयोग करके संकल्प और स्वच्छ कलाकृतियों को बढ़ाना है।

उद्योग में, गुणवत्ता के नुकसान के बिना चित्रों और वीडियो को बढ़ाने के कार्य को सुपर-रिज़ॉल्यूशन शब्द कहा जाता है। इस विषय पर कई लेख पहले ही लिखे जा चुके हैं, लेकिन "मुकाबला" एप्लिकेशन की वास्तविकता बहुत अधिक जटिल और दिलचस्प है। संक्षेप में उन मुख्य समस्याओं के बारे में जिन्हें हमें अपनी डीपएचडी तकनीक में हल करना था:

• आपको उन विवरणों को पुनर्स्थापित करने में सक्षम होने की आवश्यकता है जो मूल वीडियो पर इसके कम रिज़ॉल्यूशन और गुणवत्ता के कारण नहीं थे, उन्हें "खत्म" करने के लिए।
• सुपर-रिज़ॉल्यूशन क्षेत्र से समाधान विस्तार को पुनर्स्थापित करते हैं, लेकिन वे स्पष्ट और विस्तृत न केवल वीडियो में ऑब्जेक्ट्स, बल्कि संपीड़न कलाकृतियों को भी बनाते हैं, जो दर्शकों के लिए नापसंद का कारण बनता है।
• प्रशिक्षण नमूना एकत्र करने में एक समस्या है - बड़ी संख्या में जोड़े की आवश्यकता होती है जिसमें एक ही वीडियो कम संकल्प और गुणवत्ता दोनों में मौजूद होता है, और उच्च में। वास्तव में, खराब सामग्री के लिए आमतौर पर कोई गुणवत्ता जोड़ी नहीं होती है।
• समाधान वास्तविक समय में काम करना चाहिए।

प्रौद्योगिकी चयन

हाल के वर्षों में, तंत्रिका नेटवर्क के उपयोग से कंप्यूटर दृष्टि के लगभग सभी कार्यों को हल करने में महत्वपूर्ण सफलता मिली है, और सुपर-रिज़ॉल्यूशन का कार्य कोई अपवाद नहीं है। हमने GAN (जनरेटिव एडवरसरीअल नेटवर्क्स, जेनेरिक प्रतिद्वंद्वी नेटवर्क) पर आधारित सबसे आशाजनक समाधान पाया। वे आपको उच्च परिभाषा वाले फोटोरिलेस्टिक चित्र प्राप्त करने की अनुमति देते हैं, उन्हें लापता विवरण के साथ पूरक करते हैं, उदाहरण के लिए, लोगों की छवियों पर बाल और पलकें खींचना।



सबसे सरल मामले में, एक तंत्रिका नेटवर्क में दो भाग होते हैं। पहला भाग - जनरेटर - एक इनपुट छवि लेता है और एक दोगुनी बढ़ाई देता है। दूसरा भाग - विवेचक - इनपुट के रूप में उत्पन्न छवि और "वास्तविक" प्राप्त करता है, और इसे एक दूसरे से अलग करने की कोशिश करता है।

प्रशिक्षण सेट तैयारी

प्रशिक्षण के लिए, हमने अल्ट्राएचडी-गुणवत्ता में दर्जनों क्लिप एकत्र किए हैं। सबसे पहले, हमने उन्हें 1080p के एक संकल्प में घटा दिया, जिससे संदर्भ उदाहरण प्राप्त हुए। फिर हमने इन वीडियो को कम गुणवत्ता में वास्तविक वीडियो के समान कुछ पाने के लिए एक अलग बिटरेट पर संपीड़ित करते हुए इन वीडियो को आधा कर दिया। हमने परिणामस्वरूप वीडियो को फ़्रेम में विभाजित किया और उन्हें इस तरह से तंत्रिका नेटवर्क को प्रशिक्षित करने के लिए उपयोग किया।

deblocking

बेशक, हम एंड-टू-एंड समाधान प्राप्त करना चाहते थे: मूल से उच्च-रिज़ॉल्यूशन वीडियो और गुणवत्ता उत्पन्न करने के लिए तंत्रिका नेटवर्क को प्रशिक्षित करना। हालांकि, GAN बहुत ही प्रतिभावान निकला और लगातार संपीड़न कलाकृतियों को परिष्कृत करने की कोशिश की, बल्कि उन्हें खत्म करने की कोशिश की। इसलिए, मुझे इस प्रक्रिया को कई चरणों में तोड़ना पड़ा। पहला वीडियो संपीड़न कलाकृतियों का दमन है, जिसे डीबलॉकिंग के रूप में भी जाना जाता है।

रिलीज के तरीकों में से एक का एक उदाहरण:



इस स्तर पर, हमने उत्पन्न और मूल फ्रेम के बीच मानक विचलन को कम कर दिया। इस प्रकार, हालांकि हमने छवि के रिज़ॉल्यूशन को बढ़ा दिया, लेकिन औसत के प्रतिगमन के कारण हमें रिज़ॉल्यूशन में वास्तविक वृद्धि नहीं मिली: तंत्रिका नेटवर्क, यह नहीं जानते हुए कि छवि में एक विशेष बॉर्डर गुजरता है, जो कई विकल्पों को औसत करने के लिए मजबूर किया गया था, एक धुंधला परिणाम प्राप्त कर रहा है। इस स्तर पर हमने जो मुख्य चीज हासिल की है, वह वीडियो संपीड़न कलाकृतियों का उन्मूलन है, इसलिए अगले चरण में जेनेरिक नेटवर्क को केवल स्पष्टता बढ़ाने और लापता छोटे विवरण, बनावट जोड़ने की जरूरत है। सैकड़ों प्रयोगों के बाद, हमने प्रदर्शन और गुणवत्ता के संदर्भ में इष्टतम वास्तुकला का चयन किया, DRCN वास्तुकला की अस्पष्ट याद ताजा करती है:



इस तरह की वास्तुकला का मुख्य विचार सबसे गहरी वास्तुकला प्राप्त करने की इच्छा है, जबकि इसके प्रशिक्षण में अभिसरण की समस्याएं नहीं हैं। एक तरफ, प्रत्येक बाद की अवक्षेपणीय परत इनपुट छवि के अधिक से अधिक जटिल विशेषताओं को निकालती है, जो आपको यह निर्धारित करने की अनुमति देती है कि छवि में दिए गए बिंदु पर किस तरह की वस्तु है और जटिल और बुरी तरह से क्षतिग्रस्त भागों को पुनर्स्थापित करें। दूसरी ओर, तंत्रिका नेटवर्क के ग्राफ में इसकी किसी भी परत से निकास तक की दूरी छोटी बनी हुई है, जो तंत्रिका नेटवर्क के अभिसरण में सुधार करती है और बड़ी संख्या में परतों का उपयोग करना संभव बनाती है।

जनरेटिव नेटवर्क ट्रेनिंग

हमने संकल्प बढ़ाने के लिए एक तंत्रिका नेटवर्क के आधार के रूप में SRGAN वास्तुकला को लिया। एक प्रतिस्पर्धी नेटवर्क को प्रशिक्षित करने से पहले, आपको जनरेटर को पूर्व-प्रशिक्षित करने की आवश्यकता है - इसे उसी तरह से प्रशिक्षित करें जैसे कि डीबॉकिंग चरण में। अन्यथा, प्रशिक्षण की शुरुआत में, जनरेटर केवल शोर लौटाएगा, विवेचक तुरंत "जीत" शुरू कर देगा - यह आसानी से वास्तविक फ्रेम से शोर को भेद करना सीख जाएगा, और कोई प्रशिक्षण काम नहीं करेगा।



फिर हम GAN को प्रशिक्षित करते हैं, लेकिन कुछ बारीकियां हैं। हमारे लिए यह महत्वपूर्ण है कि जनरेटर न केवल फोटोरिअलिस्टिक फ्रेम बनाता है, बल्कि उन पर उपलब्ध जानकारी को संग्रहीत भी करता है। ऐसा करने के लिए, हम क्लासिक GAN आर्किटेक्चर में कंटेंट लॉस फंक्शन को जोड़ते हैं। यह मानक ImageNet डेटासेट पर प्रशिक्षित VGG19 तंत्रिका नेटवर्क की कई परतों का प्रतिनिधित्व करता है। ये परतें छवि को एक फीचर मैप में बदल देती हैं जिसमें छवि की सामग्री के बारे में जानकारी होती है। नुकसान फ़ंक्शन उत्पन्न और मूल फ्रेम से प्राप्त ऐसे कार्डों के बीच की दूरी को कम करता है। इसके अलावा, इस तरह के नुकसान समारोह की उपस्थिति प्रशिक्षण के पहले चरणों में जनरेटर को खराब नहीं करना संभव बनाती है, जब विवेचक अभी तक प्रशिक्षित नहीं है और बेकार जानकारी प्रदान करता है।

तंत्रिका नेटवर्क त्वरण

सबकुछ ठीक हो गया, और प्रयोगों की एक श्रृंखला के बाद, हमें एक अच्छा मॉडल मिला जो पहले से ही पुरानी फिल्मों पर लागू किया जा सकता था। हालांकि, स्ट्रीमिंग वीडियो को प्रोसेस करना अभी भी बहुत धीमा था। यह पता चला कि अंतिम मॉडल की गुणवत्ता में महत्वपूर्ण नुकसान के बिना जनरेटर को कम करना असंभव है। फिर ज्ञान आसवन दृष्टिकोण हमारी सहायता के लिए आया। इस पद्धति में एक हल्के मॉडल का प्रशिक्षण शामिल है ताकि यह एक भारी परिणाम को दोहराए। हमने कम गुणवत्ता में बहुत सारे वास्तविक वीडियो लिए, उन्हें पिछले चरण में प्राप्त किए जाने वाले जेनरल न्यूरल नेटवर्क के साथ संसाधित किया और उसी फ्रेम से समान परिणाम प्राप्त करने के लिए लाइटर नेटवर्क को प्रशिक्षित किया। इस तकनीक के कारण, हमें एक नेटवर्क मिला है जो मूल एक की गुणवत्ता में बहुत नीच नहीं है, लेकिन उससे दस गुना तेज है: एक टीवी चैनल को 576p रिज़ॉल्यूशन में संसाधित करने के लिए, एक NVIDIA टेस्ला वी 100 कार्ड की आवश्यकता है।

समाधानों की गुणवत्ता का आकलन

शायद सबसे मुश्किल क्षण जब जेनरेटरी नेटवर्क के साथ काम करना है, परिणामस्वरूप मॉडल की गुणवत्ता का आकलन। कोई स्पष्ट त्रुटि फ़ंक्शन नहीं है, उदाहरण के लिए, वर्गीकरण समस्या को हल करते समय। इसके बजाय, हम केवल विवेचक की सटीकता को जानते हैं, जो हमारे हित के लिए जनरेटर की गुणवत्ता को प्रतिबिंबित नहीं करता है (एक पाठक जो इस क्षेत्र से अच्छी तरह से परिचित था वह वासेरस्टीन मीट्रिक का उपयोग करने का सुझाव दे सकता है, लेकिन, दुर्भाग्य से, इसने एक उल्लेखनीय रूप से बदतर परिणाम दिया)।

लोगों ने इस समस्या को हल करने में हमारी मदद की। हमने Yandex.Tolok सेवा जोड़े के उपयोगकर्ताओं को दिखाया, जिनमें से एक स्रोत एक था और दूसरा एक तंत्रिका नेटवर्क द्वारा संसाधित किया गया था, या दोनों हमारे समाधानों के विभिन्न संस्करणों द्वारा संसाधित किए गए थे। एक शुल्क के लिए, उपयोगकर्ताओं ने एक जोड़ी से एक बेहतर वीडियो चुना, इसलिए हमें उन परिवर्तनों के साथ भी संस्करणों की सांख्यिकीय रूप से महत्वपूर्ण तुलना मिली, जो आंख से देखना मुश्किल है। हमारे अंतिम मॉडल 70% से अधिक मामलों में जीतते हैं, जो कि बहुत अधिक है, यह देखते हुए कि उपयोगकर्ता कुछ वीडियो की रेटिंग पर केवल कुछ सेकंड खर्च करते हैं।

एक दिलचस्प परिणाम यह भी था कि 576p रिज़ॉल्यूशन में वीडियो, डीएचडीएच तकनीक द्वारा 720p तक बढ़ा दिया गया, 60% मामलों में 720p रिज़ॉल्यूशन के साथ एक ही मूल वीडियो को बेहतर बनाता है - अर्थात। प्रसंस्करण न केवल वीडियो के संकल्प को बढ़ाता है, बल्कि इसकी दृश्य धारणा को भी सुधारता है।

उदाहरण

वसंत में, हमने कई पुरानी फिल्मों पर दीपएचडी तकनीक का परीक्षण किया, जिन्हें किनोपोइस्क पर देखा जा सकता है: "मार्क डोंस्कॉय (1943) द्वारा रेनबो , मिखाइल कलैटोज़ोव (1957)," माय डियर मैन "जोसेफ खीफिट्स (1958)," द फेट ऑफ़ ए मैन "द्वारा" क्रान्स फ़्लाइंग " । सर्गेई बोंडार्चुक (1959), " इवान चाइल्डहुड " आंद्रेई टारकोवस्की (1962), " फादर ऑफ अ सोल्जर " रेज़ो चिखीद्ज़े (1964) और " टैंगो ऑफ़ अवर चाइल्डहुड " (1985)।



प्रसंस्करण से पहले और बाद के संस्करणों के बीच का अंतर विशेष रूप से ध्यान देने योग्य है यदि आप विवरणों में सहकर्मी हैं: क्लोज-अप में नायकों के चेहरे के भावों का अध्ययन करें, कपड़ों की बनावट या एक कपड़े पैटर्न पर विचार करें। डिजिटलीकरण की कुछ कमियों के लिए क्षतिपूर्ति करना संभव था: उदाहरण के लिए, चेहरे पर ओवरएक्सपोज़र को हटाने या छाया में रखी गई वस्तुओं को अधिक दृश्यमान बनाने के लिए।

बाद में, Yandex.Air सेवा में कुछ चैनलों के प्रसारण की गुणवत्ता में सुधार के लिए डीपीएचडी तकनीक का इस्तेमाल किया जाने लगा। ऐसी सामग्री को पहचानना dHD टैग द्वारा आसान है।

अब बेहतर गुणवत्ता में यैंडेक्स पर आप "द स्नो क्वीन", "ब्रेमेन टाउन म्यूज़िशियन", "गोल्डन एंटेलोप" और सोयुज़्मुल्फिल्म फिल्म स्टूडियो के अन्य लोकप्रिय कार्टून देख सकते हैं। वीडियो में डायनामिक्स के कुछ उदाहरण देखे जा सकते हैं:


दर्शकों की मांग के लिए, अंतर विशेष रूप से ध्यान देने योग्य होगा: छवि तेज हो गई है, पेड़ के पत्ते, बर्फ के टुकड़े, जंगल के ऊपर रात के आकाश में तारे और अन्य छोटे विवरण अधिक दिखाई देते हैं।

ज्यादा है।

उपयोगी लिंक

Jiwon Kim, Jung Kwon Lee, Kyoung Mu Lee Deeply-Recursive Convolutional Network for Image Super-Resolution [ arXiv: 1511.04491 ]।

क्रिश्चियन लेडिग एट अल। फोटो-यथार्थवादी एकल छवि सुपर-रिज़ॉल्यूशन एक सामान्य सलाहकार नेटवर्क का उपयोग करना [ arXiv: 1609.04802 ]।

मेहदी एसएम सज्जादी, बर्नहार्ड श्लोकोफ़, माइकल हर्श एन्हांसनेट: सिंगल इमेज सुपर-रिज़ॉल्यूशन थ्रू ऑटोमेटेड टेक्सचर सिंथेसिस [ arXiv: 1612.07919 ]।