इसे बढ़ाओ! आधुनिक संकल्प में वृद्धि

मैंने पहले ही कंपकंपी बंद कर दी है और सोच रहा था कि कब फोन की घंटी बजती है और रिसीवर में एक आत्मविश्वास से भरी आवाज बजती है: "क्या यह कप्तान आपको परेशान कर रहा है (प्रमुख ऐसे और ऐसे), क्या आप कुछ सवालों के जवाब दे सकते हैं?" अपनी ही पुलिस से बात क्यों नहीं की ...

सवाल हमेशा एक जैसे होते हैं। "हमारे पास संदिग्ध के साथ एक वीडियो है, कृपया चेहरे को पुनर्स्थापित करने में मदद करें" ... "डीवीआर से संख्या बढ़ाने में मदद करें" ... "यहां कोई मानव हाथ नहीं हैं, कृपया वृद्धि में मदद करें" ... और इसी तरह एक ही नस में।

यह स्पष्ट करने के लिए कि यह किस बारे में है, यहां एक अत्यधिक संकुचित वीडियो का एक वास्तविक उदाहरण भेजा गया है, जहां वे धुंधले चेहरे को पुनर्स्थापित करने के लिए कहते हैं (जिसका आकार लगभग 8 पिक्सेल के बराबर है):


और ठीक है, केवल स्टेप के रूसी अंकल परेशान करेंगे, वेस्टर्न पिंकर्टोन्स लिखते हैं।
उदाहरण के लिए, इंग्लैंड पुलिस का एक पत्र है <***** @ *****। Fsnet.co.uk>:

मैंने अपने छुट्टियों का निजी तौर पर कुछ समय के लिए उपयोग किया है ताकि परिवार की छुट्टियों के मेरे खराब वीडियो को बचाया जा सके लेकिन मैं अपने काम के लिए व्यावसायिक फिल्टर का उपयोग करना चाहूंगा। मैं वर्तमान में एक छोटे से पुलिस बल में एक पुलिस अधिकारी हूं और हमें बहुत सारे सीसीटीवी वीडियो मिल रहे हैं, जो कभी-कभी बहुत खराब गुणवत्ता के होते हैं और मैं देख सकता हूं कि आपके फिल्टर कैसे वास्तविक अंतर पैदा करेंगे। क्या आप मुझे लागत बता सकते हैं और यदि मैं उनका उपयोग कर सकता हूं।

आपका धन्यवाद

अनुवाद

पारिवारिक छुट्टियों से मेरे बुरे वीडियो को बचाने के लिए मैंने पहले से ही आपके फ़िल्टर का उपयोग निजी उद्देश्यों के लिए किया है। लेकिन मैं अपने काम में कमर्शियल फिल्टर का इस्तेमाल करना चाहूंगा। मैं वर्तमान में एक छोटी इकाई में एक पुलिस अधिकारी हूं। हमें सीसीटीवी कैमरों से बड़ी संख्या में वीडियो मिलते हैं, कभी-कभी बहुत खराब गुणवत्ता के, और आपके फ़िल्टर वास्तव में मदद करेंगे। क्या आप मुझे उनकी लागत बता सकते हैं, और क्या मैं उनका उपयोग कर सकता हूं?

आपका धन्यवाद

या यहाँ ऑस्ट्रेलिया का एक पुलिसकर्मी लिखता है:

हाय,
मैं वीडियो और ऑडियो फोरेंसिक इकाई में ऑस्ट्रेलिया में विक्टोरिया पुलिस के लिए काम करता हूं। हम कभी-कभी हाथ से पकड़े या वाहन पर लगे कैमरों से वीडियो प्राप्त करते हैं। अक्सर ये तेजी से घटने वाली घटनाओं के इंटरलेस्ड फुटेज को कैप्चर करते हैं। विशेष रूप से, जिस फुटेज में आमतौर पर "वादा" होता है, वह वाहन नंबर प्लेटों का फुटेज होता है। हम अक्सर पाते हैं कि पहले और आखिरी क्षेत्र पर कब्जा किए जाने के बीच विषय वाहन काफी आगे बढ़ गए होंगे। नतीजतन, हम दो फ्रेमों से पूरे फ्रेम को फिर से बनाने और फिर से संगठित करने का प्रयास करते हैं, दूसरे के साथ अनुवाद किया जाता है, कभी-कभी घुमाया जाता है, और कभी-कभी आकार भी अलग होगा (जैसा कि वाहन दूर या कैमरे की ओर यात्रा कर रहा है।) इन दोनों क्षेत्रों से शादी करना। , अधिमानतः उप-पिक्सेल सटीकता के लिए, और नंबर प्लेट वाले फ्रेम को फिर से बनाना, मुश्किल हो सकता है।
मैंने जो कुछ भी देखा है, उसमें से आप फुटेज को डीरेल्डिंग कर रहे हैं, यह हो सकता है कि आपका फ़िल्टर कुछ कर सकता है, यदि नहीं, तो हमें क्या चाहिए। ईमानदार होने के लिए, जैसा कि हमारा बजट बल्कि छोटा है, यह संभावना नहीं है कि हम एक वाणिज्यिक लाइसेंस खरीद सकते हैं। हम उत्पाद नहीं बेचते हैं, ज़ाहिर है, हम इसका उपयोग पुलिस मामलों में सबूत के लिए करते हैं। किसी भी मामले में, मुझे लगा कि मैं ईमेल लिखूंगा और वैसे भी पूछूंगा। लाइसेंस के लिए कितना खर्च होगा? क्या फुटेज पर उत्पाद का परीक्षण करना संभव है, यह देखने के लिए कि क्या यह उचित है? क्या यह हमें क्या चाहिए? अंत में, क्या एल्गोरिथ्म प्रकाशित किया गया है? अज्ञात एल्गोरिदम के साथ काम करना कानून की अदालत के लिए खतरनाक अभ्यास है। यदि सबूत 20 साल के लिए एक आदमी के लिए चल रहा है, तो यह जानना अच्छा अभ्यास है कि क्यों!

आपके द्वारा दी जा रही किसी भी जानकारी की सराहना की जाएगी।

सादर,
परिचारिका
ऑडियो विजुअल यूनिट
विक्टोरिया पुलिस फोरेंसिक सेवा विभाग

अनुवाद

हैलो,
मैं फोरेंसिक वीडियो और ऑडियो विभाग में ऑस्ट्रेलिया में विक्टोरिया पुलिस के लिए काम करता हूं। समय-समय पर, हम हाथ से पकड़े गए कैमरों और डीवीआर से वीडियो प्राप्त करते हैं। अक्सर ये वीडियो तेज गति वाली वस्तुओं की इंटरलेस्ड शूटिंग होती है। विशेष रूप से, सबसे महत्वपूर्ण सामग्री वाहन लाइसेंस प्लेट है। हम अक्सर पाते हैं कि प्रश्न में वाहन पहले और अंतिम कैप्चर किए गए फ़ील्ड के बीच दृढ़ता से चलता है। नतीजतन, हम दो क्षेत्रों से एक पूरे फ्रेम को बहाल करने की कोशिश कर रहे हैं, दूसरे को स्थानांतरित किया जा रहा है, कभी-कभी घुमाया जाता है और कभी-कभी आकार में अलग होता है (जब कार कैमरे से या उससे यात्रा कर रही होती है)। इन दोनों क्षेत्रों को मिलाकर, अधिमानतः अर्ध-पिक्सेल सटीकता पर, और लाइसेंस प्लेट वाले पूरे फ्रेम को पुनर्स्थापित करना मुश्किल हो सकता है।

मैं देख रहा हूँ कि आप फ्रेम पर डीटरलैसिंग कैसे लागू करते हैं, और हो सकता है कि आपके फ़िल्टर कुछ कर सकते हैं, अगर यह सब हमारी ज़रूरत नहीं है। ईमानदारी से, हम एक वाणिज्यिक लाइसेंस नहीं दे सकते हैं, क्योंकि हमारा बजट काफी छोटा है। हम उत्पाद नहीं बेचते हैं, ज़ाहिर है, हम इसका उपयोग पुलिस मामलों में सबूत के लिए करते हैं। किसी भी मामले में, मैंने सोचा था कि मैं एक पत्र लिखूंगा और अभी भी पूछूंगा। लाइसेंस की लागत कितनी होगी? क्या यह पता लगाने के लिए सामग्री पर उत्पाद का परीक्षण करना संभव है कि क्या यह उपयुक्त है? क्या वह हमारी ज़रूरत का हिस्सा है? अंत में, एल्गोरिथ्म प्रकाशित किया गया है? .. अज्ञात एल्गोरिदम के साथ काम करना अदालत में एक खतरनाक अभ्यास है। यदि सबूत किसी व्यक्ति को 20 साल के लिए जेल जाना पड़ता है, तो यह जानना उपयोगी है कि क्यों।

हम किसी भी जानकारी के लिए आभारी होंगे जो आप हमें प्रदान कर सकते हैं।

निष्ठा से,
अन्वेषक
ऑडियो और वीडियो प्रभाग
विक्टोरिया पुलिस का फोरेंसिक विभाग

ध्यान दें कि पत्र बहुत विचारशील है, एक व्यक्ति एल्गोरिथ्म प्रकाशित होने और गलत वसूली के लिए जिम्मेदारी के बारे में चिंतित है।

कभी-कभी वे केवल पत्राचार की प्रक्रिया में स्वीकार करते हैं कि वे पुलिस से हैं। उदाहरण के लिए, इटली के कारबिनियरी मदद चाहेंगे:

डॉ Vatolin
उत्तर के लिए धन्यवाद।
इसका जवाब पुलिस बलों (काराबेनियरी जांच) के लिए भी है
पर्मा इटली के लिए वैज्ञानिक)?
किस सॉफ्टवेयर के लिए वे आपके एल्गोरिदम को आपके साथ जोड़ रहे हैं।
हम बहुत होंगे।

अनुवाद

एट अल। Vatolin
उत्तर के लिए धन्यवाद।
क्या यह पुलिस के लिए उपयुक्त है (कारबेनीयर जांच इकाई PARMA ITALY के लिए)?
क्या वे इस बात में रुचि रखते हैं कि आपके एल्गोरिदम किस सॉफ्टवेयर का उपयोग करते हैं?
हम आभारी रहेंगे।

और, ज़ाहिर है, आम लोगों की कई अपील ...

इसे बढ़ाओ! क्या, आपको सही बटन दबाने के लिए खेद है?

यह स्पष्ट है कि कॉल की यह पूरी धारा खरोंच से प्रकट नहीं होती है।

"दोष" मुख्य रूप से फिल्मों और टीवी शो पर दिया जाता है।

उदाहरण के लिए, यहां 3 सेकंड में संपीड़ित वीडियो का फ्रेम 50 गुना बढ़ जाता है और चश्मे में प्रतिबिंब से वे सबूत देखते हैं:


और आधुनिक फिल्मों और श्रृंखलाओं में ऐसे कई क्षण हैं। उदाहरण के लिए, इस वीडियो में, हमने टीवी शो के पैक से इस तरह के एपिसोड को पूरी तरह से एकत्र किया है, देखने के लिए दो मिनट नहीं लेते हैं:


और जब आप इसे हर फिल्म में देखते हैं, तो अंतिम हेजहोग स्पष्ट हो जाता है कि आपको एक सक्षम कंप्यूटर जीनियस, आधुनिक एल्गोरिदम का एक संयोजन होना चाहिए, और यह केवल "STOP!" और "इसे बढ़ाएं!" । और वोइला! एक चमत्कार होगा!

हालांकि, स्क्रिप्ट राइटर इस पहले से ही हैक किए गए रिसेप्शन पर नहीं रुकते हैं, और उनकी बेलगाम कल्पना आगे बढ़ती है। यहाँ एक बहुत ही राक्षसी उदाहरण है। पीड़ित की पुतली में प्रतिबिंबित करने के लिए गैलेंट जासूस को अपराधी की एक तस्वीर मिली। दरअसल, चश्मे में प्रतिबिंब पहले से ही था। यह आम बात है। चलो आगे बढ़ते हैं! यह सिर्फ इतना है कि सीढ़ियों में लगे सीसीटीवी कैमरे का रिज़ॉल्यूशन हबल के टेलीस्कोप की तरह काफी यादृच्छिक होता है:


"पैगंबर" (00:38:07) में:
"अवतार" (1: 41: 04–1: 41: 05) में, तीक्ष्ण एल्गोरिथ्म, वैसे, अन्य फिल्मों की तुलना में कुछ हद तक असामान्य है: यह कुछ स्थानों पर पहले तेज होता है, और एक विभाजन के बाद दूसरी छवि के बाकी हिस्सों को खींचता है, टी करें.ई.। पहले आधे मुंह से, और फिर दाएं:


सामान्य तौर पर, बहुत लोकप्रिय फिल्मों में जो सैकड़ों लाखों लोगों द्वारा देखी जाती हैं, तस्वीर को तेज करना एक क्लिक में किया जाता है। सभी लोग (फिल्मों में) इसे करते हैं! तो आप क्यों, ऐसे चतुर विशेषज्ञ, ऐसा नहीं कर सकते ???

---

"मुझे पता है कि यह आसान है!" और मुझे निश्चित रूप से कहा गया था कि आप ऐसा कर रहे हैं! क्या आप इस बटन को दबाने के लिए बहुत आलसी हैं?

// ओह डियर ... दमदार पटकथा लेखक अपनी जंगली कल्पना के साथ ...

- मैं समझता हूं कि आप व्यस्त हैं, लेकिन यह एक महत्वपूर्ण अपराध को हल करने में राज्य की मदद के बारे में है!

// हम समझते हैं।

- शायद यह पैसे के बारे में है? आपको कितना भुगतान करने की आवश्यकता है?

// खैर, कैसे संक्षिप्त रूप से समझाएं कि यह नहीं है कि हमें पैसे की जरूरत नहीं है ... और फिर फिर से, और फिर फिर से ...

---

वास्तविक संवादों के साथ ऊपर दिए गए उद्धरणों का कोई भी संयोग पूरी तरह से यादृच्छिक है, लेकिन, विशेष रूप से, यह पाठ किसी व्यक्ति को ध्यान से इसे पहले पढ़ने के लिए भेजने के लिए लिखा गया है, और उसके बाद ही वापस कॉल करें।

निष्कर्ष: इस तथ्य के कारण कि एक क्लिक में सीसीटीवी कैमरों से छवियों के विस्तार के साथ दृश्य आधुनिक सिनेमा की एक मुहर बन गया है, बड़ी संख्या में लोग ईमानदारी से आश्वस्त हैं कि सस्ते कैमरे या सस्ते वीडियो रिकॉर्डर के फ्रेम के टुकड़े को बढ़ाना बहुत सरल है। मुख्य बात यह है कि कैसे पूछें (अच्छी तरह से, या कमांड करने के लिए, यह कैसे भाग्यशाली है)।

पैर कहाँ से उगते हैं

यह स्पष्ट है कि कॉल की यह पूरी धारा खरोंच से नहीं ली गई है। हम वास्तव में लगभग 20 वर्षों से वीडियो सुधार में लगे हुए हैं, जिसमें विभिन्न प्रकार के वीडियो रिकवरी (और कई प्रकार के होते हैं, वैसे), और इस खंड में हमारे उदाहरण कम होंगे।

वैज्ञानिक लेखों में संकल्प में "स्मार्ट" वृद्धि को आमतौर पर सुपर रिज़ॉल्यूशन (शॉर्ट के लिए एसआर) कहा जाता है। Google विद्वान अनुरोध पर सुपर रिज़ॉल्यूशन 2.9 मिलियन लेखों को ढूँढता है, अर्थात् विषय था, जैसा कि यह था, बल्कि अच्छी तरह से खोदा गया, और बड़ी संख्या में लोगों ने इससे निपटा। यदि आप लिंक का अनुसरण करते हैं , तो परिणामों का कुछ समुद्र है, एक दूसरे की तुलना में अधिक सुंदर है। हालांकि, यह गहरी खुदाई के लायक है, चित्र, हमेशा की तरह, इतना देहाती नहीं बनता है। SR विषय में दो दिशाएँ हैं:

• वीडियो सुपर रिज़ॉल्यूशन (0.4 मिलियन लेख) - पिछले (और कभी-कभी बाद में) फ़्रेम का उपयोग करके वास्तविक बहाली,
  
• छवि सुपर रिज़ॉल्यूशन (2.2 मिलियन लेख) - केवल एक फ्रेम का उपयोग करके रिज़ॉल्यूशन में "स्मार्ट" वृद्धि। चूंकि एक तस्वीर के बारे में जानकारी लेने के लिए कि वास्तव में इस जगह में कहीं नहीं था, एल्गोरिदम एक तरह से या किसी अन्य तस्वीर को पूरा करता है (या, अपेक्षाकृत बोल, "लगता है") तस्वीर - क्या हो सकता है। इसके लिए मुख्य मानदंड यह है कि परिणाम यथासंभव प्राकृतिक दिखना चाहिए, या मूल के जितना संभव हो उतना करीब होना चाहिए। और यह स्पष्ट है कि इस तरह के तरीके "वास्तव में" को बहाल करने के लिए उपयुक्त नहीं हैं, हालांकि छवि को बढ़ाना ताकि यह बेहतर दिखे, उदाहरण के लिए, जब मुद्रण (जब आपके पास एक अनूठी तस्वीर हो, लेकिन उच्च रिज़ॉल्यूशन में कोई संस्करण नहीं है) ) ऐसे तरीके बहुत संभव हैं।
  

जैसा कि आप देख सकते हैं, 0.4 मिलियन बनाम 2.2 - अर्थात्, 5 गुना कम लोग वास्तविक वसूली में लगे हुए हैं। सौभाग्य से, विषय "यह बड़ा, सुंदर है" बहुत मांग में है, जिसमें उद्योग (स्मार्टफोन और डिजिटल साबुन के कुख्यात डिजिटल ज़ूम) शामिल हैं। इसके अलावा, यदि आप और भी अधिक गहरा गोता लगाते हैं, तो यह जल्दी से स्पष्ट हो जाता है कि वीडियो सुपर रिज़ॉल्यूशन पर लेखों की एक महत्वपूर्ण संख्या भी वसूली के बिना वीडियो रिज़ॉल्यूशन में वृद्धि है, क्योंकि वसूली मुश्किल है। परिणामस्वरूप, हम कह सकते हैं कि जो लोग "खूबसूरती से करते हैं" वे उन लोगों की तुलना में लगभग 10 गुना अधिक हैं जो वास्तव में बहाल करने की कोशिश कर रहे हैं। जीवन की एक सामान्य स्थिति, वैसे भी।

हम और भी गहरे जाते हैं। बहुत बार, एल्गोरिथ्म के परिणाम बहुत अच्छे होते हैं, लेकिन इसकी आवश्यकता होती है, उदाहरण के लिए, 20 फ्रेम आगे और 20 फ्रेम पीछे, और सबसे उन्नत GPU का उपयोग करते समय एक फ्रेम की प्रसंस्करण गति लगभग 15 मिनट है । यानी 1 मिनट के लिए वीडियो को 450 घंटे (लगभग 19 दिन) की आवश्यकता होती है। ऊप्स-एसएस ... सहमत हूं, यह तत्काल "ज़ूम यह!" की तरह नहीं है। फिल्मों से। नियमित रूप से एल्गोरिदम हैं जो प्रति फ्रेम कई दिनों तक काम करते हैं। लेखों के लिए, एक बेहतर परिणाम आमतौर पर काम करने के समय से अधिक महत्वपूर्ण होता है, क्योंकि त्वरण एक अलग मुश्किल काम है, और भागों में एक बड़े हाथी को खाना आसान है। जीवन और सिनेमा में यही अंतर है ...

एक उचित गति से वीडियो पर चल रहे एल्गोरिदम के अनुरोध ने फास्ट वीडियो सुपर रिज़ॉल्यूशन की एक अलग दिशा को जन्म दिया - 0.18 मिलियन लेख, जिनमें "धीमे" लेख शामिल हैं, जिनकी तुलना "तेज़" वाले, अर्थात इस तरह के तरीकों पर लेखों की वास्तविक संख्या अधिक है। ध्यान दें कि "तेज़" दृष्टिकोणों के बीच, सट्टा का प्रतिशत, अर्थात्। वास्तविक वसूली के बिना, उच्च। तदनुसार, ईमानदारी से ठीक होने का प्रतिशत कम है।

आप जो चित्र देख रहे हैं, वह स्पष्ट हो रहा है। लेकिन यह, ज़ाहिर है, सभी से बहुत दूर है।

अच्छे परिणाम प्राप्त करने में अन्य कौन से बिंदु महत्वपूर्ण रूप से प्रभावित करते हैं?

सबसे पहले, शोर बहुत प्रभावशाली है। नीचे एक बहुत शोर वीडियो पर दो बार संकल्प वसूली का एक उदाहरण है:


स्रोत: लेखक की सामग्री

इस टुकड़े में मुख्य समस्या सामान्य शोर के साथ भी नहीं है, लेकिन शर्ट पर रंगीन मौआ के साथ, जिसे संसाधित करना मुश्किल है। कुछ लोग कह सकते हैं कि बड़े शोर आज कोई समस्या नहीं है। ऐसा नहीं है। अंधेरे में कार डीवीआर और सीसीटीवी कैमरों के डेटा को देखें (बस जब वे मांग में अधिक हों)।

हालांकि, शोर वीडियो के संदर्भ में अपेक्षाकृत "स्वच्छ" पर भी हो सकता है, जैसे कि नीचे का शहर (नीचे दिए गए उदाहरण आपके काम पर आधारित हैं:


स्रोत: लेखक की सामग्री

दूसरे, इष्टतम पुनर्प्राप्ति के लिए, फ़्रेम के बीच गति की निकट-से-आदर्श भविष्यवाणी की आवश्यकता है। यह मुश्किल क्यों है यह एक अलग बड़ा विषय है, लेकिन यह बताता है कि एक मनोरम कैमरा आंदोलन के साथ दृश्यों को अक्सर बहुत अच्छी तरह से बहाल किया जाता है, और अपेक्षाकृत अराजक आंदोलन के साथ दृश्यों को पुनर्प्राप्त करना बेहद मुश्किल होता है, लेकिन उनके साथ आपको कुछ स्थितियों में काफी अच्छा परिणाम मिल सकता है:

स्रोत: लेखक की सामग्री

और अंत में, यहां पाठ पुनर्प्राप्ति का एक उदाहरण दिया गया है:


स्रोत: लेखक की सामग्री

यहां, पृष्ठभूमि काफी सुचारू रूप से चलती है, और एल्गोरिथ्म में "घूमने" की क्षमता है:



विशेष रूप से, यदि हम हाथ के दाहिनी ओर एक बहुत छोटे शिलालेख की तुलना करते हैं, जिसमें शास्त्रीय बाइबिक प्रक्षेप के साथ आवर्धन शामिल है , तो अंतर बहुत स्पष्ट रूप से दिखाई देता है:


यह देखा जा सकता है कि बाइसिक्यूअल प्रक्षेप के लिए लैंक्ज़ोस 4 के लिए वर्ष को पढ़ना लगभग असंभव है, जो उन लोगों द्वारा प्यार करते हैं जो तीखेपन के लिए वीडियो के संकल्प को बदलते हैं, किनारों को स्पष्ट रूप से स्पष्ट करते हैं, लेकिन वर्ष को पढ़ना अभी भी असंभव है। हम वाणिज्यिक पुखराज पर टिप्पणी नहीं करते हैं, लेकिन हम स्पष्ट रूप से शिलालेख पढ़ते हैं और आप देख सकते हैं कि यह सबसे अधिक संभावना 1809 है।

निष्कर्ष:

• दुनिया के हजारों शोधकर्ता इस संकल्प को बढ़ाने में लगे हुए हैं और इस विषय पर लाखों लेख प्रकाशित हो चुके हैं। इसके कारण, प्रत्येक स्मार्टफोन में एक "डिजिटल जूम" होता है, जो आमतौर पर पारंपरिक कार्यक्रमों को बढ़ाने के लिए एल्गोरिदम से बेहतर होता है, और प्रत्येक फुलएचडी टीवी एसडी वीडियो प्रदर्शित कर सकता है, अक्सर संकल्प परिवर्तन की विशिष्ट कलाकृतियों के बिना भी।
  
• सुपर रिज़ॉल्यूशन में शामिल लोगों में एक वीडियो से वास्तविक छवि पुनर्प्राप्त करना 10% से बहुत कम है, इसके अलावा, अधिकांश पुनर्प्राप्ति एल्गोरिदम बेहद धीमा हैं (प्रति फ्रेम गणना के कई दिनों तक)।
  
• ज्यादातर मामलों में, वसूली यह सुनिश्चित करने के लिए डिज़ाइन की गई है कि वीडियो में उच्च आवृत्तियों को अधिक या कम संरक्षित किया जाए, और इसलिए महत्वपूर्ण संपीड़न कलाकृतियों के साथ वीडियो पर काम न करें। और चूंकि सीसीटीवी कैमरों की सेटिंग में संपीड़न अनुपात को अक्सर अधिक घंटे बचाने की इच्छा के आधार पर चुना जाता है (यानी वीडियो को अधिक दृढ़ता से संकुचित किया जाता है और उच्च आवृत्तियों को "मार" दिया जाता है), ऐसे वीडियो को पुनर्स्थापित करना लगभग असंभव हो जाता है।
  

इंडस्ट्री में एसआर कैसा दिखता है

निष्पक्षता में, हम ध्यान दें कि आज सभी टीवी निर्माताओं के लिए सभी (और कम से कम खरीदे गए) रिज़ॉल्यूशन रिज़ॉल्यूशन एल्गोरिदम उपलब्ध हैं (आपको फ्लाई पर एसडी छवियों से एचडी चित्र बनाने की आवश्यकता है), सभी स्मार्टफोन निर्माताओं के लिए (विज्ञापन में "डिजिटल ज़ूम" कहा जाता है), आदि। .D। हम Google (और न केवल) के परिणामों के बारे में बात करेंगे। सबसे पहले, क्योंकि Google बहुत अच्छा है और बहुत अधिक पाथोस के बिना और विपणन अपने ब्लॉग पर परिणामों का वर्णन करता है - और यह बहुत अच्छा है। दूसरे, क्योंकि स्मार्टफोन निर्माता (उदाहरण के लिए, एक बहुत अच्छी तरह से ज्ञात कोरियाई कंपनी) अपनी प्रौद्योगिकियों के विज्ञापन में फ़ोटोशॉप का उपयोग करने से कतराते नहीं हैं (क्या अंतर है - लोग अभी भी निगलते हैं) - और यह अप्रिय है। सामान्य तौर पर, चलो उन लोगों के बारे में बात करते हैं जो अपनी तकनीक का ईमानदारी से वर्णन करते हैं।

2016 में वापस , Google ने Pixel 2 स्मार्टफोन में उपयोग किए गए RAISR एल्गोरिथम (रैपिड एंड एक्यूरेट इमेज सुपर रेजोल्यूशन) के काफी दिलचस्प नतीजे प्रकाशित किए । सबसे सफल तस्वीरों में, परिणाम बहुत अच्छा लग रहा था:


स्रोत: Google AI ब्लॉग

एल्गोरिथ्म एमएल वर्गीकरण के बाद उपयोग किए जाने वाले फिल्टर का एक सेट था, और इसकी तुलना बाइसिक्यूबिक इंटरपोलेशन (पारंपरिक व्हिपिंग बॉय) से की गई, जिसका परिणाम था:


क्रम में: मूल, द्विबीज प्रक्षेप, RAISR

लेकिन यह सिंगल फ्रेम इंटरपोलेशन था, और "असफल" उदाहरणों पर, नीचे के पत्ते की तरह, चित्र बहुत अप्रिय रूप से विकृत हो गया - विस्तार के बाद चित्र स्पष्ट रूप से "सिंथेटिक" हो गया। इसने ठीक वही प्रभाव दिखाया जिसके लिए आधुनिक स्मार्टफोन के डिजिटल ज़ूम को पसंद नहीं किया जाता है:


चमत्कार, वास्तव में, नहीं हुआ और Google ने ईमानदारी से और तुरंत एक काउंटर-उदाहरण प्रकाशित किया, अर्थात्। तुरंत अपने दृष्टिकोण की प्रयोज्यता की सीमा को रेखांकित किया और लोगों को अत्यधिक उम्मीदों (पारंपरिक विपणन के लिए विशिष्ट) से बचाया।

हालांकि, दो साल से भी कम समय के बाद, Google Pixel 3 में उपयोग किए जाने वाले काम की निरंतरता प्रकाशित हुई और नाटकीय रूप से इसकी शूटिंग की गुणवत्ता में सुधार हुआ, जो पहले से ही एक ईमानदार मल्टी-फ्रेम सुपर रिज़ॉल्यूशन है, अर्थात्। मल्टी-फ्रेम रिज़ॉल्यूशन रिकवरी एल्गोरिदम:


स्रोत: Google AI ब्लॉग

ऊपर दी गई तस्वीर Pixel 2 और Pixel 3 के परिणामों की तुलना दर्शाती है, और परिणाम बहुत अच्छे दिखते हैं - चित्र वास्तव में बहुत स्पष्ट हो गया है और यह स्पष्ट रूप से देखा गया है कि यह "सोच" नहीं है, लेकिन वास्तव में विवरण बहाल करना है। इसके अलावा, एक चौकस पेशेवर पाठक के बाईं ओर दो ऊर्ध्वाधर जुड़वां पाइपों के बारे में प्रश्न होंगे। रिज़ॉल्यूशन स्पष्ट रूप से बढ़ गया है, जबकि अलियासिंग चरण (वास्तविक रिज़ॉल्यूशन का एक संकेत) अजीब रूप से करीब दिखता है। वह क्या था?

संक्षेप में, हम एल्गोरिथ्म का विश्लेषण करेंगे। सहकर्मी बायर पैटर्न के प्रक्षेप को बदलने से गए:


तथ्य यह है कि वास्तविक छवि में जानकारी का 2/3 वास्तव में प्रक्षेपित जानकारी है। यानी आपका चित्र पहले से धुंधला और "धुंधला" है, लेकिन वास्तविक शोर स्तर के साथ यह इतना महत्वपूर्ण नहीं है। वैसे, अधिक जटिल प्रक्षेप एल्गोरिदम का उपयोग करने की क्षमता ने तस्वीरों के लिए उच्चतम गुणवत्ता वाले रॉ रूपांतरण के लोकप्रिय कार्यक्रमों को बनाया है (प्रत्येक कैमरे में निर्मित सरल एल्गोरिथ्म और एक विशेष कार्यक्रम के जटिल एल्गोरिथ्म के बीच का अंतर आमतौर पर छवि द्वारा ध्यान दिए जाने पर ध्यान देने योग्य होता है)।

Google के सहकर्मी इस तथ्य का उपयोग करते हैं कि स्मार्टफोन की अधिकांश तस्वीरें हाथों से ली गई हैं, अर्थात्। कैमरा थोड़ा हिल जाएगा:


स्रोत: Google AI ब्लॉग (उप-पिक्सेल बदलाव दिखाने के लिए पिक्सेल स्तर पर संरेखित मल्टी-फ़्रेम छवि)

नतीजतन, यदि आप कुछ फ़्रेम लेते हैं और शिफ्ट का मूल्यांकन करते हैं (और आयरन, जो क्वार्टर-पिक्सेल सटीकता के साथ मोशन एस्टीमेट मैप बनाने में सक्षम है, H.264 सपोर्ट वाले किसी भी स्मार्टफोन में है), तो हमें एक शिफ्ट मैप मिलता है। ऊपर दिए गए एनीमेशन के अनुसार, यह स्पष्ट रूप से देखा जाता है कि वास्तविक शोर स्तर के साथ, सबपिक्सल सटीकता के साथ विस्थापन मानचित्र बनाना एक बहुत ही गैर-तुच्छ कार्य है, लेकिन पिछले 20 वर्षों में इस क्षेत्र में बहुत अच्छे एल्गोरिदम दिखाई दिए हैं। बेशक, समय पर, और उनके पास एक कठिन समय है। उदाहरण के लिए, ऊपर के उदाहरण में, सीढ़ी की रेलिंग के शीर्ष पर एक फ्रेम पर कुछ चमकता है। और यह अभी भी एक स्थिर दृश्य है, कोई चलती वस्तु नहीं है जो कभी-कभी बस नहीं चलती है, लेकिन घूमती है, आकार बदलती है, जल्दी से चलती है, उद्घाटन के बड़े क्षेत्रों को छोड़ देती है (जिनमें से लूप प्रसंस्करण के बाद दिखाई नहीं देना चाहिए)। नीचे दिए गए उदाहरण से स्पष्ट पता चलता हैयदि आप ऐसे मामलों की विशेष प्रसंस्करण को बंद कर देते हैं (बाईं तरफ अक्षम, दाईं ओर सक्षम, यदि आप क्लिक करते हैं, तो प्रसंस्करण ब्लॉक स्पष्ट रूप से दिखाई देते हैं):


स्रोत: Google AI ब्लॉग (उच्च रिज़ॉल्यूशन में क्लिक करने और देखने के लिए अनुशंसित)

हार्ड उदाहरण ज्वाला, तरंग, पानी के साथ सूर्य की चमक, आदि हैं। सामान्य तौर पर, शिफ्ट के निर्धारण की "सरल" समस्या में भी, कई गैर-तुच्छ क्षण हैं जो एल्गोरिथम के जीवन को काफी जटिल करते हैं। हालाँकि, अब यह उस बारे में नहीं है।

दिलचस्प है, भले ही कैमरा पूरी तरह से स्थिर हो (उदाहरण के लिए, एक तिपाई पर घुड़सवार), आप ऑप्टिकल स्थिरीकरण मॉड्यूल (ओआईएस - ऑप्टिकल इमेज स्टेबिलाइजेशन) के नियंत्रण के माध्यम से सेंसर को स्थानांतरित कर सकते हैं । नतीजतन, हमें वांछित सबपिक्सल शिफ्ट मिलते हैं। Pixel 3 में, OIS सपोर्ट लागू किया गया है, और आप फोन को ग्लास के खिलाफ दबा सकते हैं और रुचि के साथ देख सकते हैं कि कैसे OIS एक दीर्घवृत्त के साथ चित्र को स्थानांतरित करना शुरू कर देता है (लगभग, इस लिंक की तरह), अर्थात्, एक तिपाई पर बढ़ते के इस मामले में भी, उसके लिए मुश्किल है, सुपर रिज़ॉल्यूशन काम करने और गुणवत्ता में सुधार करने में सक्षम होगा। हालाँकि, स्मार्टफोन से शूटिंग के लिए शेर का हिस्सा हाथ से शूटिंग है।

परिणामस्वरूप, हमारे पास एक बड़ा रिज़ॉल्यूशन फोटो बनाने के लिए अतिरिक्त जानकारी है:


जैसा कि ऊपर उल्लेख किया गया है, एसआर का प्रत्यक्ष परिणाम शोर के स्तर में उल्लेखनीय कमी है, कुछ मामलों में यह बहुत ही ध्यान देने योग्य है:


स्रोत: Google AI ब्लॉग

ध्यान दें कि पुनर्प्राप्ति का अर्थ प्रति घटक बिट्स की संख्या से बहाली भी है। यानीबढ़ते रिज़ॉल्यूशन की समस्या को औपचारिक रूप से हल करते हुए, कुछ शर्तों के तहत एक ही इंजन न केवल शोर को दबा सकता है, बल्कि फ्रेम को एचडीआर में भी बदल सकता है। यह स्पष्ट है कि आज एचडीआर का उपयोग शायद ही कभी किया जाता है, लेकिन यह, आप देखते हैं, एक अच्छा बोनस है।

नीचे दिया गया उदाहरण पिक्सेल 2 पर शूटिंग के दौरान प्राप्त छवियों की तुलना और पिक्सेल 3 पर SR के बाद तुलनीय सेंसर गुणवत्ता के साथ दिखाता है। शोर में अंतर और स्पष्टता में अंतर स्पष्ट रूप से दिखाई देता है:


जो लोग विवरणों को देखना पसंद करते हैं, उनके लिए एक एल्बम है जिसमें Google के सुपर रिज़ॉल्यूशन (मार्केटिंग नाम सुपर रेस ज़ूम) को स्मार्टफोन ( FoV परिवर्तन ) पर इमेज जूम स्केल के स्पेक्ट्रम में इसकी महिमा में सराहना की जा सकती है : कैसे उन्होंने मामूली रूप से लिखा है - उन्होंने स्मार्टफोन की शूटिंग की गुणवत्ता के करीब एक कदम उठाया। पेशेवर कैमरों की गुणवत्ता के लिए। निष्पक्षता में, हम ध्यान दें कि पेशेवर कैमरे भी स्थिर नहीं हैं। एक और बात यह है कि छोटी बिक्री के साथ, वही प्रौद्योगिकियां उपयोगकर्ता के लिए अधिक खर्च करेंगी। हालांकि, एसआर पहले से ही पेशेवर कैमरों में दिखाई दे रहा है। UPD: एक उदाहरण के रूप में (अंतिम लिंक एक तुलना है):

• Testing Sony's New Pixel Shift Feature in the a7R III , 2 ( , ),
  
• Olympus E-M5 Mark II 16 40 ,
  
• Super Resolution Pentax K-1 ,
  
• : Pixel-Shift Shootout: Olympus vs. Pentax vs. Sony vs. Panasonic — Pentax K-1, Sony a7R III, Olympus OM-D E-M1 Mark II Panasonic Lumix DC-G9. , , , Pentax K-1.
  

:

• Super Resolution , , .
  
• SR: Image Super Resolution — ( ), .
  
• रिकवरी एल्गोरिदम के मुख्य बोनस हैं शोर में कमी, विवरणों का शोधन, "अधिक ईमानदार" एचडीआर, बड़े स्क्रीन टीवी पर स्पष्ट रूप से उच्च चित्र गुणवत्ता दिखाई देती है।
  
• यह सब भव्यता फोटो प्रसंस्करण एल्गोरिदम की जटिलता में वृद्धि, या अधिक सटीक रूप से - एक वीडियो फ्रेम के एक कार्डिनल (संचालन की संख्या में परिमाण के लगभग 3 आदेशों) के कारण संभव हो गया था।
  

यांडेक्स परिणाम

चूंकि वे अभी भी टिप्पणियों में पूछेंगे, मैं यैंडेक्स के बारे में कुछ शब्द कहूंगा, जिसने पिछले साल सुपर रिज़ॉल्यूशन का अपना संस्करण प्रकाशित किया था:


स्रोत: https://yandex.ru/blog/company/oldfilms

और यहां कार्टून पर कुछ उदाहरण दिए गए हैं:


स्रोत: https://yandex.ru/blog/company/soyuzmultfilm

वह क्या था? 2016 में Yandex ने Google की तकनीक को दोहराया?

यांडेक्स (विपणन नाम डीआईएचडी) से प्रौद्योगिकी विवरण पृष्ठ पर केवल छवि सुपर रिज़ॉल्यूशन के लिंक हैं। इसका मतलब यह है कि स्पष्ट रूप से काउंटरटेक्स हैं जिसमें एल्गोरिथ्म तस्वीर को खराब करता है और वे ईमानदार रिकवरी एल्गोरिदम की तुलना में अधिक सामान्य हैं। लेकिन लगभग 80% लेख विषय के लिए समर्पित हैं और एल्गोरिथ्म को लागू करना आसान है।

इस तकनीक का वर्णन एक हब पर भी किया गया था (यह दिलचस्प है कि लेख का लेखक हमारी प्रयोगशाला का स्नातक है), लेकिन, जैसा कि आप टिप्पणियों से देख सकते हैं, लेखकों ने मेरे किसी भी सवाल का जवाब नहीं दिया, जबकि उन्होंने दूसरों को जवाब दिया। और ये, बल्कि, खलनायक के लेखक नहीं हैं, लेकिन कंपनी की नीति (अन्य पदों में, यदि आप बारीकी से देखते हैं, तो अक्सर विशेषज्ञों के सवालों के जवाब भी नहीं होते हैं)। प्रौद्योगिकी कंपनी के लिए ब्लॉग कार्यान्वयन या प्रौद्योगिकी विवरण की चर्चा में गहराई से जाने के लिए अनिच्छुक हैं। खासकर अगर यह प्रौद्योगिकी / उत्पाद की बेहतर छाप बनाता है। या प्रतिस्पर्धी उसी चीज को तेजी से काट सकते हैं। फिर से, विपणन पदों के लिए जिम्मेदार है, और यह उनका प्रत्यक्ष काम है - खुद के उत्पादों की गुणवत्ता की परवाह किए बिना, कंपनी के उत्पादों का एक अनुकूल प्रभाव पैदा करना। इसलिए विपणन से आने वाली जानकारी का लगातार अविश्वास।

सामान्य तौर पर, निम्नलिखित आवश्यकताओं के लिए श्रृंखला से कंपनियों के चित्रों के बारे में बहुत संदेह करने योग्य है कि "हमने सब कुछ अच्छा कैसे किया":

• प्रसंस्करण एल्गोरिदम के लेखक अच्छी तरह से जानते हैं कि व्यावहारिक रूप से कोई एल्गोरिदम नहीं हैं जो कुछ मामलों में कलाकृतियों को उत्पन्न नहीं करेंगे। और, वास्तव में, डेवलपर का एक महत्वपूर्ण कार्य अन्य मामलों में गुणवत्ता बनाए रखते हुए ऐसे मामलों का प्रतिशत (या ऐसे मामलों में कलाकृतियों की दृश्यता) को कम करना है। और बहुत बार यह सफल नहीं होता है:
  
  
  • या कलाकृतियों को इतना मजबूत और ठीक करना मुश्किल है कि पूरे दृष्टिकोण को खारिज कर दिया जाता है। वास्तव में यह मामला है, शायद (आश्चर्य-आश्चर्यचकित!), अधिकांश लेखों का। कुछ मामलों में दिव्य चित्र (जो जमीन पर थे) और बाकी हिस्सों में "यह बिल्कुल भी काम नहीं करता है"।
    
  • या (यह व्यावहारिक प्रौद्योगिकी कंपनियों के लिए एक सामान्य स्थिति है) आपको औसतन कुछ गुणवत्ता का त्याग करना होगा ताकि सबसे खराब मामलों में कलाकृतियों को सहन किया जा सके।
    
  
  

तदनुसार, जब खराब उदाहरण प्रकाशित नहीं होते हैं (कंपनियों के लिए क्लासिक्स) या सीमित रूप से और चूक के साथ प्रकाशित होते हैं (लेखों के लिए क्लासिक्स) - यह एक प्रौद्योगिकी / एल्गोरिदम के गुणों के बारे में लोगों को भ्रमित करने का सबसे आम मामला है।

• प्रसंस्करण एल्गोरिदम के बारे में एक और आम गलतफहमी एल्गोरिदम के मापदंडों (आंतरिक मापदंडों सहित) का उपयोग है। एल्गोरिदम, ऐसा हुआ, पैरामीटर और उपयोगकर्ता हैं - और यह भी मानदंड है - जैसे कि एक "सक्षम" बटन पर। और यहां तक ​​कि अगर सेटिंग्स हैं, तो मास उपयोगकर्ता उनका उपयोग नहीं करता है। यही कारण है कि, जब प्रौद्योगिकी खरीदते हैं, तो "सौ बंद करो" बार, वे फिर से पूछते हैं: "क्या यह सुनिश्चित करने के लिए एक पूर्ण मशीन है?" और कई उदाहरणों के लिए पूछें।
  
  
  • तदनुसार, एक सामान्य कहानी एक परिणाम का प्रकाशन है जो कुछ मापदंडों के साथ प्राप्त की गई थी। सौभाग्य से, डेवलपर उन्हें अच्छी तरह से जानता है, और तब भी जब उनमें से पचास (वास्तविक स्थिति!) हैं, वह उन्हें बहुत जल्दी उठाता है ताकि तस्वीर जादुई हो। वास्तव में ये चित्र अक्सर विज्ञापन के लिए जाते हैं।
    
  • इसके अलावा, डेवलपर इसके खिलाफ भी हो सकता है। विपणन भेजे गए नए उदाहरणों को देखता है और कहता है, "उन पर कुछ भी दिखाई नहीं देता है, अंतिम प्रस्तुति में आपके पास सामान्य उदाहरण थे!" और फिर वे उन्हें यह समझाने की कोशिश कर सकते हैं कि नए उदाहरण वे हैं जो लोग वास्तव में देखते हैं, और अंतिम प्रस्तुति में, संभावित परिणाम दिखाए गए थे जो परियोजना की शुरुआत के प्रारंभिक अध्ययनों से प्राप्त किए जा सकते हैं। यह किसी को परेशान नहीं करता है। लोगों को "जहां आप देख सकते हैं" चित्र मिल जाएगा। कुछ मामलों में, यहां तक ​​कि बड़ी कंपनियां भी फ़ोटोशॉप का उपयोग करती हैं। संदेश सेवा की जाती है, सज्जन लोग! )
    
  
  

• इसके अलावा, जब वीडियो की बात आती है - तो यह मशीन के लिए बड़े खुले स्थानों को खोलता है ... अच्छा विपणन! एक नियम के रूप में, फ़्रेम को बाहर रखा गया है, और संपीड़ित वीडियो की गुणवत्ता हमेशा दोलन करती है और मापदंडों के द्रव्यमान पर निर्भर करती है। फिर से - कई तकनीकों को सही ढंग से लागू किया जा सकता है, प्रसंस्करण समय फिर से, अलग हो सकता है। और यह सब नहीं है, गुंजाइश बहुत अच्छी है।
  
  
  • यैंडेक्स विज्ञापन में कहा गया है कि डीपएचडी प्रौद्योगिकी वास्तविक समय में काम करती है, इसलिए आज आप इसका उपयोग करके टेलीविजन चैनल देख सकते हैं । यह ऊपर समझाया गया था कि ऑपरेशन की गति सुपर रिज़ॉल्यूशन की अकिलीस एड़ी है। निश्चित रूप से तंत्रिका नेटवर्क का लाभ यह है कि लंबे समय तक अध्ययन करने पर, वे कुछ मामलों में बहुत तेज़ी से काम कर सकते हैं, लेकिन फिर भी मैं एल्गोरिथ्म को वास्तविक समय में क्या संकल्प और गुणवत्ता में देखता हूं। आमतौर पर, एल्गोरिथ्म के कई संशोधनों को बनाया जाता है और वास्तविक समय में उच्च प्रस्तावों पर, कई "चिप्स" (गुणवत्ता के लिए महत्वपूर्ण) को अक्षम करना पड़ता है। बहुत सारे।
    
  • काले और सफेद उदाहरणों में , करीब से पता चलता है कि स्थानीय चमक बदल रही है। चूंकि सही एसआर चमक को नहीं बदलता है, ऐसा लगता है कि कुछ अन्य एल्गोरिदम ने काम किया, संभवतः एक नहीं (परिणाम बताते हैं कि यह एकल फ़्रेम प्रसंस्करण नहीं है, या बल्कि, ऐसा लगता है कि न केवल)। यदि आप एक बड़े टुकड़े (कम से कम 100 फ्रेम) को देखते हैं, तो तस्वीर स्पष्ट होगी। हालांकि, वीडियो की गुणवत्ता को मापना एक अलग, बहुत बड़ा विषय है।
    
  
  

निष्कर्ष:

• आपको यह समझने की आवश्यकता है कि विपणक अक्सर अपनी चाल का सटीक उपयोग करते हैं क्योंकि यह काम करता है (और कैसे!)। लोगों के भारी बहुमत हब को नहीं पढ़ते हैं जो नियमित रूप से सभी प्रकार की विकृतियों की ओर जाता है। मैं चाहता हूं कि हर कोई कम से कम विज्ञापित हो, खासकर जब कहानी सुनाना अपने सबसे अच्छे रूप में हो और वास्तव में एक चमत्कार पर विश्वास करना चाहता हो!
  
• और, ज़ाहिर है, यह बहुत अच्छा है कि यांडेक्स भी विषय पर काम करता है और अपने स्वयं के एसआर (अधिक सटीक रूप से, अपने स्वयं के एसआर परिवार) बनाता है।
  

संभावनाओं

आइए हम जहां से शुरू करते हैं वहीं वापस लौटते हैं। जो लोग संकुचित वीडियो को बढ़ाना चाहते हैं, उनके लिए क्या करना है? क्या यह सब बुरा है?

जैसा कि ऊपर वर्णित है, यहां तक ​​कि क्षेत्र में छवि में मामूली बदलाव, सचमुच शोर स्तर पर, "ईमानदार" वसूली के एल्गोरिदम के लिए महत्वपूर्ण है। यही है, छवि में उच्च आवृत्तियों और फ्रेम के बीच उनका परिवर्तन महत्वपूर्ण है।

इस मामले में, मुख्य कारण जिसके कारण वीडियो संपीड़न किया जाता है वह अंतर-फ्रेम शोर को हटाने है। नीचे दिए गए उदाहरण में, गति क्षतिपूर्ति से पहले एक शोर वीडियो का अंतर-फ्रेम अंतर, क्षतिपूर्ति के बाद (कमजोर संपीड़न के साथ) और बोधगम्य संपीड़न के बाद - अंतर महसूस करें (इसके विपरीत लगभग 6 गुना बढ़ा है ताकि विवरण देखा जा सके):

स्रोत: लेखक संपीड़न एल्गोरिदम पर व्याख्यान देता है

यह स्पष्ट रूप से देखा जा सकता है कि कोडेक के दृष्टिकोण से, आदर्श क्षेत्र वह क्षेत्र है जिसमें आंदोलन को पूरी तरह से मुआवजा दिया गया था और जिस पर किसी भी अधिक बिट्स को खर्च करने की आवश्यकता नहीं है। ठीक है, थोड़ा सा खर्च किया जा सकता है, कुछ कम से कम सही। और ऐसे बहुत से क्षेत्र हो सकते हैं। इसलिए, सुपर रिज़ॉल्यूशन अपनी "मुख्य रोटी" खो देता है - अन्य फ़्रेमों में इस जगह के बारे में जानकारी, सबपिक्सल शिफ्ट को ध्यान में रखते हुए।

यदि आप लेखों को देखते हैं, तो एक अपेक्षाकृत सरल जेपीईजी के लिए भी, जेपीईजी बहाली के 26 हजार परिणाम होते हैं, और जेपीईजी रिकवरी के लिए - 52 हजार, और यह टूटी हुई फाइलों की बहाली के साथ, आदि। वीडियो के लिए, स्थिति एमपीईजी बहाली से भी बदतर है - 22 हजार, अर्थात्। काम, ज़ाहिर है, चल रहा है, लेकिन सुपर रिज़ॉल्यूशन पर काम का पैमाना तुलनात्मक नहीं है। वीडियो रिज़ॉल्यूशन को पुनर्स्थापित करने की तुलना में परिमाण कम कार्य के बारे में हैं और छवि सुपर रिज़ॉल्यूशन से कम परिमाण के दो आदेश हैं। दो आदेश बहुत है। हमने प्रोजेक्टाइल के लिए एक दृष्टिकोण भी किया है (चूंकि हम लंबे समय से संपीड़न और प्रसंस्करण कर रहे हैं), साथ काम करने के लिए कुछ है, खासकर अगर गुणवत्ता दोलन कर रही है या एम-जेपीईजी जैसी चीज का उपयोग किया जाता है (हाल ही में - वीडियो निगरानी में एक आम तस्वीर)। लेकिन ये सभी विशेष मामले होंगे।

उपरोक्त लिंक के लेखों के परिणाम यह भी बताते हैं कि परिणाम कभी-कभी बहुत सुंदर होते हैं, लेकिन बहुत विशेष मामलों के लिए प्राप्त किए जाते हैं। यानी कल, प्रत्येक स्मार्टफोन में, यह फ़ंक्शन, अफसोस, दिखाई नहीं देगा। यह बुरी खबर है। अच्छा - कल के बाद का दिन और एक अच्छे GPU के साथ कंप्यूटर पर - निश्चित रूप से दिखाई देगा।

कारण:

• स्टोरेज डिवाइस (रजिस्ट्रार के लिए एसडी-कार्ड, सीसीटीवी कैमरों के लिए डिस्क आदि) धीरे-धीरे सस्ते हो रहे हैं और वीडियो को बचाने के लिए औसत बिटरेट बढ़ रहा है।
  
• इसके अलावा, संपीड़न के दौरान, वे धीरे-धीरे अगली पीढ़ियों के मानकों पर स्विच करते हैं (उदाहरण के लिए, एचईवीसी पर), जिसका अर्थ है एक ही बिटरेट के साथ गुणवत्ता में ध्यान देने योग्य सुधार। अंतिम 2 बिंदुओं का मतलब है कि धीरे-धीरे वीडियो की गुणवत्ता सभी अधिक हो जाएगी, और कुछ बिंदु से, अच्छी तरह से विकसित वीडियो सुपर रिज़ॉल्यूशन एल्गोरिदम काम करना शुरू कर देंगे।
  
• अंत में, एल्गोरिदम में सुधार किया जा रहा है। पिछले 4 वर्षों में मशीन लर्निंग आधारित एल्गोरिदम की उपलब्धियाँ विशेष रूप से अच्छी हैं। इस संबंध में, उच्च संभावना के साथ हम कुछ इस तरह की उम्मीद कर सकते हैं:
  

यानी एल्गोरिथ्म स्पष्ट रूप से कोडेक से प्राप्त गति जानकारी का उपयोग करेगा, और फिर यह डेटा विशिष्ट न्यूरॉन्स के लिए विशिष्ट कलाकृतियों को पुनर्प्राप्त करने के लिए प्रशिक्षित तंत्रिका नेटवर्क को खिलाया जाएगा। ऐसी योजना वर्तमान में काफी साध्य है।

लेकिन किसी भी मामले में, आपको स्पष्ट रूप से समझने की आवश्यकता है कि वर्तमान वसूली एक नियम के रूप में, संकल्प में 2 गुना वृद्धि है। कम सामान्यतः, कुछ मामलों में, जब स्रोत सामग्री संकुचित नहीं थी या लगभग संकुचित नहीं थी, तो हम 3-4 बार के बारे में बात कर सकते हैं। जैसा कि आप देख सकते हैं, यह फिल्मों के आवर्धन के 100-1000 गुना के करीब भी नहीं है, जब एक रात के शोर-मारे गए रिकॉर्डिंग के 1.5 पिक्सल एक उत्कृष्ट गुणवत्ता वाली कार संख्या में बदल जाते हैं। "साइंस फिक्शन" की शैली को वास्तव में फिल्मों और टीवी शो का एक बड़ा प्रतिशत सौंपा जाना चाहिए।

और, ज़ाहिर है, फैशन की प्रवृत्ति के ढांचे के भीतर कुछ सार्वभौमिक करने का प्रयास होगा "मुख्य बात यह है कि अधिक परतों में कटौती करना है"। और यहां इस विषय पर विज्ञापन सामग्री के लिए "चीयर्स-चियर्स" प्रतिक्रियाओं के खिलाफ सावधानी बरतने लायक है। चमत्कार और सभी प्रकार की अटकलों के प्रदर्शन के लिए तंत्रिका नेटवर्क सबसे सुविधाजनक ढांचा है। मुख्य बात यह है कि प्रशिक्षण के नमूने और अंतिम उदाहरणों को सही ढंग से चुनना है। और वोइला! चमत्कार देखें! वैसे, निवेशकों को हिलाने के मामले में बहुत सुविधाजनक है। यही है, यह अत्यंत महत्वपूर्ण है कि प्रौद्योगिकियों की दक्षता किसी बड़ी संख्या में विषम उदाहरणों से स्वतंत्र होने की पुष्टि की जाती है, जो शायद ही कभी प्रदर्शित होती है। कंपनियों के लिए, यहां तक ​​कि एक या दो उदाहरण देते हुए जब तकनीक काम नहीं करती है, आज एक नागरिक उपलब्धि के बराबर है।

ठीक है, ताकि जीवन शहद की तरह न लगे, मैं आपको याद दिलाता हूं कि तथाकथित ट्रांसकोडिंग आज भी लोकप्रिय है, जब आपको वास्तव में एक वीडियो के साथ काम करना होता है जो मूल रूप से एक एल्गोरिथ्म द्वारा सिकुड़ जाता है और फिर दूसरे द्वारा सिकुड़ जाता है, जबकि अन्य गति वाले वैक्टर का उपयोग किया जाता है, उच्च फिर से नष्ट हो जाते हैं। आवृत्तियों आदि और यह तथ्य कि एक व्यक्ति वहां सब कुछ अच्छी तरह से देखता है, इसका मतलब यह नहीं है कि इस तरह के वीडियो को संसाधित करने वाला एल्गोरिदम वास्तव में चमत्कार करेगा। भारी पिन किए गए वीडियो को पुनर्स्थापित करना संभव नहीं होगा, हालांकि सामान्य सुपर रिज़ॉल्यूशन अगले 10 वर्षों में तेजी से विकसित होगा।

निष्कर्ष:

• याद रखें कि आप फिल्मों में क्या देखते हैं और वास्तविक जीवन में कैसा है यह बहुत अलग है। और न केवल अत्यधिक संकुचित वीडियो को पुनर्प्राप्त करने के मामले में!
  
• आमतौर पर आधुनिक एल्गोरिदम 2 बार संकल्प बढ़ाते हैं, कम अक्सर - थोड़ा अधिक, अर्थात्। कोई 50 बार, फिल्मों से परिचित, जल्द ही इंतजार करना होगा।
  
• सुपर रिज़ॉल्यूशन का क्षेत्र फलफूल रहा है और आप आने वाले वर्षों में वीडियो बहाली के सक्रिय विकास की उम्मीद कर सकते हैं, जिसमें संपीड़न के बाद वसूली भी शामिल है।
  
• लेकिन पहली चीज जो हम देखेंगे, वह विषय पर सभी प्रकार की अटकलें हैं, जब प्रदर्शन किए गए परिणाम एल्गोरिदम की वास्तविक क्षमताओं को बहुत बढ़ा देंगे। सावधान!
  

पिछले साल के अंत में, हमने "वीडियो प्रोसेसिंग - मिथकों और वास्तविकता में तंत्रिका नेटवर्क" का व्याख्यान दिया। शायद हम उसे यहां लाने के लिए मिलेंगे।

देखते रहो!

धन्यवाद

मैं सौहार्दपूर्वक धन्यवाद देना चाहूंगा:

• कंप्यूटर ग्राफिक्स VMK मास्को स्टेट यूनिवर्सिटी की प्रयोगशाला एमवी लोमोनोसोव कंप्यूटिंग शक्ति के लिए और न केवल
  
• वीडियो समूह के हमारे सहयोगी, जिनके लिए उपरोक्त एल्गोरिदम बनाए गए थे, और विशेष रूप से करेन सिमोनियन, लेख के लेखक जिनके परिणाम ऊपर दिखाए गए थे और जो अब Google DeepMind में काम करते हैं,
  
• व्यक्तिगत रूप से कॉन्स्टेंटिन कोज़हेमाकोव, जिन्होंने इस लेख को बेहतर और अधिक दृश्य बनाने के लिए बहुत कुछ किया,
  
• एक उत्कृष्ट ब्लॉग के लिए Google और बनाई गई तकनीकों का अपेक्षाकृत सही विवरण, और एक विस्तृत मोर्चे पर बहुत अच्छी तरह से प्रतिस्पर्धा करने के लिए यांडेक्स - Google व्यावहारिक रूप से उस देश में एकमात्र सफल उदाहरण है जहां Google सेवाएं निषिद्ध नहीं हैं,
  
• हब्रोचन डेनिशैब्र , जंबोजेट और आईमैडिक टिप और मल्टी-फ्रेम एसआर पेशेवर कैमरों के लिंक के लिए,
  
• और अंत में, व्याचेस्लाव नापाडोव्स्की, एवगेनी कुपत्सोव, स्टैनिस्लाव ग्रोखल्स्की, इवान मोलोड्त्स्की, एलेक्सी सोलोविएव, एवगेनी ल्यपस्टीन, येगोर स्काईलारोव, डेनिस डोंड्रानिन, एलेक्जेंड्रा अंजिना, रोमन कज़ेंटसेव और जीलेब इस्लेव को इस शानदार टिप्पणी के लिए बहुत-बहुत धन्यवाद। बेहतर!