🏙️ 🤹🏼 😸 मैंने एक फ़िल्टर कैसे बनाया जो एक लाख रन के बाद भी छवि को दूषित नहीं करता है

इस पोस्ट के पहले भाग में , मैंने बात की कि कैसे मानक हाफपेल फिल्टर के बार-बार उपयोग से विकृत चित्र बनते हैं, और फिर एक नया फिल्टर दिखाया गया है जिसमें यह समस्या नहीं है।

यह थोड़ा अधिक धुंधला था और यह हर किसी के लिए उपयुक्त नहीं होगा। हालांकि, यह इसके विकल्पों से बेहतर था - वास्तव में, इस फिल्टर का उपयोग Bink 2 के मूल संस्करण में किया गया था। लगातार काम के बोझ के कारण, मैं कभी भी फिर से उसके पास लौटने और अधिक विस्तार से उसकी जांच करने में कामयाब नहीं हुआ।

लेकिन अब जब मुझे इस फ़िल्टर पर लौटने और इसके बारे में एक लेख लिखने का समय मिल गया है, तो मुझे अंततः एक प्रश्न पूछना चाहिए: क्या कम धुंधला फ़िल्टर है जो अभी भी "अनंत स्थिरता" संपत्ति को बरकरार रखता है?

स्पॉयलर चेतावनी: सही उत्तर "शायद नहीं" और "निश्चित रूप से है।" लेकिन इससे पहले कि हम इस प्रश्न के दो उत्तर दें कि वे क्यों हैं और उनका क्या मतलब है, चलो बेहतर तरीके से परीक्षण बेंच तैयार करते हैं।

ऑफसेट समायोजन

जब मैंने शुरू में इस समस्या पर काम किया, तो मुझे पता नहीं था कि मैं क्या देख रहा हूं। मुझे यह भी नहीं पता था कि "असीम रूप से स्थिर" हाफपेल फिल्टर जैसी कोई चीज थी, इसलिए मैंने इसकी खोज में एक प्रणाली नहीं बनाई। मैं सिर्फ एक ऐसी चीज की तलाश कर रहा था जो छवि विरूपण के बिना "कई" फ़िल्टर पुनरावृत्तियों का सामना कर सके। पहले भाग की सभी छवियां इस पद्धति को दर्शाती हैं: एक समय में छवि को दाएं से बाएं आधे पिक्सेल पर स्थानांतरित किया जाता है, अर्थात यदि आप 100 बार फ़िल्टर लागू करते हैं, तो परिणामस्वरूप छवि 50 पिक्सेल से स्थानांतरित हो जाएगी।

अब जब हम जानते हैं कि हम वास्तव में क्या देख रहे हैं , तो हम थोड़ा और सटीक हो सकते हैं। हाफपेल फिल्टर को दो बार लगाने से हम छवि को बिल्कुल एक पिक्सेल में बदल देते हैं। यही है, अगर हम छवि को केवल एक पिक्सेल पीछे ले जाते हैं , तो यह उसी स्थान पर रहेगा। इसके लिए धन्यवाद, परीक्षण बहुत अधिक सुंदर दिखाई देगा, क्योंकि तब हम न केवल किसी भी समय फ़िल्टर को लागू करने में सक्षम होंगे, इस डर के बिना कि छवि स्क्रीन से "क्रॉल" करेगी, लेकिन हम पिछले संस्करणों के साथ और मूल के साथ छवि का अंतर भी पा सकेंगे।

यह हमें फ़िल्टर को स्वचालित रूप से जांचने की अनुमति देगा। हम केवल फ़िल्टर को कई बार लागू करते हैं और दो चीजों में से एक को देखते हैं: या तो अपरिवर्तित छवि में अभिसरण, यह दर्शाता है कि फ़िल्टर असीम रूप से स्थिर है, या मूल छवि से काफी बड़ा विचलन है, यह दर्शाता है कि फ़िल्टर "टूट गया" है। इन परीक्षणों के लिए, मैंने प्रति चैनल 64 (255 में से) औसत त्रुटि, या किसी भी चैनल पर अधिकतम त्रुटि पूर्ण 255 को "काफी बड़ी" के रूप में चुना। यदि इनमें से कोई भी स्थिति सत्य है, तो हम मान लेंगे कि फ़िल्टर "टूट गया"। "।

पहले भाग से फ़िल्टर का पुनः परीक्षण करें

तो, अब हम बेहतर तरीके से समझते हैं कि इन फ़िल्टर का परीक्षण कैसे किया जाए, तो चलिए पहले भाग से फ़िल्टर पर एक नया नज़र डालें। आइए एक बिलिनियर के साथ शुरू करें, जो निश्चित रूप से बहुत दिलचस्प नहीं है:

यह 244 पुनरावृत्तियों के बाद की तस्वीर है। जैसा कि आप उम्मीद कर सकते हैं, पिक्सेल के निरंतर औसत के कारण छवि धीरे-धीरे "टूट जाती है"। लेकिन यहां तक कि यह धीरे-धीरे औसत त्रुटि की सीमा तक पहुंच जाता है।

यहाँ ज .264 है:

छवि को तोड़ने के लिए, 78 पुनरावृत्तियों उसके लिए पर्याप्त हैं। 8 नमूनों वाला HEVC फ़िल्टर थोड़ा बेहतर व्यवहार करता है, लेकिन फिर भी 150 पुनरावृत्तियों के बाद टूट जाता है:

6 नमूनों के साथ लैंज़ोस 166 पुनरावृत्तियों के बाद टूट जाता है:

वह सब हमारे टूटे हुए फिल्टर हैं। शेष सभी मेरे पूर्णांक फ़िल्टर हैं:

जैसी कि उम्मीद थी, वह टूटने वाला अकेला नहीं था। यह 208 पुनरावृत्तियों के बाद एक असीम रूप से स्थिर छवि में परिवर्तित हो जाता है।

जो हम जानते हैं वह यहां काफी उल्लेखनीय है: कम से कम परीक्षण छवियों की एक विस्तृत श्रृंखला के लिए यह फिल्टर असीम रूप से स्थिर है , अर्थात यह कभी भी एक विरूपण साक्ष्य नहीं बनाएगा, चाहे वह कितनी बार उपयोग किया जाए।

यह हमें मूल प्रश्न पर वापस लाता है: क्या वह वास्तव में सर्वश्रेष्ठ है? और आप पहले से ही जवाब जानते हैं, क्योंकि लेख की शुरुआत में मैंने भी लिखा था: "शायद नहीं" और "निश्चित रूप से, हाँ"।

चलो पहले "शायद नहीं" भाग को पहले देखें।

पूर्णांक फ़िल्टर

इसलिए, पोस्ट के पहले भाग में, मैंने उल्लेख किया कि जो फ़िल्टर कोर मुझे मिला वह "सबसे अच्छी तरह से पता लगाया गया" था, और यह इसकी ख़ासियत है। और यहाँ सुविधा है:

जब मैं इस फिल्टर की तलाश कर रहा था, वास्तव में मैं सर्वश्रेष्ठ फिल्टर की तलाश में नहीं था। मैं सर्वश्रेष्ठ फिल्टर की तलाश कर रहा था जिसे बहुत कम संख्या में पूर्णांक की बदलाव, परिवर्धन और घटाव के साथ व्यक्त किया जा सकता है । यह अजीब लग सकता है, लेकिन अपना समय ले लो।

आपने देखा होगा कि जब मैंने h.264, HEVC और बिलिनियर फ़िल्टर के गुणांक, साथ ही साथ मेरे फ़िल्टर को दिखाया, तो मैंने उन्हें पूर्णांक विभाजकों पर पूर्णांक संख्याओं के रूप में लिखा, जैसे:

MyKernel[] = {1.0/32.0, -4.0/32.0, 19.0/32.0, 19.0/32.0, -4.0/32.0, 1.0/32.0};

लेकिन विंडो सिनस के मामले में, मैंने अलग तरह से अभिनय किया और इसे इस तरह लिखा:

 LanczosKernel[] = {0.02446, -0.13587, 0.61141, 0.61141, -0.13587, 0.02446};

इसका कारण यह है कि खिड़की वाला साइन वास्तव में एक सतत गणितीय कार्य से प्रेरित है जिसका साधारण पूर्णांक अंशों से कोई लेना-देना नहीं है। इस फिल्टर का उपयोग करते समय, फ्लोटिंग पॉइंट नंबर (यथासंभव सटीक) का उपयोग किया जाता है जो कि सिनस फ़ंक्शन के मूल्यों के अनुरूप होता है। यदि आप उन्हें सटीक रूप से लागू करने का प्रयास करते हैं, तो आपको उन्हें साधारण अंशों में गोल नहीं करना चाहिए, क्योंकि यह एक त्रुटि जोड़ देगा।

वीडियो कोडेक पारंपरिक रूप से इस तरह के ऑपरेशन करने का जोखिम नहीं उठा सकते हैं। गति क्षतिपूर्ति के रूप में ऐसे "भारी" कार्यों पर फ़्लोटिंग-पॉइंट संचालन केवल कम-शक्ति या विशेष उपकरणों पर उपयोग करना असंभव है। यह विशेष रूप से सच है अगर हम उद्योग-मानक कोडेक्स के बारे में बात कर रहे हैं जो कम-लागत, कम-लागत वाले एम्बेडेड चिप्स सहित उपकरणों की एक विस्तृत श्रृंखला पर चलना चाहिए।

इसके अलावा, भले ही आप उन्हें सीपीयू पर निष्पादित करते हैं, आधुनिक निर्देश सेट सिमडी पर आधारित होते हैं, अर्थात सीपीयू पर पूर्णांक संचालन अभी भी तेजी से किया जा सकता है: आप दो 16-बिट पूर्णांकों को एक 32-बिट फ्लोट के स्थान में फिट कर सकते हैं, आवश्यक रूप से संचालन के प्रदर्शन को दोगुना कर सकते हैं, इसलिए, यदि हम प्रति ऑपरेशन चक्र की सही संख्या पर विचार करते हैं, तो एक अस्थायी बिंदु हमेशा सबसे तेज विकल्प नहीं होता है।

अब आप देखें कि यह सुविधा क्यों महत्वपूर्ण थी। चूंकि मुझे केवल सरल 16-बिट पूर्णांक संचालन की आवश्यकता थी, मैंने उन गुठली की तलाश की जिन्हें दो से 64 की शक्ति में विभाजकों पर छोटे पूर्णांक के रूप में व्यक्त किया जा सकता है और इससे अधिक नहीं। यदि मैं 6 फ्लोटिंग पॉइंट गुणांकों के किसी सेट पर विचार कर रहा था, तो उसकी तुलना में यह अधिक सीमित फिल्टर है।

इसी तरह, दक्षता के कारणों के लिए, मैंने किसी भी अन्य नमूने पर विचार नहीं किया। एकमात्र विकल्प 6 या उससे कम था, इसलिए मैंने 8 या 10 नमूनों के साथ संस्करणों का परीक्षण भी नहीं किया।

इस प्रकार हम पहले उत्तर में आए: "शायद नहीं।" यदि हम इन प्रतिबंधों का पालन करते हैं, तो सबसे अधिक संभावना है कि हमें एक बेहतर फ़िल्टर नहीं मिलेगा जो कि गिरावट के बिना अनंत बार लागू किया जा सकता है। पहले भाग से फ़िल्टर कोर शायद सबसे अच्छा हम पा सकते हैं, हालांकि मुझे यह स्वीकार करना होगा कि मैं इसे पूरी तरह से साबित नहीं कर सकता।

लेकिन क्या होगा अगर हमें इस तरह के प्रतिबंधों का पालन करने की आवश्यकता नहीं है ?

फ़्लोटिंग पॉइंट संस्करण

यदि हम Bink 2 के मूल संस्करण के लिए विशिष्ट सीमाओं से छुटकारा पा लेते हैं (जो अब काफी पुराना है - बहुत से संशोधन जारी किए गए हैं), और मनमाने ढंग से चल बिंदु गुणांक का उपयोग करते हैं, तो हम परिणामों को कैसे सुधार सकते हैं?

खैर, जब से हम जानते हैं कि मेरा पूर्णांक कर्नेल कभी भी ख़राब नहीं होता है, और हम जानते हैं कि लैंज़ोस तेज है, लेकिन अपमानित है, यह तर्कसंगत है कि हम गुणांक के दो सेटों के बीच एक जगह पा सकते हैं जहां गिरावट शुरू होती है। इसलिए मैंने एक कार्यक्रम लिखा, जिसने मुझे इस विशेष बिंदु को खोजने में मदद की, और यहाँ मैंने जो कर्नेल पाया है:

 MyFloatKernel6[] = {0.027617, -0.130815, 0.603198, 0.603198, -0.130815, 0.027617};

इस कर्नेल को अभिसरण करने के लिए 272 पुनरावृत्तियों की आवश्यकता होती है, लेकिन यह असीम रूप से स्थिर है और मेरे पूर्णांक फ़िल्टर की तुलना में अधिक तेज दिखता है :

वास्तव में, यह मूल से लगभग अप्रभेद्य है:

लगभग ... लेकिन काफी नहीं। यदि आप बारीकी से देखते हैं, तो आप अभी भी उच्च-विपरीत क्षेत्रों में धुंधला और क्षीणन देख सकते हैं। इसे देखने का सबसे आसान तरीका एक नारंगी "डायनासोर" और बांस के पीछे उज्ज्वल प्रकाश क्षेत्रों की आंखों में है।

यही है, एक 6-नमूना फ़्लोटिंग-पॉइंट फ़िल्टर निश्चित रूप से बेहतर है, लेकिन यह सही नहीं है। क्या इसे अभी तक सुधारा जा सकता है?

फ़िल्टर की चौड़ाई बढ़ाएँ

प्रारंभ में, 6 नमूनों वाले एक फिल्टर को छोटे पूर्णांकों के साथ भिन्न के समान कारणों के लिए चुना गया था: मैं एक अत्यंत कुशल फिल्टर की तलाश कर रहा था। लेकिन अब हम अनुसंधान कर रहे हैं और पहले से ही फ्लोटिंग पॉइंट नंबरों पर चले गए हैं, तो क्यों न एक व्यापक फिल्टर पर विचार किया जाए?

हमारे 6-नमूना पूर्णांक फ़िल्टर को 6-नमूना लैंक्ज़ोस के साथ मिलाकर, हमें एक बहुत अच्छा फ़िल्टर मिला। हम इसे 8-सैंपल लैंजोस के साथ क्यों नहीं जोड़ते?

8-नमूना लैंकोज़ोस इस तरह दिखता है:

 Lanczos8[] = {-0.01263, 0.05976, -0.16601, 0.61888, 0.61888, -0.16601, 0.05976, -0.01263};

6-नमूना लैंक्ज़ोस की तरह, यह बहुत अस्थिर है और 178 पुनरावृत्तियों के बाद ढह गया:

यदि हम 6-नमूना पूर्णांक फ़िल्टर और 8-नमूना लैंक्ज़ोस के बीच बेहतर फ़िल्टर की तलाश करते हैं, तो हम इसे उल्लेखनीय 8-नमूना फ़िल्टर पाएंगे:

 MyFloatKernel8[] = {-0.010547, 0.052344, -0.156641, 0.614844, 0.614844, -0.156641, 0.052344, -0.010547};

असीम रूप से स्थिर फिल्टर के रूप में, यह आश्चर्यजनक रूप से अच्छा प्रदर्शन करता है। यह 202 पुनरावृत्तियों के बाद अभिसरण करता है (अभिसरण मेरे दो फिल्टर की तुलना में तेज है), और मूल इतना पसंद है कि उनमें से कौन सा बनाना मुश्किल है:

यहाँ संदर्भ के लिए फिर से मूल है:

मेरे मूल पूर्णांक फ़िल्टर की तुलना में, एक महत्वपूर्ण सुधार है।

असीम रूप से स्थिर फिल्टर कैसे काम करते हैं?

मैं इस पोस्ट को कुछ इस तरह समाप्त करने जा रहा था:

“मुझे नहीं पता कि यह सब कैसे काम करता है। अन्य क्षेत्रों में जहां मैंने असीम रूप से लागू परिवर्तनों के साथ काम किया है, मुझे पता है कि सीमा गणित कैसे किया जाता है और उपयोगी विश्लेषण बनाया जाता है। सबसे पहले, यह उपखंड सतहों के लिए सीमा सतह के विश्लेषण की बात आती है, जहां उपखंड मैट्रिक्स के आइजेनवेल्स और ईजेनवेक्टर्स की गणना की जाती है, जिसके बाद कोई भी सीमा को अनंत डिग्री तक ले जा सकता है। लेकिन मुझे हाफपेल फिल्टर के लिए इस तरह के विश्लेषण को करने का कोई अनुभव नहीं है, क्योंकि वे पिक्सेल को जगह में नहीं छोड़ते हैं, बल्कि उन्हें साइड शिफ्ट करते हैं। "

यही मेरी योजना थी। लेकिन पहले और दूसरे हिस्सों के लेखन के बीच, मैंने फाबियन गिएसेन और चार्ल्स ब्लूम को बेहतर फ़िल्टर के परिणाम मेल किए। यह आश्चर्य की बात नहीं है कि वे इस समस्या के विश्लेषणात्मक अध्ययन के लिए आवश्यक गणित को जानते थे। यह पता चला कि फिल्टर के लिए वास्तव में आइगेनवेल्स और वैक्टर का विश्लेषण है, लेकिन यह उस तरह से काम नहीं करता है।

लेकिन इसे आसानी से निष्पादित किया जा सकता है - वास्तव में, यह एक तुच्छ वन-स्टेप प्रक्रिया के रूप में सीएएम कार्यक्रमों में बनाया गया है और हम वास्तव में फिल्टर के लिए आइजनवेल्स को देख सकते हैं। वह हमें पूर्ण उत्तर नहीं देता है, क्योंकि यहां प्रत्येक फ़िल्टरिंग के बाद 8 बिट्स (या 10 बिट्स, या 12 बिट्स) को राउंडिंग (या ट्रंकेशन) करने का तथ्य महत्वपूर्ण है, क्योंकि ट्रंकेशन असीम रूप से सटीक बीजगणित की तुलना में त्रुटियों को जमा करने की विधि को प्रभावित करता है।

दुर्भाग्य से, चूंकि यह मेरी विशेषज्ञता के सभी क्षेत्र में नहीं है, इसलिए मैं इस विश्लेषण का एक करीबी अवलोकन भी प्राप्त नहीं कर सकता। मैंने फैबिएन और चार्ल्स से पूछा कि क्या वे मेल में भेजी गई अच्छी जानकारी के साथ पोस्ट लिख सकते हैं (उनके पास तकनीकी ब्लॉग हैं - रीग ब्लॉग और सिल्लूम रैंट ), और फैबिन ने स्थिर फिल्टर की गणितीय नींव पर लेखों की एक उत्कृष्ट श्रृंखला लिखी। यदि आप मेरी दो पोस्ट में क्या हो रहा है की सैद्धांतिक संरचना में रुचि रखते हैं, तो मैं इस श्रृंखला को पढ़ने की सलाह देता हूं!

मैंने एक फ़िल्टर कैसे बनाया जो एक लाख रन के बाद भी छवि को दूषित नहीं करता है - भाग 2