मोंटी (monty@xiph.org, cmontgomery@mozilla.com) द्वारा पोस्ट किया गया। 28 जून 2018 को प्रकाशित

अगर किसी ने पिछले लेख को नहीं पढ़ा है ... एवी 1 एक नया सार्वभौमिक वीडियो कोडेक है जिसे एलायंस फॉर ओपन मीडिया द्वारा विकसित किया गया है । गठबंधन ने Google से VPX कोडेक, सिस्को से थोर और मोज़िला / Xiph.Ogg से डाला के रूप में लिया। AV1 कोडेक VP9 और HEVC के प्रदर्शन में बेहतर है, जो इसे कल नहीं, बल्कि कल के बाद एक कोडेक बनाता है। AV1 प्रारूप किसी भी रॉयल्टी से मुक्त है और लाइसेंस लाइसेंस के साथ हमेशा रहेगा।

इस लेख की कल्पना एवी 1 की कार्यक्षमता और इसे आगे बढ़ाने वाली नई तकनीकों और उत्पादन में पहली बार इस्तेमाल किए गए लेखों की श्रृंखला में दूसरे के रूप में की गई थी। Xiph.org पर एक पिछले लेख ने लूमा (CfL) से क्रोमा की चमक भविष्यवाणी समारोह की व्याख्या की । आज हम एक सीमित दिशात्मक सुधार फ़िल्टर (संकुचित दिशात्मक संवर्धन फ़िल्टर) के बारे में बात करने जा रहे हैं। यदि आपको हमेशा आश्चर्य होता है कि एक कोडेक लिखने में क्या लगता है, तो अपनी सीट बेल्ट बांधें और शिक्षा के लिए तैयार हो जाएं!

AV1 में फिल्टर

लगभग सभी वीडियो कोडेक्स में, सुधारात्मक फिल्टर का उपयोग आउटपुट सामग्री की व्यक्तिपरक गुणवत्ता में सुधार करने के लिए किया जाता है।

"सुधारात्मक फिल्टर" से मेरा मतलब उन तरीकों से है जो आवश्यक रूप से छवि जानकारी को एन्कोड नहीं करते हैं या उद्देश्य कोडिंग दक्षता में सुधार करते हैं, लेकिन वे किसी तरह से परिणाम में सुधार करते हैं। सुधारात्मक फिल्टर का सावधानीपूर्वक उपयोग किया जाना चाहिए क्योंकि वे आमतौर पर कुछ जानकारी खो देते हैं - और इस कारण से उन्हें कभी-कभी धोखा देने की अस्वीकार्य विधि माना जाता है ताकि परिणाम वास्तव में इससे बेहतर दिखे।

लेकिन यह उचित नहीं है। सुधार फ़िल्टर को विशिष्ट कलाकृतियों को दरकिनार या समाप्त करने के लिए डिज़ाइन किया गया है जो कि उद्देश्य मैट्रिक्स के लिए अदृश्य हैं, लेकिन मानव आंखों के लिए स्पष्ट हैं। और भले ही हम फ़िल्टर को धोखे के रूप में मानते हैं, फिर भी एक अच्छे वीडियो कोडेक को अभी भी सभी व्यावहारिक और प्रभावी "धोखा" की आवश्यकता है जो इसका उपयोग कर सकते हैं।

फिल्टर को कई श्रेणियों में विभाजित किया गया है। सबसे पहले, वे आदर्श या गैर-आदर्श हो सकते हैं । मानक फिल्टर कोडेक का एक आवश्यक हिस्सा है; इसके बिना, वीडियो को सही ढंग से डिकोड करना असंभव है। गैर-मानक फ़िल्टर वैकल्पिक है।

दूसरे, फ़िल्टर अनुप्रयोग के स्थान पर भिन्न होते हैं। डिकोडिंग के पूरा होने के बाद आउटपुट डेटा पर लगाए गए एन्कोडिंग, पोस्ट-प्रोसेसिंग फ़िल्टर (पोस्ट प्रोसेसिंग) से पहले इनपुट डेटा पर लागू होने वाले प्री-प्रोसेसिंग फ़िल्टर (प्रीप्रोसेसिंग) होते हैं, साथ ही इन-लूप फ़िल्टर (लूप फ़िल्टर) कोडिंग प्रक्रिया में एकीकृत होते हैं। प्री-प्रोसेसिंग और पोस्ट-प्रोसेसिंग फ़िल्टर आमतौर पर गैर-मानक होते हैं और इन्हें कोडेक में शामिल नहीं किया जाएगा। और लूप फिल्टर परिभाषा द्वारा आदर्श हैं। यह कोडेक का हिस्सा है; वे कोडिंग ऑप्टिमाइज़ेशन की प्रक्रिया में उपयोग किए जाते हैं और संदर्भ फ़्रेम या इंटर-फ़्रेम कोडिंग के लिए लागू होते हैं।



AV1 तीन नियामक सुधारात्मक फिल्टर का उपयोग करता है। पहले "ब्लॉकिंग" को हटाने के लिए एक डी-ब्लॉकिंग फिल्टर है - एन्कोडेड ब्लॉकों के किनारों के साथ स्पष्ट कलाकृतियों। यद्यपि DCT प्राकृतिक छवियों में ऊर्जा को संपीड़ित करने के लिए अपेक्षाकृत अच्छी तरह से अनुकूल है, फिर भी यह ब्लॉकों के किनारों पर त्रुटियों को जमा करता है। अगर आपको याद हो, तो इन कलाकृतियों को खत्म करना मुख्य कारण था कि दाला ने लैप ट्रांसफ़ॉर्म का इस्तेमाल किया था । लेकिन AV1 तंग ब्लॉक सीमाओं के साथ एक अधिक पारंपरिक कोडेक है। परिणामस्वरूप, ब्लॉक के किनारों पर कलाकृतियों को बाहर निकालने के लिए एक पारंपरिक डी-ब्लॉकिंग फिल्टर की आवश्यकता होती है।


पारंपरिक डीसीटी ब्लॉक कोडेक में ब्लॉक सीमाओं पर कलाकृतियों का एक उदाहरण। ये त्रुटियां विशेष रूप से ध्यान देने योग्य हैं।

तीन फिल्टर में से अंतिम लूप बहाली फिल्टर है। इसमें दो कॉन्फ़िगर करने योग्य और बदली फिल्टर शामिल हैं: वीनर फ़िल्टर और सेल्फ-गाइडेड फ़िल्टर। ये दो दृढ़ फ़िल्टर हैं जो मूल इनपुट छवि की खोई हुई गुणवत्ता को आंशिक रूप से पुनर्स्थापित करने के लिए कर्नेल बनाने की कोशिश करते हैं। वे आमतौर पर शोर में कमी और / या ब्लॉक के किनारों पर सुधार के लिए उपयोग किया जाता है। AV1 के मामले में, वे एक सामान्य शोर कम करने वाला कार्य करते हैं, समायोज्य धब्बा के माध्यम से बेस DCT शोर को हटाते हैं।

उनके बीच एक सीमित दिशात्मक सुधार फ़िल्टर (संकुचित दिशात्मक संवर्धन फ़िल्टर, CDEF) है, जिसके बारे में हम बात करेंगे। लूपबैक फ़िल्टर की तरह, यह जोड़ों पर कलाकृतियों और आधार शोर को हटाता है, लेकिन लूपबैक फ़िल्टर के विपरीत, यह एक दिशात्मक फ़िल्टर है। अधिकांश फ़िल्टर के विपरीत, यह एक पंक्ति में सब कुछ पर लागू नहीं होता है, लेकिन विशेष रूप से ब्लॉक सीमाएं पाता है। इसलिए, सीडीईएफ विशेष रूप से दिलचस्प है: यह पहला व्यावहारिक और उपयोगी दिशात्मक फिल्टर है जो वीडियो एन्कोडिंग में उपयोग किया जाता है।

लंबी और घुमावदार सड़क

सीडीईएफ का इतिहास आसानी से विकसित नहीं हुआ है। यह मोड़, साइड पाथ और डेड एंड वाली एक लंबी सड़क है। CDEF कई शोध पत्र साथ लाता है, जिनमें से प्रत्येक AV1 में अंतिम फिल्टर के लिए एक विचार या प्रेरणा प्रदान करता है।

DCT और DCT- जैसे परिवर्तनों का उपयोग करके पिक्सेल डेटा के ब्लॉक को बदलने का पूरा बिंदु संभव के रूप में कुछ संख्या के साथ पिक्सेल के ब्लॉक का प्रतिनिधित्व करना है। डीसीटी अधिकांश छवियों में ऊर्जा को अच्छी तरह से संपीड़ित करता है, जिसका अर्थ है कि यह केवल कुछ महत्वपूर्ण आउटपुट कारकों में बिखरे हुए पिक्सेल पैटर्न को इकट्ठा करना है।

लेकिन डीसीटी संपीड़न दक्षता के अपवाद हैं। उदाहरण के लिए, डीसीटी दिशात्मक सीमाओं या पैटर्न का बहुत अच्छी तरह से अनुवाद नहीं करता है। यदि आप एक तेज विकर्ण किनारे के डीसीटी आउटपुट को देखते हैं, तो आउटपुट गुणांक भी बनता है ... एक तेज विकर्ण! यह रूपांतरण के बाद अलग है, लेकिन अभी भी छवि में मौजूद है, हालांकि आमतौर पर शुरुआत की तुलना में अधिक जटिल रूप में। संपीड़न नीचे है!


तीव्र सीमाएँ डीसीटी-आधारित कोडेक्स के लिए एक पारंपरिक समस्या है, क्योंकि वे बहुत अच्छी तरह से संपीड़ित नहीं करते हैं, अगर बिल्कुल भी नहीं। यहां हम एक तेज बॉर्डर (बाएं) और डीसीटी ट्रांसफॉर्मेशन गुणांक (दाएं) देखते हैं। प्रारंभिक सीमा की ऊर्जा डीसीटी के माध्यम से दिशात्मक तरंगों के पैटर्न में फैलती है।

पिछले दो दशकों में, वीडियो कोडेक अनुसंधान में परिवर्तनों, फ़िल्टर और भविष्यवाणी विधियों पर ध्यान दिया गया है, जो अनिवार्य रूप से दिशात्मक हैं। शोधकर्ता इस मौलिक डीसीटी सीमा को सही करने के लिए इस तरह की सीमाओं और पैटर्न को बेहतर तरीके से संभालने के लिए रास्ता तलाश रहे हैं।

क्लासिक दिशात्मक भविष्यवक्ता

दिशात्मक इंट्रा-भविष्यवाणी शायद आधुनिक वीडियो कोडेक्स में दिशात्मक कार्रवाई के सबसे प्रसिद्ध तरीकों में से एक है। हर कोई h.264 और VP9 दिशात्मक भविष्यवाणी मोड से परिचित है, जहां कोडेक पहले से ही डिकोड किए गए ब्लॉक से आसपास के पिक्सेल के आधार पर एक विशिष्ट पैटर्न के पूर्वानुमान को एक नए ब्लॉक में स्थानांतरित करता है। लक्ष्य को ब्लॉक करने से पहले कठोर, निर्देशित किनारों में ऊर्जा को निकालना (या काफी कम करना) है। ऐसी विशेषताओं की भविष्यवाणी करके और हटाकर जिन्हें संपीड़ित नहीं किया जा सकता है, हम कोडेक की समग्र दक्षता को बढ़ाते हैं।


4x4 ब्लॉकों के लिए AVC / H.264 में दिशात्मक भविष्यवाणी मोड का चित्रण। भविष्यवक्ता पड़ोसी पिक्सल के एकल-पिक्सेल स्ट्रिप्स से मूल्यों का विस्तार करता है, उन्हें आठ दिशाओं में से एक में पूर्वानुमानित ब्लॉक में स्थानांतरित करता है, साथ ही सरल डीसी भविष्यवाणी के लिए एक औसत मोड।

एक और भी पुराना विचार गति क्षतिपूर्ति है। यह दिशात्मक पूर्वानुमान का एक रूप भी है, हालांकि हम शायद ही कभी इस तरह से सोचते हैं। यह मोड कुछ दिशाओं में ब्लॉक को स्थानांतरित करता है, फिर से डीसीटी के चलने से पहले ऊर्जा की भविष्यवाणी करने और निकालने के लिए। यह ब्लॉक ऑफसेट दिशात्मक और फ़िल्टर किया गया है। दिशात्मक इंट्रा-भविष्यवाणी की तरह, यह ध्यान से निर्मित ओवरसैंपलिंग फिल्टर को लागू करता है यदि ऑफ़सेट पिक्सेल की पूर्णांक संख्या नहीं है।

दिशात्मक फिल्टर

जैसा कि पहले उल्लेख किया गया है, वीडियो कोडेक ब्लॉक कलाकृतियों और शोर को हटाने के लिए सक्रिय रूप से फ़िल्टर लागू करते हैं। यद्यपि फ़िल्टर 2D विमान पर लागू होते हैं, फ़िल्टर स्वयं आमतौर पर 1D में काम करते हैं, अर्थात, वे क्षैतिज और लंबवत रूप से अलग-अलग किए जाते हैं।

दिशात्मक फ़िल्टरिंग क्षैतिज और ऊर्ध्वाधर के अलावा अन्य दिशाओं में फ़िल्टर चलाता है। स्थिर छवियों के प्रसंस्करण में ऐसी विधि पहले से ही आम है, जहां शोर में कमी फिल्टर और विशेष प्रभाव ओवरले अक्सर सीमाओं और दिशाओं को ध्यान में रखते हैं। लेकिन ये दिशात्मक फिल्टर अक्सर दिशात्मक परिवर्तनों के आउटपुट को फ़िल्टर करने पर आधारित होते हैं। उदाहरण के लिए, [थोड़े अप्रचलित] शोर कम करने वाले फिल्टर, जिनके बारे में मैंने लिखा था वे जटिल तरंगों के दोहरे पेड़ पर आधारित हैं ।

लेकिन वीडियो एन्कोडिंग के लिए, हम दिशात्मक फिल्टर में सबसे अधिक रुचि रखते हैं, जो एक दिशात्मक रूपांतरण के आउटपुट पर आवृत्ति डोमेन को फ़िल्टर करने के बजाय सीधे एक निश्चित दिशा में पिक्सेल पर लागू होते हैं। जैसे ही आप इस तरह के जानवर को बनाने की कोशिश करते हैं, बिग प्रश्न जल्दी से उठेगा: क्षैतिज और ऊर्ध्वाधर के अलावा एक निश्चित दिशा को कैसे औपचारिक किया जाए, जब फिल्टर पोजिशन अब ग्रिड पर पिक्सल से बंधे नहीं हैं?

उच्च गुणवत्ता वाली छवि प्रसंस्करण में उपयोग किए जाने वाले क्लासिक दृष्टिकोण का उपयोग करने के लिए एक विकल्प है: फ़िल्टर कोर और फिर से नमूना (फिर से शुरू करना) को पिक्सेल स्थान को आवश्यकतानुसार बदलना। आप यह भी तर्क दे सकते हैं कि यह एकमात्र "सही" या "पूर्ण" उत्तर है। इसका उपयोग सबपिक्सल गति के लिए क्षतिपूर्ति करने के लिए किया जाता है, जहां अच्छे री-सैंपलिंग के साथ-साथ दिशात्मक पूर्वानुमान में, जहां तेजी से सन्निकटन का उपयोग किया जाता है, बिना अच्छे परिणाम प्राप्त करना असंभव है।

हालांकि, यहां तक ​​कि कम्प्यूटेशनल संसाधनों के मामले में भी एक तेज सन्निकटन महंगा है, अगर इसे सार्वभौमिक रूप से लागू किया जाता है, इसलिए संभव हो तो पुन: नमूने से बचने की सलाह दी जाती है। गति के लिए महंगी कीमत एक कारण है कि दिशात्मक फिल्टर अभी तक वीडियो एन्कोडिंग में लागू नहीं किए गए हैं।

दिशात्मक परिवर्तन

दिशात्मक रूपांतरण, DCT समस्याओं को रूपांतरण स्तर पर ब्लॉक सीमा घनत्व के साथ ठीक करने का प्रयास करते हैं।

इस क्षेत्र में प्रयोग दो श्रेणियों में आते हैं। ऐसे रूपांतरण हैं जो अनिवार्य रूप से दिशात्मक ठिकानों का उपयोग करते हैं, जैसे कि दिशात्मक तरंगें। एक नियम के रूप में, वे अत्यधिक रूपांतरण / अति-पूर्णता के लिए प्रवण होते हैं, अर्थात, वे इनपुट पर प्राप्त होने की तुलना में अधिक उत्पादन करते हैं: आमतौर पर बहुत अधिक। यह विपरीत दिशा में काम करने जैसा है, क्योंकि हम डेटा की मात्रा कम करना चाहते हैं, इसे बढ़ाना नहीं! लेकिन ये रूपांतरण अभी भी ऊर्जा को संपीड़ित करते हैं, और एन्कोडर अभी भी एन्कोडिंग के लिए आउटपुट का एक छोटा सबसेट चुनता है, इसलिए वास्तव में सामान्य हानिपूर्ण डीसीटी एन्कोडिंग से कुछ अंतर हैं। हालांकि, "ओवर-फुल" रूपांतरणों में आमतौर पर अत्यधिक मात्रा में मेमोरी और कंप्यूटिंग संसाधनों की आवश्यकता होती है, और इसलिए लोकप्रिय वीडियो कोडेक्स में इसका उपयोग नहीं किया जाता है।

दिशात्मक रूपांतरणों की दूसरी श्रेणी डीसीटी जैसे नियमित रूप से अप्रत्यक्ष रूपांतरण करती है - और उन्हें संशोधित करता है, जिससे इनपुट या आउटपुट प्रभावित होता है। इनपुट डेटा के क्रम के साथ दोहराया नमूना, मैट्रिक्स गुणा (जिसे बार-बार नमूने के एक विशेष रूप के रूप में माना जा सकता है) या करतब दिखाने के रूप में परिवर्तन किए जा सकते हैं।

यह अंतिम विचार सबसे मजबूत है, क्योंकि विधि जल्दी से काम करती है। संख्याओं के सरल क्रमांकन के लिए किसी गणितीय गणना की आवश्यकता नहीं होती है।


पुन: फ़िल्टर के बजाय पिक्सेल और गुणांक को पुन: व्यवस्थित करके विभिन्न दिशाओं में परिवर्तनों के दो उदाहरण। एक उदाहरण छवि कोडिंग , जिचेंग जू, बिंग ज़ेंग, फेंग वू के दिशात्मक परिवर्तनों के सर्वेक्षण से लिया गया है

कार्यान्वयन कई व्यावहारिक कठिनाइयों से जटिल है। वर्ग का पुनर्मूल्यांकन मुख्य रूप से ऊर्ध्वाधर या क्षैतिज रेखाओं के साथ एक विकर्ण बढ़त देता है, जो इनपुट के रूप में संख्याओं के गैर-वर्ग मैट्रिक्स की ओर जाता है। वैचारिक रूप से, यह कोई समस्या नहीं है। चूंकि आप पंक्तियों और स्तंभों को एक-दूसरे से स्वतंत्र रूप से बदलना शुरू कर सकते हैं, हम बस प्रत्येक पंक्ति और स्तंभ के लिए 1D DCT के विभिन्न आकारों का उपयोग करते हैं, जैसा कि ऊपर की आकृति में दिखाया गया है। लेकिन व्यवहार में, इसका मतलब है कि हमें प्रत्येक संभावित कॉलम लंबाई के लिए अलग-अलग डीसीटी फैक्टराइजेशन की आवश्यकता होगी - और जैसे ही हार्डवेयर विकास विभाग यह समझता है, आपको खिड़की से बाहर निकाल दिया जाएगा।

पुनर्व्यवस्था के बाद गैर-चौकोर क्षेत्रों को संसाधित करने के अन्य तरीके हैं। आप रिसमलिंग योजनाओं के साथ आ सकते हैं जो इनपुट वर्ग को बचाते हैं या केवल आउटपुट पर काम करते हैं। नीचे सूचीबद्ध दिशात्मक रूपांतरण पर अधिकांश लेख इसके लिए विभिन्न योजनाओं की पेशकश करते हैं।

और यह वह जगह है जहाँ निर्देशित परिवर्तनों की कहानी अनिवार्य रूप से समाप्त होती है। जैसे ही आप दिशात्मक रूपांतरणों की विभिन्न जटिलताओं को दरकिनार करते हैं और एक वास्तविक फ़िल्टर बनाते हैं, यह आमतौर पर एक अप्रत्याशित कारण के लिए एक आधुनिक कोडेक में काम नहीं करता है: एक चर ब्लॉक आकार के साथ प्रतिस्पर्धा के कारण। यही है, एक निश्चित ब्लॉक आकार के साथ एक कोडेक में, दिशात्मक परिवर्तनों के अलावा दक्षता में एक प्रभावशाली वृद्धि देता है। और अपने आप में एक परिवर्तनीय ब्लॉक आकार और भी अधिक लाभ प्रदान करता है। लेकिन एक वैरिएबल ब्लॉक के आकार और दिशात्मक परिवर्तनों के संयोजन से इनमें से प्रत्येक विधि का व्यक्तिगत रूप से उपयोग करने की तुलना में खराब परिणाम होता है। वैरिएबल ब्लॉक आकार ने पहले से ही उन परिवर्तनों को समाप्त कर दिया है जो दिशात्मक परिवर्तनों द्वारा उपयोग किए जाते हैं, और यहां तक ​​कि इसे और अधिक कुशल बना दिया है।

नाथन इगे और मैंने दाला को विकसित करते समय दिशात्मक परिवर्तनों के साथ बहुत प्रयोग किया। मैंने इनपुट पक्ष के साथ-साथ आउटपुट पक्ष पर समस्या की जांच की, आउटपुट पर ऊर्ध्वाधर / क्षैतिज स्थिति में विकर्ण सीमाओं को बदलने के लिए विरल मैट्रिक्स गुणन का उपयोग किया। नाथन ने इनपुट डेटा के पुनर्निर्माण द्वारा दिशात्मक परिवर्तनों के लिए ज्ञात दृष्टिकोणों का परीक्षण किया। हम एक निष्कर्ष पर आए: अतिरिक्त जटिलता या तो उद्देश्य या व्यक्तिपरक लाभ नहीं देती है।

Daala (और अन्य कोडेक्स) में दिशात्मक परिवर्तनों का उपयोग करना एक गलती हो सकती है, लेकिन अनुसंधान ने एक सवाल उठाया है जो पहले उल्लेख किया गया था: कैसे महंगा री-सैंपलिंग के बिना सीमाओं के साथ जल्दी से फ़िल्टर करें? उत्तर: पुन: नमूना लेने की आवश्यकता नहीं है। निकटतम पूरे पिक्सेल के साथ आगे बढ़ कर ज़ूम इन करें। शाब्दिक या वैचारिक रूप से पिक्सेल को फिर से व्यवस्थित करके परिवर्तित कर्नेल में ज़ूम इन करें। यह दृष्टिकोण कुछ विकृति (अलियासिंग) की ओर जाता है, लेकिन यह काफी अच्छी तरह से और तेजी से काम करता है ।

दिशात्मक भविष्यवक्ता, भाग 2: डाला इतिहास

Daala कोडेक में CDEF का इतिहास पूरी तरह से कुछ अलग करने के प्रयासों के साथ शुरू हुआ: सामान्य उबाऊ दिशात्मक अंतर-भविष्यवाणी। या दाला कोडेक के लिए कम से कम कुछ सामान्य है।

मैंने आवृत्ति डोमेन में Daala इंट्रा-प्रेडिक्शन स्कीम के बारे में लिखा था जब हम इस पर काम करना शुरू कर रहे थे। यहाँ गणित काफी काम कर रहा है; चिंता का कोई कारण नहीं। हालांकि, भोले कार्यान्वयन को बड़ी संख्या में मैट्रिक्स गुणा की आवश्यकता थी, जो उत्पादन में कोडेक के लिए बहुत महंगा था। हमें उम्मीद थी कि दुर्लभ भार के कारण कम्प्यूटेशनल लोड को परिमाण के क्रम से कम किया जा सकता है - मैट्रिक्स तत्वों का उन्मूलन जो पूर्वानुमान में बहुत योगदान नहीं देता है।

लेकिन पतले काम नहीं करते हैं जैसा हम चाहते हैं। कम से कम जब हमने इसे लागू किया, तो इसने बहुत अधिक जानकारी खो दी, जिससे तकनीक व्यवहार में अनुपयुक्त हो गई।

बेशक, डाला को अभी भी इंट्रा-प्रेडिक्शन के कुछ रूप की जरूरत थी, और जीन-मार्क वालिन को यह विचार मिला: एक स्वायत्त भविष्यवाणी कोडक जो आवृत्ति डोमेन में दाला कोडेक के समानांतर स्थानिक डोमेन में काम करता है। एक प्रकार के सहजीवन के रूप में, अग्रानुक्रम में काम करना, लेकिन दाला पर निर्भर नहीं है, यह आवृत्ति डोमेन के लिए दाला की आवश्यकताओं तक सीमित नहीं है। इस तरह से इंट्रा पेंट के बारे में आया।


सिडनी हार्बर की एक तस्वीर में इंट्रा पेंट भविष्यवाणी एल्गोरिथ्म। दृश्य आउटपुट स्पष्ट रूप से दिशात्मक है, ब्लॉकों की सीमाओं और मूल छवि की विशेषताओं के साथ अच्छी तरह से फिट बैठता है, जिससे स्पष्ट सीमाएं एक अच्छा (शायद थोड़ा अजीब) परिणाम पैदा करती हैं

इंट्रा पेंट फ़िल्टर ने एक नए तरीके से काम किया: इसने एक आयामी वैक्टर को केवल ब्लॉकों की सीमाओं के साथ एन्कोड किया, और फिर चयनित दिशा में टेम्पलेट को चलाया। यह पेंट स्प्रे करने जैसा है, और फिर इसे खुले क्षेत्रों में अलग-अलग दिशाओं में फैलाना है।

इंट्रा पेंट आशाजनक लग रहा था और अपने आप में आश्चर्यजनक रूप से सुंदर परिणाम उत्पन्न कर रहा था, लेकिन फिर से मानक इंट्रा-प्रेडिक्टर के रूप में काम करने के लिए अपर्याप्त रूप से प्रभावी हो गया। यह सिर्फ अपनी जानकारी सांकेतिक शब्दों में बदलना करने के लिए पर्याप्त बिट्स नहीं मिला।


सिडनी हार्बर की मूल तस्वीर और इंट्रा पेंट के परिणाम के बीच अंतर। इंट्रा पेंट के नेत्रहीन मनभावन जारी करने के बावजूद, यह वास्तव में एक अत्यधिक सटीक भविष्यवक्ता नहीं कहा जा सकता है। अंतर बहुत महत्वपूर्ण है कई सीमाओं के साथ भी जो अच्छी तरह से गढ़ी गई थी

इंट्रा पेंट की "विफलता" ने हमें एक और विचार के लिए प्रेरित किया। हालांकि यह "ड्राइंग" वास्तव में बहुत अच्छा भविष्यवक्ता नहीं है, लेकिन सबसे अधिक भाग के लिए यह अच्छा लग रहा है। शायद व्यक्तिपरक दृश्य गुणवत्ता में सुधार के लिए पोस्ट-प्रोसेसिंग फ़िल्टर के रूप में "पेंट स्मियर" विधि का उपयोग करें? इंट्रा पेंट तेज किनारों के साथ बहुत अच्छी तरह से अनुसरण करता है, और इसलिए संभावित रूप से शोर को खत्म करना चाहिए जो सबसे तेज किनारों के साथ बनाता है।इस विचार से, दाला में मूल पेंट-डेयरिंग फिल्टर का जन्म हुआ, जिसने अंततः सीडीईएफ को जन्म दिया।

दिशात्मक पूर्वानुमान में एक और दिलचस्प बात है, हालांकि यह वर्तमान में वीडियो कोडिंग में एक मृत अंत है। डेविड शलिफ़ ने एज-डायरेक्टेड इंटरपोलेशन नामक एक दिलचस्प बॉर्डर / डायरेक्शन री-भ्रूण फ़िल्टर लागू किया है(EDI)। अन्य कोडेक्स (जैसे वीपीएक्स श्रृंखला और, कुछ समय में, एवी 1) ने कोडिंग बिट्स को बचाने के लिए कम संदर्भ फ्रेम के साथ प्रयोग किया, और फिर संकल्प को बढ़ाया। हमें उम्मीद है कि बढ़े हुए संकल्प के साथ, काफी सुधार हुआ ईडीआई प्रक्षेप तकनीक को उस बिंदु तक बेहतर बनाएगा कि यह उपयोगी होगा। हम गति के लिए क्षतिपूर्ति करने के लिए एक बेहतर उप-पिक्सेल प्रक्षेप फिल्टर के रूप में ईडीआई का उपयोग करने की भी उम्मीद करते हैं। दुर्भाग्य से, इन विचारों को एक अधूरा सपना बना हुआ है।

छेद भरना, शाखाओं का विलय करना

फिलहाल मैंने सीडीईएफ के लिए आवश्यक सभी बुनियादी पूर्वापेक्षाओं का वर्णन किया है, लेकिन वास्तव में हम रेगिस्तान में भटकते रहे। इंट्रा पेंट ने मूल डाला पेंट-डेयरिंग फिल्टर को जन्म दिया, जिसने कलाकृतियों को खत्म करने के लिए पोस्ट-फिल्टर के रूप में इंट्रा-पेंट एल्गोरिथ्म का उपयोग किया। यह एक वास्तविक कोडेक में उपयोग करने के लिए बहुत धीमा निकला।

नतीजतन, हमने इस दिशा में इंट्रा पेंट और परित्यक्त प्रयोगों के सबक को ध्यान में रखा। थोला ने थोरा से थोड़ी देर के लिए CLPF उधार लिया, और फिर जीन-मार्क ने इंट्रा-पेंट बाउंड्री दिशाओं (यह जल्दी और अच्छी तरह से काम किया) के आधार पर, और साथ ही सशर्त रिप्लेसमेंट फ़िल्टर के आधार पर, एक और तेज़, Daala के लिए Deringing फ़िल्टर बनाया। , . CRF - , , .


7-tap ,

Daala CRF, 7-tap 5-tap. , . Daala , CDEF.

हमने हाल ही में Daala को AOM कोडेक के रूप में प्रस्तावित किया था, और यह मध्यवर्ती फ़िल्टर AV1 daala_dering प्रयोग बन गया। सिस्को ने अपना शोर कम करने वाला फिल्टर, थोर कोडेक से कांस्ट्रेन्ड लो-पास फ़िल्टर (सीएलपीएफ) भी पेश किया। थोड़ी देर के लिए, दोनों फ़िल्टर प्रयोगात्मक असेंबली AV1 में समानांतर में मौजूद थे: उन्हें व्यक्तिगत रूप से या यहां तक ​​कि एक साथ शामिल किया जा सकता था। इसके लिए धन्यवाद, उनके काम में उपयोगी तालमेल को नोटिस करना संभव था, साथ ही साथ काम के विभिन्न चरणों में फिल्टर की अतिरिक्त समानताएं।

तो, हम आखिरकार सीडीईएफ में शामिल हो गए : सिस्को से सीएलपीएफ फ़िल्टर और दाला शोर में कमी फिल्टर के दूसरे संस्करण को एक उच्च प्रदर्शन वाले शोर में कमी फिल्टर में विलय की सीमाओं को ध्यान में रखते हुए।

आधुनिक CDEF

सीडीईएफ फिल्टर सरल और हमारे पिछले फिल्टर के समान है। इसमें तीन भाग होते हैं (दिशात्मक खोज, सीमित-प्रतिस्थापन / कम-पास फिल्टर, और सह-पिक्सेल निशान की नियुक्ति) जो हमने पहले इस्तेमाल किया था। लंबी पृष्ठभूमि को देखते हुए, समाप्त सीडीईएफ को देखकर आप पूछ सकते हैं, “क्या यह सब है? बाकी कहाँ है? ” CDEF, भागों के सही कार्यान्वयन के कारण एक उपयोगी प्रभाव प्राप्त करने का एक उदाहरण है, और जटिलता के कारण नहीं। एक सरल और प्रभावी फ़िल्टर वह है जो इसे होना चाहिए।

खोज की दिशा

CDEF एक निश्चित दिशा में काम करता है, इसलिए आपको इसे परिभाषित करने की आवश्यकता है। एल्गोरिथ्म इंट्रा पेंट और पेंट-डेयरिंग के समान है। आठ संभावित दिशाएँ हैं। CDEF फ़िल्टर के लिए आठ संभावित दिशाएँ। प्रत्येक दिशा ब्लॉक में गिने पंक्तियाँ दिशा खोज में 'k' पैरामीटर के अनुरूप हैं




हम इनपुट ब्लॉक के "दिशात्मक" वेरिएंट बनाकर फ़िल्टर की दिशा निर्धारित करते हैं, प्रत्येक दिशा के लिए एक, जहां चयनित दिशा में लाइन के साथ सभी पिक्सेल समान मूल्य पर लाए जाते हैं। फिर हम उस दिशा को चुनते हैं जहां परिणाम स्रोत ब्लॉक से सबसे अधिक निकटता से मेल खाता है। यही है, प्रत्येक दिशा d के लिए, हम पहले प्रत्येक पंक्ति k में औसत पिक्सेल मान पाते हैं, और फिर हम दिए गए पिक्सेल मूल्य और प्रत्येक पंक्ति के साथ इस पिक्सेल लाइन के औसत मूल्य के बीच द्विघात त्रुटि का योग करते हैं।


d, . k . k . , , . /

तो हमें कुल द्विघात त्रुटि मिलती है, और सबसे छोटी सामान्य द्विघात त्रुटि वह दिशा है जिसे हम चुनेंगे। यद्यपि ऊपर दिया गया उदाहरण बस यही करता है, कि वास्तव में द्विघात त्रुटि को फैलाव में परिवर्तित करना आवश्यक नहीं है: प्रत्येक दिशा में समान संख्या में पिक्सेल, इसलिए दोनों एक ही उत्तर का चयन करेंगे। कम संगणना!

यह एक सहज, दिशात्मक त्रुटियों की गणना करने का लंबा तरीका है। निम्नलिखित समीकरण द्वारा मशीनिंग को सरल बनाया जा सकता है:



इस सूत्र में $$$ई$$$$p$$$$x_p$$$$k$$$$N_{d, k}$$$$k$$$$ड$।इस समीकरण को अभ्यास में सरल बनाया जा सकता है। उदाहरण के लिए, पहला शब्द प्रत्येक के लिए समान है$$$ड$ । अंत में, एवी 1 सीडीईएफ के कार्यान्वयन के लिए वर्तमान में 5.875 अतिरिक्त और 1.9375 गुणा प्रति पिक्सेल की आवश्यकता होती है और इसका गहरा सदिशीकरण होता है, जिसके परिणामस्वरूप कुल लागत 8 × 8 DCT से कम होती है।

नल को फ़िल्टर करें

CDEF फ़िल्टर एक पूर्ण ब्लॉक में पिक्सेल द्वारा पिक्सेल का काम करता है। दिशा$$$ड$




चयनित दिशा के संबंध में प्राथमिक और द्वितीयक एक आयामी फिल्टर की दिशा d। मुख्य फिल्टर चयनित दिशा में शुरू होता है, द्वितीयक 45 ° के कोण पर मुख्य दिशा में काम करते हैं। ब्लॉक में प्रत्येक पिक्सेल को समान रूप से फ़िल्टर्ड किया जाता है। फ़िल्टर्स

ऐसे कोणों पर काम करते हैं कि आदर्श चिह्न अक्सर पिक्सेल के बीच आते हैं। पुन: नमूना लेने के बजाय, हम फ़िल्टर के सममित मूल को ध्यान में रखते हुए, निकटतम पिक्सेल के सटीक स्थान का चयन करते हैं।

फ़िल्टर के प्रत्येक लेबल का भी समान वजन होता है। फ़िल्टरिंग के दौरान, इसके इनपुट मूल्य को इनपुट को आपूर्ति की जाती है, फिर बाधा फ़ंक्शन को लागू किया जाता है, फिर परिणाम लेबल के निश्चित वजन से गुणा किया जाता है, और यह आउटपुट मान फ़िल्टर किए गए पिक्सेल में जोड़ा जाता है।


फिल्टर की दिशा में प्राथमिक और माध्यमिक निशान (नल) और निश्चित भार (डब्ल्यू) के स्थान। प्राथमिक चिह्नों के लिए और यहाँ तक कि बल a = 2 और b = 4 के मान के लिए, जबकि विषम अंकों के लिए a = 3 और b = 3. फ़िल्टर किया गया पिक्सेल ग्रे में दिखाया गया है।

व्यवहार में, प्राथमिक और द्वितीयक फ़िल्टर अलग-अलग काम नहीं करते हैं, लेकिन एक फ़िल्टर कोर में संयोजित होते हैं। जो एक चरण में किया जाता है।

प्रतिबंध समारोह

CDEF एक सीमित निम्न-पास फिल्टर का उपयोग करता है , जिसमें प्रत्येक लेबल का मान पहले लेबल के मान और फ़िल्टर पिक्सेल के बीच अंतर पैरामीटर के साथ बाधा कार्य द्वारा संसाधित होता है$$$ड$$$$S$$$$D$ :



प्रतिबंध फ़ंक्शन उन पिक्सेल के प्रसंस्करण को कम करने या पूरी तरह से त्यागने के लिए डिज़ाइन किया गया है जो फ़िल्टर किए गए पिक्सेल से बहुत अलग नहीं हैं। परिभाषित सीमा में, केंद्रीय पिक्सेल से निशान के मूल्यों में अंतर पूरी तरह से ध्यान में रखा जाता है (जो बल पैरामीटर द्वारा निर्धारित किया जाता है)$$$S$$$$S$ और $$$D$$$$D$








$$$(p)$और $$$(s)$

परिणाम

सीडीईएफ को एक छवि के तेज किनारों पर बिना धुंधला या क्षति के बुनियादी शोर और रिंगिंग कलाकृतियों को हटाने या कम करने के लिए डिज़ाइन किया गया है। फ़िल्टर अब AV1 में उपयोग किया जाता है और एक सूक्ष्म लेकिन सुसंगत प्रभाव देता है। शायद भविष्य में सीडीईएफ पर और भी अधिक भरोसा करना संभव होगा।


फलों की छवियों को एन्कोडिंग करते समय शोर में कमी और कलाकृतियों का एक उदाहरण। पहला इनसेट सीडीईएफ प्रसंस्करण के बिना क्षेत्र दिखाता है, दूसरा सीडीईएफ प्रसंस्करण के बाद उसी क्षेत्र को दर्शाता है

किसी भी सुधारात्मक फिल्टर का मात्रात्मक मूल्य व्यक्तिपरक परीक्षणों द्वारा निर्धारित किया जाना चाहिए । ऑब्जेक्टिव मेट्रिक्स को छूट नहीं दी जानी चाहिए, लेकिन CDEF को एक परिणाम प्रदान करने के लिए डिज़ाइन किया गया है जो PSNR और SSIM जैसे आदिम उद्देश्य परीक्षण उपकरण की क्षमताओं से परे जाता है।

इस प्रकार, हमने CDEF के विकास के दौरान पहले व्यक्तिपरक परीक्षण के कई दौर आयोजित किए (जब Daala Dering और Thor CLPF अभी भी तकनीकी रूप से प्रतिस्पर्धी थे), और फिर संयुक्त CDEF फ़िल्टर का अधिक व्यापक परीक्षण किया। चूंकि यह एक नया फिल्टर है जो कोडेक्स की पिछली पीढ़ियों में पूरी तरह से अनुपस्थित है, सीडीईएफ सक्षम और एवी 1 सीडीईएफ के बिना मुख्य रूप से एवी 1 का परीक्षण।


उच्च अक्षांश कॉन्फ़िगरेशन के लिए CDEF के बिना CDEF और AV1 के साथ विशेषण AV1 A / B टेस्ट परिणाम

विशेषण परिणाम छह क्लिप में से तीन में एक सांख्यिकीय रूप से महत्वपूर्ण (p <.05) सुधार दिखाते हैं। एक नियम के रूप में, यह 5-10% तक कोडिंग दक्षता में वृद्धि से मेल खाती है। यह एक पूरी तरह से परिपक्व कोडेक में जोड़े गए एक उपकरण के लिए एक बहुत बड़ी जीत है।

जैसा कि अपेक्षित था, उद्देश्य परीक्षण में लगभग 1% की अधिक मामूली वृद्धि देखी गई। हालाँकि, उद्देश्य परीक्षण केवल उस सीमा तक उपयोगी है, जो व्यक्तिपरक परिणामों के अनुरूप हो। विशेषण परीक्षण सोने का मानक है, और व्यक्तिपरक परिणाम काफी स्पष्ट हैं।

परीक्षण से यह भी पता चला कि एन्कोडिंग के दौरान अतिरिक्त कोडेक उपकरण अक्षम होने पर सीडीईएफ बेहतर प्रदर्शन करता है। दिशात्मक परिवर्तनों की तरह, CDEF अन्य, अधिक जटिल AV1 विधियों के साथ लाभ के लिए प्रतिस्पर्धा करता है। चूंकि CDEF एक सरल, छोटा और तेज़ फ़िल्टर है, इसलिए यह भविष्य में AV1 एन्कोडर की जटिलता को कम करने के लिए उपयोग कर सकता है। डिकोडर जटिलता के संदर्भ में, सीडीईएफ कॉन्फ़िगरेशन के आधार पर एवी 1 डिकोडर के 3% से 10% के लिए जिम्मेदार है।

अतिरिक्त संसाधन

1. Xiph.Org standard derf test suites media.xiph.org
2. डाला और एवी 1 के विकास में प्रयुक्त स्वचालित परीक्षण प्रणाली और मैट्रिक्स: "क्या हम पहले से संकुचित हैं?"
3. AV1 में विवश दिशात्मक संवर्द्धन फ़िल्टर (CDEF) । स्टीनर मिड्सकोजन, जीन-मार्क वालिन, अक्टूबर 2017
4. CDASS प्रेजेंटेशन स्लाइड्स के लिए ICASSP 2018 , स्टीनर मिडटस्कोजन, जीन-मार्क वेलिन
5. दाला और आगे के विकास के लिए साहसी फिल्टर । जीन-मार्क वेलिन। दाला कोडेक विकसित करते समय पिछला शोर कम करने वाला फिल्टर बनाया गया था, जिसका उपयोग एवी 1 में सीडीईएफ बनाने के लिए किया गया था।
6. Daala: मज़ा और अच्छे के लिए रंग तस्वीरें । जीन-मार्क वेलिन। इंट्रा-पेंट बेस के लिए एक पहले का सुधार फिल्टर, जिसके कारण दाला में एक शोर में कमी फिल्टर का निर्माण हुआ, जिसके परिणामस्वरूप सीडीईएफ का नेतृत्व किया गया
7. इंट्रा पेंट डेयरिंग फिल्टर । ज्यां-मार्क वालिन, 2015। डला में इंट्रा पेंट प्रयोग से निकलने वाले शोर में कमी सुधार फिल्टर पर नोट्स
8. निर्देशित छवि फ़िल्टरिंग । 2013 में काइमिंग हाइ, जियान सैन, ज़ियाउ तांग
9. छवि अनुकूलता के लिए दिशात्मक अनुकूली असतत तरंग परिवर्तन । चुओ-लिंग चांग, ​​बेरंड गिरोड, छवि प्रसंस्करण पर IEEE लेनदेन, खंड 16, संख्या 5, मई 2007
10. छवि साझा करने के लिए दिशात्मक अनुकूली रूपांतरण । चोउ-लिंग चांग, ​​स्टैनफोर्ड विश्वविद्यालय, 2009 में पीएचडी थीसिस। यह शोध 2009 के रूप में दिशात्मक परिवर्तनों के क्षेत्र का एक अच्छा अवलोकन प्रदान करता है; दुर्भाग्य से, ऑनलाइन कोई उपलब्ध प्रतियां नहीं थीं
11. एक रंग छवि एन्कोडिंग के लिए दिशात्मक अनुकूली अवरुद्ध रूपांतरण । चुओ-लिंग चांग, ​​मीना मकर, सैम एस। तई, बेरंड गिरोड, आईईई लेनदेन इमेज प्रोसेसिंग पर, वॉल्यूम 19, नंबर 7, जुलाई 2010
12. डीसी भविष्यवाणी और अनुकूली कोडिंग के साथ डीसीटी सर्किट-आधारित । ज़ीबो चेन, ज़ियाओझोंग जू। IEEE के पीछे का लेख
13. दिशात्मक अनुकूली अवशिष्ट कोडिंग भविष्यवाणी के लिए रूपांतरित करता है । रॉबर्ट कोहेन, स्वेन क्लॉम्प, एंथोनी वेत्रो, हुइफन सन। इमेज प्रोसेसिंग पर 2010 IEEE 17 वें अंतर्राष्ट्रीय सम्मेलन की कार्यवाही, 26-29 सितंबर, 2010, हांगकांग
14. ओवरलैप के साथ ओरिएंटेशन-सेलेक्टिव ऑर्थोगोनल ट्रांसफॉर्मेशन । डाइटमार कुंज, 2008. आईईईई द्वारा अनुच्छेद
15. दिशात्मक तरंगों की गति-विरूपण विश्लेषण । एरियन मालेकी, बोशरा राजे, हामिद रेजा पुरेज़ा। IEEE इमेज प्रोसेसिंग, वॉल्यूम 21, नंबर 2, फरवरी 2012 पर लेनदेन
16. दिशात्मक ऑर्थोगोनल परिवर्तनों में रुझानों का सैद्धांतिक विश्लेषण । शोगो मुरुमात्सु, दंडन खान, तोमोया कोबायाशी, हिसकाजू किकुची। IEEE पेवॉल के पीछे एक लेख। हालांकि, एक छोटा संस्करण स्वतंत्र रूप से उपलब्ध है।
17. छवि कोडिंग में दिशात्मक परिवर्तनों का अवलोकन । जिचेंग जू, बिंग ज़ेंग, फेंग वू।
18. छवि संपीड़न और अंतर-फ्रेम जानकारी के लिए दिशात्मक फ़िल्टरिंग के साथ रूपांतरण । Xulian पेंग, जिचेंग जू, फेंग वू, छवि प्रसंस्करण में IEEE लेन-देन, वॉल्यूम 19, नंबर 11, नवंबर 2010। IEEE फ़ायरवॉल द्वारा अनुच्छेद
19. विरल अलंकारिक परिवर्तनों का उपयोग करते हुए अनुमान और संपीड़न । ओ। जी। सेज़र, ओ। जी। गुलेरज़, युसेल अल्तुनबासक, 2008
20. अगली पीढ़ी के वीडियो कोडेक्स के लिए दो-आयामी साझा परिवर्तनों का विश्वसनीय अध्ययन । ओ। जी। सीज़र, आर। कोहेन, ए। वेत्रो, मार्च 2011
21. संयुक्त द्वि-आयामी साझा आयामी ब्लॉक के एक सेट की कमज़ोरी पर आधारित संयुक्त अनुकूलन । जोएल सोले, पेंग यिन, यूंफेई झेंग, क्रिस्टीना गोमिला, 2009. आईईईई द्वारा अनुच्छेद
22. छवि एन्कोडिंग के लिए दिशात्मक ओवरलैपिंग रूपांतरण । जीचेंग जू, फेंग वू, जी लियांग, वेन्जुन झांग, आईईईई लेनदेन इमेज प्रोसेसिंग पर, अप्रैल 2008
23. दिशात्मक असतत कोसाइन रूपांतरण छवि एन्कोडिंग के लिए एक नया ढांचा है । बिंग ज़ेंग, जिंगजिंग फू, आईईईई लेनदेन पर वीडियो और प्रौद्योगिकी प्रौद्योगिकी के लिए अप्रैल 2008
24. जटिल तरंगिका का दोहरा पेड़ बदल जाता है । इवान सेलेज़निक, रिचर्ड बरनुक, निक किंग्सबरी, आईईईई सिग्नल प्रोसेसिंग पत्रिका, नवंबर 2005