वीडियो कोडेक कैसे काम करता है। भाग 2. क्या, क्यों, कैसे

भाग I: वीडियो और छवि मूल बातें

---

क्या? एक वीडियो कोडेक सॉफ्टवेयर / हार्डवेयर का एक टुकड़ा है जो डिजिटल वीडियो को संपीड़ित और / या घटाता है।

किस लिए? बैंडविड्थ के मामले में कुछ सीमाओं के बावजूद,
और भंडारण स्थान की मात्रा के संदर्भ में, बाजार को अधिक से अधिक उच्च गुणवत्ता वाले वीडियो की आवश्यकता होती है। याद रखें कि पिछली पोस्ट में हमने 480x240 के संकल्प के साथ 30 फ्रेम प्रति सेकंड, 24 बिट प्रति पिक्सेल के लिए आवश्यक न्यूनतम गणना कैसे की? बिना संपीड़न के 82.944 एमबीपीएस प्राप्त किया। टीवी स्क्रीन और इंटरनेट पर HD / FullHD / 4K को स्थानांतरित करने के लिए संपीड़न एकमात्र तरीका है। यह कैसे प्राप्त किया जाता है? अब हम मुख्य तरीकों पर संक्षेप में विचार करेंगे।

अनुवाद EDISON सॉफ़्टवेयर के समर्थन से किया गया था।

हम वीडियो निगरानी प्रणाली के एकीकरण में लगे हुए हैं, साथ ही एक माइक्रोटोमोग्राफ विकसित कर रहे हैं ।

कोडेक बनाम कंटेनर

एक सामान्य नौसिखिया गलती एक डिजिटल वीडियो कोडेक और एक डिजिटल वीडियो कंटेनर को भ्रमित करना है। एक कंटेनर एक निश्चित प्रारूप है। वीडियो मेटाडेटा (और संभवतः ऑडियो) युक्त एक आवरण। संपीड़ित वीडियो को कंटेनर पेलोड माना जा सकता है।

आमतौर पर, एक वीडियो फ़ाइल एक्सटेंशन एक प्रकार के कंटेनर को इंगित करता है। उदाहरण के लिए, video.mp4 फ़ाइल सबसे अधिक संभावना एक MPEG-4 भाग 14 कंटेनर है, और video.mkv नाम की फ़ाइल सबसे अधिक संभावना एक रूसी गुड़िया है । कोडेक और कंटेनर प्रारूप में पूरी तरह से आश्वस्त होने के लिए, आप FFmpeg या MediaInfo का उपयोग कर सकते हैं।

थोड़ा सा इतिहास

इससे पहले कि हम कैसे हो? , चलो कुछ पुराने कोडेक्स की थोड़ी बेहतर समझ पाने के लिए इतिहास में थोड़ा सा गोता लगाएँ।

H.261 वीडियो कोडेक 1990 में दिखाई दिया (तकनीकी रूप से - 1988 में) और 64 Kbps के डेटा ट्रांसफर दर के साथ काम करने के लिए बनाया गया था। इसमें पहले से ही कलर सबसैम्पलिंग, मैक्रोब्लॉक आदि जैसे विचारों का इस्तेमाल किया गया है। 1995 में, H.263 वीडियो कोडेक मानक प्रकाशित किया गया था, जो 2001 तक विकसित हुआ।

2003 में, H.264 / AVC का पहला संस्करण पूरा हुआ। उसी वर्ष, ट्रूमोशन ने अपना मुफ्त वीडियो कोडेक जारी किया जो वीपी 3 नामक हानिरहित वीडियो को संपीड़ित करता है। 2008 में, Google ने उसी वर्ष VP8 को जारी करते हुए इस कंपनी को खरीद लिया। दिसंबर 2012 में, Google ने VP9 जारी किया, और यह लगभग ब्राउज़र बाजार (मोबाइल उपकरणों सहित) में समर्थित है।

AV1 एक नया मुक्त खुला स्रोत वीडियो कोडेक है जो ओपन मीडिया एलायंस ( AOMedia ) द्वारा विकसित किया गया है , जिसमें Google, मोज़िला, माइक्रोसॉफ्ट, अमेज़ॅन, नेटफ्लिक्स, एएमडी, एआरएम, एनवीडिया, इंटेल और सिस्को जैसी प्रसिद्ध कंपनियां शामिल हैं। । कोडेक 0.1.0 का पहला संस्करण 7 अप्रैल 2016 को प्रकाशित किया गया था।

AV1 का जन्म

2015 की शुरुआत में, Google ने VP10 पर काम किया, Xiph (जो मोज़िला से संबंधित है) ने डाला पर काम किया, और सिस्को ने अपना मुफ्त वीडियो कोडेक थोर नामक बनाया।

तब MPEG LA ने पहले HEVC ( H.265 ) के लिए वार्षिक सीमा और H.264 की तुलना में 8 गुना अधिक शुल्क की घोषणा की, लेकिन उन्होंने जल्द ही नियमों को फिर से बदल दिया:

कोई वार्षिक सीमा नहीं,
सामग्री शुल्क (राजस्व का 0.5%) और
इकाई की लागत H.264 की तुलना में लगभग 10 गुना अधिक है।

ओपन मीडिया एलायंस विभिन्न क्षेत्रों की कंपनियों द्वारा बनाया गया था: उपकरण निर्माता (इंटेल, एएमडी, एआरएम, एनवीडिया, सिस्को), सामग्री प्रदाता (Google, नेटफ्लिक्स, अमेज़ॅन), ब्राउज़र निर्माता (Google, मोज़िला) और अन्य।

कंपनियों का एक सामान्य लक्ष्य था - रॉयल्टी के बिना एक वीडियो कोडेक। फिर AV1 एक बहुत ही सरल पेटेंट लाइसेंस के साथ आता है। टिमोथी बी। टेरीबेरी ने एक शानदार प्रस्तुति दी, जो AV1 और इसके लाइसेंस मॉडल की वर्तमान अवधारणा का स्रोत बन गया।

आपको यह जानकर आश्चर्य होगा कि आप एक ब्राउज़र के माध्यम से AV1 कोडेक का विश्लेषण कर सकते हैं (जो इच्छुक लोग anomanalyzer.org पर जा सकते हैं)।

यूनिवर्सल कोडेक

आइए हम सार्वभौमिक वीडियो कोडेक के आधार पर बुनियादी तंत्र का विश्लेषण करें। इनमें से अधिकांश अवधारणाएँ उपयोगी हैं और आधुनिक कोडेक्स जैसे VP9 , AV1 और HEVC में उपयोग की जाती हैं । मैं आपको चेतावनी देता हूं कि बताई गई कई चीजें सरल हो जाएंगी। वास्तविक-विश्व उदाहरणों का उपयोग कभी-कभी किया जाएगा (जैसा कि H.264 के मामले में है) प्रौद्योगिकी प्रदर्शित करने के लिए।

पहला चरण - छवि को विभाजित करना

पहला कदम फ्रेम को कई वर्गों, उपखंडों, और अधिक में विभाजित करना है।



किस लिए? कई कारण हैं। जब हम चित्र को विभाजित करते हैं, तो हम छोटे चलती भागों के लिए छोटे वर्गों का उपयोग करके गति वेक्टर की अधिक सटीक भविष्यवाणी कर सकते हैं। एक स्थिर पृष्ठभूमि के लिए, आप अपने आप को बड़े वर्गों तक सीमित कर सकते हैं।

आमतौर पर, कोडेक्स इन खंडों को खंडों (या टुकड़े), मैक्रोब्लॉक्स (या कोडिंग ट्री के ब्लॉक) और कई उपखंडों में व्यवस्थित करते हैं। इन विभाजनों का अधिकतम आकार भिन्न होता है, HEVC 64x64 सेट करता है, जबकि AVC 16x16 का उपयोग करता है, और उप-विभाजन को 4x4 तक विभाजित किया जा सकता है।

पिछले लेख से फ्रेम की किस्मों को याद रखें?! उसी को ब्लॉकों पर लागू किया जा सकता है, इसलिए, हमारे पास एक आई-टुकड़ा, बी-ब्लॉक, पी-मैक्रोब्लॉक, आदि हो सकते हैं।

उन लोगों के लिए जो अभ्यास करना चाहते हैं, यह देखें कि छवि को अनुभागों और उपखंडों में कैसे विभाजित किया जाएगा। ऐसा करने के लिए, आप पिछले लेख (पहले जो भुगतान किया गया है, लेकिन एक नि: शुल्क परीक्षण संस्करण के साथ, जिसमें पहले 10 फ़्रेमों की सीमा है) में पहले से उल्लिखित इंटेल वीडियो प्रो विश्लेषक का उपयोग कर सकते हैं। VP9 के वर्गों का विश्लेषण यहां किया गया है:

दूसरा चरण - पूर्वानुमान

जैसे ही हमारे पास अनुभाग होंगे, हम उन पर ज्योतिषीय पूर्वानुमान लगा सकते हैं। अंतर-भविष्यवाणी के लिए, गति वैक्टर और शेष को स्थानांतरित करना आवश्यक है, और इंट्रा-भविष्यवाणी के लिए, पूर्वानुमान की दिशा और शेष को प्रेषित किया जाता है।

तीसरा चरण - रूपांतरण

जब हम अवशिष्ट ब्लॉक (पूर्वानुमानित खंड → वास्तविक खंड) प्राप्त कर लेते हैं, तो समग्र गुणवत्ता बनाए रखते हुए, यह जानना संभव है कि इसे किस तरह से रूपांतरित किया जाए, जिससे पिक्सल्स को छोड़ा जा सके। कुछ परिवर्तन हैं जो सटीक व्यवहार प्रदान करते हैं।

हालांकि अन्य विधियां हैं, आइए हम अधिक विस्तार से विचार करें असतत कोसाइन ट्रांसफॉर्म ( डीसीटी - असतत कोसाइन ट्रांसफॉर्म से )। डीसीटी की मुख्य विशेषताएं:

• पिक्सेल के ब्लॉक को आवृत्ति गुणांक के समान आकार के ब्लॉकों में परिवर्तित करता है।
• सील्स पावर, स्थानिक अतिरेक को खत्म करने में मदद करता है।
• उत्क्रमण प्रदान करता है।

2 फरवरी, 2017 सिंतरा आर.जे. (Cintra, RJ) और बायर एफ.एम. (बेयर एफएम) ने छवि संपीड़न के लिए डीसीटी जैसे रूपांतरण पर एक लेख प्रकाशित किया, जिसमें केवल 14 अतिरिक्त की आवश्यकता थी।

यदि आप प्रत्येक आइटम के लाभों को नहीं समझते हैं, तो चिंता न करें। अब, ठोस उदाहरणों के साथ, हम उनके वास्तविक मूल्य को सत्यापित करेंगे।

चलो इस तरह से एक 8x8 पिक्सेल ब्लॉक लेते हैं:



इस ब्लॉक को निम्न चित्र 8 में 8 पिक्सेल द्वारा प्रस्तुत किया गया है:



पिक्सेल के इस ब्लॉक पर DCT लागू करें और 8x8 आकार के गुणांक का एक ब्लॉक प्राप्त करें:



और अगर हम गुणांक के इस ब्लॉक को प्रस्तुत करते हैं, तो हमें निम्नलिखित छवि मिलती है:



जैसा कि आप देख सकते हैं, यह मूल छवि की तरह नहीं है। आप देख सकते हैं कि पहला गुणांक अन्य सभी से बहुत अलग है। यह पहला गुणांक एक इनपुट में सभी नमूनों का प्रतिनिधित्व करने वाले डीसी गुणांक के रूप में जाना जाता है, औसत मूल्य के समान कुछ।

गुणांक के इस ब्लॉक में एक दिलचस्प गुण है: यह उच्च आवृत्ति वाले घटकों को कम आवृत्ति वाले से अलग करता है।



छवि में, अधिकांश शक्ति कम आवृत्तियों पर केंद्रित होती है, इसलिए, यदि आप छवि को इसकी आवृत्ति घटकों में परिवर्तित करते हैं और उच्च आवृत्ति गुणांक को त्यागते हैं, तो आप छवि गुणवत्ता का त्याग किए बिना छवि का वर्णन करने के लिए आवश्यक डेटा की मात्रा को बहुत कम कर सकते हैं।

फ्रीक्वेंसी का मतलब है कि सिग्नल कितनी तेजी से बदलता है।

आइए, डीसीटी का उपयोग करके मूल छवि को इसकी आवृत्ति (गुणांक के ब्लॉक) में परिवर्तित करके परीक्षण उदाहरण में प्राप्त ज्ञान को लागू करने का प्रयास करें और फिर कुछ कम से कम महत्वपूर्ण गुणांक को त्याग दें।

सबसे पहले, इसे फ़्रीक्वेंसी डोमेन में बदलें।



इसके बाद, हम गुणांक के भाग (67%) को त्याग देते हैं, मुख्य रूप से दाहिनी ओर।



अंत में, हम गुणांक के इस त्याग वाले ब्लॉक से छवि को पुनर्स्थापित करते हैं (याद रखें, यह प्रतिवर्ती होना चाहिए) और मूल के साथ तुलना करें।



हम देखते हैं कि यह मूल छवि से मिलता जुलता है, लेकिन मूल से कई अंतर हैं। हमने 67.1875% फेंका और अभी भी कुछ ऐसा मिला जो मूल स्रोत जैसा दिखता है। आप बेहतर गुणवत्ता की छवि प्राप्त करने के लिए गुणांक को अधिक जानबूझकर त्याग सकते हैं, लेकिन यह अगला विषय है।

प्रत्येक पिक्सेल के उपयोग से प्रत्येक गुणांक उत्पन्न होता है।

महत्वपूर्ण: प्रत्येक गुणांक सीधे एक पिक्सेल पर प्रदर्शित नहीं होता है, लेकिन सभी पिक्सेल का एक भारित योग होता है। यह अद्भुत ग्राफ दिखाता है कि प्रत्येक सूचकांक में अद्वितीय वजन का उपयोग करके पहले और दूसरे गुणांक की गणना कैसे की जाती है।



आप इसके आधार पर सरल इमेजिंग को देखकर डीसीटी की कल्पना करने का भी प्रयास कर सकते हैं। उदाहरण के लिए, यहां प्रत्येक गुणांक भार का उपयोग करके उत्पन्न ए प्रतीक है:

चौथा चरण - परिमाणीकरण

पिछले चरण में कुछ गुणांक निकालने के बाद, अंतिम चरण (परिवर्तन) में, हम एक विशेष परिमाणीकरण प्रपत्र तैयार करते हैं। इस बिंदु पर, जानकारी खोने की अनुमति है। या, और अधिक, हम संपीड़न को प्राप्त करने के लिए गुणांक का परिमाण करेंगे।

गुणांक के एक ब्लॉक को कैसे परिमाणित किया जा सकता है? सबसे सरल तरीकों में से एक समान परिमाणीकरण होगा, जब हम एक ब्लॉक लेते हैं, तो इसे एक मूल्य (10 से) से विभाजित करें और जो हुआ, उसे गोल करें।



क्या हम गुणांक के इस ब्लॉक को उलट सकते हैं? हां, हम उसी मूल्य से गुणा करके, जो हम विभाजित करते हैं, कर सकते हैं।



यह दृष्टिकोण सबसे अच्छा नहीं है, क्योंकि यह प्रत्येक गुणांक के महत्व को ध्यान में नहीं रखता है। एक एकल मान के बजाय क्वांटाइज़र मैट्रिक्स का उपयोग कर सकता है, और यह मैट्रिक्स डीसीटी संपत्ति का उपयोग कर सकता है, अधिकांश निचले दाएं और ऊपरी बाएं के अल्पसंख्यक को मात्रा देता है।

5 चरण - एन्ट्रापी कोडिंग

जब हमने डेटा (छवि ब्लॉक, टुकड़े, फ़्रेम) की मात्रा निर्धारित की, तब भी हम उन्हें नुकसान के बिना संपीड़ित कर सकते हैं। डेटा को संपीड़ित करने के कई एल्गोरिथम तरीके हैं। हम उनमें से कुछ के साथ संक्षिप्त रूप से परिचित होने जा रहे हैं, एक गहरी समझ के लिए, आप " अंडरस्टैंडिंग कम्प्रेशन: डेटा कम्प्रेशन फॉर मॉडर्न डेवलपर्स " (" अंडरस्टैंडिंग कम्प्रेशन: मॉडर्न डेवलपर्स के लिए डेटा कम्प्रेशन ") नामक पुस्तक पढ़ सकते हैं।

वीएलसी के साथ वीडियो एनकोडिंग

मान लीजिए कि हमारे पास पात्रों की एक धारा है: ए , ई , आर और टी । स्ट्रीम में प्रत्येक प्रतीक कितनी बार होता है इसकी संभावना (0 से 1 तक) इस तालिका में प्रस्तुत की गई है।हम अद्वितीय बाइनरी कोड (अधिमानतः छोटे वाले) को सबसे अधिक संभावित, और बड़े कोड को कम संभावित असाइन कर सकते हैं।हम धारा को संकुचित करते हैं, यह मानते हुए कि अंत में हम प्रत्येक चरित्र के लिए 8 बिट्स खर्च करते हैं। एक चरित्र पर संपीड़न के बिना, 24 बिट्स की आवश्यकता होगी। यदि प्रत्येक वर्ण को उसके कोड से बदल दिया जाता है, तो हमें बचत मिलती है!

पहला कदम चरित्र ई को एनकोड करना है, जो 10 है, और दूसरा चरित्र ए है , जो जोड़ा जाता है (गणितीय रूप से नहीं): [10] [0], और अंत में, तीसरा चरित्र टी , जो हमारे अंतिम संपीड़ित बिटस्ट्रीम को समान बनाता है [१०] [०] [१११०] या १००१११० , जिसमें केवल 3.4 बिट्स (मूल की तुलना में ३.४ गुना कम जगह) की आवश्यकता होती है।

कृपया ध्यान दें कि प्रत्येक कोड में उपसर्ग के साथ एक अद्वितीय कोड होना चाहिए। हफ़मैन एल्गोरिदम इन नंबरों को खोजने में मदद करेगा। यद्यपि यह विधि दोषों के बिना नहीं है, फिर भी वीडियो कोडेक्स हैं जो अभी भी संपीड़न के लिए इस एल्गोरिथम विधि की पेशकश करते हैं।

एनकोडर और डिकोडर दोनों को अपने बाइनरी कोड के साथ प्रतीक तालिका तक पहुंच होनी चाहिए। इसलिए, इनपुट में एक तालिका भेजना भी आवश्यक है।

अंकगणित कोडिंग

मान लीजिए कि हमारे पास पात्रों की एक धारा है: ए , ई , आर , एस और टी , और उनकी संभावना इस तालिका द्वारा दर्शाई गई है।इस तालिका के साथ, हम उन सभी संभावित वर्णों का निर्माण करते हैं, जिन्हें सबसे बड़ी संख्या द्वारा क्रमबद्ध किया गया है।



अब तीन वर्णों की एक धारा बनाते हैं: खाओ ।

सबसे पहले, पहले चरित्र ई का चयन करें, जो कि उप-श्रेणी में 0.3 से 0.6 (शामिल नहीं) है। हम इस सबरेंज को लेते हैं और इसे फिर से उसी अनुपात में विभाजित करते हैं, जैसे कि पहले से ही, लेकिन इस नई रेंज के लिए।



चलो हमारे खाने की धारा को जारी रखते हैं । अब हम दूसरा प्रतीक a लेते हैं, जो कि 0.3 से 0.39 के बीच नई व्यवस्था में है, और फिर हम अपना अंतिम चिन्ह t लेते हैं, और उसी प्रक्रिया को फिर से दोहराते हुए, हम अंतिम व्यवस्था को 0.354 से 0.372 तक प्राप्त करते हैं।



हमें बस अंतिम उप-श्रेणी में 0.354 से 0.372 तक एक संख्या का चयन करना होगा। चलो 0.36 चुनते हैं (लेकिन आप इस उप-श्रेणी में कोई अन्य नंबर चुन सकते हैं)। केवल इस संख्या से हम अपने मूल प्रवाह को बहाल कर सकते हैं। यह ऐसा है जैसे हम अपनी स्ट्रीम को एनकोड करने के लिए श्रेणियों के भीतर एक रेखा खींच रहे हैं।



रिवर्स ऑपरेशन (जो कि डिकोडिंग है ) बस उतना ही सरल है: हमारी संख्या 0.36 और हमारी प्रारंभिक सीमा के साथ, हम एक ही प्रक्रिया शुरू कर सकते हैं। लेकिन अब, इस संख्या का उपयोग करते हुए, हम इस संख्या का उपयोग करके एन्कोडेड स्ट्रीम को प्रकट करते हैं।

पहली सीमा के साथ, हम देखते हैं कि हमारी संख्या एक स्लाइस से मेल खाती है, इसलिए, यह हमारा पहला चरित्र है। अब फिर से, हम इस सबबैंड को साझा करते हैं, पहले जैसी प्रक्रिया करते हुए। यहां आप देख सकते हैं कि 0.36 अक्षर a से मेल खाता है , और प्रक्रिया को दोहराने के बाद, हम अंतिम वर्ण t (हमारे मूल एन्कोडेड स्ट्रीम खाएं ) पर आते हैं।

एनकोडर और डिकोडर दोनों के पास प्रतीक संभावनाओं की एक तालिका होनी चाहिए, इसलिए, इनपुट डेटा में इसे भेजना आवश्यक है।

बहुत सुंदर है, है ना? जो कोई इस समाधान के साथ आया था वह बहुत चालाक था। कुछ वीडियो कोडेक इस तकनीक का उपयोग करते हैं (या, किसी भी मामले में, इसे एक विकल्प के रूप में पेश करते हैं)।

विचार एक दोषरहित मात्रा में बिटस्ट्रीम को संपीड़ित करना है। निश्चित रूप से इस लेख में विवरण, कारण, समझौता आदि के कोई टन नहीं हैं। लेकिन आप, यदि आप एक डेवलपर हैं, तो आपको और जानना चाहिए। नए कोडक अलग एंट्रोपी कोडिंग एल्गोरिदम का उपयोग करने की कोशिश कर रहे हैं, जैसे एएनएस ।

6 कदम - बिटस्ट्रीम प्रारूप

यह सब करने के बाद, यह उठाए गए चरणों के संदर्भ में संकुचित फ़्रेम को अनपैक करने के लिए बना हुआ है। डिकोडर को एनकोडर द्वारा किए गए निर्णयों से स्पष्ट रूप से अवगत होना चाहिए। डिकोडर को सभी आवश्यक जानकारी प्रदान की जानी चाहिए: बिट डेप्थ, कलर स्पेस, रिज़ॉल्यूशन, फोरकास्ट इन्फॉर्मेशन (मोशन वैक्टर, डायरेक्शनल इंट-प्रेडिक्शन), प्रोफाइल, लेवल, फ्रेम रेट, फ्रेम टाइप, फ्रेम नंबर, और भी बहुत कुछ।

हम H.264 बिटस्ट्रीम पर एक नज़र डालेंगे। हमारा पहला कदम न्यूनतम H.264 बिटस्ट्रीम बनाना है (डिफ़ॉल्ट रूप से FFmpeg सभी एन्कोडिंग मापदंडों को जोड़ता है, जैसे SEI NAL - थोड़ा आगे हम यह पता लगाएंगे कि यह क्या है)। हम अपने स्वयं के भंडार और FFmpeg का उपयोग करके ऐसा कर सकते हैं।

./s/ffmpeg -i /files/i/minimal.png -pix_fmt yuv420p /files/v/minimal_yuv420.h264

यह कमांड एक फ्रेम के साथ कच्चे H.264 बिटस्ट्रीम उत्पन्न करेगा, जिसका रिज़ॉल्यूशन 64x64 होगा, जिसमें कलर स्पेस YUV420 होगा । निम्न छवि का उपयोग फ़्रेम के रूप में किया जाता है।

H.264 बिटस्ट्रीम

AVC मानक ( H.264 ) परिभाषित करता है कि जानकारी को मैकल फ्रेम (नेटवर्क की समझ में) में भेजा जाएगा जिसे NAL कहा जाता है (यह नेटवर्क स्तर का ऐसा स्तर है)। एनएएल का मुख्य लक्ष्य वीडियो की "नेटवर्क के अनुकूल" प्रस्तुति प्रदान करना है। यह मानक टीवी पर (धाराओं के आधार पर), इंटरनेट पर (पैकेजों के आधार पर) काम करना चाहिए।



एनएएल तत्वों की सीमाओं को परिभाषित करने के लिए एक सिंक्रनाइज़ेशन मार्कर है। प्रत्येक सिंक्रोनाइज़ेशन मार्कर में 0x00 0x00 0x01 का मान होता है , पहले अपवाद के साथ, जो 0x00 0x00 0x00 0x01 है। यदि हम उत्पन्न H.264 बिटस्ट्रीम के लिए हेक्सडंप चलाते हैं, तो हम फ़ाइल की शुरुआत में कम से कम तीन एनएएल पैटर्न की पहचान करेंगे।



जैसा कि कहा गया है, डिकोडर को न केवल छवि डेटा, बल्कि वीडियो, फ्रेम, रंग, उपयोग किए गए मापदंडों और बहुत अधिक विवरणों का पता होना चाहिए। प्रत्येक एनएएल का पहला बाइट अपनी श्रेणी और प्रकार को परिभाषित करता है।आमतौर पर पहला एनएएल बिटस्ट्रीम एसपीएस होता है । एनएएल का यह प्रकार सामान्य एन्कोडिंग चर, जैसे कि प्रोफ़ाइल, स्तर, रिज़ॉल्यूशन और बहुत कुछ की रिपोर्ट करने के लिए जिम्मेदार है।

यदि हम पहले सिंक्रनाइज़ेशन टोकन को छोड़ देते हैं, तो हम यह पता लगाने के लिए पहला बाइट डीकोड कर सकते हैं कि एनएएल किस प्रकार का पहला है।

उदाहरण के लिए, सिंक्रनाइज़ेशन मार्कर के बाद पहला बाइट 01100111 है , जहां पहली बिट ( 0 ) f orbidden_zero_bit क्षेत्र में है। अगले 2 बिट्स ( 11 ) हमें nal_ref_idc फ़ील्ड बताता है , जो इंगित करता है कि यह NAL संदर्भ फ़ील्ड है या नहीं। और शेष 5 बिट्स ( 00111 ) हमें nal_unit_type फ़ील्ड बताता है , इस मामले में यह एक SPS ( 7 ) NAL ब्लॉक है।

एसपीएस एनएएल में दूसरा बाइट ( बाइनरी = 01100100 , हेक्स = 0x64 , डीईसी = 100 ) प्रोफाइल_डेक फ़ील्ड है , जो उस प्रोफ़ाइल को दिखाता है जो एनकोडर का उपयोग करता है। इस मामले में, एक सीमित उच्च प्रोफ़ाइल का उपयोग किया गया था (यानी एक द्वि-दिशात्मक बी-सेगमेंट के लिए समर्थन के बिना एक उच्च प्रोफ़ाइल)।



यदि हम एसपीएस एनएएल के लिए H.264 बिटस्ट्रीम के विनिर्देश के साथ खुद को परिचित करते हैं, तो हम पैरामीटर नाम, श्रेणी और विवरण के लिए कई मान पाएंगे। उदाहरण के लिए, हम pic_width_in_mbs_minus_1 और pic_height_in_map_units_minus_1 फ़ील्ड देखें ।यदि हम इन क्षेत्रों के मूल्यों के साथ कुछ गणितीय कार्य करते हैं, तो हमें अनुमति मिलती है। आप 119 ((119 + 1) * macroblock_size = 120 * 16 = 1920) के मान के साथ pic_width_in_mbs_minus_1 का उपयोग करके 1920 x 1080 की कल्पना कर सकते हैं। फिर से, अंतरिक्ष की बचत, 1920 की कोडिंग के बजाय उन्होंने 119 के साथ ऐसा किया।

यदि हम अपने बनाए गए वीडियो को बाइनरी रूप में जांचना जारी रखते हैं (उदाहरण के लिए: xxd -b -c 11 v / minimal_yuv420.h264 ), तो हम अंतिम NAL पर जा सकते हैं, जो कि फ्रेम ही है।



यहाँ हम इसके पहले 6 बाइट मान देखें: 01100101 10001000 10000100 00000000 00100001 11111111 । चूंकि यह ज्ञात है कि पहला बाइट एनएएल के प्रकार को इंगित करता है, इस मामले में ( 00101 ) यह एक आईडीआर टुकड़ा (5) है, और फिर इसे आगे अध्ययन करना संभव होगा:



विनिर्देश जानकारी का उपयोग करना, अन्य महत्वपूर्ण क्षेत्रों के बीच टुकड़ा प्रकार ( स्लाइस_टाइप ) और फ्रेम नंबर ( फ्रेम_एनम ) को डीकोड करना संभव होगा।

कुछ क्षेत्रों ( ue ( v ), me ( v ), se ( v ) या te ( v )) के मान प्राप्त करने के लिए, हमें घातांक Golomb कोड के आधार पर एक विशेष डिकोडर का उपयोग करके टुकड़े को डीकोड करना होगा। चर मान एन्कोडिंग के लिए यह विधि बहुत प्रभावी है, खासकर जब कई डिफ़ॉल्ट मान हैं।

इस वीडियो के स्लाइस_टाइप और फ्रेम_एनम मान 7 ( I- टुकड़ा) और 0 (पहला फ्रेम) हैं।

बिटस्ट्रीम को एक प्रोटोकॉल माना जा सकता है। यदि आप बिटस्ट्रीम के बारे में अधिक जानना चाहते हैं, तो आपको ITU H.264 विनिर्देशन का संदर्भ देना चाहिए। यहां एक मैक्रो दिखा रहा है जहां छवि डेटा है (संकुचित रूप में YUV )।



आप अन्य बिटस्ट्रीम, जैसे VP9 , H.265 ( HEVC ), या यहां तक ​​कि हमारे नए सर्वश्रेष्ठ AV1 बिटस्ट्रीम का पता लगा सकते हैं। क्या वे सभी एक जैसे हैं? नहीं, लेकिन कम से कम एक से निपटना बाकी लोगों को समझना बहुत आसान है।

अभ्यास करना चाहते हैं? H.264 बिटस्ट्रीम का अन्वेषण करें

आप एकल-फ़्रेम वीडियो उत्पन्न कर सकते हैं और H.264 बिटस्ट्रीम की जांच करने के लिए MediaInfo का उपयोग कर सकते हैं। वास्तव में, H.264 ( AVC ) बिटस्ट्रीम का विश्लेषण करने वाले स्रोत कोड को देखने से भी कुछ भी नहीं रोकता है।



अभ्यास के लिए, आप इंटेल वीडियो प्रो एनालाइज़र का उपयोग कर सकते हैं (मैंने पहले ही कहा था कि कार्यक्रम का भुगतान किया गया है, लेकिन 10 फ्रेम की सीमा के साथ एक नि: शुल्क परीक्षण संस्करण है?)।

सिंहावलोकन

ध्यान दें कि कई आधुनिक कोडेक उसी मॉडल का उपयोग करते हैं जो उन्होंने अभी सीखा है। यहाँ, चलो थोर वीडियो कोडेक के ब्लॉक आरेख पर एक नज़र डालें। इसमें हमारे द्वारा उठाए गए सभी कदम शामिल हैं। इस पोस्ट का पूरा बिंदु आपके लिए इस क्षेत्र में नवाचारों और प्रलेखन को कम से कम बेहतर ढंग से समझना है।



पहले, यह अनुमान लगाया गया था कि 720p और 30 एफपीएस गुणवत्ता के साथ एक घंटे तक चलने वाली वीडियो फ़ाइल को संग्रहीत करने के लिए 139 जीबी डिस्क स्थान की आवश्यकता होगी। यदि आप इस आलेख में चर्चा की गई विधियों (अंतर-फ़्रेम और आंतरिक पूर्वानुमान, रूपांतरण, परिमाणीकरण, एन्ट्रॉपी कोडिंग, आदि) का उपयोग करते हैं, तो आप प्राप्त कर सकते हैं (यह मानते हुए कि हम प्रति पिक्सेल 0.031 बिट्स खर्च करते हैं), वीडियो काफी संतोषजनक गुणवत्ता का है, जो लेता है केवल 367.82 एमबी, 139 जीबी मेमोरी नहीं।

H.264 H.264 से बेहतर संपीड़न अनुपात कैसे प्राप्त करता है?

अब जब आप कोडेक्स कैसे काम करते हैं, इसके बारे में अधिक जानते हैं, तो यह समझना आसान है कि नए कोडेक्स कम बिट्स के साथ उच्च रिज़ॉल्यूशन कैसे प्रदान कर सकते हैं।

एवीसी और एचईवीसी की तुलना करते समय, आपको यह नहीं भूलना चाहिए कि यह लगभग हमेशा एक उच्च सीपीयू लोड और संपीड़न अनुपात के बीच एक विकल्प है।

एवीसी की तुलना में एचईवीसी के पास अनुभागों (और उपखंडों) के लिए अधिक विकल्प हैं, आंतरिक पूर्वानुमान के लिए अधिक दिशा-निर्देश, एन्ट्रापी कोडिंग में सुधार, और बहुत कुछ। इन सभी सुधारों ने H.265 को H.264 की तुलना में 50% अधिक संपीड़ित करने में सक्षम बनाया।

---

भाग I: वीडियो और छवि मूल बातें

---

ब्लॉग भी पढ़ें
EDISON कंपनी:

के लिए 20 पुस्तकालय
शानदार iOS आवेदन