पहला मशीन-लर्निंग वीडियो कोडेक नाटकीय रूप से H.265 और VP9 सहित सभी मौजूदा कोडेक्स से आगे निकल गया

लगभग एक ही BPP मान (पिक्सेल प्रति बिट) के साथ अलग-अलग कोडेक्स द्वारा संकुचित एक वीडियो टुकड़े के पुनर्निर्माण के उदाहरण हैं। तुलनात्मक परीक्षा परिणाम बिल्ली के नीचे देखते हैं

वेवऑन के शोधकर्ता वीडियो संपीड़न में एक क्रांति के करीब होने का दावा करते हैं । हाई-डेफिनिशन 1080p वीडियो को संसाधित करते समय, उनका नया मशीन-लर्निंग कोडेक वीडियो को H.265 और VP9 जैसे सबसे आधुनिक पारंपरिक वीडियो कोडेक्स की तुलना में लगभग 20% बेहतर बनाता है। और एक "मानक परिभाषा" वीडियो (एसडी / वीजीए, 640 × 480) में, अंतर 60% तक पहुंच जाता है।

वैज्ञानिक लेख के लेखक अपने लेख की शुरूआत में लिखते हैं कि डेवलपर्स वर्तमान वीडियो संपीड़न विधियों को कॉल करते हैं, जो एच .265 और वीपी 9 में लागू होते हैं, "प्राचीन" आधुनिक तकनीकों के मानकों के अनुसार: "पिछले 20 वर्षों में, मौजूदा वीडियो संपीड़न एल्गोरिदम की नींव में काफी बदलाव नहीं हुआ है।" "हालांकि वे बहुत अच्छी तरह से डिज़ाइन किए गए हैं और ध्यान से देखते हैं, वे हार्ड-कोडेड रहते हैं और जैसे कि बढ़ती मांग और वीडियो सामग्री के लिए अनुप्रयोगों की बढ़ती रेंज के अनुकूल नहीं हो सकते हैं, जिसमें सोशल मीडिया में एक्सचेंज, ऑब्जेक्ट डिटेक्शन, वर्चुअल रियलिटी स्ट्रीमिंग और इतने पर शामिल हैं।"

मशीन लर्निंग के उपयोग को आखिरकार 21 वीं सदी में वीडियो कम्प्रेशन तकनीक लाना चाहिए। नया संपीड़न एल्गोरिथ्म मौजूदा वीडियो कोडेक्स से काफी बेहतर है। "जहां तक ​​हम जानते हैं, यह पहली मशीन सीखने की विधि है जिसने ऐसा परिणाम दिखाया है," वे कहते हैं।

वीडियो संपीड़न का मुख्य विचार अनावश्यक डेटा को हटाने और इसे एक छोटे विवरण के साथ बदलना है जो आपको बाद में वीडियो चलाने की अनुमति देता है। अधिकांश वीडियो संपीड़न दो चरणों में होते हैं।

पहला चरण गति संपीड़न है, जब कोडेक चलती वस्तुओं की खोज करता है और भविष्यवाणी करने की कोशिश करता है कि वे अगले फ्रेम में कहां होंगे। फिर, इस मूविंग ऑब्जेक्ट से जुड़े पिक्सल को रिकॉर्ड करने के बजाय, प्रत्येक फ्रेम में, एल्गोरिथ्म केवल गति की दिशा के साथ ऑब्जेक्ट के आकार को एन्कोड करता है। वास्तव में, कुछ एल्गोरिदम भविष्य के फ्रेम को देखते हुए आंदोलन को और भी सटीक रूप से निर्धारित करते हैं, हालांकि यह स्पष्ट रूप से लाइव प्रसारण के लिए काम नहीं करेगा।

दूसरा संपीड़न कदम एक फ्रेम और अगले के बीच अन्य अतिरेक को हटा देता है। इस प्रकार, नीले आकाश में प्रत्येक पिक्सेल के रंग को रिकॉर्ड करने के बजाय, संपीड़न एल्गोरिदम इस रंग के क्षेत्र को निर्धारित कर सकता है और संकेत दे सकता है कि यह अगले कुछ फ़्रेमों में नहीं बदलता है। इस प्रकार, ये पिक्सेल तब तक एक ही रंग के बने रहते हैं जब तक कि उन्हें बदल न दिया जाए। इसे अवशिष्ट संपीड़न कहा जाता है।

वैज्ञानिकों ने जो नया दृष्टिकोण पेश किया है, वह इन दोनों संपीड़न विधियों में सुधार करने के लिए पहली बार मशीन लर्निंग का उपयोग करता है। इसलिए, आंदोलन को संपीड़ित करते समय, टीम के मशीन सीखने के तरीकों में आंदोलन के आधार पर नए अतिरेक पाए गए, जो पारंपरिक कोडेक्स कभी भी पता लगाने में सक्षम नहीं हुए हैं, बहुत कम उपयोग। उदाहरण के लिए, किसी व्यक्ति के सिर को एक ललाट दृश्य से किसी प्रोफ़ाइल में बदलना हमेशा एक समान परिणाम देता है: "पारंपरिक कोडेक्स एक ललाट दृश्य के आधार पर किसी व्यक्ति के प्रोफ़ाइल का अनुमान नहीं लगा सकते हैं," वैज्ञानिक पेपर लिखते हैं। इसके विपरीत, नए कोडेक इन प्रकार के स्पैटो-टेम्पोरल पैटर्न का अध्ययन करते हैं और भविष्य के फ्रेम की भविष्यवाणी करने के लिए उनका उपयोग करते हैं।

एक अन्य समस्या गति और अवशिष्ट संपीड़न के बीच उपलब्ध बैंडविड्थ का आवंटन है। कुछ दृश्यों में, गति संपीड़न अधिक महत्वपूर्ण है, जबकि अन्य में, अवशिष्ट संपीड़न सबसे बड़ा लाभ प्रदान करता है। उनके बीच इष्टतम समझौता फ्रेम से फ्रेम में भिन्न होता है।

पारंपरिक एल्गोरिदम दोनों प्रक्रियाओं को एक दूसरे से अलग करते हैं। इसका मतलब है कि एक या दूसरे को लाभ देने और समझौता खोजने का कोई आसान तरीका नहीं है।

लेखक एक ही समय में दोनों संकेतों को संपीड़ित करके इसे दरकिनार करते हैं और, फ्रेम की जटिलता के आधार पर, निर्धारित करते हैं कि दो संकेतों के बीच बैंडविड्थ को सबसे कुशल तरीके से कैसे वितरित किया जाए।

इन और अन्य सुधारों ने शोधकर्ताओं को एक संपीड़न एल्गोरिदम बनाने की अनुमति दी है जो पारंपरिक कोडेक्स (नीचे बेंचमार्क देखें) को पार करता है।


लगभग एक ही BPP मान के साथ अलग-अलग कोडेक द्वारा संपीड़ित एक टुकड़े के पुनर्निर्माण के उदाहरण WaveOne कोडेक का एक महत्वपूर्ण लाभ दिखाते हैं


H.265 ऑप्टिकल स्ट्रीम कार्ड (बाएं) और एक ही बिटरेट पर WaveOne कोडेक (दाएं)

हालांकि, नया दृष्टिकोण कुछ कमियों के बिना नहीं है, एमआईटी टेक्नोलॉजी रिव्यू नोट्स । शायद मुख्य दोष कम कम्प्यूटेशनल दक्षता है, अर्थात, वीडियो को एन्कोडिंग और डिकोड करने के लिए आवश्यक समय। एनवीडिया टेस्ला वी 100 प्लेटफॉर्म और वीजीए-आकार के वीडियो पर, नया डिकोडर प्रति सेकंड लगभग 10 फ्रेम की औसत गति पर काम करता है, और एनकोडर लगभग 2 फ्रेम प्रति सेकंड की गति से करता है। लाइव वीडियो प्रसारण में इस तरह की गति का उपयोग करना असंभव है, और सामग्री के ऑफ़लाइन एन्कोडिंग के साथ, नए एनकोडर में बहुत सीमित गुंजाइश होगी।

इसके अलावा, डिकोडर की गति एक नियमित निजी कंप्यूटर पर इस कोडेक के साथ संकुचित वीडियो देखने के लिए भी पर्याप्त नहीं है। यही है, इन वीडियो को देखने के लिए, यहां तक ​​कि न्यूनतम एसडी गुणवत्ता में, कई ग्राफिक्स त्वरक के साथ एक संपूर्ण कंप्यूटिंग क्लस्टर वर्तमान में आवश्यक है। और एचडी (1080p) गुणवत्ता में वीडियो देखने के लिए, आपको संपूर्ण कंप्यूटर फ़ार्म की आवश्यकता है।

वे भविष्य में ग्राफिक प्रोसेसर की शक्ति में वृद्धि और प्रौद्योगिकी में सुधार के लिए केवल आशा कर सकते हैं: "वर्तमान गति वास्तविक समय में तैनाती के लिए पर्याप्त नहीं है, लेकिन भविष्य के काम में काफी सुधार किया जाना चाहिए," वे लिखते हैं।

मानक

HEVC/H.265, AVC/H.264, VP9 HEVC HM 16.0 . Ffmpeg, — . , . , B- H.264/5 bframes=0, -auto-alt-ref 0 -lag-in-frames 0 . MS-SSIM, , -ssim.

SD HD, . SD- VGA e Consumer Digital Video Library (CDVL). 34 15 650 . HD Xiph 1080p: 22 11 680 . 1080p 1024 ( , 32 ).

:

• MS-SSIM ;
• MS-SSIM ;
• WaveOne ( ).

(SD)


(HD)


WaveOne

. , . . , . G. Toderici, S. M. O’Malley, S. J. Hwang, D. Vincent, D. Minnen, S. Baluja, M. Covell, R. Sukthankar. Variable rate image compression with recurrent neural networks, 2015; G. Toderici, D. Vincent, N. Johnston, S. J. Hwang, D. Minnen, J. Shor, M. Covell. Full resolution image compression with recurrent neural networks, 2016; J. Balle, V. Laparra, E. P. Simoncelli. End-to-end optimized image compression, 2016; N. Johnston, D. Vincent, D. Minnen, M. Covell, S. Singh, T. Chinen, S. J. Hwang, J. Shor, G. Toderici. Improved lossy image compression with priming and spatially adaptive bit rates for recurrent networks, 2017 . , , .

ML- , . . . C.-Y. Wu, N. Singhal, and P. Krahenbuhl. Video compression through image interpolation, ECCV (2018). , . AVC/H.264. , .

« » 16 2018  arXiv.org (arXiv:1811.06981). — (Oren Rippel), (Sanjay Nair), (Carissa Lew), (Steve Branson), (Alexander G. Anderson), (Lubomir Bourdev).

---

Stas911:
Altaisky: . ?
Stas911: . .