उच्च गति लचीला संपीड़न (जारी)

यह आलेख उच्च गति डेटा संपीड़न के विषय में पहले से ही दूसरा है। पहले लेख में 10GB / s की गति से संचालित एक कंप्रेसर का वर्णन किया गया था। प्रति प्रोसेसर कोर (न्यूनतम संपीड़न, आरटीटी-मिन)।

स्टोरेज मीडिया डंप की उच्च गति संपीड़न और क्रिप्टोग्राफी की ताकत बढ़ाने के लिए पहले से ही फोरेंसिक डुप्लिकेटर्स के उपकरण में लागू किया गया यह कंप्रेसर, वर्चुअल मशीन छवियों और रैम स्वैप फ़ाइलों को संपीड़ित करने के लिए भी इस्तेमाल किया जा सकता है, जबकि उन्हें उच्च गति वाले ड्राइव ड्राइव पर संग्रहीत किया जाता है।

पहले लेख में HDD और SSD डिस्क ड्राइव (मध्यम संपीड़न, RTT-Mid) की बैकअप प्रतियों को संपीड़ित करने के लिए एक संपीड़न एल्गोरिदम के विकास की घोषणा की गई थी, जिसमें डेटा सुधार मापदंडों में काफी सुधार हुआ था। आज तक, यह कंप्रेसर पूरी तरह से तैयार है और यह लेख उसके बारे में है।

एक कंप्रेसर जो आरटीटी-मिड एल्गोरिथ्म को लागू करता है, उच्चतर मोड में संचालित, विनर, 7-जिप जैसे मानक अभिलेखों के लिए एक संपीड़न अनुपात प्रदान करता है। इसके अलावा, इसकी गति कम से कम परिमाण का एक आदेश अधिक है।

डेटा की पैकिंग / अनपैकिंग की गति एक महत्वपूर्ण पैरामीटर है जो संपीड़न प्रौद्योगिकियों के दायरे को निर्धारित करता है। यह संभावना नहीं है कि कोई भी डेटा की एक टेराबाइट को 10-15 मेगाबाइट प्रति सेकंड की गति से संकुचित करने के बारे में सोचेगा (यह मानक संपीड़न मोड में अभिलेखागार की गति है), क्योंकि प्रोसेसर को पूरी तरह से लोड करने में लगभग बीस घंटे लगेंगे ...

दूसरी ओर, एक ही टेराबाइट को 2-3 गीगाबाइट प्रति सेकंड के क्रम में लगभग दस मिनट के लिए कॉपी किया जा सकता है।

इसलिए, बड़ी मात्रा की जानकारी का संपीड़न प्रासंगिक है यदि यह वास्तविक इनपुट / आउटपुट की गति से कम नहीं गति से किया जाता है। आधुनिक प्रणालियों के लिए, यह कम से कम 100 मेगाबाइट प्रति सेकंड है।

आधुनिक कंप्रेशर्स केवल "तेज" मोड में ऐसी गति उत्पन्न कर सकते हैं। यह इस वर्तमान मोड में है कि हम पारंपरिक कंप्रेशर्स के साथ आरटीटी-मिड एल्गोरिथ्म की तुलना करेंगे।

नए संपीड़न एल्गोरिदम का तुलनात्मक परीक्षण

RTT- मिड कंप्रेसर एक परीक्षण कार्यक्रम के हिस्से के रूप में काम करता है। एक वास्तविक "वर्किंग" एप्लिकेशन में, यह बहुत तेजी से काम करता है, मल्टीथ्रेडिंग का वहां सही तरीके से उपयोग किया जाता है, और "सामान्य" कंपाइलर का उपयोग किया जाता है, न कि #।

चूंकि तुलनात्मक परीक्षण में उपयोग किए गए कंप्रेशर्स विभिन्न सिद्धांतों पर बनाए गए हैं और विभिन्न प्रकार के डेटा अलग-अलग संपीड़ित हैं, इसलिए परीक्षण की निष्पक्षता के लिए हमने "अस्पताल में औसत तापमान" मापने की विधि का उपयोग किया ...

विंडोज 10 ऑपरेटिंग सिस्टम के साथ एक तार्किक ड्राइव की एक सेक्टर-बाय-सेक्टर डंप फ़ाइल बनाई गई थी; यह वास्तव में प्रत्येक कंप्यूटर पर उपलब्ध विभिन्न डेटा संरचनाओं का सबसे प्राकृतिक मिश्रण है। इस फ़ाइल का संपीड़न आपको आधुनिक अभिलेखागार में उपयोग किए गए सबसे उन्नत कंप्रेशर्स के साथ नए एल्गोरिथ्म की गति और डिग्री की तुलना करने की अनुमति देगा।

यहाँ डंप फ़ाइल है:



डंप फ़ाइल को पीटीटी-मिड, 7-ज़िप, विनर कंप्रेशर्स द्वारा संपीड़ित किया गया था। WinRar कंप्रेसर और 7-ज़िप को अधिकतम गति पर सेट किया गया था।

7-ज़िप कंप्रेसर काम करता है:



यह प्रोसेसर को 100% लोड करता है, जबकि मूल डंप की औसत रीड स्पीड लगभग 60 मेगाबाइट / सेकंड है।

WinRar कंप्रेसर काम करता है:



स्थिति समान है, प्रोसेसर लोड लगभग 100% है, डंप की औसत पढ़ने की गति लगभग 125 मेगाबाइट / सेकंड है।

जैसा कि पिछले मामले में, संग्रहकर्ता की गति प्रोसेसर की क्षमताओं द्वारा सीमित है।

RTT- मध्य कंप्रेसर परीक्षण कार्यक्रम अब काम करता है:



स्क्रीनशॉट से पता चलता है कि प्रोसेसर 50% भरा हुआ है और बाकी समय बेकार है, क्योंकि संपीड़ित डेटा डाउनलोड करने के लिए कहीं नहीं है। डेटा अपलोड डिस्क (डिस्क 0) लगभग पूरी तरह से भरी हुई है। डेटा पढ़ने की गति (डिस्क 1) बहुत कुछ कूदती है, लेकिन औसतन 200 मेगाबाइट / सेकंड से अधिक।

डिस्क 0 में संपीड़ित डेटा लिखने की क्षमता से इस मामले में कंप्रेसर की गति सीमित है।

अब परिणामी अभिलेखागार का संपीड़न अनुपात:







यह देखा जा सकता है कि आरटीटी-मिड कंप्रेसर ने किसी की तुलना में कम्प्रेशन को बेहतर तरीके से संभाला है, इसे बनाया गया आर्काइव WinRar आर्काइव से 1.3 गीगाबाइट छोटा और 2.1 गीगाबाइट 7z आर्काइव से छोटा है।

संग्रह बनाने में बिताया गया समय:

• 7-ज़िप - 26 मिनट 10 सेकंड;
• विनरार - 17 मिनट 40 सेकंड;
• RTT- मिड - 7 मिनट 30 सेकंड।

इस प्रकार, यहां तक ​​कि एक परीक्षण, अनुकूलित कार्यक्रम नहीं, आरटीटी-मिड एल्गोरिथ्म का उपयोग करते हुए, ढाई गुना तेजी से एक संग्रह बनाने में सक्षम था, जबकि संग्रह प्रतियोगियों की तुलना में काफी छोटा निकला ...

जो लोग विश्वास नहीं करते कि स्क्रीनशॉट उनकी सटीकता को स्वयं सत्यापित कर सकते हैं। परीक्षण कार्यक्रम यहां उपलब्ध है , डाउनलोड करें और जांचें।

लेकिन केवल AVX-2 के समर्थन वाले प्रोसेसर पर, इन निर्देशों के समर्थन के बिना, कंप्रेसर काम नहीं करता है, और पुराने AMD प्रोसेसर पर एल्गोरिथ्म का परीक्षण नहीं करता है, वे AVX कमांड को निष्पादित करने के मामले में धीमी हैं ...

संपीड़न विधि का इस्तेमाल किया

एल्गोरिथ्म बाइट दानेदार बनाने में पाठ के अंशों को अनुक्रमित करने की विधि का उपयोग करता है। यह संपीड़न विधि एक लंबे समय के लिए जानी जाती है, लेकिन इसका उपयोग नहीं किया गया है, क्योंकि मैच-खोज ऑपरेशन आवश्यक संसाधनों के मामले में बहुत महंगा था और शब्दकोश बनाने की तुलना में बहुत अधिक समय की आवश्यकता थी। तो RTT- मिड एल्गोरिथ्म "भविष्य में वापस" आंदोलन का एक उत्कृष्ट उदाहरण है ...

पीटीटी कंप्रेसर मैचों को खोजने के लिए एक अद्वितीय उच्च गति स्कैनर का उपयोग करता है, यह वह था जिसने संपीड़न प्रक्रिया में तेजी लाने की अनुमति दी थी। एक स्व-निर्मित स्कैनर, यह "मेरा आकर्षण ...", "इसकी काफी कीमत है, क्योंकि यह पूरी तरह से हस्तनिर्मित है" (असेंबलर में लिखा गया है)।

मैच खोज स्कैनर दो-स्तरीय संभाव्य योजना पर आधारित है, एक मैच के "साइन" की उपस्थिति पहले स्कैन की जाती है, और इस स्थान पर "साइन" का पता चलने के बाद ही एक वास्तविक मैच का पता लगाने की प्रक्रिया शुरू होती है।

मिलान खोज विंडो में एक अप्रत्याशित आकार होता है, जो संसाधित किए जा रहे डेटा ब्लॉक में एन्ट्रापी की डिग्री पर निर्भर करता है। पूरी तरह से यादृच्छिक (असंगत) डेटा के लिए, इसमें मेगाबाइट का आकार होता है, दोहराव वाले डेटा के लिए इसका आकार हमेशा मेगाबाइट से अधिक होता है।

लेकिन कई आधुनिक डेटा प्रारूप अचूक हैं और उन पर एक संसाधन-गहन स्कैनर "ड्राइविंग" बेकार और बेकार है, इसलिए, स्कैनर दो ऑपरेटिंग मोड का उपयोग करता है। सबसे पहले, संभावित पुनरावृत्ति वाले स्रोत पाठ के अनुभागों की खोज की जाती है, यह ऑपरेशन भी संभाव्य विधि द्वारा किया जाता है और बहुत जल्दी (4-6 गीगाबाइट / सेकंड की गति पर) किया जाता है। फिर संभावित मैचों वाले क्षेत्रों को मुख्य स्कैनर द्वारा संसाधित किया जाता है।

सूचकांक संपीड़न बहुत कुशल नहीं है, आपको अनुक्रमणिका के साथ दोहराए जाने वाले टुकड़ों को बदलना होगा, और सूचकांक सरणी संपीड़न अनुपात को काफी कम कर देता है।

संपीड़न अनुपात को बढ़ाने के लिए, न केवल बाइट स्ट्रिंग्स के पूर्ण मैचों को अनुक्रमित किया जाता है, बल्कि आंशिक रूप से तब भी होता है जब स्ट्रिंग में बाइट्स का मिलान और मिलान नहीं होता है। ऐसा करने के लिए, इंडेक्स मास्क फ़ील्ड इंडेक्स प्रारूप में शामिल है, जो दो ब्लॉकों के संयोग बाइट्स को इंगित करता है। अधिक से अधिक संपीड़न के लिए, वर्तमान ब्लॉक पर कई आंशिक रूप से मिलान ब्लॉकों के अतिव्यापी के साथ अनुक्रमण का उपयोग किया जाता है।

इस सभी ने शब्दकोष विधि के अनुसार बनाए गए कंप्रेशर्स के साथ तुलना में पीटीटी-मिड कंप्रेसर में एक संपीड़न अनुपात प्राप्त करना संभव बना दिया, लेकिन बहुत तेजी से काम कर रहा है।

नए संपीड़न एल्गोरिथ्म की गति

यदि कंप्रेसर मेमोरी कैश के अनन्य उपयोग के साथ काम करता है (प्रति स्ट्रीम 4 मेगाबाइट आवश्यक हैं), तो गति 700-2000 मेगाबाइट / सेकंड से भिन्न होती है। प्रति प्रोसेसर कोर, डेटा के प्रकार पर निर्भर करता है संकुचित और थोड़ा प्रोसेसर की परिचालन आवृत्ति पर निर्भर करता है।

कंप्रेसर के बहु-थ्रेडेड कार्यान्वयन के साथ, तीसरे स्तर के कैश मेमोरी की मात्रा द्वारा प्रभावी मापनीयता निर्धारित की जाती है। उदाहरण के लिए, कैश मेमोरी के 9 मेगाबाइट पर "बोर्ड पर" होने से, दो से अधिक संपीड़न धाराओं को चलाने का कोई मतलब नहीं है, गति इससे नहीं बढ़ेगी। लेकिन 20 मेगाबाइट के कैश के साथ, आप पहले से ही पांच संपीड़न स्ट्रीम चला सकते हैं।

इसके अलावा, रैम की विलंबता कंप्रेसर की गति का निर्धारण करने वाला एक आवश्यक पैरामीटर बन जाता है। एल्गोरिथ्म ओपी में यादृच्छिक अभिगम का उपयोग करता है, जिनमें से कुछ कैश मेमोरी (लगभग 10%) में नहीं आते हैं और इसे बेकार खड़ा करना पड़ता है, ओपी से डेटा की प्रतीक्षा में, जो काम की गति को कम करता है।

महत्वपूर्ण रूप से कंप्रेसर की गति और डेटा इनपुट / आउटपुट सिस्टम के संचालन को प्रभावित करता है। सीपीयू से आई / ओ ब्लॉक डेटा अनुरोधों से ओपी के लिए अनुरोध, जो संपीड़न दर को भी कम करता है। यह समस्या लैपटॉप और डेस्कटॉप के लिए महत्वपूर्ण है, सर्वर के लिए यह सिस्टम बस और मल्टी-चैनल रैम के लिए अधिक उन्नत एक्सेस कंट्रोल यूनिट के कारण कम महत्वपूर्ण है।

पाठ में हर जगह, लेख संपीड़न को संदर्भित करता है, विघटन इस लेख के दायरे से परे है क्योंकि वहां सब कुछ चॉकलेट में है। अपघटन बहुत तेज है और I / O गति द्वारा सीमित है। एक धागे में एक भौतिक कोर शांति से 3-4 गीगाबाइट / सेकंड के स्तर पर विघटन गति प्रदान करता है।

यह अनपैकिंग प्रक्रिया के दौरान एक मिलान-खोज संचालन की अनुपस्थिति के कारण है, जो संपीड़न के दौरान मुख्य प्रोसेसर और कैश संसाधनों को "खाती है"।

संपीड़ित डेटा का विश्वसनीय भंडारण

जैसा कि डेटा कंप्रेशन (अभिलेखागार) का उपयोग करते हुए सॉफ्टवेयर उपकरणों के पूरे वर्ग का नाम है, वे सूचनाओं के दीर्घकालिक भंडारण के लिए डिज़ाइन किए गए हैं, न कि वर्षों के लिए, बल्कि सदियों और सहस्राब्दियों के लिए ...

भंडारण के दौरान, भंडारण मीडिया कुछ डेटा खो देता है, यहाँ एक उदाहरण है:



यह "एनालॉग" भंडारण माध्यम एक हजार साल पुराना है, कुछ टुकड़े खो गए हैं, लेकिन सामान्य तौर पर जानकारी "पठनीय" है ...

उनके लिए आधुनिक डिजिटल स्टोरेज सिस्टम और डिजिटल मीडिया के जिम्मेदार निर्माताओं में से कोई भी 75 से अधिक वर्षों के लिए पूर्ण डेटा सुरक्षा की गारंटी नहीं देता है।
और यह एक समस्या है, लेकिन समस्या स्थगित है, हमारे वंशज इसे हल करेंगे ...

डिजिटल डेटा स्टोरेज सिस्टम 75 साल के बाद न केवल डेटा खो सकता है, डेटा त्रुटियां किसी भी समय दिखाई दे सकती हैं, यहां तक ​​कि उनकी रिकॉर्डिंग के दौरान, वे अतिरेक और त्रुटि सुधार प्रणालियों का उपयोग करके इन विकृतियों को कम करने का प्रयास करते हैं। अतिरेक और सुधार प्रणाली हमेशा खोई हुई जानकारी को पुनर्स्थापित नहीं कर सकती है, और यदि उन्हें पुनर्स्थापित किया जाता है, तो इस बात की कोई गारंटी नहीं है कि रिकवरी ऑपरेशन सही था।

और यह भी एक बड़ी समस्या है, लेकिन देरी से नहीं, बल्कि वर्तमान में।

डिजिटल डेटा संग्रह करने के लिए उपयोग किए जाने वाले आधुनिक कंप्रेशर्स शब्दकोष विधि के विभिन्न संशोधनों पर बनाए गए हैं, और इस तरह के अभिलेखागार के लिए जानकारी के एक टुकड़े का नुकसान एक घातक घटना होगी, ऐसी स्थिति के लिए एक स्थापित शब्द भी है - एक "टूटा हुआ" संग्रह ...

शब्दकोश संपीड़न के साथ अभिलेखागार में सूचना भंडारण की कम विश्वसनीयता संपीड़ित डेटा की संरचना से जुड़ी है। इस तरह के संग्रह की जानकारी में स्रोत पाठ शामिल नहीं है, शब्दकोश में प्रविष्टियों की संख्या वहां संग्रहीत की जाती है, शब्दकोष को गतिशील रूप से वर्तमान संपीड़ित पाठ द्वारा संशोधित किया जाता है। यदि संग्रह का एक टुकड़ा खो जाता है या विकृत हो जाता है, तो बाद की सभी संग्रह प्रविष्टियों को सामग्री या शब्दकोश में प्रविष्टियों की लंबाई से पहचाना नहीं जा सकता है, क्योंकि यह स्पष्ट नहीं है कि शब्दकोश प्रविष्टि की संख्या किससे मेल खाती है।

इस तरह के "टूटे" संग्रह से जानकारी को पुनर्प्राप्त करना असंभव है।

RTT एल्गोरिथ्म संपीड़ित डेटा को संग्रहीत करने के अधिक विश्वसनीय तरीके पर आधारित है। यह खंडों को दोहराने के लिए लेखांकन की सूचकांक विधि का उपयोग करता है। संपीड़न के लिए इस तरह का दृष्टिकोण माध्यम पर जानकारी के विरूपण के परिणामों को कम करने की अनुमति देता है, और कई मामलों में, सूचना के भंडारण के दौरान उत्पन्न होने वाली विकृतियों को स्वचालित रूप से सही करता है।
यह इस तथ्य के कारण है कि सूचकांक संपीड़न के मामले में संग्रह फ़ाइल में दो फ़ील्ड हैं:

• स्रोत पाठ फ़ील्ड को दोहराने वाले खंडों से हटा दिया गया है;
• सूचकांक क्षेत्र।

डेटा रिकवरी के लिए महत्वपूर्ण इंडेक्स फ़ील्ड आकार में बड़ी नहीं है और इसे विश्वसनीय डेटा स्टोरेज के लिए डुप्लिकेट किया जा सकता है। इसलिए, यहां तक ​​कि अगर स्रोत पाठ या सूचकांक सरणी का एक टुकड़ा खो जाता है, तो अन्य सभी जानकारी समस्याओं के बिना बहाल हो जाएगी, जैसा कि "एनालॉग" सूचना वाहक के साथ तस्वीर में है।

एल्गोरिथ्म कमियों

फायदे नुकसान के बिना मौजूद नहीं हैं। इंडेक्स कम्प्रेशन विधि दोहराए गए छोटे अनुक्रमों को संपीड़ित नहीं करती है। यह सूचकांक विधि की सीमाओं के कारण है। इंडेक्स आकार में कम से कम 3 बाइट्स हैं और आकार में 12 बाइट्स तक हो सकते हैं। यदि एक दोहराव सूचकांक का वर्णन करने वाले छोटे आकार के साथ होता है, तो इसे ध्यान में नहीं रखा जाता है, हालांकि अक्सर इस तरह के दोहराव का पता एक संपीड़ित फ़ाइल में लगाया जाता है।

पारंपरिक, शब्दावली संपीड़न विधि प्रभावी ढंग से कई छोटे दोहराव को संपीड़ित करती है और इसलिए सूचकांक संपीड़न की तुलना में उच्च संपीड़न अनुपात प्राप्त करती है। सच है, यह केंद्रीय प्रोसेसर के उच्च कार्यभार के कारण हासिल किया जाता है, ताकि शब्दावली विधि सूचकांक विधि की तुलना में अधिक कुशलता से डेटा को संपीड़ित करना शुरू कर दे, इसके लिए पूर्ण सीपीयू उपयोग के साथ वास्तविक कंप्यूटिंग इंस्टॉलेशन पर डेटा प्रोसेसिंग की गति को 10-20 मेगाबाइट प्रति सेकंड तक कम करना होगा।

इस तरह की कम गति आधुनिक डेटा भंडारण प्रणालियों के लिए अस्वीकार्य है और व्यावहारिक से अधिक "अकादमिक" रुचि के हैं।

पीटीटी एल्गोरिथ्म (आरटीटी-मैक्स) के अगले संशोधन में सूचना संपीड़न की डिग्री में काफी वृद्धि होगी, यह पहले से ही विकास में है।

तो, हमेशा की तरह, जारी रखने के लिए ...