हार्ड डिस्क स्थान को बचाने की अजीब विधि के बारे में

एक अन्य उपयोगकर्ता हार्ड डिस्क पर डेटा का एक नया टुकड़ा लिखना चाहता है, लेकिन उसके पास इसके लिए पर्याप्त खाली स्थान नहीं है। मैं कुछ भी हटाना नहीं चाहता, क्योंकि "सब कुछ बहुत महत्वपूर्ण और आवश्यक है।" और हम इसके साथ क्या करेंगे?

उसे ऐसी कोई समस्या नहीं है। जानकारी के टेराबाइट्स हमारे हार्ड ड्राइव पर आराम करते हैं, और इस राशि में कमी नहीं होती है। लेकिन यह कितना अनोखा है? अंत में, सब के बाद, सभी फाइलें एक निश्चित लंबाई के बिट्स के सेट हैं और, सबसे अधिक संभावना है, नया वह पहले से संग्रहीत एक से बहुत अलग नहीं है।

यह स्पष्ट है कि हार्ड डिस्क पर पहले से संग्रहीत जानकारी के लिए खोज करना एक कार्य है, यदि विफलता नहीं है, तो कम से कम एक प्रभावी नहीं है। दूसरी ओर, क्योंकि यदि अंतर छोटा है, तो आप थोड़ा फिट हो सकते हैं ...

टीएल; डीआर - जेपीईजी फाइलों का उपयोग करके डेटा के अनुकूलन की एक अजीब विधि के बारे में बात करने का दूसरा प्रयास, अब और अधिक समझ में आता है।

बिट्स और अंतर के बारे में

यदि हम डेटा के दो पूरी तरह से यादृच्छिक टुकड़े लेते हैं, तो उनमें निहित औसत बिट्स का आधा हिस्सा होता है। वास्तव में, प्रत्येक जोड़ी के लिए संभावित लेआउट ('00, 01, 10, 11 ') में, बिल्कुल आधे में समान मूल्य हैं, यहां सब कुछ सरल है।

लेकिन निश्चित रूप से, अगर हम सिर्फ दो फाइलें लेते हैं और एक को दूसरे के नीचे फिट करते हैं, तो हम उनमें से एक को खो देंगे। यदि हम परिवर्तन रखते हैं, तो हम बस डेल्टा कोडिंग को फिर से मजबूत करेंगे, जो हमारे बिना भी पूरी तरह से मौजूद है, हालांकि इसका उपयोग आमतौर पर एक ही उद्देश्य के लिए नहीं किया जाता है। आप एक छोटे अनुक्रम को एक बड़े में एम्बेड करने का प्रयास कर सकते हैं, लेकिन फिर भी, जब हम हर चीज के साथ उपयोग किया जाता है, तो हम महत्वपूर्ण डेटा सेगमेंट खोने का जोखिम उठाते हैं।

क्या और क्या के बीच अंतर को समाप्त किया जा सकता है? खैर, यह है कि, उपयोगकर्ता द्वारा दर्ज की गई एक नई फ़ाइल केवल बिट्स का एक क्रम है जिसके साथ हम खुद से कुछ भी नहीं कर सकते हैं। फिर आपको बस हार्ड ड्राइव पर ऐसे बिट्स को खोजने की आवश्यकता है ताकि उन्हें अंतर को स्टोर किए बिना बदला जा सके, ताकि आप गंभीर परिणामों के बिना उनके नुकसान से बच सकें। हां, और यह समझ में नहीं आता कि एफएस पर न केवल फ़ाइल को बदलना चाहिए, बल्कि इसके अंदर कुछ कम संवेदनशील जानकारी। लेकिन कौन सा और कैसे?

फिट तरीके

हानिपूर्ण संपीड़ित फ़ाइलें बचाव के लिए आती हैं। इन सभी जेपीईजी, एमपी 3 और अन्य, हालांकि वे हानिपूर्ण संपीड़न हैं, सुरक्षित परिवर्तन के लिए उपलब्ध बिट्स का एक गुच्छा होता है। आप उन्नत तकनीकों का उपयोग कर सकते हैं, कोडिंग के विभिन्न क्षेत्रों में अपने घटकों को सावधानीपूर्वक संशोधित कर सकते हैं। एक पल रुकिए। उन्नत तकनीक ... असंगत संशोधन ... कुछ बिट्स दूसरों के लिए ... हाँ यह लगभग स्टेग्नोग्राफ़ी है !

वास्तव में, एक जानकारी को दूसरे में एम्बेड करना उसके तरीकों से मिलता जुलता है, चाहे जो भी हो। यह मानव इंद्रियों में किए गए परिवर्तनों की अदृश्यता को भी प्रभावित करता है। यह वह जगह है जहां रास्ते मोड़ते हैं - यह एक रहस्य है: हमारा कार्य उपयोगकर्ता की हार्ड ड्राइव में अतिरिक्त जानकारी जोड़ना है, यह केवल उसे चोट पहुंचाएगा। और भूल जाओ।

इसलिए, यद्यपि हम उनका उपयोग कर सकते हैं, हमें कुछ संशोधन करने की आवश्यकता है। और फिर मैं उन्हें मौजूदा तरीकों और सामान्य फ़ाइल प्रारूप के उदाहरण पर बताऊंगा और दिखाऊंगा।

गीदड़ों के बारे में

अगर आप कंप्रेस करते हैं, तो दुनिया में सबसे कम्फर्टेबल है। हम निश्चित रूप से JPEG फ़ाइलों के बारे में बात कर रहे हैं। न केवल इसमें डेटा को एम्बेड करने के लिए एक टन उपकरण और मौजूदा तरीके हैं, यह इस ग्रह पर सबसे लोकप्रिय ग्राफिक प्रारूप है।

फिर भी, कुत्ते के प्रजनन में संलग्न न होने के लिए, आपको इस प्रारूप की फाइलों में अपनी गतिविधि के क्षेत्र को सीमित करने की आवश्यकता है। कोई भी मोनोक्रोम वर्गों को पसंद नहीं करता है जो अत्यधिक संपीड़न के कारण उत्पन्न होते हैं, इसलिए आपको ट्रांसकोडिंग से बचने के लिए खुद को पहले से संपीड़ित फ़ाइल के साथ काम करने के लिए सीमित करने की आवश्यकता होती है। विशेष रूप से, पूर्णांक गुणांक के साथ जो डेटा हानि के लिए जिम्मेदार संचालन के बाद भी रहते हैं - डीसीटी और मात्रा का ठहराव, जो पूरी तरह से एन्कोडिंग योजना पर प्रदर्शित होता है (बॉमन नेशनल लाइब्रेरी के विकी के लिए धन्यवाद):

Jpeg फ़ाइलों के लिए कई संभावित अनुकूलन विधियाँ हैं। दोषरहित अनुकूलन (jpegtran) है, दोषरहित अनुकूलन है, जो वास्तव में अभी भी योगदान देता है, लेकिन वे हमें परेशान नहीं करते हैं। वास्तव में, यदि कोई उपयोगकर्ता मुक्त डिस्क स्थान को बढ़ाने के लिए एक जानकारी को दूसरे में एम्बेड करने के लिए तैयार है, तो वह या तो लंबे समय तक अपनी छवियों को अनुकूलित करता है या गुणवत्ता के नुकसान के डर से ऐसा बिल्कुल भी नहीं करना चाहता है।

F5

ऐसी स्थितियों के तहत, एल्गोरिदम का एक पूरा परिवार उपयुक्त है, जो इस अच्छी प्रस्तुति में पाया जा सकता है। उनमें से सबसे उन्नत एफ 5 एल्गोरिथ्म है, जो एंड्रियास वेस्टफेल्ड द्वारा लिखा गया है, जो चमक घटक के गुणांक के साथ काम कर रहा है, क्योंकि मानव आंख अपने परिवर्तनों के लिए सबसे कम संवेदनशील है। इसके अलावा, वह मैट्रिक्स कोडिंग के आधार पर एक एम्बेडिंग तकनीक का उपयोग करता है, जो एक ही जानकारी की मात्रा को एम्बेड करते समय उनके परिवर्तनों को कम करने की अनुमति देता है, कंटेनर का आकार जितना बड़ा होता है।

परिवर्तन स्वयं कुछ शर्तों (यानी, हमेशा नहीं) के तहत प्रति यूनिट गुणांक के निरपेक्ष मूल्य में कमी के लिए आते हैं, जो हार्ड डिस्क पर डेटा के भंडारण का अनुकूलन करने के लिए F5 का उपयोग करना संभव बनाता है। तथ्य यह है कि इस तरह के परिवर्तन के बाद गुणांक जेपीईजी में मूल्यों के सांख्यिकीय वितरण के कारण हफमैन कोडिंग के बाद कम संख्या में बिट्स पर कब्जा करने की संभावना है, और आरईई का उपयोग करके एन्कोडिंग से नए शून्य को फायदा होगा।

गोपनीयता (पासवर्ड क्रमचय) के लिए जिम्मेदार भाग को समाप्त करने के लिए आवश्यक संशोधनों को कम कर दिया जाता है, जो संसाधनों और निष्पादन के समय को बचाने और एक समय में एक के बजाय कई फ़ाइलों के साथ काम करने के लिए एक तंत्र जोड़ने की अनुमति देता है। अधिक विस्तार से, पाठक को बदलने की प्रक्रिया दिलचस्प होने की संभावना नहीं है, इसलिए हम कार्यान्वयन के विवरण की ओर मुड़ते हैं।

उच्च तकनीक

इस दृष्टिकोण के काम को प्रदर्शित करने के लिए, मैंने शुद्ध सी में विधि को लागू किया और गति और स्मृति दोनों के संदर्भ में कई अनुकूलन किए (आप कल्पना नहीं कर सकते कि डीसीटी से पहले भी ये चित्र बिना संपीड़न के कितना वजन करते हैं)। क्रॉस-प्लेटफ़ॉर्म प्रदर्शन लिबजप्रेस , पीसीआर और टिनिडिर पुस्तकालयों के संयोजन का उपयोग करके प्राप्त किया जाता है, जिसके लिए मैं उन्हें धन्यवाद देता हूं। यह सब मेक द्वारा किया जा रहा है, इसलिए विंडोज उपयोगकर्ता मूल्यांकन के लिए कुछ सिगविन स्थापित करना चाहते हैं, या विज़ुअल स्टूडियो और पुस्तकालयों के साथ अपने दम पर निपटना चाहते हैं।

कार्यान्वयन कंसोल उपयोगिता और लाइब्रेरी के रूप में उपलब्ध है। बाद का उपयोग करने के बारे में अधिक जानकारी जीथब पर रिपॉजिटरी में रीडमी में पाई जा सकती है, एक लिंक जिसे मैं पोस्ट के अंत में संलग्न करूंगा।

कैसे करें इस्तेमाल?

सावधानी के साथ। पैकेजिंग के लिए उपयोग की जाने वाली छवियां निर्दिष्ट रूट निर्देशिका में नियमित अभिव्यक्ति खोज द्वारा चुनी जाती हैं। फ़ाइल के अंत में, आप इसे स्थानांतरित कर सकते हैं, नाम बदल सकते हैं और इसे वांछित के रूप में कॉपी कर सकते हैं, फ़ाइल और ऑपरेटिंग सिस्टम को बदल सकते हैं, आदि। हालांकि, आपको बेहद सावधान रहना चाहिए और तत्काल सामग्री को नहीं बदलना चाहिए। एक बिट के मूल्य का नुकसान जानकारी को पुनर्स्थापित करने में असमर्थता का कारण बन सकता है।

काम पूरा होने पर, उपयोगिता एक विशेष संग्रह फ़ाइल को छोड़ देती है जिसमें अनपैकिंग के लिए आवश्यक सभी जानकारी होती है, जिसमें उपयोग की गई छवियों पर डेटा भी शामिल है। अपने आप में, यह कुछ किलोबाइट के आदेश पर वजन करता है और कब्जा किए गए डिस्क स्थान पर कोई महत्वपूर्ण प्रभाव नहीं डालता है।

आप '-a' ध्वज: './f5ar -a [खोज फ़ोल्डर] [पर्ल-संगत नियमित अभिव्यक्ति]' का उपयोग करके संभावित क्षमता का विश्लेषण कर सकते हैं। पैकेजिंग कमांड '' ./f5ar -p [खोज फ़ोल्डर] [पर्ल-संगत नियमित अभिव्यक्ति] [पैक फ़ाइल] [संग्रह नाम] ', और' ./f5ar -u [संग्रह फ़ाइल] [बहाल फ़ाइल का नाम] 'के साथ किया जाता है। ।

कार्य प्रदर्शन

विधि की प्रभावशीलता दिखाने के लिए, मैंने Unsplash सेवा से कुत्तों की 225 बिल्कुल मुफ्त तस्वीरों का एक संग्रह डाउनलोड किया और नट प्रोग्रामिंग आर्ट के दूसरे खंड के दस्तावेजों में 45 मीटर तक एक बड़े पीडीएफ को खोदा।

अनुक्रम बहुत सरल है:

$ du -sh knuth.pdf dogs/ 44M knuth.pdf 633M dogs/ $ ./f5ar -p dogs/ .*jpg knuth.pdf dogs.f5ar Reading compressing file... ok Initializing the archive... ok Analysing library capacity... done in 17.0s Detected somewhat guaranteed capacity of 48439359 bytes Detected possible capacity of upto 102618787 bytes Compressing... done in 39.4s Saving the archive... ok $ ./f5ar -u dogs/dogs.f5ar knuth_unpacked.pdf Initializing the archive... ok Reading the archive file... ok Filling the archive with files... done in 1.4s Decompressing... done in 21.0s Writing extracted data... ok $ sha1sum knuth.pdf knuth_unpacked.pdf 5bd1f496d2e45e382f33959eae5ab15da12cd666 knuth.pdf 5bd1f496d2e45e382f33959eae5ab15da12cd666 knuth_unpacked.pdf $ du -sh dogs/ 551M dogs/ 

जैसा कि आप देख सकते हैं, हार्ड ड्राइव पर मूल 633 + 36 == 669 मेगाबाइट डेटा से, हम एक अधिक सुखद 551 में आए। इस मौलिक अंतर को गुणांक मूल्यों में कमी से समझाया गया है, जो बिना किसी नुकसान के उनके बाद के संपीड़न को प्रभावित करते हैं: "केवल एक-एक करके की कमी शांति से हो सकती है" कट "परिणामस्वरूप फ़ाइल से कुछ बाइट्स। हालाँकि, यह अभी भी डेटा हानि है, यद्यपि यह बहुत छोटा है, जिसे आपको पूरा करना है।

सौभाग्य से, वे पूरी तरह से आंख से दिखाई नहीं देते हैं। स्पॉइलर के तहत (क्योंकि हेब्रस्टेजेज बड़ी फ़ाइलों को संभाल नहीं सकता है), पाठक आंख और उनकी तीव्रता दोनों के अंतर का मूल्यांकन कर सकता है, जो मूल से परिवर्तित घटक के मूल्यों को घटाकर प्राप्त किया जाता है: मूल , अंदर की जानकारी के साथ , अंतर (डिमर रंग, ब्लॉक में छोटा अंतर) )।

एक निष्कर्ष के बजाय

इन सभी कठिनाइयों को देखते हुए, हार्ड ड्राइव खरीदना या क्लाउड पर सब कुछ अपलोड करना समस्या का बहुत सरल समाधान की तरह लग सकता है। लेकिन भले ही अब हम इतने शानदार समय में रहते हैं, लेकिन इस बात की कोई गारंटी नहीं है कि कल भी ऑनलाइन जाना संभव होगा और सभी अतिरिक्त डेटा कहीं अपलोड किए जाएंगे। या दुकान पर आकर खुद एक और हजार टेराबाइट हार्ड ड्राइव खरीद लें। लेकिन आप हमेशा पहले से ही पड़े हुए घरों का उपयोग कर सकते हैं।

-> जीथूब