हैशगेट एक निशुल्क, ओपेरा-आधारित डुप्लीकेटर है - जो एक अभिलेखागार के समान एक उपयोगिता है, जो बैकअप के आकार को काफी कम कर सकता है, साथ ही वृद्धिशील और अंतर बैकअप योजनाओं को व्यवस्थित कर सकता है।

यह सुविधाओं का वर्णन करने के लिए एक समीक्षा लेख है। हैशगेट का उपयोग स्वयं (काफी सरल) परियोजना की README और विकी प्रलेखन में वर्णित है।

तुलना

शैली के नियम के अनुसार, मैं सीधे साज़िश से शुरू करूँगा - परिणामों की तुलना करना:

एक आदर्श और प्रभावी बैकअप की पृष्ठभूमि क्या होनी चाहिए

हर बार जब मैंने एक ताज़ा बनाई गई वर्चुअल मशीन का बैकअप बनाया, तो मुझे यह अहसास हुआ कि मैं कुछ गलत कर रहा हूँ। मुझे उस सिस्टम से एक वज़नदार बैकअप क्यों मिलता है जहाँ "अनमोल दुनिया" पाठ के साथ मेरी अनमोल अनमोल रचनात्मकता एक एकल-पंक्ति index.html है?

मेरे बैकअप में 16 मेगाबाइट / usr / sbin / mysqld क्यों है? क्या यह वास्तव में इस दुनिया में है कि मुझे इस महत्वपूर्ण फ़ाइल को संग्रहीत करने का सम्मान है, और अगर मैं ऐसा नहीं कर सकता, तो यह मानवता के लिए खो जाएगा? सबसे अधिक संभावना नहीं है। इसे अत्यधिक विश्वसनीय डेबियन सर्वरों पर संग्रहीत किया जाता है (विश्वसनीयता और निरंतरता जिनकी तुलना मैं जो कुछ भी प्रदान कर सकता हूं) के साथ नहीं की जा सकती है, साथ ही साथ अन्य प्रतियों की बैकअप प्रतियों (उनमें से लाखों) में भी की जा सकती है। क्या वास्तव में विश्वसनीयता बढ़ाने के लिए हमें इस महत्वपूर्ण फ़ाइल की १०,०००,००० + १ प्रति बनाने की आवश्यकता है?

सामान्य तौर पर, हैशगेट इस समस्या को हल करता है। पैकिंग करते समय - यह एक बहुत छोटा बैकअप बनाता है। जब अनपैकिंग - पूरी तरह से अनपैक्ड सिस्टम, उसी के समान जो tar -c / tar -x साथ होगा। (दूसरे शब्दों में, यह दोषरहित पैकेजिंग है)

कैसे काम करता है?

हैशट में पैकेज और हैशपैकेज की अवधारणाएं हैं, उनकी मदद से यह समर्पण करता है।

पैकेज (पैकेज)। एक फ़ाइल (आमतौर पर .deb या .tar.gz आर्काइव) जो नेटवर्क से विश्वसनीय रूप से डाउनलोड की जा सकती है और जिसमें से एक या अधिक फाइलें प्राप्त की जा सकती हैं।

HashPackage पैकेज का प्रतिनिधित्व करने वाली एक छोटी JSON फ़ाइल है, जिसमें पैकेज URL और उसमें से हैश राशि (sha256) शामिल हैं। उदाहरण के लिए, 5 मेगाबाइट आकार के मारीडब-सर्वर-कोर पैकेज के लिए, हैशपेज का आकार केवल 6 किलोबाइट है। लगभग एक हजार गुना छोटा।

डेडुप्लीकेशन - डुप्लिकेट फ़ाइलों के बिना एक आर्काइव बनाना (यदि डुप्लीकेटर जानता है कि मूल पैकेज कहाँ से डाउनलोड किया जा सकता है, तो यह संग्रह से डुप्लिकेट को कम कर देता है)।

रैपिंग

पैकिंग करते समय, पैक्ड डायरेक्टरी की सभी फाइलों को देखा जाता है, उनके हैश सोम्स पर विचार किया जाता है, और यदि राशि ज्ञात हैशपैक में से किसी एक में पाई जाती है, तो फ़ाइल मेटाडेटा (नाम, हैश, अनुमतियां, आदि) एक विशेष फ़ाइल में सहेजा जाता है। भी संग्रह में शामिल किया जाएगा।

सबसे सरल मामले में पैकेजिंग टार की तुलना में अधिक जटिल नहीं है:

 hashget -zf /tmp/mybackup.tar.gz --pack /path/to/data 

unpacking

अनपैकिंग दो चरणों में की जाती है। सबसे पहले, सामान्य टार अनपैकिंग:

 tar -xf mybackup.tar.gz -C /path/to/data 

फिर नेटवर्क से पुनर्स्थापित करें:

 hashget -u /path/to/data 

ठीक होने पर, हैशटैग .hashget-Restore.json फ़ाइल को पढ़ता है, आवश्यक पैकेजों को डाउनलोड करता है, उन्हें अनपैक करता है, और आवश्यक फ़ाइलों को निकालता है, उन्हें आवश्यक रास्तों में सेट करता है, आवश्यक स्वामी / समूह / अनुमतियों के साथ।

अधिक जटिल चीजें

ऊपर वर्णित है जो उन लोगों के लिए पहले से ही पर्याप्त है जो "टार के रूप में चाहते हैं, लेकिन मेरे डेबियन को 4 मेगाबाइट में पैक करने के लिए।" आगे हम और अधिक कठिन चीजों पर ध्यान देंगे।

अनुक्रमण

अगर कोई हैशटैग में एक भी HashPackage नहीं है, तो यह बस कुछ भी नहीं काट सकता है।

आप मैन्युअल रूप से एक HashPackage भी बना सकते हैं (बस: hashget --submit https://wordpress.org/wordpress-5.1.1.zip -p my ), लेकिन अधिक सुविधाजनक तरीका है।

आपको जिस हैशपेज की आवश्यकता होती है, उसे अनुक्रमित करने के लिए एक स्टेपिंग चरण होता है (यह स्वचालित रूप से तब किया जाता है जब - --pack कमांड का --pack ) और --pack । अनुक्रमण करते समय, हैशटैग "फीड" को सभी मौजूदा हुरिस्टिक्स में पाया जाता है जो इसमें रुचि रखते हैं। हेराटिक्स तब हैशपैक बनाने के लिए किसी भी पैकेज को अनुक्रमित कर सकते हैं।

उदाहरण के लिए, एक डेबियन हेयुरिस्टिक फ़ाइल / var / lib / dpkg / स्टेटस को प्यार करता है और स्थापित डेबियन पैकेजों का पता लगाता है, और यदि वे अनुक्रमित नहीं हैं (उनके लिए HashPackage नहीं बनाया गया है), डाउनलोड और उन्हें अनुक्रमित करता है। परिणाम एक बहुत ही सुखद प्रभाव है - हैशटैग हमेशा प्रभावी ढंग से डेबियन ओएस को काट देगा, भले ही उनके पास नवीनतम पैकेज हों।

संकेत फ़ाइलें

यदि आपका नेटवर्क किसी प्रकार के मालिकाना पैकेज या सार्वजनिक पैकेज का उपयोग करता है, जो हैशटैग हेयूरिस्टिक्स में शामिल नहीं है, तो आप एक साधारण हैशटैग hint.json संकेत फ़ाइल को इसमें निम्नानुसार जोड़ सकते हैं:

 { "project": "wordpress.org", "url": "https://ru.wordpress.org/wordpress-5.1.1-ru_RU.zip" } 

इसके अलावा, हर बार जब आर्काइव बनाया जाता है, तो पैकेज को अनुक्रमित किया जाएगा (यदि पहले नहीं), और पैकेज फ़ाइलों को संग्रह से काट दिया जाएगा। कोई प्रोग्रामिंग की जरूरत नहीं है, सब कुछ विम से किया जा सकता है और हर बैकअप में बचाया जा सकता है। ध्यान दें कि हैश के माध्यम से दृष्टिकोण के लिए धन्यवाद, अगर पैकेज से कुछ फ़ाइलों को स्थानीय रूप से बदल दिया जाता है (उदाहरण के लिए, कॉन्फ़िगरेशन फ़ाइल बदल जाती है), तो परिवर्तित फ़ाइलों को "जैसा है" संग्रह में सहेजा जाएगा और कम नहीं किया जाएगा।

यदि आपके कुछ पैकेज समय-समय पर अपडेट किए जाते हैं, लेकिन परिवर्तन बहुत बड़े नहीं हैं, तो आप केवल प्रमुख संस्करणों के लिए संकेत दे सकते हैं। उदाहरण के लिए, संस्करण 1.0 में उन्होंने mypackage-1.0.tar.gz को इंगित करते हुए एक संकेत दिया, और यह पूरी तरह से काट दिया जाएगा, फिर उन्होंने संस्करण 1.1 जारी किया, जो थोड़ा अलग है, लेकिन उन्होंने संकेत को अपडेट नहीं किया। चिंता की कोई बात नहीं। केवल 1.0 संस्करण के साथ मेल खाने वाली फ़ाइलें (जिसे पुनर्स्थापित किया जा सकता है) काटा गया है।

एक संकेत जो एक संकेत फ़ाइल को संसाधित करता है, वह अनुमानी के आंतरिक तंत्र को समझने के लिए एक अच्छा उदाहरण है। यह केवल hashget-hint.json फ़ाइलें (या .hashget-hint.json एक डॉट के साथ) संसाधित करता है और बाकी सभी को अनदेखा करता है। इस फ़ाइल का उपयोग करके, यह निर्धारित करता है कि किस पैकेज URL को अनुक्रमित किया जाना चाहिए, और हैशट इसे अनुक्रमित करता है (यदि यह पहले नहीं किया गया है)

HashServer

बैकअप बनाते समय पूरी तरह से अनुक्रमण करने के लिए यह काफी समय लेने वाला होगा। ऐसा करने के लिए, आपको प्रत्येक पैकेज, अनज़िप, इंडेक्स डाउनलोड करना होगा। इसलिए हैशटैग एक स्कीम का उपयोग करता है। यदि कोई डेबियन पैकेज स्थापित किया गया है, अगर यह स्थानीय हैशपेज में नहीं पाया जाता है, तो सबसे पहले हैश सर्वर से हैशपेज को डाउनलोड करने का प्रयास किया जाता है। और केवल अगर यह काम नहीं करता है - हैशटैग खुद डाउनलोड करता है और पैकेज को हैश करता है (और हैशवर में अपलोड करता है, ताकि हैशवर बाद में प्रदान करता है)।

HashServer - योजना का एक वैकल्पिक तत्व, महत्वपूर्ण नहीं, विशेष रूप से रिपॉजिटरी पर लोड को तेज करने और कम करने के लिए उपयोग किया जाता है। यह आसानी से डिस्कनेक्ट हो जाता है (मापदंडों के बिना --hashserver विकल्प के साथ)। इसके अलावा, आप आसानी से अपना खुद का हैशवर बना सकते हैं।

वृद्धिशील और अंतर बैकअप, नियोजित अप्रचलन

हैशगेट वृद्धिशील और विभेदक बैकअप बनाने के लिए बहुत सरल बनाता है। हम अपने बैकअप को अपने सभी अनन्य फ़ाइलों के साथ क्यों नहीं अनुक्रमित करते हैं? एक टीम - --submit और आप कर चुके हैं! अगला बैकअप जो हैशटैग बनाएगा, उसमें इस संग्रह की फाइलें शामिल नहीं होंगी।

लेकिन यह एक बहुत अच्छा तरीका नहीं है, क्योंकि यह पता चल सकता है कि रिकवरी के दौरान हमें पूरे इतिहास के लिए सभी हैशट बैकअप लेना होगा (यदि प्रत्येक में कम से कम एक अद्वितीय फ़ाइल है)। इसके लिए निर्धारित बैकअप अप्रचलन के लिए एक तंत्र है। अनुक्रमण करते समय, आप HashPackage --expires 2019-06-01 की समाप्ति तिथि निर्दिष्ट कर सकते हैं, और इस तिथि (00:00 --expires 2019-06-01 से) का उपयोग नहीं किया जाएगा। इस तिथि के बाद संग्रह को स्वयं हटाया नहीं जा सकता है (हालाँकि हैशट आसानी से सभी बैकअप के URL दिखा सकता है जो हमारे पास फिलहाल या किसी भी तारीख में सड़ा / सड़ा हुआ है)।

उदाहरण के लिए, यदि आप 1 दिन पर पूर्ण बैकअप लेते हैं और महीने के अंत से पहले इसे जीवन भर के साथ अनुक्रमित करते हैं, तो हमें एक अंतर बैकअप योजना मिलेगी।

यदि हम नए बैकअप को भी इंडेक्स करते हैं, तो वृद्धिशील बैकअप की एक योजना होगी।

पारंपरिक योजनाओं के विपरीत, हैशटैग आपको कई बुनियादी स्रोतों का उपयोग करने की अनुमति देता है। पिछले बैकअप (यदि कोई हो), और सार्वजनिक फ़ाइलों (क्या डाउनलोड किया जा सकता है) के कारण फ़ाइलों की कमी के कारण बैकअप कम हो जाएगा।

यदि किसी कारण से हम डेबियन संसाधनों ( https://snapshot.debian.org/ ) की विश्वसनीयता पर भरोसा नहीं करते हैं या किसी अन्य वितरण का उपयोग करते हैं, तो हम सिर्फ एक बार सभी पैकेजों के साथ पूर्ण बैकअप बना सकते हैं, और फिर उस पर पहले से ही भरोसा कर सकते हैं। )। अब, अगर हमारे वितरण के सभी सर्वर हमारे लिए (स्मारिका इंटरनेट में या ज़ोंबी सर्वनाश के दौरान) दुर्गम हो जाते हैं, लेकिन हमारे बैकअप क्रम में हैं - हम किसी भी छोटे अंतर बैकअप से पुनर्प्राप्त कर सकते हैं जो केवल हमारे पुराने बैकअप पर निर्भर करता है।

हैशेट आपके विवेक पर वसूली के विश्वसनीय स्रोतों पर निर्भर करता है। जिसे आप विश्वसनीय मानते हैं - जिनका उपयोग किया जाएगा।

फाइलपूल और ग्लेशियर

FilePool तंत्र आपको पैकेज डाउनलोड करने के लिए लगातार बाहरी सर्वर तक पहुंचने की अनुमति नहीं देता है, लेकिन उदाहरण के लिए किसी स्थानीय निर्देशिका या कॉर्पोरेट सर्वर से पैकेज का उपयोग करने के लिए:

 $ hashget -u . --pool /tmp/pool 

या

 $ hashget -u . --pool http://myhashdb.example.com/ 

एक स्थानीय निर्देशिका में एक पूल बनाने के लिए - बस एक निर्देशिका बनाएं और उसमें फाइलें अपलोड करें, हैशटैग को खुद पता चलेगा कि उसे हैश की क्या जरूरत है। HTTP के माध्यम से पूल को सुलभ बनाने के लिए, आपको एक विशेष तरीके से hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool बनाने की आवश्यकता है, यह एक कमांड ( hashget-admin --build /var/www/html/hashdb/ --pool /tmp/pool ) के साथ किया जाता है। HTTP FilePool अपने आप में एक स्टैटिक फाइल है, इसलिए कोई भी साधारण वेब सर्वर इसे सर्व कर सकता है, सर्वर पर लोड लगभग शून्य है।

FilePool के लिए धन्यवाद, न केवल http (एस) संसाधनों का उपयोग बुनियादी संसाधनों के रूप में किया जा सकता है, बल्कि उदाहरण के लिए , अमेज़ॅन ग्लेशियर भी।

ग्लेशियर में बैकअप अपलोड होने के बाद, हम इसकी अपलोड आईडी प्राप्त करते हैं और इसे एक यूआरएल के रूप में उपयोग करते हैं। उदाहरण के लिए:

 hashget --submit Glacier_Upload_ID --file /tmp/my-glacier-backup.tar.gz --project glacier --hashserver --expires 2019-09-01 

अब नए (डिफरेंशियल) बैकअप इस बैकअप पर निर्भर करेंगे और छोटे होंगे। विवर्तन को अनपैक करने के बाद, हम देख सकते हैं कि यह किन संसाधनों पर निर्भर करता है:

 hashget --info /tmp/unpacked/ list 

और ग्लेशियर से इन सभी फ़ाइलों को पूल में डाउनलोड करने और सामान्य पुनर्प्राप्ति चलाने के लिए बस शेल स्क्रिप्ट का उपयोग करें: हैशगेट -यू / tmp / अनपैकड -पूल / tmp / पूल

खेल मोमबत्ती के लायक है

सबसे सरल मामले में, आप बस बैकअप के लिए कम भुगतान करेंगे (यदि आप उन्हें पैसे के लिए क्लाउड में कहीं स्टोर करते हैं)। शायद - बहुत, बहुत कम।

लेकिन यह एकमात्र ऐसा नहीं है। क्वांटिटी क्वालिटी में जाती है। आप इसका उपयोग उच्च गुणवत्ता वाली बैकअप स्कीम अपग्रेड प्राप्त करने के लिए कर सकते हैं। उदाहरण के लिए, चूंकि हमारे बैकअप अब कम हो गए हैं - आप मासिक बैकअप नहीं कर सकते हैं, लेकिन एक दैनिक। उन्हें छह महीने नहीं, पहले की तरह रखें, लेकिन 5 साल। पहले, उन्हें धीमी लेकिन सस्ते "कोल्ड" स्टोरेज (ग्लेशियर) में संग्रहित किया गया था, अब आप हॉट में स्टोर कर सकते हैं, जहाँ से आप हमेशा बैकअप डाउनलोड कर सकते हैं और मिनटों में ठीक हो सकते हैं, एक दिन में नहीं।

आप बैकअप स्टोरेज की विश्वसनीयता बढ़ा सकते हैं। यदि हम अब उन्हें एक स्टोर में स्टोर करते हैं, तो बैकअप की मात्रा कम करके - हम 2-3 स्टोर में स्टोर कर सकते हैं और सुरक्षित रूप से जीवित रह सकते हैं यदि उनमें से एक क्षतिग्रस्त हो जाता है।

कैसे प्रयास करें और उपयोग करना शुरू करें?

हम gitlab पेज https://gitlab.com/yaroslaff/hashget पर जाते हैं , इसे एक कमांड ( pip3 install hashget[plugins] ) के साथ इंस्टॉल करते हैं और बस पढ़ते हैं और त्वरित-प्रारंभ करते हैं। मुझे लगता है कि सभी सरल काम करने में - 10-15 मिनट लगेंगे। फिर आप अपनी आभासी मशीनों को हिलाने की कोशिश कर सकते हैं, यदि आवश्यक हो तो हिंट फाइलें बना सकते हैं, जोर से निचोड़ने के लिए, पूल के साथ खेल सकते हैं, एक स्थानीय हैश डेटाबेस और एक हैश सर्वर, अगर यह दिलचस्प होगा, और अगले दिन यह देखने के लिए कि कल से अधिक वृद्धिशील बैकअप का आकार क्या होगा।

रेस्टिक + हैशगेट

(इस अध्याय को बाद में जोड़ा गया था। टीकाकारों को उनकी आलोचना और प्रेरणा के लिए धन्यवाद।)

बैकअप के लिए एक अच्छा सुविधाजनक उपकरण है - रेस्टिक । यह समर्पण भी कर सकता है, लेकिन केवल भंडार के भीतर, बाह्य समर्पण नहीं कर सकता है , जो हैशटैग आसानी से करता है । लेकिन restic + hashget के संयोजन में, हम दोनों दृष्टिकोणों के लाभों का उपयोग करने का प्रबंधन करते हैं!

तैयारी (वर्डप्रेस को अनपैक करें और इसे इंडेक्स करें)

 # wget -q https://wordpress.org/wordpress-5.2.2.tar.gz # hashget --submit https://wordpress.org/wordpress-5.2.2.tar.gz -p my --file wordpress-5.2.2.tar.gz --hashserver # tar -xf wordpress-5.2.2.tar.gz # du -sh wordpress 46M wordpress 

के माध्यम से आराम करने के लिए स्नैपशॉट जोड़ना

 # hashget -X exclude-list --prepack wordpress --hashserver Saved: 1468 files, 1 pkgs, size: 40.5M. Download: 10.7M # restic --exclude-file exclude-list backup wordpress password is correct scan [/tmp/wp/wordpress] scanned 193 directories, 367 files in 0:02 [0:04] 100.00% 700.829 KiB / 700.829 KiB 560 / 560 items 0 errors ETA 0:00 duration: 0:04 snapshot 76b54230 saved # du -sh /tmp/restic-repo/ 2,1M /tmp/restic-repo/ 

इस स्तर पर, हमने एक कैटलॉग स्नैपशॉट (40+ एमबी) जोड़ा, और रिपॉजिटरी का आकार केवल 1 एमबी बढ़ा।

वसूली दो आदेशों द्वारा की जाती है:

 # restic restore 76b54230 -t unpacked password is correct restoring <Snapshot 76b54230 of [/tmp/wp/wordpress] at 2019-06-19 04:30:55.760618336 +0700 +07 by root@braconnier> to unpacked # hashget -u unpacked/wordpress/ --hashserver Recovered 1468/1468 files 40.5M bytes (0 downloaded, 0 from pool, 10.7M cached) in 1.56s