बैकअप, भाग 1: उद्देश्य, तकनीक और प्रौद्योगिकी का अवलोकन

कोई भी वर्गीकरण मनमाना है। प्रकृति वर्गीकृत नहीं करती है। हम वर्गीकृत करते हैं, क्योंकि यह हमारे लिए अधिक सुविधाजनक है। और हम डेटा के अनुसार वर्गीकृत करते हैं, जिसे हम मनमाने ढंग से लेते हैं।

—जैन ब्रुलर

भौतिक संग्रहण पद्धति के बावजूद, डेटा के तार्किक भंडारण को इस डेटा तक पहुंचने के 2 तरीकों में विभाजित किया जा सकता है: ब्लॉक और फ़ाइल। यह विभाजन हाल ही में बहुत धुंधला हुआ है, क्योंकि विशुद्ध रूप से अवरुद्ध, साथ ही विशुद्ध रूप से फ़ाइल, तार्किक भंडारण मौजूद नहीं है। हालांकि, सादगी के लिए, हम मानते हैं कि वे हैं।

डेटा के ब्लॉक स्टोरेज का तात्पर्य है कि एक भौतिक उपकरण है जहां डेटा को कुछ निश्चित भागों, ब्लॉकों में दर्ज किया जाता है। ब्लॉक तक पहुंच एक निश्चित पते पर जाती है, डिवाइस के भीतर प्रत्येक ब्लॉक का अपना पता होता है।

एक बैकअप आमतौर पर डेटा ब्लॉक कॉपी करके किया जाता है। नकल के समय डेटा अखंडता सुनिश्चित करने के लिए, नए ब्लॉकों की रिकॉर्डिंग, साथ ही मौजूदा लोगों के संशोधन को निलंबित कर दिया जाता है। यदि हम सामान्य दुनिया से एक सादृश्य लेते हैं, तो निकटतम कोठरी समान संख्या वाली कोशिकाओं के साथ है।



एक तार्किक उपकरण के सिद्धांत द्वारा डेटा का फ़ाइल भंडारण ब्लॉक भंडारण के करीब है और अक्सर शीर्ष पर आयोजित किया जाता है। महत्वपूर्ण अंतर एक भंडारण पदानुक्रम और मानव-पठनीय नामों का अस्तित्व है। अमूर्त को एक फ़ाइल के रूप में हाइलाइट किया जाता है - एक नामित डेटा क्षेत्र, साथ ही एक निर्देशिका - एक विशेष फ़ाइल जो विवरणों को संग्रहीत करती है और अन्य फ़ाइलों तक पहुंचती है। फाइलें अतिरिक्त मेटाडेटा के साथ आपूर्ति की जा सकती हैं: निर्माण समय, पहुंच झंडे, आदि। वे आमतौर पर इस तरह से बैक अप लेते हैं: वे बदली हुई फ़ाइलों की तलाश करते हैं, फिर उन्हें उसी संरचना के साथ किसी अन्य फ़ाइल स्टोरेज पर कॉपी करते हैं। डेटा अखंडता को आमतौर पर उन फाइलों की अनुपस्थिति से लागू किया जाता है जिन्हें लिखा जा रहा है। फ़ाइल मेटाडेटा समान रूप से समर्थित है। निकटतम सादृश्यता पुस्तकालय है, जिसमें विभिन्न पुस्तकों के साथ-साथ मानव-पठनीय पुस्तक नामों के साथ एक सूची भी है।



हाल ही में, एक और विकल्प कभी-कभी वर्णित किया जाता है, जिसके साथ, सिद्धांत रूप में, डेटा का फ़ाइल भंडारण शुरू हुआ, और जिसमें एक ही पुरातन विशेषताएं हैं: डेटा संग्रहण।

यह फ़ाइल भंडारण से भिन्न है कि इसमें एक से अधिक नेस्टिंग (फ्लैट लेआउट) नहीं है, और फ़ाइल नाम, हालांकि मानव-पठनीय हैं, फिर भी मशीनों द्वारा प्रसंस्करण के लिए अधिक उपयुक्त हैं। जब बैक अप लिया जाता है, तो ऑब्जेक्ट स्टोर को अक्सर फ़ाइल स्टोरेज की तरह माना जाता है, लेकिन कभी-कभी अन्य विकल्प भी होते हैं।

- दो प्रकार के सिस्टम एडमिनिस्ट्रेटर हैं, जो बैकअप नहीं बनाते हैं, और जो पहले से हैं।
- वास्तव में, तीन प्रकार हैं: ऐसे भी हैं जो यह सत्यापित करते हैं कि बैकअप बहाल किया जा सकता है।

बेनामी

यह समझने के लिए भी महत्वपूर्ण है कि डेटा का बैकअप लेने की प्रक्रिया कार्यक्रमों द्वारा की जाती है, इसलिए इसमें अन्य प्रोग्राम के समान सभी नुकसान हैं। हटाने के लिए (बाहर नहीं!) मानव कारक पर निर्भरता, साथ ही विशेषताएं - जो व्यक्तिगत रूप से दृढ़ता से प्रभावित नहीं करती हैं, लेकिन एक साथ एक ठोस प्रभाव दे सकती हैं - तथाकथित लागू करें नियम 3-2-1। इसे डिक्रिप्ट करने के लिए कई विकल्प हैं, लेकिन मैं निम्नलिखित व्याख्या पसंद करता हूं: आपको एक ही डेटा के 3 सेट स्टोर करने की आवश्यकता है, 2 सेट अलग-अलग स्वरूपों में संग्रहीत किए जाने चाहिए, और 1 सेट को भौगोलिक रूप से दूरस्थ संग्रहण में संग्रहीत किया जाना चाहिए।

भंडारण प्रारूप को निम्नानुसार समझा जाना चाहिए:

• यदि भौतिक संग्रहण पद्धति पर निर्भरता है, तो हम भौतिक पद्धति को बदलते हैं।
• यदि तार्किक भंडारण विधि पर निर्भरता है, तो हम तार्किक पद्धति को बदलते हैं।

नियम 3-2-1 के अधिकतम प्रभाव को प्राप्त करने के लिए, दोनों तरीकों से भंडारण प्रारूप को बदलने की सिफारिश की जाती है।

अपने इच्छित उद्देश्य के लिए बैकअप की तत्परता के दृष्टिकोण से - संचालन की बहाली, "गर्म" और "ठंडा" बैकअप हैं। ठंड से गर्म केवल एक चीज में भिन्न होता है: वे तुरंत काम के लिए तैयार होते हैं, जबकि वसूली के लिए ठंड में कुछ अतिरिक्त क्रियाओं की आवश्यकता होती है: डिक्रिप्शन, संग्रह से निष्कर्षण, आदि।

ऑनलाइन और ऑफलाइन प्रतियों के साथ गर्म और ठंड प्रतियों को भ्रमित न करें, जो डेटा के भौतिक अलगाव का अर्थ है, और वास्तव में, बैकअप विधियों के वर्गीकरण का एक और संकेत है। तो एक ऑफ़लाइन प्रति - सीधे उस सिस्टम से कनेक्ट नहीं है जहां इसे पुनर्स्थापित करने की आवश्यकता है - या तो गर्म या ठंडा हो सकता है (वसूली के लिए तत्परता के संदर्भ में)। एक ऑनलाइन प्रतिलिपि सीधे उपलब्ध हो सकती है जहां इसे बहाल करने की आवश्यकता होती है, और सबसे अधिक बार यह गर्म होता है, लेकिन ठंडे भी होते हैं।

इसके अलावा, यह मत भूलो कि बैकअप बनाने की प्रक्रिया आमतौर पर एकल बैकअप बनाने के साथ समाप्त नहीं होती है, और बहुत सारी प्रतियां हो सकती हैं। इसलिए, पूर्ण बैकअप के बीच अंतर करना आवश्यक है, अर्थात। जो अन्य बैकअप के स्वतंत्र रूप से पुनर्प्राप्त करने योग्य होते हैं, साथ ही अंतर (वृद्धिशील, अंतर, दशमलव, आदि) प्रतियां - जो कि अपने दम पर बहाल नहीं की जा सकती हैं और एक या अधिक अन्य बैकअप की प्रारंभिक बहाली की आवश्यकता होती है।

विभेदक वृद्धिशील बैकअप - बैकअप को संचय करने के लिए अंतरिक्ष की मात्रा को बचाने का प्रयास। इस प्रकार, पिछले बैकअप से केवल संशोधित डेटा बैकअप के लिए लिखा जाता है।

अंतर डिक्रीमेंटल्स एक ही उद्देश्य के लिए बनाए जाते हैं, लेकिन थोड़े अलग तरीके से: एक पूर्ण बैकअप बनाया जाता है, लेकिन केवल ताजा कॉपी और पिछले एक के बीच का अंतर वास्तव में संग्रहीत होता है।

अलग-अलग, यह भंडारण के शीर्ष पर बैकअप प्रक्रिया पर विचार करने के लायक है, जो डुप्लिकेट भंडारण की अनुपस्थिति का समर्थन करता है। इस प्रकार, यदि आप इसके शीर्ष पर पूर्ण बैकअप लिखते हैं, तो वास्तव में केवल बैकअप के बीच का अंतर दर्ज किया जाएगा, हालांकि, बैकअप को पुनर्स्थापित करने की प्रक्रिया एक पूर्ण प्रतिलिपि और पूरी तरह से पारदर्शी से बहाल करने के समान होगी।

क्विस कस्टोडिएट ipsos कस्टोड?

(कौन पहरेदार खुद पहरा देंगे? - अव्य।)

बैकअप न होने पर यह बहुत अप्रिय होता है, लेकिन यदि बैकअप लगता है तो यह बहुत बुरा है, लेकिन बहाली के दौरान यह पता चलता है कि इसे बहाल नहीं किया जा सकता है, क्योंकि:

• स्रोत डेटा की अखंडता का उल्लंघन किया गया है।
• बैकअप संग्रहण दूषित है।
• रिकवरी बहुत धीरे-धीरे काम करती है, आप आंशिक रूप से बहाल डेटा का उपयोग नहीं कर सकते।

एक ठीक से निर्मित बैकअप प्रक्रिया को ऐसी टिप्पणियों को ध्यान में रखना चाहिए, विशेष रूप से पहले दो।

स्रोत डेटा की अखंडता को कई तरीकों से गारंटी दी जा सकती है। सबसे अधिक उपयोग किया जाता है: ए) ब्लॉक स्तर पर फ़ाइल सिस्टम स्नैपशॉट बनाना, बी) फ़ाइल सिस्टम की स्थिति को फ्रीज करना, सी) संस्करण भंडारण के साथ एक विशेष ब्लॉक डिवाइस, डी) फ़ाइलों या ब्लॉकों की अनुक्रमिक रिकॉर्डिंग। रिकवरी के दौरान डेटा सत्यापन सुनिश्चित करने के लिए चेकसम का भी उपयोग किया जाता है।

चेकसम का उपयोग करके भंडारण के नुकसान का भी पता लगाया जा सकता है। एक अतिरिक्त विधि विशिष्ट उपकरणों या फ़ाइल सिस्टम का उपयोग है जिसमें पहले से रिकॉर्ड किए गए डेटा को संशोधित करना असंभव है, लेकिन आप नए जोड़ सकते हैं।

पुनर्प्राप्ति को गति देने के लिए, डेटा रिकवरी का उपयोग कई पुनर्प्राप्ति प्रक्रियाओं के साथ किया जाता है - बशर्ते कि धीमी नेटवर्क या धीमी डिस्क प्रणाली के रूप में कोई "अड़चन" न हो। आंशिक रूप से बहाल डेटा के साथ स्थिति को दरकिनार करने के लिए, बैकअप प्रक्रिया को अपेक्षाकृत छोटे उपकेंद्रों में तोड़ना संभव है, जिनमें से प्रत्येक को अलग से प्रदर्शन किया जाता है। इस प्रकार, वसूली समय की भविष्यवाणी के साथ प्रदर्शन को लगातार बहाल करना संभव हो जाता है। यह समस्या प्रायः संगठनात्मक विमान (SLA) में निहित है, इसलिए हम इस पर विस्तार से ध्यान नहीं देंगे।

मसालों के बारे में बहुत कुछ जानता है जो उन्हें प्रत्येक डिश में नहीं जोड़ता है, लेकिन वह जो कभी भी इसमें कुछ भी नहीं मिलाता है।

-B। Sinyavsky

सिस्टम प्रशासक द्वारा उपयोग किए जाने वाले सॉफ़्टवेयर के बारे में अभ्यास भिन्न हो सकते हैं, लेकिन सामान्य सिद्धांत अभी भी एक ही हैं, एक ही रास्ता या दूसरा, विशेष रूप से:

• तैयार किए गए समाधान अत्यधिक अनुशंसित हैं।
• कार्यक्रमों को अनुमानित रूप से काम करना चाहिए, अर्थात्। कोई भी अनिर्दिष्ट सुविधाएँ या अड़चन नहीं होनी चाहिए।
• प्रत्येक प्रोग्राम को सेट अप करना सरल होना चाहिए ताकि आपको हर बार मैनुअल या चीट शीट को पढ़ना न पड़े।
• यदि संभव हो तो समाधान सार्वभौमिक होना चाहिए। उनके हार्डवेयर विनिर्देशों में सर्वर बहुत, बहुत भिन्न हो सकते हैं।

ब्लॉक डिवाइस से बैकअप हटाने के लिए निम्नलिखित सामान्य प्रोग्राम उपलब्ध हैं:

• dd, सिस्टम एडमिनिस्ट्रेशन के दिग्गजों से परिचित, इसी तरह के कार्यक्रम यहां भी लागू होते हैं (उदाहरण के लिए dd_rescue)।
• यूटिलिटीज (यूटिलिटीज) कुछ फाइल सिस्टम में निर्मित होती हैं जो फाइल सिस्टम का एक डंप बनाती हैं।
• सर्वव्यापी उपयोगिताओं; जैसे कि partclone।
• खुद, अक्सर मालिकाना, निर्णय; उदा। नॉर्टनगस्ट और बाद में।

फ़ाइल सिस्टम के लिए, ब्लॉक डिवाइस पर लागू विधियों का उपयोग करके बैकअप कार्य को आंशिक रूप से हल किया जाता है, हालांकि, उदाहरण के लिए, समस्या को अधिक कुशलतापूर्वक, उपयोग करके हल किया जा सकता है:

• Rsync, फ़ाइल सिस्टम की स्थिति को सिंक्रनाइज़ करने के लिए एक सार्वभौमिक कार्यक्रम और प्रोटोकॉल।
• बिल्ट-इन आर्काइविंग टूल (ZFS)।
• तृतीय-पक्ष संग्रह उपकरण; सबसे लोकप्रिय प्रतिनिधि टार है। अन्य हैं, उदाहरण के लिए, डार - आधुनिक प्रणालियों पर ध्यान देने के साथ टार की जगह।

बैकअप बनाते समय अलग-अलग, यह डेटा संगतता सॉफ्टवेयर का उल्लेख करने योग्य है। सबसे अधिक इस्तेमाल किए जाने वाले विकल्प हैं:

• फ़ाइल सिस्टम को केवल-पढ़ने के लिए मोड (ReadOnly) में माउंट करना, या फ़ाइल सिस्टम को फ्रीज़ करना (फ्रीज़ करना) - विधि सीमित है।
• एक फाइल सिस्टम या ब्लॉक डिवाइस (LVM, ZFS) की स्थिति का स्नैपशॉट बनाना।
• जाति के आयोजन के लिए तीसरे पक्ष के उपकरणों का उपयोग, यहां तक ​​कि उन मामलों में जहां पिछले पैराग्राफ को किसी भी कारण से प्रदान नहीं किया जा सकता है (हॉटकॉपी जैसे कार्यक्रम)।
• कॉपी-ऑन-चेंज तकनीक (CopyOnWrite), हालांकि, यह अक्सर एफएस उपयोग किए जाने वाले (बीटीआरएफएस, जेडएफएस) से बंधा होता है।

sysbench --threads = 4 --time = 30 - cpu-max-prime = 20,000 cpu रन
sysbench 1.1.0-18a9f86 (बंडल किए गए LuaJIT 2.1.0-beta3 का उपयोग करके)
निम्नलिखित विकल्पों के साथ परीक्षण चलाना:
धागे की संख्या: 4
वर्तमान समय से यादृच्छिक संख्या जनरेटर की शुरुआत

प्राइम नंबर की सीमा: 20,000

कार्यकर्ता सूत्र आरंभ कर रहा है ...

थ्रेड शुरू!

सीपीयू की गति:
घटनाएँ प्रति सेकंड: 836.69

प्रवाह क्षमता:
इवेंट्स / एस (ईपीएस): 836.6908
समय बीत गया: 30.0039s
घटनाओं की कुल संख्या: 25104

विलंबता (ms):
मिनट: 2.38
अवग: ४.g78
अधिकतम: 22.39
95 प्रतिशत प्रतिशत: 10.46
राशि: 119923.64

धागे निष्पक्षता:
ईवेंट्स (avg / stddev): 6276.0000 / 13.91
निष्पादन समय (avg / stddev): 29.9809 / 0.01

sysbench --threads = 4 --time = 30 --ememory-block-size = 1K --memory-गुंजाइश = वैश्विक - memory-total-size = 100G --memory-oper = रीड मेमोरी रन
sysbench 1.1.0-18a9f86 (बंडल किए गए LuaJIT 2.1.0-beta3 का उपयोग करके)
निम्नलिखित विकल्पों के साथ परीक्षण चलाना:
धागे की संख्या: 4
वर्तमान समय से यादृच्छिक संख्या जनरेटर की शुरुआत

निम्नलिखित विकल्पों के साथ रनिंग मेमोरी स्पीड टेस्ट:
ब्लॉक का आकार: 1KiB
कुल आकार: 102400MiB
ऑपरेशन: पढ़ा
गुंजाइश: वैश्विक

कार्यकर्ता सूत्र आरंभ कर रहा है ...

थ्रेड शुरू!

कुल संचालन: 50900446 (1696677.10 प्रति सेकंड)

49707.47 MiB स्थानांतरित (1656.91 MiB / सेकंड)

प्रवाह क्षमता:
ईवेंट्स / एस (ईपीएस): 1696677.1017
समय बीत गया: 30.0001s
घटनाओं की कुल संख्या: 50900446

विलंबता (ms):
मिनट: 0.00
औसत: ०.००
अधिकतम: 24.01
95 प्रतिशत प्रतिशत: 0.00
राशि: 39106.74

धागे निष्पक्षता:
ईवेंट्स (avg / stddev): 12725111.5000 / 137775.15
निष्पादन समय (avg / stddev): 9.7767 / 0.10

sysbench --threads = 4 --time = 30 --ememory-block-size = 1K --ememory-गुंजाइश = वैश्विक --ememory-total-size = 100G --memory-oper = लिखने का मेमोरी रन
sysbench 1.1.0-18a9f86 (बंडल किए गए LuaJIT 2.1.0-beta3 का उपयोग करके)
निम्नलिखित विकल्पों के साथ परीक्षण चलाना:
धागे की संख्या: 4
वर्तमान समय से यादृच्छिक संख्या जनरेटर की शुरुआत

निम्नलिखित विकल्पों के साथ रनिंग मेमोरी स्पीड टेस्ट:
ब्लॉक का आकार: 1KiB
कुल आकार: 102400MiB
ऑपरेशन: लिखें
गुंजाइश: वैश्विक

कार्यकर्ता सूत्र आरंभ कर रहा है ...

थ्रेड शुरू!

कुल संचालन: 35910413 (1197008.62 प्रति सेकंड)

35068.76 MiB स्थानांतरित (1168.95 MiB / सेकंड)

प्रवाह क्षमता:
ईवेंट्स / ईपीएस (ईपीएस): 1197008.6179
समय बीत गया: 30.0001s
घटनाओं की कुल संख्या: 35910413

विलंबता (ms):
मिनट: 0.00
औसत: ०.००
अधिकतम: 16.90
95 प्रतिशत प्रतिशत: 0.00
राशि: 43604.83

धागे निष्पक्षता:
ईवेंट्स (avg / stddev): 8977603.2500 / 233905.84
निष्पादन समय (avg / stddev): 10.9012 / 0.41

sysbench --threads = 4 --file-test-mode = rndrw --time = 60 --file-block-size = 4K --file-total-size = 1G fileio run
sysbench 1.1.0-18a9f86 (बंडल किए गए LuaJIT 2.1.0-beta3 का उपयोग करके)
निम्नलिखित विकल्पों के साथ परीक्षण चलाना:
धागे की संख्या: 4
वर्तमान समय से यादृच्छिक संख्या जनरेटर की शुरुआत

अतिरिक्त फ़ाइल खुले झंडे: (कोई नहीं)
128 फाइलें, 8MiB प्रत्येक
1GiB कुल फ़ाइल आकार
ब्लॉक का आकार 4KiB
IO अनुरोधों की संख्या: 0
संयुक्त यादृच्छिक आईओ परीक्षण के लिए पढ़ें / लिखें अनुपात: 1.50
समय-समय पर FSYNC सक्षम, प्रत्येक 100 अनुरोधों को fsync () कहते हुए।
परीक्षण के अंत में fsync () कॉलिंग सक्षम है।
सिंक्रोनस I / O मोड का उपयोग करना
यादृच्छिक आर / डब्ल्यू परीक्षण करना
कार्यकर्ता सूत्र आरंभ कर रहा है ...

थ्रेड शुरू!

प्रवाह क्षमता:
पढ़ें: IOPS = 3868.21 15.11 MiB / s (15.84 MB / s)
लिखना: IOPS = 2578.83 10.07 MiB / s (10.56 MB / s)
fsync: IOPS = 8226.98

विलंबता (ms):
मिनट: 0.00
avg: 0.27
अधिकतम: 18.01
95 वाँ प्रतिशत: 1.08
राशि: 238469.45