👥 🌂 👩‍🎨 बैकअप, भाग 2: अवलोकन और परीक्षण rsync- आधारित बैकअप उपकरण 💢 🙌🏿 🎂

यह लेख जारी है

बैकअप चक्र

बैकअप, भाग 1: आपको बैकअप की आवश्यकता क्यों है, विधियों, प्रौद्योगिकियों का अवलोकन
बैकअप, भाग 2: rsync- आधारित बैकअप उपकरण का अवलोकन और परीक्षण करना
बैकअप, भाग 3: अवलोकन और परीक्षण दोहराव, डुप्लिकेट
बैकअप, भाग 4: अवलोकन और परीक्षण zbackup, restic, borgbackup
बैकअप, भाग 5: लिनक्स के लिए बकुला और वाइम बैकअप का परीक्षण
बैकअप, भाग 6: बैकअप उपकरण की तुलना करना
बैकअप भाग 7: निष्कर्ष

जैसा कि हमने पहले लेख में पहले ही लिखा था, rsync पर आधारित बहुत बड़ी संख्या में बैकअप प्रोग्राम हैं।

उन में से जो हमारी स्थितियों के लिए सबसे उपयुक्त हैं, मैं 3 पर विचार करूंगा: rdiff- बैकअप, rsnapshot और burp।

टेस्ट फ़ाइल सेट

टेस्ट फ़ाइल सेट भविष्य के लेखों सहित सभी उम्मीदवारों के लिए समान होंगे।

पहला सेट : मीडिया फ़ाइलों के 10 जीबी, और लगभग 50 एमबी - php में साइट का स्रोत कोड, स्रोत कोड के लिए कुछ किलोबाइट से फ़ाइल आकार, मीडिया फ़ाइलों के लिए मेगाबाइट के दसियों तक। लक्ष्य एक साइट को स्टैटिक्स के साथ अनुकरण करना है।

दूसरा सेट : 5 जीबी मीडिया फ़ाइलों के साथ एक उपनिर्देशिका का नाम बदलने पर पहले से प्राप्त किया गया। एक निर्देशिका का नाम बदलने पर बैकअप सिस्टम के व्यवहार का अध्ययन करना लक्ष्य है।

तीसरा सेट : 3GB मीडिया फ़ाइलों को हटाकर और नए 3GB मीडिया फ़ाइलों को जोड़कर पहले से प्राप्त किया गया। लक्ष्य एक विशिष्ट साइट अपडेट ऑपरेशन के दौरान बैकअप सिस्टम के व्यवहार का अध्ययन करना है।

परिणाम प्राप्त करना

कोई भी बैकअप कम से कम 3 बार किया जाता है और फ़ाइल सिस्टम कैश के रीसेट के साथ sync और echo 3 > /proc/sys/vm/drop_caches के साथ टेस्ट सर्वर और बैकअप स्टोरेज सर्वर पर echo 3 > /proc/sys/vm/drop_caches है।

सर्वर पर जो बैकअप का स्रोत होगा, मॉनिटरिंग सॉफ़्टवेयर स्थापित है - netdata, जिसके साथ बैकअप के दौरान सर्वर पर लोड का अनुमान लगाया जाएगा, बैकअप प्रक्रिया द्वारा सर्वर लोड का आकलन करना आवश्यक है।

मुझे यह भी लगता है कि बैकअप स्टोरेज सर्वर मुख्य सर्वर की तुलना में धीमा है, लेकिन अपेक्षाकृत कम यादृच्छिक लिखने की गति के साथ अधिक कैपेसिटिव डिस्क है - बैकअप करते समय सबसे आम स्थिति, और इस तथ्य के कारण कि बैकअप सर्वर को कुछ भी अच्छा नहीं करना चाहिए मैं बैकअप के अलावा लोड की निगरानी नहीं करूंगा, मैं netdata का उपयोग करके इसके लोड की निगरानी नहीं करूंगा।

इसके अलावा, मेरे सर्वर बदल गए हैं, जिस पर मैं बैकअप के लिए विभिन्न प्रणालियों की जांच करूंगा।

अब उनके पास निम्नलिखित विशेषताएं हैं

प्रोसेसर

 sysbench --threads=2 --time=30 --cpu-max-prime=20000 cpu run sysbench 1.0.17 (using system LuaJIT 2.0.4) Running the test with following options: Number of threads: 2 Initializing random number generator from current time Prime numbers limit: 20000 Initializing worker threads... Threads started! CPU speed: events per second: 1081.62 General statistics: total time: 30.0013s total number of events: 32453 Latency (ms): min: 1.48 avg: 1.85 max: 9.84 95th percentile: 2.07 sum: 59973.40 Threads fairness: events (avg/stddev): 16226.5000/57.50 execution time (avg/stddev): 29.9867/0.00

राम, पढ़ रहे हैं ...

 sysbench --threads=4 --time=30 --memory-block-size=1K --memory-scope=global --memory-total-size=100G --memory-oper=read memory run sysbench 1.0.17 (using system LuaJIT 2.0.4) Running the test with following options: Number of threads: 4 Initializing random number generator from current time Running memory speed test with the following options: block size: 1KiB total size: 102400MiB operation: read scope: global Initializing worker threads... Threads started! Total operations: 104857600 (5837637.63 per second) 102400.00 MiB transferred (5700.82 MiB/sec) General statistics: total time: 17.9540s total number of events: 104857600 Latency (ms): min: 0.00 avg: 0.00 max: 66.08 95th percentile: 0.00 sum: 18544.64 Threads fairness: events (avg/stddev): 26214400.0000/0.00 execution time (avg/stddev): 4.6362/0.12

... और रिकॉर्डिंग

 sysbench --threads=4 --time=30 --memory-block-size=1K --memory-scope=global --memory-total-size=100G --memory-oper=write memory run sysbench 1.0.17 (using system LuaJIT 2.0.4) Running the test with following options: Number of threads: 4 Initializing random number generator from current time Running memory speed test with the following options: block size: 1KiB total size: 102400MiB operation: write scope: global Initializing worker threads... Threads started! Total operations: 91414596 (3046752.56 per second) 89272.07 MiB transferred (2975.34 MiB/sec) General statistics: total time: 30.0019s total number of events: 91414596 Latency (ms): min: 0.00 avg: 0.00 max: 1022.90 95th percentile: 0.00 sum: 66430.91 Threads fairness: events (avg/stddev): 22853649.0000/945488.53 execution time (avg/stddev): 16.6077/1.76

डेटा स्रोत सर्वर पर डिस्क

 sysbench --threads=4 --file-test-mode=rndrw --time=60 --file-block-size=4K --file-total-size=1G fileio run sysbench 1.0.17 (using system LuaJIT 2.0.4) Running the test with following options: Number of threads: 4 Initializing random number generator from current time Extra file open flags: (none) 128 files, 8MiB each 1GiB total file size Block size 4KiB Number of IO requests: 0 Read/Write ratio for combined random IO test: 1.50 Periodic FSYNC enabled, calling fsync() each 100 requests. Calling fsync() at the end of test, Enabled. Using synchronous I/O mode Doing random r/w test Initializing worker threads... Threads started! File operations: reads/s: 4587.95 writes/s: 3058.66 fsyncs/s: 9795.73 Throughput: read, MiB/s: 17.92 written, MiB/s: 11.95 General statistics: total time: 60.0241s total number of events: 1046492 Latency (ms): min: 0.00 avg: 0.23 max: 14.45 95th percentile: 0.94 sum: 238629.34 Threads fairness: events (avg/stddev): 261623.0000/1849.14 execution time (avg/stddev): 59.6573/0.00

बैकअप स्टोरेज सर्वर पर डिस्क

 sysbench --threads=4 --file-test-mode=rndrw --time=60 --file-block-size=4K --file-total-size=1G fileio run sysbench 1.0.17 (using system LuaJIT 2.0.4) Running the test with following options: Number of threads: 4 Initializing random number generator from current time Extra file open flags: (none) 128 files, 8MiB each 1GiB total file size Block size 4KiB Number of IO requests: 0 Read/Write ratio for combined random IO test: 1.50 Periodic FSYNC enabled, calling fsync() each 100 requests. Calling fsync() at the end of test, Enabled. Using synchronous I/O mode Doing random r/w test Initializing worker threads... Threads started! File operations: reads/s: 11.37 writes/s: 7.58 fsyncs/s: 29.99 Throughput: read, MiB/s: 0.04 written, MiB/s: 0.03 General statistics: total time: 73.8868s total number of events: 3104 Latency (ms): min: 0.00 avg: 78.57 max: 3840.90 95th percentile: 297.92 sum: 243886.02 Threads fairness: events (avg/stddev): 776.0000/133.26 execution time (avg/stddev): 60.9715/1.59

सर्वर के बीच नेटवर्क की गति

 iperf3 -c backup Connecting to host backup, port 5201 [ 4] local xxxx port 59402 connected to yyyy port 5201 [ ID] Interval Transfer Bandwidth Retr Cwnd [ 4] 0.00-1.00 sec 419 MBytes 3.52 Gbits/sec 810 182 KBytes [ 4] 1.00-2.00 sec 393 MBytes 3.30 Gbits/sec 810 228 KBytes [ 4] 2.00-3.00 sec 378 MBytes 3.17 Gbits/sec 810 197 KBytes [ 4] 3.00-4.00 sec 380 MBytes 3.19 Gbits/sec 855 198 KBytes [ 4] 4.00-5.00 sec 375 MBytes 3.15 Gbits/sec 810 182 KBytes [ 4] 5.00-6.00 sec 379 MBytes 3.17 Gbits/sec 765 228 KBytes [ 4] 6.00-7.00 sec 376 MBytes 3.15 Gbits/sec 810 180 KBytes [ 4] 7.00-8.00 sec 379 MBytes 3.18 Gbits/sec 765 253 KBytes [ 4] 8.00-9.00 sec 380 MBytes 3.19 Gbits/sec 810 239 KBytes [ 4] 9.00-10.00 sec 411 MBytes 3.44 Gbits/sec 855 184 KBytes - - - - - - - - - - - - - - - - - - - - - - - - - [ ID] Interval Transfer Bandwidth Retr [ 4] 0.00-10.00 sec 3.78 GBytes 3.25 Gbits/sec 8100 sender [ 4] 0.00-10.00 sec 3.78 GBytes 3.25 Gbits/sec receiver

परीक्षण पद्धति

पहले परीक्षण सेट के साथ एक फ़ाइल सिस्टम परीक्षण सर्वर पर तैयार किया जाता है, और यदि आवश्यक हो, तो बैकअप स्टोरेज सर्वर पर रिपॉजिटरी आरम्भ की जाती है।
बैकअप प्रक्रिया शुरू होती है और इसका समय मापा जाता है।
फ़ाइलों को परीक्षण सर्वर पर दूसरे टेस्ट सूट में माइग्रेट किया जाता है। बैकअप प्रक्रिया शुरू होती है और इसका समय मापा जाता है।
टेस्ट सर्वर तीसरे टेस्ट सूट में माइग्रेट करता है। बैकअप प्रक्रिया शुरू होती है और इसका समय मापा जाता है।
परिणामी तीसरा परीक्षण सेट पहले नए द्वारा स्वीकार किया जाता है; अंक 1-3 को 2 और बार दोहराया जाता है।
डेटा को पिवट टेबल में दर्ज किया गया है, जिसमें नेटडाटा के साथ ग्राफ जोड़े गए हैं।
एक अलग बैकअप विधि का उपयोग करके एक रिपोर्ट तैयार की जाती है।

अपेक्षित परिणाम

चूंकि सभी 3 उम्मीदवार एक ही प्रौद्योगिकी (rsync) पर आधारित हैं, इसलिए यह उम्मीद की जाती है कि परिणाम सामान्य rsync के करीब होंगे, जिसमें इसके सभी फायदे शामिल हैं:

भंडार में फाइलें "जैसा है" संग्रहीत की जाएंगी।
रिपॉजिटरी का आकार केवल बैकअप के बीच अंतर सहित बढ़ेगा।
डेटा संचारित करते समय नेटवर्क पर अपेक्षाकृत बड़ा भार होगा, साथ ही प्रोसेसर पर एक छोटा भार भी होगा।

एक नियमित rsync का परीक्षण रन एक संदर्भ, इसके परिणामों के रूप में उपयोग किया जाएगा

ये हैं

अड़चन HDD- आधारित डिस्क के रूप में बैकअप स्टोरेज सर्वर पर थी, जो कि आरी के रूप में ग्राफ पर स्पष्ट रूप से दिखाई देती है।

डेटा 4 मिनट और 15 सेकंड में कॉपी किया गया था।

परीक्षण rdiff- बैकअप

पहला उम्मीदवार rdiff-backup, एक पायथन स्क्रिप्ट है जो एक निर्देशिका से दूसरे में बैकअप देता है। उसी समय, वर्तमान बैकअप प्रतिलिपि "जैसा है" संग्रहीत की जाती है, और पहले किए गए बैकअप एक विशेष उपनिर्देशिका में वृद्धिशील रूप से संग्रहीत किए जाते हैं, और इस तरह अंतरिक्ष को बचाया जाता है।

हम ऑपरेशन के विशिष्ट मोड की जांच करेंगे, अर्थात। बैकअप प्रक्रिया की शुरुआत क्लाइंट द्वारा अपने आप शुरू की जाती है, और सर्वर की ओर से, डेटा प्राप्त करने वाली प्रक्रिया को बैकअप के लिए लॉन्च किया जाता है।

आइए देखते हैं

वह हमारी परिस्थितियों में क्या सक्षम है

।

प्रत्येक परीक्षण चलाने का समय:

	पहला लॉन्च	दूसरा लॉन्च	तीसरा लॉन्च
पहला सेट	16m32s	16m26s	16m19s
दूसरा सेट	2h5m	2h10m	2h8m
तीसरा सेट	2h9m	2h10m	2h10m

Rdiff-backup किसी भी बड़े डेटा परिवर्तन के लिए बहुत दर्दनाक तरीके से प्रतिक्रिया करता है, और नेटवर्क का पूरी तरह से उपयोग नहीं करता है।

परीक्षण rsnapshot

दूसरा उम्मीदवार, rsnapshot, एक पर्ल स्क्रिप्ट है, जिसकी प्रभावी काम के लिए मुख्य आवश्यकता हार्ड लिंक के लिए समर्थन है। यह डिस्क स्थान बचाता है। उसी समय, पिछले बैकअप के बाद से नहीं बदली गई फ़ाइलों को हार्ड लिंक का उपयोग करके मूल फ़ाइल में संदर्भित किया जाएगा।

बैकअप प्रक्रिया का तर्क भी उलटा है: सर्वर सक्रिय रूप से अपने क्लाइंट पर "चलता है" और डेटा लेता है।

परीक्षण के परिणाम

निम्नलिखित

	पहला लॉन्च	दूसरा लॉन्च	तीसरा लॉन्च
पहला सेट	4m22s	4m19s	4m16s
दूसरा सेट	2m6s	2m10s	2m6s
तीसरा सेट	1m18s	1m10s	1m10s

यह बहुत काम किया, बहुत तेज, rdiff- बैकअप की तुलना में बहुत तेज और शुद्ध rsync के बहुत करीब है।

Burp परीक्षण

एक अन्य विकल्प लाइब्रिंस - बर्प के शीर्ष पर सी कार्यान्वयन है, जिसमें क्लाइंट-सर्वर आर्किटेक्चर है जिसमें क्लाइंट प्राधिकरण, साथ ही साथ एक वेब इंटरफ़ेस (आधार पैकेज में शामिल नहीं है)। एक और दिलचस्प विशेषता ग्राहकों से वसूली के अधिकार के बिना बैकअप है।

आइए नजर डालते हैं

उत्पादकता

।

	पहला लॉन्च	दूसरा लॉन्च	तीसरा लॉन्च
पहला सेट	11m21s	11m10s	10m56s
दूसरा सेट	5m37s	5m40s	5m35s
तीसरा सेट	3m33s	3m24s	3m40s

यह rsnapshot की तुलना में 2 गुना धीमा काम करता है, लेकिन यह भी काफी तेज है, और निश्चित रूप से तेज rdiff- बैकअप। ग्राफ थोड़ा सा देखा गया है - प्रदर्शन फिर से बैकअप स्टोरेज सर्वर के डिस्क सबसिस्टम पर टिकी हुई है, हालांकि यह rsnapshot के रूप में उच्चारित नहीं है।

परिणाम

सभी उम्मीदवारों के लिए रिपॉजिटरी का आकार लगभग एक जैसा था, यानी पहले 10 जीबी तक वृद्धि, फिर 15 जीबी तक वृद्धि, फिर 18 जीबी तक की वृद्धि, आदि, जो rsync की ख़ासियत से जुड़ा हुआ है। यह भी ध्यान देने योग्य है कि सभी उम्मीदवार एकल-थ्रेडेड होते हैं (सीपीयू का उपयोग दोहरे-कोर मशीन के साथ लगभग 50% होता है)। सभी 3 उम्मीदवारों ने अंतिम बैकअप "जैसा है" को बहाल करने का अवसर प्रदान किया, अर्थात, किसी भी तृतीय-पक्ष प्रोग्राम का उपयोग किए बिना फ़ाइलों को पुनर्स्थापित करना संभव था, जिसमें रिपॉजिटरी बनाने के लिए उपयोग किए जाने वाले शामिल थे। यह भी rsync की "सामान्य विरासत" है।

निष्कर्ष

बैकअप सिस्टम जितना अधिक जटिल होगा और इसमें जितनी अधिक विशेषताएं होंगी, यह उतना ही धीमा काम करेगा, लेकिन बहुत अधिक मांग वाली परियोजनाओं के लिए, उनमें से कोई भी, संभवतः, riff- बैकअप को छोड़कर।

घोषणा

यह नोट बैकअप चक्र को जारी रखता है।

बैकअप, भाग 1: आपको बैकअप की आवश्यकता क्यों है, विधियों, प्रौद्योगिकियों का अवलोकन
बैकअप, भाग 2: अवलोकन और परीक्षण rsync- आधारित बैकअप उपकरण
बैकअप, भाग 3: अवलोकन और परीक्षण दोहराव, डुप्लिकेट
बैकअप, भाग 4: अवलोकन और परीक्षण zbackup, restic, borgbackup
बैकअप, भाग 5: लिनक्स के लिए बकुला और वीम बैकअप का परीक्षण
बैकअप: पाठकों द्वारा अनुरोधित हिस्सा: AMANDA समीक्षा, UrBackup, BackupPC
बैकअप, भाग 6: बैकअप उपकरण की तुलना करना
बैकअप भाग 7: निष्कर्ष

Finnix द्वारा पोस्ट किया गया

बैकअप, भाग 2: अवलोकन और परीक्षण rsync- आधारित बैकअप उपकरण