ऑब्जेक्ट स्टोरेज में बैकअप का 90% तक संग्रहण कैसे करें

हमारे तुर्की ग्राहकों ने हमें डेटा सेंटर के लिए बैकअप को सही तरीके से कॉन्फ़िगर करने के लिए कहा। हम रूस में इसी तरह की परियोजनाएं कर रहे हैं, लेकिन यह यहां था कि कहानी शोध के बारे में अधिक थी कि यह कैसे करना सबसे अच्छा है।

यह देखते हुए: एक स्थानीय S3 स्टोरेज है, वहाँ Veritas NetBackup है, जिसने ऑब्जेक्ट स्टोर में डेटा स्थानांतरित करने के लिए नई उन्नत कार्यक्षमता प्राप्त कर ली है, अब डिडुप्लीकेशन सपोर्ट के साथ, और इस लोकल स्टोरेज में खाली जगह की समस्या है।

उद्देश्य: सब कुछ बनाने के लिए ताकि बैकअप भंडारण की प्रक्रिया तेज और सस्ती हो।

दरअसल, इससे पहले, S3 में सब कुछ सिर्फ फाइलें थीं, और ये महत्वपूर्ण डेटा सेंटर मशीनों की पूरी कास्ट थीं। ऐसा नहीं है कि यह बहुत अनुकूलित है, लेकिन सब कुछ शुरू में काम किया। अब यह पता लगाने और इसे सही करने का समय है।

तस्वीर में, हम क्या करने आए हैं:



जैसा कि आप देख सकते हैं, पहला बैकअप धीरे-धीरे (70 एमबी / एस) किया गया था, और उसी सिस्टम के बाद के बैकअप बहुत तेज थे।

वास्तव में, आगे और अधिक विवरण हैं कि क्या विशेषताएं हैं।

क्या समस्या है

ग्राहक जितनी बार संभव हो बैकअप लेना चाहते हैं और जितना संभव हो उतना सस्ते स्टोर करें। यह उन्हें S3 प्रकार के ऑब्जेक्ट स्टोरेज में सर्वश्रेष्ठ स्टोर करना सस्ता है, क्योंकि वे प्रति मेगाबाइट रखरखाव की कीमत पर सबसे सस्ते हैं जहां से आप उचित समय में वापस रोल अप कर सकते हैं। जब बहुत सारे बैकअप होते हैं, तो यह बहुत सस्ता नहीं होता है, क्योंकि अधिकांश स्टोरेज पर एक ही डेटा की प्रतियां होती हैं। तुर्की के सहयोगियों के हास के मामले में, भंडारण को लगभग 80-90% तक कम किया जा सकता है। यह स्पष्ट है कि यह विशेष रूप से उनकी बारीकियों पर लागू होता है, लेकिन मैं निश्चित रूप से कम से कम 50% कटौती पर भरोसा करूंगा।

समस्या को हल करने के लिए, मुख्य विक्रेताओं ने लंबे समय से अमेज़ॅन एस 3 पर गेटवे बनाए हैं। यदि वे अमेज़ॅन एपीआई का समर्थन करते हैं, तो उनके सभी तरीके स्थानीय एस 3 के साथ संगत हैं। तुर्की डेटा सेंटर में, बैकअप हमारे S3 के साथ-साथ रूस में T-III "कंप्रेसर" में किया जाता है, क्योंकि इस तरह की कार्य योजना हमारे साथ अच्छी साबित हुई।

और हमारा S3 अमेज़ॅन S3 में बैकअप विधियों के साथ पूरी तरह से संगत है। यही है, इन तरीकों का समर्थन करने वाले सभी बैकअप उपकरण आपको "बॉक्स से बाहर" इस ​​तरह के भंडारण के लिए सब कुछ कॉपी करने की अनुमति देते हैं।

Veritas NetBackup ने CloudCatalyst फीचर बनाया:



यही है, उन मशीनों के बीच जिनका बैकअप लेना आवश्यक है और गेटवे एक मध्यवर्ती लिनक्स सर्वर है जिसके माध्यम से सीपीसी एजेंटों से बैकअप ट्रैफिक गुजरता है और उन्हें एस 3 में स्थानांतरित करने से पहले फ्लाई पर कटौती की जाती है। यदि पहले संपीड़न के साथ प्रत्येक 20 जीबी के 30 बैकअप थे, तो अब (मशीनों की समानता के कारण) वे मात्रा में 90% छोटे हो गए हैं। डिडुप्लीकेशन इंजन का उपयोग उसी तरह किया जाता है जब नेटबैकअप का उपयोग करके नियमित डिस्क पर संग्रहीत किया जाता है।

यहाँ मंचन सर्वर से पहले होता है:



हमने परीक्षण किया और इस निष्कर्ष पर पहुंचे कि जब हमारे डेटा केंद्रों में इसे लागू किया जाता है, तो यह हमारे और ग्राहकों के लिए एस 3 स्टोरेज में जगह बचाता है। वाणिज्यिक डेटा केंद्रों के मालिक के रूप में, बेशक, हम कब्जे वाले वॉल्यूम के लिए शुल्क लेते हैं, लेकिन फिर भी यह हमारे लिए बहुत लाभदायक है - क्योंकि हम सॉफ्टवेयर में अधिक स्केलेबल स्थानों पर कमाई करना शुरू करते हैं, और लोहे के किराये पर नहीं। खैर, यह आंतरिक लागतों में कमी है।


त्वरक आपको एजेंटों से यातायात कम करने की अनुमति देता है, क्योंकि केवल डेटा परिवर्तन प्रेषित होते हैं, अर्थात, पूर्ण बैकअप भी पूर्ण रूप से नहीं डाला जाता है, क्योंकि मीडिया सर्वर वृद्धिशील बैकअप से बाद में पूर्ण बैकअप एकत्र करता है।

मध्यवर्ती सर्वर का अपना रिपॉजिटरी होता है, जहां यह डेटा का "कैश" लिखता है और डिडुप्लीकेशन के लिए आधार रखता है।

पूर्ण वास्तुकला में, यह इस तरह दिखता है:

1. मास्टर सर्वर कॉन्फ़िगरेशन, अपडेट और बहुत कुछ प्रबंधित करता है, और क्लाउड में स्थित होता है।
2. मीडिया सर्वर (मध्यवर्ती * निक्स मशीन) नेटवर्क उपलब्धता के संदर्भ में निरर्थक प्रणालियों के सबसे करीब स्थित होना चाहिए। यहाँ बैकअप सभी निरर्थक मशीनों से काटे गए हैं।
3. निरर्थक मशीनों पर एजेंट होते हैं जो आम तौर पर मीडिया सर्वर को केवल वही भेजते हैं जो इसके भंडारण में नहीं है।

यह सब एक पूर्ण स्कैन के साथ शुरू होता है - यह एक पूर्ण-पूर्ण बैकअप है। इस बिंदु पर, मीडिया सर्वर सब कुछ लेता है, इसे घटाता है, और इसे S3 में स्थानांतरित करता है। मीडिया सर्वर की गति इससे कम है, इससे अधिक है। मुख्य सीमा सर्वर की प्रसंस्करण शक्ति है।

निम्नलिखित बैकअप सभी प्रणालियों के दृष्टिकोण से पूर्ण किए जाते हैं, लेकिन वास्तव में यह सिंथेटिक पूर्ण बैकअप जैसा कुछ है। यही है, मीडिया सर्वर को वास्तविक हस्तांतरण और रिकॉर्डिंग केवल उन डेटा ब्लॉक हैं जो अभी तक वीएम बैकअप में पहले नहीं देखे गए हैं। और S3 में स्थानांतरण और रिकॉर्डिंग केवल उन डेटा ब्लॉक की है, जिनका हैश मीडिया सर्वर के डेडुप्लीकेशन डेटाबेस में नहीं है। यदि सरल शब्दों में - कि पहले किसी भी बैकअप में कोई वीएम नहीं थे।

पुनर्स्थापित करते समय, मीडिया सर्वर एस 3 से आवश्यक कटौती की गई वस्तुओं का अनुरोध करता है, उन्हें फिर से सक्रिय करता है और उन्हें सीपीसी एजेंटों, अर्थात्। पुनर्स्थापना के दौरान यातायात की मात्रा को ध्यान में रखना आवश्यक है, जो बहाल किए जा रहे डेटा की वास्तविक मात्रा के बराबर होगा।

यहाँ यह कैसा दिखता है:




डेटा की अखंडता को S3 के संरक्षण द्वारा ही सुनिश्चित किया जाता है - एक मृत हार्ड डिस्क स्पिंडल जैसे हार्डवेयर विफलताओं से सुरक्षा के लिए अच्छा अतिरेक है।

मीडिया सर्वर को 4 टेराबाइट्स कैश की आवश्यकता है - यह न्यूनतम आकार के लिए वेरिटास की सिफारिश है। और बेहतर, लेकिन हमने ऐसा ही किया।

परिणाम

जब एक साथी ने हमारे एस 3 में 20 जीबी फेंक दिया, तो हमने 60 जीबी स्टोर किया, क्योंकि हम डेटा का तीन बार भू-आरक्षण प्रदान करते हैं। अब ट्रैफ़िक बहुत कम है, जो चैनल और स्टोरेज चार्जिंग दोनों के लिए अच्छा है।

इस स्थिति में, मार्ग "बड़े इंटरनेट" से बंद हैं, लेकिन आप इंटरनेट के माध्यम से वीपीएन एल 2 के माध्यम से ट्रैफ़िक चला सकते हैं, लेकिन मीडिया सर्वर को प्रदाता के प्रवेश पर सेट करना बेहतर है।

यदि आप हमारे रूसी डेटा केंद्रों में इन विशेषताओं के बारे में जानने में रुचि रखते हैं या यदि आपके पास इसे लागू करने के तरीके के बारे में प्रश्न हैं, तो टिप्पणी या ekorotkikh@croc.ru मेल में पूछें।