प्योर स्टोरेज में जाना: हमारा नया स्टोरेज

हाल ही में, हमने अपने अत्यधिक लोड किए गए डेटाबेस - केंद्रीकृत कार्यालय सेवाओं, मेल, आभासी कार्यस्थानों के साथ-साथ ट्रेडिंग सिस्टम और साइट्स mvideo.ru और eldorado.ru - को शुद्ध भंडारण फ्लैश सरणियों में स्थानांतरित कर दिया। और आज हम आपको बताएंगे कि हमने ऐसा करने का फैसला क्यों किया और हमने नए लोगों को कैसे स्विच किया।

प्रागितिहास

M.Video और Eldorado के विलय के बाद, समूह ने दीर्घकालिक RETAIL कार्यक्रम को अपनाया, जो सक्रिय रूप से डिजिटल प्लेटफॉर्म विकसित करता है और आईटी सेवाओं को स्वचालित करता है। हम अपनी सुविधाओं और क्लाउड वातावरण से एक हाइब्रिड बुनियादी ढांचे में बदल गए। हालांकि, विभिन्न निर्माताओं के उपकरणों का एक बड़ा बेड़ा, जो विलय के परिणामस्वरूप बनाया गया था, ने सिस्टम की दक्षता में और वृद्धि को रोका।

इसलिए, हम रिपॉजिटरी के हिस्से को अपडेट करने का विचार लेकर आए। विभिन्न निर्माताओं से समाधान का विश्लेषण करने के बाद, हम शुद्ध भंडारण पर बस गए। लेकिन अंतिम निर्णय लेने से पहले, हमारे डेटा पर उपकरणों का परीक्षण करना आवश्यक था।

परीक्षण

परीक्षण में भाग लेने वाले सिस्टम कई विक्रेताओं की भंडारण प्रणाली पर स्थित थे, जो क्लासिक हार्ड ड्राइव और ठोस राज्य दोनों का उपयोग करते थे। एक परीक्षण कार्यक्रम पर सहमत होने और हमारे डेटा सेंटर में प्योर स्टोरेज उपकरण स्थापित करने के बाद, हम प्रवास करने लगे।



सबसे पहले हमने वर्चुअल डेस्कटॉप सर्विस को माइग्रेट किया। नतीजतन, अंतिम उपयोगकर्ता - sysadmins नहीं - उत्पादकता में उल्लेखनीय वृद्धि देखी गई: पीडीएफ फाइलें, पाठ दस्तावेज़ और तालिकाओं को बहुत तेज़ी से खोला गया। सेवा के अपने मूल संग्रहण सिस्टम में वापस आने के बाद, प्रतिक्रिया की गति कम हो गई। यही है, ऑल-फ्लैश आर्किटेक्चर के साथ भंडारण में स्थानांतरण के कारण, एक बल्कि महत्वपूर्ण प्रणाली के प्रदर्शन में उल्लेखनीय वृद्धि हुई है। हमने सटीक माप नहीं किया, लेकिन संवेदनाओं के अनुसार, गति में वृद्धि 50-70% थी। कुछ अनुप्रयोगों के लिए, प्रतिक्रिया समय में काफी कमी आई है।

फिर हमने संपीड़न और डिडुप्लीकेशन का परीक्षण किया। प्योर स्टोरेज के बीच एक अंतर यह है कि उनके स्टोरेज सिस्टम में फ्लाई पर, वैश्विक स्तर पर डिडुप्लीकेशन और कम्प्रेशन काम करते हैं, इसलिए आपको अलग-अलग स्टोरेज वॉल्यूम के बीच डेटा वितरित करने की आवश्यकता नहीं है। इसके अलावा, भंडारण प्रणाली समय-समय पर जानकारी को संपीड़ित मोड में अधिक उन्नत संपीड़न और डुप्लीकेशन एल्गोरिदम का उपयोग करके संपीड़ित कर सकती है। और अंत में, संपीड़न और डिडुप्लीकेशन एल्गोरिदम प्योर स्टोरेज में बहुत छोटे डेटा ब्लॉक के साथ काम करते हैं, जो 512 बाइट्स से शुरू होते हैं - ब्लॉक की लंबाई अलग-अलग हो सकती है, विभिन्न प्रकार के डेटा के लिए अनुकूल हो सकती है।

इन चालों के लिए धन्यवाद, मूल भंडारण प्रणाली की तुलना में MySQL और Oracle डेटाबेस (परीक्षण के लिए चयनित) की मात्रा 3.1 गुना घट गई।

की शुरूआत

हम न केवल भंडारण प्रदर्शन, बल्कि भंडारण विश्वसनीयता बढ़ाने में भी रुचि रखते थे। इसलिए, अगला कदम, हमने एक्टिव-एक्टिव (प्योर स्टोरेज एक्टिवक्स्टर) स्कीम के अनुसार एक डिस्ट्रीब्यूटेड स्टोरेज क्लस्टर शुरू करने का फैसला किया है, जो कि हमारे सिस्टम को दो डेटा सेंटरों में वितरित करने के लिए है। प्रत्येक शुद्ध भंडारण भंडारण प्रणाली में पहले से ही समकालिक और अतुल्यकालिक प्रतिकृति के लिए आवश्यक उपकरण शामिल हैं, जिसमें भौगोलिक रूप से वितरित सक्रिय-सक्रिय क्लस्टर का निर्माण भी शामिल है।





दूसरी शुद्ध भंडारण प्रणाली की उपस्थिति के बाद, हमने सरणी स्तर पर सिंक्रोनस प्रतिकृति फ़ंक्शन का उपयोग किया, जिसने साइटों के बीच डेटा के प्रवास को काफी तेज कर दिया, क्योंकि डेटा एक संपीड़ित रूप में प्रसारित होता है। अब हम ऐसी सेवाओं का चयन कर रहे हैं जो उच्च उपलब्धता सुनिश्चित करने के लिए निरंतर सिंक्रोनाइज़ेशन मोड में काम करेंगे: आपातकालीन स्थिति या पूरी साइट की विफलता के कारण, कंपनी की आईटी सेवाएं बिना किसी रुकावट के काम करना जारी रखेंगी। चूंकि एक्टिव-एक्टिव मोड में प्रतिकृति काम करती है, पूरे स्टोरेज सिस्टम की वास्तविक विफलता कुछ रास्तों के नुकसान की ओर ले जाती है, लेकिन होस्ट किए गए एप्लिकेशन की उपलब्धता को प्रभावित नहीं करती है। अंत उपयोगकर्ताओं के लिए, यह किसी का ध्यान नहीं जाता है। यह देखते हुए कि डिफ़ॉल्ट रूप से, शुद्ध संग्रहण 99.9999% (प्रति वर्ष डाउनटाइम का 31.5 सेकंड) के स्तर पर विश्वसनीयता प्रदान करता है, और भी - इस समय, आंकड़ों के अनुसार निर्माता अपनी क्लाउड सेवा से एकत्र करता है, शुद्ध सरणियों, हमारी राय में, अधिक 6 nines (और यह प्रति वर्ष डाउनटाइम का केवल 3 सेकंड है), निरंतर ActiveCluster सिंक्रनाइज़ेशन की मदद से, शुद्ध अपटाइम लगभग 100% हो जाता है। यानी, भले ही संपूर्ण डेटा केंद्र विफल हो, उपयोगकर्ता चुपचाप काम करेंगे, जैसे कि कुछ भी नहीं हुआ था।

प्रबंध

प्योर स्टोरेज उपकरणों की पहली इकाइयों की शुरुआत के साथ, हमने मालिकाना क्लाउड निगरानी और नियंत्रण सेवा - प्योर 1 का उपयोग करना शुरू किया। यह एक एकल नियंत्रण कक्ष प्रदान करता है जो आने वाले वर्षों के लिए सभी भंडारण प्रणालियों और अनुमानित स्थितियों की स्थिति प्रदर्शित करता है। यही है, हमें यह गणना करने की आवश्यकता नहीं है कि प्रदर्शन या क्षमता पर्याप्त होने के लिए बंद हो जाएगी - सिस्टम पहले से चेतावनी देगा या पहले से भविष्यवाणी करने की अनुमति देगा। यह भविष्य के विस्तार और उन्नयन की प्रक्रिया को बहुत सरल करता है।

Pure1 में VM Analytics नामक एक टूल भी है। चूंकि हमारी सभी सेवाएं और एप्लिकेशन VMware समाधान के आधार पर पूरी तरह से वर्चुअलाइज किए गए हैं, इसलिए हम VMware वर्चुअलाइजेशन क्लस्टर से कनेक्ट कर सकते हैं और Pure1 में संपूर्ण बुनियादी ढांचे की टोपोलॉजी देख सकते हैं। संपर्क के सभी मध्यवर्ती बिंदुओं को प्रदर्शित किया जाएगा: आभासी मशीन, वॉल्यूम, भंडारण, व्यक्तिगत संबंध। और किसी भी समस्या की स्थिति में, हम देखेंगे कि विक्रेता की सहायता के बिना कहां और क्या हुआ।

स्थान का घनत्व

हमने विभिन्न निर्माताओं के 6 प्रकार के स्टोरेज सिस्टम से डेटा को शुद्ध भंडारण भंडारण प्रणालियों के दो मॉडल में माइग्रेट किया। पुराने उपकरणों ने कई रैक पर कब्जा कर लिया। और अब एक ही डेटा वाले उपकरण - लगभग 1.5 पेटाबाइट्स - एक रैक, 18 इकाइयों के एक तिहाई पर कब्जा कर लेते हैं, जबकि 15 - 20% के क्षेत्र में डिस्क क्षमता का एक रिजर्व रहता है। ऊर्जा की खपत और गर्मी का अपव्यय काफी कम हो गया, जो शीतलन प्रणाली को बचाता है।

अन्य विशेषताएं और क्षमताएं

प्योर स्टोरेज तकनीकी सहायता के केंद्र में एक "कृत्रिम बुद्धिमत्ता" इंजन है जो संभावित समस्याओं की भविष्यवाणी कर सकता है।

पारंपरिक ब्लॉक सेवाओं के अलावा, प्योर स्टोरेज स्टोरेज सिस्टम आंतरिक सॉफ्टवेयर-परिभाषित मॉड्यूलर वास्तुकला के कारण फाइल सेवाओं को तैनात करने की अनुमति देता है। इसलिए हमने किया: x50 और x70 पर Windows फ़ाइल सर्वर बनाया और फ़ाइल संग्रहण संसाधनों का माइग्रेशन शुरू किया।

मैं यह भी उल्लेख करना चाहूंगा कि शुद्ध संग्रहण में कोई भी सॉफ़्टवेयर घटक का उपयोग नहीं किया जाता है, आपको भविष्य के लाइसेंस के बारे में सोचने की आवश्यकता नहीं है - एक लाइसेंस का तात्पर्य भविष्य की सभी नई सुविधाओं के स्वचालित जोड़ से है। उदाहरण के लिए, प्रारंभिक कार्यान्वयन के क्षण से, एनएफएस प्रोटोकॉल के माध्यम से स्नैपशॉट अपलोड करने का कार्य किसी भी निर्माता की बाहरी भंडारण प्रणाली के लिए, या एस 3 प्रोटोकॉल के माध्यम से बाहरी क्लाउड स्टोरेज में दिखाई देता है।
इसके अलावा शुद्ध भंडारण उत्पादों के लाभों में से एक इसका प्रबंधन में आसानी है।





अब हम एक केंद्रीयकृत बैकअप प्रणाली के साथ प्योर स्टोरेज स्नैपशॉट को एकीकृत कर रहे हैं। उनकी मदद से, हम तुरंत बैकअप बना सकते हैं, यह आपको बैकअप प्रक्रिया के दौरान अनुप्रयोगों को अनलोड करने और पुनर्प्राप्ति के लिए आवश्यक समय को काफी कम करने की अनुमति देगा। विफलता की स्थिति में, स्नैपशॉट से एप्लिकेशन को पुनर्प्राप्त करने की प्रक्रिया लगभग तुरंत होगी। एक बैकअप सिस्टम के साथ स्नैपशॉट का उपयोग करते समय, आपको पूर्ण उच्च-प्रदर्शन समाधान मिलता है। यानी संसाधनों की सबसे ज्यादा मांग भंडारण प्रणाली को दी जाएगी। ऐसे हार्डवेयर स्नैपशॉट सिस्टम प्रदर्शन को कम नहीं करते हैं, आवेदन या वर्चुअलाइजेशन स्तर पर बनाए गए स्नैपशॉट के विपरीत।