हुआवेई भंडारण के "हुड के तहत": मालिकाना प्रौद्योगिकियों, और दूसरों के पास क्या नहीं है

बाजार पर उपलब्ध अधिकांश स्टोरेज सिस्टम एक दूसरे से बहुत अलग नहीं हैं, क्योंकि कई विक्रेता लगभग एक ही ODM निर्माताओं से उपकरण मंगवाते हैं। हमारे पास चेसिस से लेकर कंट्रोलर तक की तकनीकें जैसे कि RAID 2.0+ और सॉफ्टवेयर हैं।



कटौती के तहत, डेटा भंडारण प्रणाली के प्रत्येक नोड में इतना असामान्य क्या हो सकता है, इसके बारे में कुछ विवरण हैं।

मॉड्यूल स्तर पर क्या दिलचस्प है

संरचनात्मक रूप से, किसी भी निर्माता से सभी आधुनिक भंडारण प्रणालियां समान दिखती हैं: स्टील बॉक्स चेसिस के सामने नियंत्रक स्थापित किए गए हैं, और रियर में इंटरफ़ेस मॉड्यूल। बिजली की आपूर्ति और वेंटिलेशन भी हैं। ऐसा लगता है कि सब कुछ परिचित और मानक है। लेकिन वास्तव में, हमने इस प्रतिमान में बहुत सारी दिलचस्प बातें पेश की हैं।



चलो चेसिस में स्टोरेज सिस्टम तत्वों को माउंट करने के साथ शुरू करते हैं। स्टोरेज सिस्टम में कम चुंबकीय 3.5 इंच के ड्राइव होते हैं, हाइब्रिड सिस्टम और ऑल-फ्लैश हावी होने लगे हैं। लेकिन प्रति मिनट 15 हजार क्रांतियों तक की स्पिंडल गति वाली कई डिस्क ड्राइव एक कंपन पैदा करती हैं जिसे नजरअंदाज नहीं किया जा सकता है। हमने इस मामले के लिए सिफारिशों का एक पूरा सेट विकसित किया है - डिस्क अलमारियों के बीच विभिन्न मापदंडों के साथ चुंबकीय ड्राइव कैसे वितरित करें।

प्रतिशत के एक अंश पर भी, लेकिन यह विश्वसनीयता को प्रभावित करता है। और एक बड़े डेटा सेंटर के पैमाने पर, प्रति ड्राइव प्रतिशत असफलताओं और खराबी के मूर्त संकेतकों में बदल जाते हैं। यह सुनिश्चित करने के लिए कि अलग-अलग डिस्क की कंपन कठोर चेसिस संरचना के माध्यम से कम प्रसारित होती है, हम डिस्क को रबर या धातु के डैम्पर्स के साथ डिस्क से लैस करते हैं। भंडारण प्रणाली में कंपन के एक और स्रोत को बेअसर करने के लिए - वेंटिलेशन मॉड्यूल - हम द्वि-दिशात्मक प्रशंसकों को लगाते हैं, और चेसिस से सभी घूर्णन तत्वों को अलग करते हैं।

स्पिंडल ड्राइव्स के लिए, न्यूनतम झटकों की समस्या पहले से ही है: सिर भटकने लगते हैं, प्रदर्शन में काफी गिरावट आती है। एसएसडी एक और मामला है, वे कंपन से डरते नहीं हैं। लेकिन सुरक्षित रूप से घटकों को ठीक करना अभी भी महत्वपूर्ण है। वितरण प्रक्रिया को लें: बॉक्स को गिराया जा सकता है या लापरवाही से फेंक दिया जा सकता है, बग़ल में या उल्टा रखा जा सकता है। इसलिए, हमारे पास भंडारण प्रणाली के सभी घटकों को तीन आयामों में कड़ाई से तय किया गया है। यह परिवहन के दौरान उनके विस्थापन की संभावना को समाप्त करता है, आकस्मिक प्रभाव के मामले में कनेक्टर्स को सॉकेट्स से बाहर निकालने से बचाता है।



एक बार, हमने दूरसंचार उद्योग के लिए कंप्यूटर प्रौद्योगिकी के विकास के साथ शुरुआत की, जहां पारंपरिक रूप से तापमान और आर्द्रता में संचालन के लिए मानक उच्च हैं। और हम उन्हें अन्य दिशाओं में ले गए: भंडारण प्रणालियों के धातु भागों को उच्च आर्द्रता पर भी ऑक्सीकरण नहीं होता है - निकल चढ़ाना और गैल्वनाइजिंग के उपयोग के कारण।

हमारे भंडारण प्रणालियों के थर्मल डिजाइन को चेसिस के पार तापमान के समान वितरण पर जोर देने के साथ विकसित किया गया था - जो कि डिस्क शेल्फ के किसी भी कोने में ओवरहीटिंग या बहुत अधिक शीतलन को रोकने के लिए। अन्यथा, शारीरिक विकृति से बचा नहीं जा सकता है - भले ही महत्वहीन हो, लेकिन फिर भी ज्यामिति का उल्लंघन और उपकरणों के जीवन को छोटा करने में सक्षम है। इस प्रकार, प्रतिशत का कुछ अंश जीता जाता है, लेकिन यह अभी भी सिस्टम की समग्र विश्वसनीयता को प्रभावित करता है।

अर्धचालक सूक्ष्मता

हम भंडारण प्रणालियों के महत्वपूर्ण घटकों की नकल करते हैं: अगर कुछ विफल हो जाता है, तो हमेशा सुरक्षा जाल होता है। उदाहरण के लिए, युवा मॉडल के लिए पावर मॉड्यूल 1 + 1 योजना के अनुसार काम करते हैं, अधिक ठोस लोगों के लिए - 2 + 1 और यहां तक ​​कि 3 + 1।



नियंत्रकों, जिनमें से भंडारण प्रणाली में कम से कम दो हैं (हम एकल-नियंत्रक सिस्टम की आपूर्ति नहीं करते हैं) भी आरक्षित हैं। 6800 वीं और पुरानी श्रृंखला की भंडारण प्रणाली में, 3 + 1 योजना के अनुसार अतिरेक प्रदर्शन किया जाता है, युवा मॉडल में - 1 + 1।

यहां तक ​​कि एक प्रबंधन बोर्ड आरक्षित है, जो सीधे सिस्टम के संचालन को प्रभावित नहीं करता है, लेकिन केवल कॉन्फ़िगरेशन परिवर्तन और निगरानी के लिए आवश्यक है। इसके अलावा, स्टोरेज सिस्टम के लिए कोई भी इंटरफ़ेस एक्सपेंशन कार्ड केवल जोड़े में बेचे जाते हैं, ताकि क्लाइंट के पास रिजर्व हो।

सभी घटक - पीएसयू, प्रशंसक, नियंत्रक, प्रबंधन मॉड्यूल, आदि। - कुछ स्थितियों का जवाब देने में सक्षम माइक्रोकंट्रोलर्स से लैस। उदाहरण के लिए, यदि प्रशंसक अपने आप धीमा होना शुरू हो जाता है, तो नियंत्रण मॉड्यूल को एक अलार्म भेजा जाता है। नतीजतन, ग्राहक के पास भंडारण प्रणाली की स्थिति की पूरी तस्वीर है - और, यदि आवश्यक हो, तो हमारे सेवा इंजीनियर के आगमन की प्रतीक्षा किए बिना, कुछ घटकों को अपने दम पर बदल सकता है। और यदि ग्राहक की सुरक्षा नीति अनुमति देती है, तो हम नियंत्रकों को कॉन्फ़िगर करते हैं ताकि वे हमारे तकनीकी समर्थन के लिए लोहे की स्थिति के बारे में जानकारी प्रसारित करें।

इसके चिप्स बेहतर और अधिक समझने योग्य हैं।

हम अपने भंडारण प्रणालियों के लिए अपने स्वयं के प्रोसेसर, चिप्स और ठोस राज्य ड्राइव नियंत्रक विकसित करने वाली एकमात्र कंपनी हैं।



इसलिए, कुछ मॉडल में, भंडारण प्रणाली (स्टोरेज कंट्रोलर चिप) के मुख्य प्रोसेसर के रूप में, हम क्लासिक इंटेल x86 का उपयोग नहीं करते हैं, लेकिन एआरएम प्रोसेसर HiSilicon, हमारी सहायक कंपनी। तथ्य यह है कि भंडारण में एआरएम वास्तुकला - एक ही RAID और कटौती की गणना के लिए - मानक x86 की तुलना में खुद को बेहतर दिखाता है।

हमारे विशेष गर्व SSD नियंत्रकों के लिए चिप्स है। और अगर हमारे सर्वर थर्ड-पार्टी सेमीकंडक्टर ड्राइव (इंटेल, सैमसंग, तोशिबा इत्यादि) से लैस हो सकते हैं, तो डेटा स्टोरेज सिस्टम में हम अपने खुद के डिजाइन के केवल एसएसडी स्थापित करते हैं।



स्टोरेज सिस्टम में इनपुट-आउटपुट मॉड्यूल (स्मार्ट I / O चिप) का माइक्रोकंट्रोलर भी एक HiSilicon डेवलपमेंट है, साथ ही रिमोट स्टोरेज मैनेजमेंट के लिए स्मार्ट मैनेजमेंट चिप भी है। अपने स्वयं के माइक्रोचिप्स का उपयोग करने से हमें बेहतर समझने में मदद मिलती है कि प्रत्येक मेमोरी सेल के साथ हर पल क्या हो रहा है। यह वही है जो हमें उसी डोरैडो स्टोरेज सिस्टम में डेटा एक्सेस करने में देरी को कम करने की अनुमति देता है।



चुंबकीय डिस्क के लिए, विश्वसनीयता के संदर्भ में निरंतर निगरानी बेहद महत्वपूर्ण है। हमारे स्टोरेज सिस्टम डीएचए (डिस्क हेल्थ एनालाइज़र) का समर्थन करते हैं: डिस्क खुद ही लगातार रिकॉर्ड करता है कि यह क्या हो रहा है, यह कितना अच्छा लगता है। आंकड़ों के संचय और स्मार्ट प्रेडिक्टिव मॉडल के निर्माण के लिए धन्यवाद, 2-3 महीनों में एक महत्वपूर्ण स्थिति में ड्राइव के संक्रमण की भविष्यवाणी करना संभव है, और 5-10 दिनों में नहीं। डिस्क अभी भी "लाइव" है, इस पर डेटा पूरी तरह से सुरक्षित है - लेकिन ग्राहक इसे संभावित विफलता के पहले संकेत पर बदलने के लिए तैयार है।

RAID 2.0+

भंडारण प्रणालियों में विफल-सुरक्षित डिज़ाइन हमने सिस्टम स्तर पर सोचा है। हमारी स्मार्ट मैट्रिक्स तकनीक PCIe के शीर्ष पर एक ऐड-ऑन है - यह बस, जिसके आधार पर इंटरकंट्रोलर कनेक्शन कार्यान्वित किए जाते हैं, विशेष रूप से SSDs के लिए उपयुक्त है।


स्मार्ट मैट्रिक्स, विशेष रूप से, हमारे ओशन स्टोर 6800 v5 स्टोरेज में 4-नियंत्रक पूर्ण जाल प्रदान करता है। प्रत्येक नियंत्रक के लिए सिस्टम में सभी डिस्क तक पहुंच के लिए, हमने एक विशेष एसएएस बैकएंड विकसित किया। बेशक, कैश वर्तमान में सक्रिय नियंत्रकों के बीच प्रतिबिंबित होता है।



जब नियंत्रक क्रैश हो जाता है, तो इससे सेवाएँ जल्दी से दर्पण नियंत्रक पर स्विच हो जाती हैं, और शेष नियंत्रक एक दूसरे को दर्पण करने के लिए संबंध बहाल करते हैं। इसी समय, कैश में रिकॉर्ड किए गए डेटा में सिस्टम की विश्वसनीयता सुनिश्चित करने के लिए दर्पण रिज़र्व होता है।



प्रणाली तीन नियंत्रकों की विफलता को रोकती है। जैसा कि चित्र में दिखाया गया है, यदि नियंत्रण ए विफल हो जाता है, तो नियंत्रक बी का कैश डेटा कैश को दर्पण करने के लिए नियंत्रक सी या डी का चयन करेगा। जब नियंत्रक डी विफल हो जाता है, तो नियंत्रक बी और सी कैश को दर्पण करते हैं।



RAID 2.0 डेटा वितरण प्रणाली हमारे स्टोरेज सिस्टम के लिए मानक है: डिस्क-स्तर वर्चुअलाइजेशन ने लंबे समय से एक माध्यम से दूसरे सामग्री की आर्टिकल ब्लॉक-बाय-ब्लॉक कॉपी की जगह ले ली है। सभी डिस्क को ब्लॉक में वर्गीकृत किया जाता है, उन्हें दो-स्तरीय संरचना के बड़े समूह में जोड़ा जाता है, और पहले से ही इसके ऊपरी स्तर पर तार्किक वॉल्यूम हैं जो RAID सरणियों को बनाते हैं।



इस दृष्टिकोण का मुख्य लाभ सरणी का कम किया गया पुनर्निर्माण समय है। इसके अलावा, डिस्क विफलता की स्थिति में, पुनर्निर्माण उस गर्म स्पेयर डिस्क पर नहीं किया जाता है जो इस समय खड़ा है, लेकिन सभी उपयोग किए गए डिस्क में मुफ्त स्थान पर है। नीचे दिया गया आंकड़ा एक उदाहरण के रूप में नौ RAID5 हार्ड ड्राइव दिखाता है। जब हार्ड ड्राइव 1 क्रैश होता है, तो डेटा CKG0 और CKG1 दूषित होते हैं। सिस्टम यादृच्छिक पर पुनर्निर्माण के लिए सीके का चयन करता है।



सामान्य RAID वसूली की गति 30 एमबी / एस है, इसलिए 1 टीबी डेटा को पुनर्प्राप्त करने में 10 घंटे लगते हैं। RAID 2.0+ इस समय को 30 मिनट तक कम कर देता है।

हमारे डेवलपर्स सिस्टम में सभी धुरी ड्राइव और एसएसडी के बीच एक समान लोड वितरण को प्राप्त करने में कामयाब रहे। यह आपको हाइब्रिड स्टोरेज सिस्टम की क्षमता को कैश के रूप में सॉलिड स्टेट ड्राइव के सामान्य उपयोग से बेहतर तरीके से अनलॉक करने की अनुमति देता है।



डोरैडो कक्षा की प्रणालियों में, हमने तथाकथित RAID-TP को लागू किया, जो ट्रिपल समता के साथ एक सरणी है। इस तरह की प्रणाली का संचालन जारी रहेगा जबकि कोई भी तीन ड्राइव विफल हो जाएंगे। यह RAID 6 की तुलना में दो दशमलव आदेशों के साथ विश्वसनीयता बढ़ाता है, RAID 5 तीन से।



हम विशेष रूप से महत्वपूर्ण डेटा के लिए RAID-TP की अनुशंसा करते हैं, विशेष रूप से RAID 2.0 और उच्च-गति फ्लैश ड्राइव के कारण, यह प्रदर्शन पर महत्वपूर्ण प्रभाव नहीं डालता है। आपको बस आरक्षित करने के लिए अधिक खाली स्थान की आवश्यकता है।



एक नियम के रूप में, छोटे डेटा ब्लॉक और उच्च IOPS वाले DBMS के लिए सभी-फ़्लैश सिस्टम का उपयोग किया जाता है। एसएसडी के लिए उत्तरार्द्ध बहुत अच्छा नहीं है: नंद स्मृति कोशिकाएं जल्दी से शक्ति से बाहर निकलती हैं। हमारे कार्यान्वयन में, सिस्टम पहले ड्राइव के कैश में डेटा का एक अपेक्षाकृत बड़ा ब्लॉक इकट्ठा करता है, और फिर इसे पूरी तरह से कोशिकाओं को लिखता है। यह आपको डिस्क पर लोड को कम करने की अनुमति देता है, साथ ही साथ एक अधिक बख्शते मोड में, "कचरा संग्रह" और एसएसडी पर स्थान खाली करता है।

छह निन्यानवे

उपरोक्त हमें संपूर्ण समाधान के स्तर पर हमारे सिस्टम के दोष सहिष्णुता के बारे में बात करने की अनुमति देता है। सत्यापन आवेदन स्तर (उदाहरण के लिए, ओरेकल डीबीएमएस), ऑपरेटिंग सिस्टम, एडेप्टर, स्टोरेज पर लागू किया जाता है - और डिस्क तक। यह दृष्टिकोण सुनिश्चित करता है कि बाहरी पोर्ट पर आए डेटा ब्लॉक को सिस्टम के आंतरिक डिस्क पर बिना किसी नुकसान या हानि के लिखा जाएगा। यह एक उद्यम स्तर का तात्पर्य है।



विश्वसनीय डेटा स्टोरेज, सुरक्षा और रिकवरी के साथ-साथ उन तक त्वरित पहुँच के लिए, हमने कई मालिकाना तकनीकों का विकास किया है।



हाइपरमेट्रो शायद पिछले डेढ़ साल का सबसे दिलचस्प विकास है। एक असफल-सुरक्षित मेट्रो क्लस्टर के निर्माण के लिए हमारे भंडारण प्रणालियों पर आधारित टर्नकी समाधान नियंत्रक स्तर पर लागू किया जा रहा है, इसके लिए किसी अतिरिक्त गेटवे या सर्वर की आवश्यकता नहीं होती है, सिवाय मध्यस्थ के। यह केवल एक लाइसेंस द्वारा कार्यान्वित किया जाता है: दो हुआवेई स्टोरेज सिस्टम प्लस एक लाइसेंस - और यह काम करता है।



हाइपरस्नाप तकनीक प्रदर्शन के नुकसान के बिना निरंतर डेटा सुरक्षा प्रदान करती है। सिस्टम RoW का समर्थन करता है। किसी भी समय भंडारण पर डेटा हानि को रोकने के लिए, कई तकनीकों का उपयोग किया जाता है: विभिन्न स्नैपशॉट, क्लोन, प्रतियां।



हमारे भंडारण प्रणालियों के आधार पर, कम से कम चार आपदा वसूली समाधान विकसित किए गए हैं और अभ्यास में परीक्षण किए गए हैं।



हमारे पास तीन 3DC रिंग DR समाधान डेटा केंद्रों के लिए एक समाधान भी है: क्लस्टर में दो डेटा केंद्र, और तीसरा प्रतिकृति है। हम तृतीय-पक्ष सरणियों से अतुल्यकालिक प्रतिकृति या प्रवास का आयोजन कर सकते हैं। एक स्मार्ट वर्चुअलाइजेशन लाइसेंस है, इसलिए आप एफसी पहुंच के साथ अधिकांश मानक सरणियों से संस्करणों का उपयोग कर सकते हैं: हिताची, डेल ईएमसी, एचपीओ, आदि। समाधान वास्तव में काम किया है, बाजार पर एनालॉग हैं, लेकिन उनकी लागत अधिक है। रूस में उपयोग के उदाहरण हैं।

नतीजतन, पूरे समाधान के स्तर पर, आप छह नाइन की विश्वसनीयता प्राप्त कर सकते हैं, और स्थानीय भंडारण के स्तर पर - पांच नाइन। सामान्य तौर पर, हमने कोशिश की।

व्लादिमीर Svinarenko, वरिष्ठ आईटी समाधान प्रबंधक, रूस में हुआवेई एंटरप्राइज द्वारा पोस्ट किया गया