रूसी ने भंडारण वितरित किया। यह कैसे काम करता है

इस वसंत में, Reydiks टीम ने Elbrus-4C माइक्रोप्रोसेसर पर आधारित Elbrus-4.4 सर्वर प्लेटफॉर्म पर चलने वाले वितरित ब्लॉक स्टोरेज सिस्टम बनाने के लिए सॉफ्टवेयर का पहला संस्करण तैयार किया और जारी किया।

इस तरह के सहजीवन की उपयोगिता नग्न आंखों को दिखाई देती है - घरेलू लोहे पर आधारित भंडारण प्रणालियों की विधानसभा और घरेलू ऑपरेटिंग सिस्टम घरेलू बाजार का एक आकर्षक उत्पाद बन रहा है, विशेष रूप से आयात प्रतिस्थापन पर ध्यान देने वाले ग्राहकों के लिए।

हालांकि, विकसित ऑपरेटिंग सिस्टम की क्षमता रूसी सर्वर प्लेटफार्मों तक सीमित नहीं है। फिलहाल, मानक x86-64 सर्वर के साथ संगतता, जो बाजार में व्यापक रूप से वितरित की जाती है, परीक्षण और परीक्षण किया जा रहा है। इसके अलावा, उत्पाद वांछित कार्यक्षमता के लिए "समाप्त" है, जो रूसी बाजार के बाहर इसके कार्यान्वयन की अनुमति देगा।

नीचे हम एक छोटी चर्चा प्रस्तुत करेंगे कि सॉफ्टवेयर समाधान (जिसे RAIDIX RAIN कहा जाता है) की व्यवस्था कैसे की जाती है, जो स्थानीय सर्वर मीडिया को केंद्रीकृत प्रबंधन और क्षैतिज और ऊर्ध्वाधर स्केलिंग क्षमताओं के साथ एकल दोष-सहिष्णु भंडारण क्लस्टर में संयोजित करने की अनुमति देता है।

वितरित सुविधाएँ

एकल हार्डवेयर और सॉफ़्टवेयर कॉम्प्लेक्स के रूप में बनाए गए पारंपरिक भंडारण प्रणालियों में स्केलिंग से संबंधित एक आम समस्या है: सिस्टम प्रदर्शन नियंत्रकों पर टिकी हुई है, उनकी संख्या सीमित है, वाहक के साथ विस्तार अलमारियों को जोड़कर क्षमता विस्तार उत्पादकता में वृद्धि नहीं करता है।

इस दृष्टिकोण के साथ, भंडारण प्रणाली का समग्र प्रदर्शन गिर जाएगा, क्योंकि क्षमता में वृद्धि के साथ पिछले नियंत्रकों की वृद्धि हुई डेटा मात्रा में अधिक पहुंच संचालन की आवश्यकता होती है।

RAIDIX RAIN पारंपरिक ब्लॉक के विपरीत क्षैतिज ब्लॉक स्केलिंग का समर्थन करता है, सिस्टम के नोड्स (सर्वर ब्लॉक) को बढ़ाने से न केवल क्षमता, बल्कि सिस्टम प्रदर्शन में भी रैखिक वृद्धि होती है। यह संभव है क्योंकि प्रत्येक RAIDIX RAIN नोड में केवल मीडिया ही नहीं, बल्कि I / O और डेटा प्रोसेसिंग के लिए संसाधन भी शामिल हैं।

अनुप्रयोग परिदृश्य

RAIDIX RAIN में वितरित ब्लॉक स्टोरेज के लिए सभी मुख्य एप्लिकेशन परिदृश्यों का कार्यान्वयन शामिल है: क्लाउड स्टोरेज इन्फ्रास्ट्रक्चर, अत्यधिक लोड डेटाबेस और बिग डेटा एनालिटिक्स स्टोरेज। RAIDIX RAIN पारंपरिक भंडारण प्रणालियों के साथ पर्याप्त रूप से उच्च डेटा वॉल्यूम और क्लाइंट की संगत वित्तीय क्षमताओं के साथ प्रतिस्पर्धा कर सकता है।

सार्वजनिक और निजी बादल

समाधान क्लाउड बुनियादी ढांचे को तैनात करने के लिए आवश्यक लचीली मापनीयता प्रदान करता है: सिस्टम में जोड़े गए प्रत्येक नोड के साथ प्रदर्शन, थ्रूपुट और भंडारण क्षमता में वृद्धि।

डेटाबेस

ऑल-फ्लैश कॉन्फ़िगरेशन में RAIDIX RAIN क्लस्टर अत्यधिक भरी हुई डेटाबेस सर्विसिंग के लिए एक कुशल समाधान है। समाधान Oracle RAC के लिए Oracle Exadata उत्पादों का एक किफायती विकल्प होगा।

बिग डेटा एनालिटिक्स

अतिरिक्त सॉफ़्टवेयर के साथ, बड़े डेटा विश्लेषण करने के लिए समाधान का उपयोग करना संभव है। RAIDIX RAIN HDFS क्लस्टर की तुलना में प्रदर्शन के उच्च स्तर और रखरखाव में आसानी प्रदान करता है।

समाधान वास्तुकला

RAIDIX RAIN 2 परिनियोजन विकल्पों का समर्थन करता है: समर्पित (बाहरी या अभिसरण) और हाइपर-कंवर्स्ड (HCI, हाइपर-कंवर्जेड-इन्फ्रास्ट्रक्चर)।

समर्पित तैनाती विकल्प

चयनित संस्करण में, RAIDIX राइन क्लस्टर एक क्लासिक सॉफ्टवेयर स्टोरेज है। समाधान को समर्पित सर्वर नोड्स की आवश्यक संख्या (कम से कम 3, संख्या ऊपर से व्यावहारिक रूप से असीमित है) पर तैनात किया गया है, जिनमें से संसाधन पूरी तरह से भंडारण कार्यों के लिए उपयोग किए जाते हैं।

अंजीर। 1. समर्पित तैनाती विकल्प

RAIDIX RAIN सॉफ़्टवेयर को सीधे नंगे धातु पर स्थापित किया गया है। अनुप्रयोग, सेवाएँ, कंप्यूटिंग संसाधन जो सूचना को संग्रहीत करने के लिए RAIN का उपयोग करते हैं, उन्हें बाहरी होस्ट पर होस्ट किया जाता है और इसे स्टोरेज नेटवर्क (क्लासिक डेटा सेंटर आर्किटेक्चर) के माध्यम से जोड़ा जाता है।

हाइपरकॉनवरेज परिनियोजन विकल्प

हाइपरकॉन्जेर्वेंट विकल्प में कंप्यूटिंग पावर (हाइपरवाइजर और प्रोडक्शन वीएम) और डेटा सेंटर के स्टोरेज रिसोर्सेज (सॉफ्टवेयर स्टोरेज) के संयुक्त प्लेसमेंट में नोड्स के एक सेट पर मुख्य रूप से शामिल है, यह मुख्य रूप से वर्चुअल इन्फ्रास्ट्रक्चर के लिए सही है। इस दृष्टिकोण के साथ, RAIN सॉफ़्टवेयर वर्चुअल मशीन के रूप में बुनियादी ढांचे (HCI) के प्रत्येक होस्ट (नोड) पर स्थापित किया गया है।

अंजीर। 2. हाइपरकॉन्वर्डेड परिनियोजन विकल्प

एक दूसरे के साथ और भंडारण संसाधनों (सर्वर, एप्लिकेशन) के अंतिम उपयोगकर्ताओं के साथ RAIN क्लस्टर नोड्स का इंटरैक्शन iSCSI (IP, IPoIB), iSER (RoCE, RDMA) या NVMeOF नेटवर्क डेटा के माध्यम से किया जाता है।

हाइपरकॉनवरेड परिनियोजन विकल्प निम्नलिखित लाभ प्रदान करता है:

• कंप्यूटिंग और भंडारण संसाधनों का समेकन (एक समर्पित बाहरी भंडारण को लागू करने और बनाए रखने की आवश्यकता नहीं है)।
• कंप्यूटिंग संसाधनों और भंडारण संसाधनों के संयुक्त क्षैतिज ब्लॉक स्केलिंग।
• कार्यान्वयन और रखरखाव में आसानी।
• केंद्रीकृत प्रबंधन।
• रैक-माउंट क्षमता और बिजली की खपत को बचाएं।

उपयोग की गई मीडिया के संदर्भ में, RAIDIX RAIN 3 कॉन्फ़िगरेशन का समर्थन करता है:

• ऑल-फ्लैश - क्लस्टर नोड्स की आपूर्ति केवल फ्लैश मीडिया (एनवीएमई, एसएसडी) के साथ की जाती है;
• एचडीडी - क्लस्टर नोड्स को केवल एचडीडी-वाहक के साथ आपूर्ति की जाती है;
• हाइब्रिड - एचडीडी और एसएसडी पर दो स्वतंत्र भंडारण स्तर।

उत्पादक लचीलापन

RAIDIX RAIN का मुख्य मूल्य प्रदर्शन, दोष सहिष्णुता और भंडारण क्षमता के कुशल उपयोग का इष्टतम संतुलन है।

क्लाइंट आईटी इन्फ्रास्ट्रक्चर के हिस्से के रूप में, RAIDIX RAIN भी आकर्षक है कि हमारे पास आउटपुट पर "ईमानदार" ब्लॉक एक्सेस है, जो अधिकांश मार्केट एनालॉग्स से समाधान को अलग करता है।

वर्तमान में, अधिकांश प्रतिस्पर्धी उत्पाद उच्च प्रदर्शन दिखाते हैं, केवल मिररिंग का उपयोग करते समय। इसी समय, उपयोगी भंडारण क्षमता 2 गुना या उससे कम हो जाती है: एकल डेटा प्रतिकृति (मिररिंग) - 50% अतिरेक, डबल डेटा प्रतिकृति (डबल मिररिंग) - 66.6% अतिरेक।

EC (Erasure Coding - noiseless coding), डिडुप्लीकेशन और कम्प्रेशन, जो स्टोरेज स्टोरेज सिस्टम में लागू है, जैसे स्टोरेज ऑप्टिमाइज़ेशन टेक्नोलॉजी के इस्तेमाल से स्टोरेज परफॉरमेंस में काफी गिरावट आती है, जो देरी के प्रति संवेदनशील अनुप्रयोगों के लिए अस्वीकार्य है।

इसलिए, व्यवहार में, इस तरह के समाधान आमतौर पर इन तकनीकों के उपयोग के बिना संचालित करने के लिए मजबूर होते हैं, या केवल "ठंड" डेटा के लिए उन्हें शामिल करने के लिए।

विफलता आवश्यकताओं

प्रारंभ में, RAIDIX RAIN को सिस्टम रिबिलिटी और उपलब्धता के लिए प्रारंभिक आवश्यकताओं के स्पष्ट सेट के साथ डिजाइन किया गया था:

• क्लस्टर को कम से कम दो नोड्स की विफलता से बचना चाहिए, नोड्स की संख्या सख्ती से अधिक से अधिक 4. तीन और चार के लिए, एक नोड की विफलता की गारंटी है।
• एक नोड को प्रत्येक नोड में कम से कम दो डिस्क की विफलता से बचना चाहिए यदि एक नोड में कम से कम 5 डिस्क हैं।
• किसी विशिष्ट क्लस्टर (16 नोड्स से) पर अतिरेक का स्तर 30% से अधिक नहीं होना चाहिए
• डेटा उपलब्धता का स्तर कम से कम 99.999% होना चाहिए

इसने मौजूदा उत्पाद वास्तुकला को बहुत प्रभावित किया है।

डिस्ट्रीब्यूटेड स्टोरेज में इरेजिंग कोडिंग क्षमताएं

प्राथमिक RAIDIX RAIN फॉल्ट टॉलरेंस एप्रोच अद्वितीय इरेज़र कोडिंग प्रौद्योगिकियों का उपयोग है। अपने प्रमुख उत्पाद के लिए जानी जाने वाली ईसी कंपनियों को वितरित भंडारण में भी उपयोग किया जाता है, जो प्रदर्शन के लिए तुलनीय विन्यास की अनुमति देता है। यह यादृच्छिक और अनुक्रमिक भार दोनों पर लागू होता है। इसी समय, गलती सहनशीलता का एक पूर्व निर्धारित स्तर सुनिश्चित किया जाता है और उपयोगी क्षमता में काफी वृद्धि होती है, और ओवरहेड्स कच्चे भंडारण क्षमता का 30% से अधिक नहीं बनाते हैं।

अनुक्रमिक संचालन पर उच्च प्रदर्शन ईसी RAIDIX के लिए अलग से उल्लेख की आवश्यकता है, विशेष रूप से जब बड़ी क्षमता वाले SATA डिस्क का उपयोग किया जाता है।

सामान्य तौर पर, RAIDIX RAIN 3 त्रुटि-सुधार एन्कोडिंग विकल्प प्रदान करता है:

• 3 नोड्स के लिए, RAID 1 का उपयोग इष्टतम है;
• 4 नोड्स के लिए, RAID 5 का इष्टतम उपयोग;
• 5 से 20 नोड्स के स्टोरेज सबक्लस्टर के लिए, नेटवर्क RAID 6 का उपयोग करने के लिए इष्टतम दृष्टिकोण है।

अंजीर। 3. त्रुटि-सुधार कोडिंग के लिए विकल्प

सभी विकल्प चेकसम (या सुधार) के रूप में अतिरेक के साथ क्लस्टर के सभी नोड्स में डेटा का एक समान वितरण मान लेते हैं। यह हमें मानक RAID सरणियों (RAID-6) में उपयोग किए गए रीड-सोलोमन कोड के साथ समानताएं खींचने की अनुमति देता है और 2 वाहक तक की विफलता की अनुमति देता है। नेटवर्क RAID-6 डिस्क-आधारित एक के समान काम करता है, हालांकि, यह क्लस्टर के नोड्स के बीच डेटा वितरित करता है और 2 नोड्स के फेलओवर की अनुमति देता है।

RAID 6 में, जब 1-2 वाहक एक नोड के भीतर विफल होते हैं, तो उन्हें वितरित चेकसम का उपयोग किए बिना स्थानीय रूप से बहाल किया जाता है, डेटा की मात्रा को कम करने, नेटवर्क लोड और समग्र प्रणाली में गिरावट।

विफलता डोमेन

RAIN फ़ॉल्ट डोमेन या उपलब्धता डोमेन की अवधारणा का समर्थन करता है। यह आपको न केवल अलग-अलग नोड्स की विफलता, बल्कि पूरे सर्वर रैक या बास्केट को काम करने की अनुमति देता है, जिनमें से नोड्स को तार्किक रूप से विफलता डोमेन में वर्गीकृत किया जाता है। यह संभावना व्यक्तिगत नोड्स के स्तर पर नहीं बल्कि उनकी गलती को सहन करने के लिए डेटा वितरित करके हासिल की जाती है, लेकिन डोमेन स्तर पर, जो इसमें रखे गए सभी नोड्स की विफलता से बचने की अनुमति देगा (उदाहरण के लिए, एक संपूर्ण सर्वर रैक)। इस दृष्टिकोण में, क्लस्टर स्वतंत्र उपसमूहों (उप-समूहों) में विभाजित है। एक उपसमूह में नोड्स की संख्या 20 से अधिक नहीं है, जो गलती सहिष्णुता और उपलब्धता की आवश्यकता प्रदान करती है। इसके अलावा, उपसमूहों की संख्या सीमित नहीं है।

अंजीर। 4. विफलता डोमेन

किसी भी विफलता (डिस्क, नोड्स या नेटवर्क) की विफलता स्वचालित रूप से बाहर ले जाया जाता है, सिस्टम को रोकने के बिना।

इसके अलावा, सभी RAIDIX RAIN क्लस्टर डिवाइसों को निर्बाध बिजली आपूर्ति (UPS) से जोड़कर बिजली की विफलता से सुरक्षा प्रदान की जाती है। समान यूपीएस से जुड़े उपकरणों को पावर विफलता समूह कहा जाता है।

सुविधाएँ और कार्यक्षमता

RAIDIX RAIN की मुख्य कार्यात्मक विशेषताओं पर विचार करें।
तालिका 1. बेसिक RAIDIX RAIN सुविधाएँ

परिचालन संबंधी विशेषताएं	मूल्य
समर्थित नोड प्रकार	एलब्रस -4 सी प्रोसेसर पर आधारित घरेलू सर्वर प्लेटफॉर्म मानक x86-64 सर्वर (परिप्रेक्ष्य)
समर्थित मीडिया प्रकार	एसएटीए और एसएएस एचडीडी, एसएटीए और एसएएस एसएसडी, एनवीएमई
अधिकतम भंडारण क्षमता	16 ई.बी.
अधिकतम क्लस्टर आकार	1,024 समुद्री मील
बुनियादी कार्यक्षमता	हॉट वॉल्यूम विस्तार क्लस्टर में हॉट नोड्स जोड़ना क्लस्टर रीबैलेंसिंग डाउनटाइम के बिना विफलता
रिसीबिलिटी टेक्नोलॉजीज	नोड्स, मीडिया, नेटवर्क की विफलता। Erasure कोडिंग, क्लस्टर नोड्स में वितरित: नेटवर्क RAID 0/1/5/6। स्थानीय होस्ट वाहक के स्तर पर सुधार कोड (स्थानीय RAID 6) विफलता डोमेन

RAIDIX RAIN की एक महत्वपूर्ण कार्यात्मक विशेषता के रूप में, यह ध्यान देने योग्य है कि आरंभिक, पुनर्निर्माण और पुन: वितरण (स्केलिंग) जैसी सेवाएं पृष्ठभूमि में जाती हैं और उन्हें प्राथमिकता पैरामीटर पर सेट किया जा सकता है ।

प्राथमिकता सेटिंग उपयोगकर्ता को सिस्टम में लोड को स्वतंत्र रूप से समायोजित करने, इन सेवाओं के काम को गति देने या धीमा करने की अनुमति देती है। उदाहरण के लिए, प्राथमिकता 0 का मतलब है कि सेवाएं केवल तभी काम करती हैं जब क्लाइंट एप्लिकेशन से कोई लोड नहीं होता है।

स्केलिंग विकल्प

RAIDIX RAIN क्लस्टर के विस्तार की प्रक्रिया यथासंभव सरल और स्वचालित है, सिस्टम स्वतंत्र रूप से नए नोड्स की क्षमता को ध्यान में रखते हुए पृष्ठभूमि प्रक्रिया में डेटा को फिर से वितरित करता है, लोड संतुलित और समान हो जाता है, समग्र प्रदर्शन और भंडारण क्षमता आनुपातिक रूप से बढ़ जाती है। क्षैतिज स्केलिंग की प्रक्रिया डाउनटाइम के बिना "हॉट" गुजरती है, इसमें एप्लिकेशन और सेवाओं को रोकने की आवश्यकता नहीं होती है।

अंजीर। 5. स्केलिंग प्रक्रिया की योजनाबद्ध

वास्तुकला लचीलापन

RAIDIX RAIN एक सॉफ़्टवेयर उत्पाद है और एक विशिष्ट हार्डवेयर प्लेटफ़ॉर्म तक सीमित नहीं है - इसकी अवधारणा किसी भी संगत सर्वर हार्डवेयर पर स्थापित करने की क्षमता का सुझाव देती है।

उनके बुनियादी ढांचे और अनुप्रयोगों की बारीकियों के आधार पर, प्रत्येक ग्राहक सबसे अच्छा तैनाती विकल्प चुनता है: समर्पित या हाइपरकवरेज।

विभिन्न प्रकार के मीडिया के लिए समर्थन आपको बजट और कार्यों के आधार पर RAIDIX RAIN के आधार पर निर्माण करने की अनुमति देता है:
1. अभूतपूर्व उच्च प्रदर्शन और गारंटीकृत कम विलंबता के साथ सभी-फ्लैश स्टोरेज को वितरित किया;
2. किफायती हाइब्रिड सिस्टम जो अधिकांश बुनियादी प्रकार के भार को संतुष्ट करते हैं।

प्रदर्शन संकेतक

निष्कर्ष के रूप में, हम 6-नोड NVMe क्लस्टर के कॉन्फ़िगरेशन पर RAIDIX RAIN के परीक्षण के परिणामस्वरूप प्राप्त कुछ आंकड़े दिखाएंगे। एक बार फिर, हम ध्यान दें कि ऐसी असेंबली में (x86-64 सर्वर के साथ) उत्पाद अभी भी अंतिम रूप दिया जा रहा है, और ये आंकड़े अंतिम नहीं हैं।

पर्यावरण का परीक्षण करें

• 2 डिस्क पर 6 समुद्री मील एनवीएम एचजीएसटी एसएन 100
• आईबी कार्ड मेलानॉक्स MT27700 परिवार [कनेक्टएक्स -4]
• लिनक्स कर्नेल 4.11.6-1.el7.elrepo.x86_64
• MLNX_OFED_LINUX-4.3-1.0.1.0-rhel7.4-x86_64
• स्थानीय छापे - छापे ०
• बाहरी छापे - छापे ६
• FIO 3.1 के परीक्षण के लिए बेंचमार्क

UPD: लोड 4K ब्लॉक, क्रमिक - 1M, कतार गहराई 32 में किया गया था। लोड को एक ही समय में क्लस्टर के सभी नोड्स पर लॉन्च किया गया था और तालिका कुल परिणाम दिखाती है। विलंब 1 एमएस (99.9 प्रतिशत) से अधिक नहीं है।

तालिका 2. परीक्षण के परिणाम

लोड प्रकार	मूल्य
रैंडम 100% पढ़ा	4,098,000 IOps
रैंडम 100% लिखें	517,000 IOps
अनुक्रमिक 100% पढ़ा	33.8 जीबी / एस
अनुक्रमिक 100% लिखें	12 जीबी / एस
रैंडम रीड 70% / रैंडम राइट 30%	1,000,000 IOps / 530,000 IOps
रैंडम पढ़ा 50% / रैंडम राइट 50%	530,000 IOps / 530,000 IOps
रैंडम रीड 30% / रैंडम राइट 70%	187,000 IOps / 438,000 IOps