मिनी एंटरप्राइज स्टोरेज पर Starwind VSAN और EMC ScaleIO (VxFlexOS) + धोखा शीट का उपयोग करने का अनुभव (1 भाग)

कभी-कभी 20Tb तक के छोटे स्टोरेज वॉल्यूम के दोष-सहिष्णु भंडारण को व्यवस्थित करना आवश्यक हो जाता है, लेकिन एंटरप्राइज़ कार्यक्षमता के साथ - ऑल-फ्लैश, SSD कैश, MPIO, HA (एक्टिविटी-एक्टिविटी) और यह सब एक बजट मूल्य के साथ। इन कार्यों के साथ तैयार किए गए हार्डवेयर समाधान सैकड़ों टेराबाइट्स से शुरू होते हैं और रूबल में 8 या अधिक संकेतों की कीमतें होती हैं। नदी में 6-7 वर्णों का एक छोटा बजट होना। और एक छोटे और तेज (लेकिन विश्वसनीय) भंडारण की आवश्यकता, 2009 से भंडारण प्रणालियों के दो संस्करणों का परीक्षण किया गया है और वाणिज्यिक संचालन में डाल दिया गया है (इन प्रणालियों के साथ आम बात यह है कि वे बिना किसी विफलता के एक ही बिंदु पर अत्यधिक विश्वसनीय सिस्टम हैं + आप उन्हें खरीदने से पहले छू सकते हैं या "इसके बिना" कर सकते हैं) (फ्री))।

इस अनुभव में कौन रुचि रखता है, निम्नलिखित का वर्णन नीचे किया जाएगा:

1. StarWind वर्चुअल सैन (VSAN) सॉफ्टवेयर का अनुभव।
2. छोटे उद्यम भंडारण कैसे करें।
3. IOPS इतिहास (अभ्यास) को ओवरक्लॉक कर रहा है।
4. स्टोरेज सिस्टम EMC ScaleIO (VxFlexOS) की तैनाती और संचालन के लिए धोखा शीट ( "नहीं लिनक्स-गुरु" के विशेषज्ञों द्वारा तकनीकी सहायता के अभाव में) 1 भाग।

1. ऑपरेटिंग अनुभव StarWind वर्चुअल सैन (VSAN) सॉफ्टवेयर

StarWind Virtual SAN (VSAN) - एक्टिविटी-एक्टिविटी सॉल्यूशन (3 सर्वरों पर समकालिक प्रतिकृति) में, अलग-अलग संस्करणों में 2009-2016 के ऑपरेशन में (Starwind ISCSI SAN HA-3) हार्डवेयर RAID सरणियों के साथ सर्वर पर आधारित है।

पेशेवरों :

• आसान और तेज़, एक पेशेवर द्वारा स्थापित भी नहीं;
• ISCSI ईथरनेट पर MPIO;
• हा (एक्टिविटी-एक्टिविटी);
• नए (वारंटी) सर्वरों पर (नए डिस्क के साथ), आप कई वर्षों तक भंडारण बनाए रखने के बारे में भूल सकते हैं (उपयोगकर्ता तीन में से दो सर्वरों की विफलता को भी नोटिस नहीं करेंगे);
• रैम और एसएसडी कैश वॉल्यूम;
• मामूली नेटवर्क आउटेज के लिए फास्ट फास्ट-सिंक।

विपक्ष :

• पहले, विंडोज प्लेटफॉर्म के लिए केवल एक संस्करण था;
• लंबे समय तक संचालन (3 वर्ष से अधिक) के साथ - एक RAID सरणी (विषम डिस्क के साथ, सरणी विफलता हो सकती है) की मरम्मत के लिए एक असफल (उत्पादन से बाहर) को बदलने के लिए एक ड्राइव खोजना मुश्किल है;
• नेटवर्क इंटरफेस और पीसीआई स्लॉट की संख्या में वृद्धि उनके द्वारा कब्जा कर ली गई (इसके अलावा सिंक्रनाइज़ेशन, नेटवर्क कार्ड, स्विच);
• एलएसएफएस का उपयोग करते समय- "जर्नलिंग फाइल सिस्टम", सिस्टम का लंबे समय तक बंद होना, जो बिजली बंद होने पर यूपीएस ट्रिगर होने पर हानिकारक हो सकता है;
• एक बड़ी मात्रा के साथ पूर्ण सिंक्रनाइज़ेशन का एक बहुत लंबा समय।

शायद पहले से ही ठीक हो चुकी समस्याएं (पहले हमारे डेटा सेंटर में ऑपरेशन के दौरान हुई):

• जब RAID सरणी ध्वस्त हो जाती है, तो सर्वर सिंक्रनाइज़ेशन और डेटा चैनल के माध्यम से दिखाई देता है, लेकिन विंडोज सर्वर में डिस्क ऑफ़लाइन है, स्टारविंड लॉग को फुलाया जाता है और सर्वर फ्रीजिंग के परिणामस्वरूप सर्वर मेमोरी का उपभोग किया जाता है। संभावित उपचार: एक नियंत्रण फ़ाइल का असाइनमेंट और लॉग सेटिंग्स से गैर-महत्वपूर्ण संदेशों को हटाना।
• यदि स्विच या नेटवर्क इंटरफेस विफल रहता है, तो होस्ट सर्वर का एक अस्पष्ट विकल्प (कभी-कभी ऐसा हुआ, सिस्टम समझ नहीं सका कि किसके साथ सिंक्रनाइज़ करना है)।

उपयोगी समाचार (अभी तक परीक्षण नहीं):
StarWind Virtual SAN vSphere (हाइपर-कंवर्स्ड सॉल्यूशन) के लिए, आपको Windows सर्वर (लिनक्स वर्चुअल मशीनों पर आधारित) के लिए बाध्य किए बिना क्लस्टर में Vmware वर्चुअलाइजेशन को एम्बेड करने की अनुमति देता है।

सारांश : यदि वारंटी के अंत में एक सामान्य हार्डवेयर सर्वर प्रतिस्थापन कार्यक्रम है और StarWindSoftWare तकनीकी सहायता उपलब्ध है तो एक दोष-सहिष्णु समाधान।

2. छोटे उद्यम भंडारण कैसे करें

समस्या कथन:

महत्वपूर्ण अतिरिक्त वित्तीय लागतों के बिना मध्यम अवधि में गारंटीकृत संचालन के साथ, कुल 4 टीबी -20 टीबी के साथ एक सुरक्षित-सुरक्षित लघु-मात्रा डेटा स्टोरेज नेटवर्क बनाएं।

• सिस्टम में दोष सहिष्णु होना चाहिए (कम से कम एक स्विच, एक सर्वर, डिस्क और सर्वर में नेटवर्क कार्ड की विफलता को स्थानांतरित करना)।
• सर्वर के उपलब्ध हार्डवेयर बेड़े (3-10 वर्ष पुराने सर्वर और स्विच) के सभी संसाधनों का अधिकतम उपयोग करने के लिए।
• विभिन्न स्तरों के संस्करणों के कामकाज को सुनिश्चित करें: ऑल-फ्लैश और एचडीडी + एसएसडी कैश।

स्रोत डेटा:

• सीमित बजट;
• पीढ़ी के उपकरण 3-10 साल पहले;
• विशेषज्ञ - लिनक्स-गुरु नहीं।

विशेषताओं की गणना

एसएसडी डिस्क का उपयोग करते समय प्रदर्शन बाधाओं से बचने के लिए, जो उपकरण श्रृंखला से कुछ द्वारा काट दिया जाएगा: नेटवर्क कार्ड, RAID (एचबीए) नियंत्रक, विस्तारक (टोकरी), डिस्क।

यह उनकी आवश्यक विशेषताओं, एक निश्चित उपकरण विन्यास के आधार पर, निर्माण के समय आवश्यक है।

बेशक, आप 1Gb / s नेटवर्क और 3G नियंत्रकों पर SSD कैशिंग SAS HDD के साथ कॉन्फ़िगरेशन चला सकते हैं, लेकिन परिणाम 6Gb RAID और 10Gb / s नेटवर्क (परीक्षणों द्वारा सत्यापित) की तुलना में 3-7 गुना खराब होगा।
VxFlexOS ट्यूनिंग निर्देश एसएसडी -450 एमबी / सी और एचडीडी -100 एमबी / सी अनुमानों के आधार पर, आवश्यक बैंडविड्थ की गणना के लिए सरल निर्देश का वर्णन करता है, क्रमिक रिकॉर्डिंग के लिए (उदाहरण के लिए, जब सर्वर पुन: असंतुलित और पुनर्निर्माण होता है)।


उदाहरण के लिए:

• (SSD कैश + 3 HDD), हमें मिलता है ((४५० * १) + (३ * १००)) * GB/१००० = ६ जीबी
• (सभी फ्लैश SSD) + (SSD कैश + 3 HDD) ((450 * 2) + (3 * 100)) * 8/1000 = 9.6 GB

IOPS द्वारा नेटवर्क बैंडविड्थ का निर्धारण करने के लिए (डेटाबेस सर्वर और लोड किए गए वर्चुअल सर्वर पर मानक भार), StariWindSoftware से एक संकेत तालिका है


अंतिम कॉन्फ़िगरेशन :

• संग्रहण सॉफ़्टवेयर, जो डिस्क को RAID सरणियों में संयोजित नहीं कर सकता है, लेकिन उन्हें अलग-अलग डिस्क के रूप में भंडारण में स्थानांतरित कर देता है (ताकि जब वे विफल हो जाएं तो निश्चित समय के बाद डिस्क को बदलने में कोई समस्या न हो, लेकिन बस क्षमता द्वारा उनका चयन करें);
• पीसीआई-एक्सप्रेस v 2.0 और उच्चतर बसों के साथ प्रोसेसर e55xx-x56xx और उच्चतर का जेनरेशन सर्वर, RAID (HBA) मेमोरी के साथ 6G-12G नियंत्रक, 6-16 डिस्क के लिए विस्तारक बास्केट;
• SMB 10G लेयर 2 स्विच (JUMBO FRAME, LACP)।

समाधान विधि

फिलहाल, उपरोक्त आवश्यकताओं के साथ एक छोटी मात्रा के "लघु उद्यम उद्यम भंडारण" के लिए कोई बजट विकल्प नहीं मिला है।

हमने सॉफ़्टवेयर समाधानों पर रोक दिया, जो आपको मौजूदा सर्वर का उपयोग करने के विकल्प के साथ एंटरप्राइज स्टोरेज का लाभ उठाने की अनुमति देता है, जो इस मामले में भंडारण से समझौता किए बिना बुढ़ापे की मृत्यु का अधिकार है।

• सेफ - पर्याप्त लिनक्स विशेषज्ञ नहीं;
• EMC ScaleIO - तकनीकी सहायता के कुछ वर्षों के लिए - आप मौजूदा कर्मचारियों से प्राप्त कर सकते हैं।
• (जैसा कि यह पता चला है, लिनक्स में ज्ञान न्यूनतम हो सकता है, बाद में धोखा शीट में अधिक हो सकता है)।

3. IOPS ओवरक्लॉकिंग का इतिहास (बजट अभ्यास)

स्टोरेज सिस्टम में पढ़ने, लिखने के काम में तेजी लाने के लिए, निम्नलिखित SSD उपकरणों का उपयोग किया गया था:

3.1। SSD कैशिंग सुविधाओं के साथ नियंत्रकों।

2010 में, Adaptec 5445 SSD कैशिंग फ़ंक्शन के साथ RAID नियंत्रक एक MaxIQ डिस्क के साथ दिखाई दिए (एक ठोस परिणाम के लिए, आपके पास कैश किए गए वॉल्यूम के वॉल्यूम के MaxIQ डिस्क का कम से कम 10% होना चाहिए), लेकिन परिणाम तुच्छ * खुद पर परीक्षण किया गया;
बाद में नियंत्रक थे जो कैशिंग के लिए एक मनमाना एसएसडी डिस्क का उपयोग कर सकते हैं, एडेप्टेक क्यू सीरीज़ और एलएसआई कैशेकेड दोनों (लेकिन लाइसेंसिंग वहां अलग है);

3.2। इंटेल डीसी S3700 जैसे डिस्क का उपयोग करने वाले सॉफ़्टवेयर कैशिंग, जो कि ब्रांडेड एचपी, आईबीएम, फ़ूजी सर्वर सर्वर के नियंत्रक और विस्तारक द्वारा देखे जाते हैं (अधिकांश सर्वर सफलतापूर्वक उन्हें पहचानते हैं, ऑल-फ्लैश के लिए महंगा है, लेकिन एसएसडी कैश पर 10% के लिए उन्हें जारी नहीं करना सहनीय है आईबीएम, एचपी, एफयूजेआई, और सिर्फ इंटेल के साझेदार)। * लेकिन अब सस्ते संगत विकल्प हैं (पैराग्राफ 3.5 देखें।);

3.3। PCIe-M.2 अडैप्टर, Synology M.2 M2D18 SSD का उपयोग करके सॉफ्टवेयर कैशिंग, की जाँच की जाती है, यह साधारण सर्वर (न केवल Synology में) में काम करता है, यह तब उपयोगी होता है, जब RAID नियंत्रक और टोकरी SSD को देखने से इनकार कर दें कि निर्माता ने संगत में संकेत नहीं किया था (n) एचपी डी 2700)? *;

3.4। सीगेट EXOS हाइब्रिड ड्राइव 600Gb सीगेट एक्सोस 10E2400 (ST600MM0099) {SAS 12Gb / s, 10000rpm, 256Mb, 2.5 "}, एचपी, आईबीएम, फूजी सर्वर द्वारा मान्यता प्राप्त सत्यापित (संस्करण 3.1.-3.3 के विकल्प);

3.5। SSD एक बड़े संसाधन और एंटरप्राइज़-क्लास SAS के साथ तुलनात्मक मूल्य के साथ ड्राइव करता है,
Crucial Micron 5200 MAX MTFDDAK480TDN-1AT1ZABYY, * HP, IBM, FUJI सर्वर द्वारा मान्यताप्राप्त
(खंड 4 के साथ संगत और पुराने एसएएस सर्वर के साथ संगत HDD डिस्क को बदलने का एक विकल्प: SAS2.5 "600GB AL14SEB060N TOSHIBA * हार्ड डिस्क *;
C10K1800 0B31229 HGST, ST600MM0099 SEAGATE)। एक बजट को HDD + SSD से ऑल-फ्लैश वॉल्यूम में बदलने की अनुमति देता है;

4. भंडारण ईएमसी स्केलियो (VxFlexOS) 1 भाग की तैनाती और संचालन के लिए धोखा शीट

EMC स्केलियो स्टोरेज (VxFlexOS)

खरीद से पहले समाधान का परीक्षण करने के बाद, मैं इस निष्कर्ष पर पहुंचा कि सिस्टम के सामान्य कामकाज के लिए 3 से अधिक नोड्स की आवश्यकता है (विफलता 3 पर अस्थिर है), उदाहरण के लिए, 8 सर्वरों का कॉन्फ़िगरेशन लें (यह बिना वॉल्यूम खोए 4 सर्वरों की लगातार विफलता से बच जाएगा)।

हार्डवेयर हिस्सा :

फूजी CX2550M1 (E5-2xxx) - 3 पीसी। (VmWare VSphere + ScaleIO सर्वर वर्चुअलाइजेशन कोर क्लस्टर SDC क्लाइंट और SDS सर्वर);
+5 पीढ़ी के सर्वर HP G6 (G7) या IBM M3 (e55xx-x56xx) - स्केलियो एसडीएस सर्वर;
+ 2 नेटगियर XS712T-100NES स्विच

RFCache मोड में स्टोरेज चलाने पर, Iometer का उपयोग करके मैं 44KIops पर ओवरक्लॉक करने में सक्षम था



संग्रहण कॉन्फ़िगरेशन:

12TB क्रूड क्षमता (उस समय न्यूनतम लाइसेंस जब यह अभी भी सॉफ्टवेयर के रूप में बेचा गया था)



8 एसडीएस सर्वर 28 ड्राइव



रैम कैश 14 जीबी पढ़ें



फ्लैश कास 1.27 टीबी (RFCashe) पढ़ें



मध्यवर्ती संस्करण में, जहां केवल 3 2x10Gb सर्वर में नेटवर्क कार्ड हैं, शेष 2 X1Gb में।


यह स्पष्ट रूप से देखा गया है कि 10Gb के बजाय 1Gb पर SSD कैशिंग के साथ, समान मीडिया के साथ SDS बैंडविड्थ का तीन गुना या उससे अधिक का नुकसान होता है।

कैशिंग के बिना, यदि आप इन "मानकों" के अनुसार विचार करते हैं, तो 28 एचडीडी के साथ,
हम 28X140 = 3920 IOPS प्राप्त करते हैं, अर्थात 44,000 IOPS प्राप्त करने के लिए, आपको कई डिस्क के रूप में 11 बार की आवश्यकता होगी। यह छोटी मात्रा की आवश्यकताओं के लिए आर्थिक रूप से अधिक लाभदायक है, डिस्क की संख्या में वृद्धि करने के लिए नहीं, लेकिन, एसएसडी कैश।

इस सवाल के लिए कि छोटी मात्रा के साथ ऐसी गति क्यों है, मैं तुरंत जवाब दूंगा!

ऐसे छोटे संगठन हैं (जैसे हमारे) जिसमें बड़ी संख्या में इलेक्ट्रॉनिक दस्तावेज़ हैं जो लंबे समय तक सॉफ़्टवेयर में संसाधित होते हैं (प्रत्येक रजिस्ट्री इस सॉफ़्टवेयर को 1 घंटे तक भेजने के लिए नियंत्रित करती है, यहां तक ​​कि इस ओवरक्लॉक्ड स्टोरेज पर भी)। अन्य सभी विकल्प पहले ही लागू किए जा चुके हैं (RM-RAM, CPU i5, SSD, 1Gb-NET पर वृद्धि)। यहां तक ​​कि भंडारण पर केवल एसएसडी + एसएएस बंडलों का उपयोग (ऑल-फ्लैश के बिना) ने वर्चुअलाइजेशन सर्वर के अधिकांश संसाधनों का उपयोग करना संभव बना दिया, लोडेड वीएम को स्केलियो में स्थानांतरित कर दिया - फूजी सीएक्स 400 एमएम प्रोसेसर (पहले से आयोजित बैक स्टोरेज) पर लोड दोगुना हो गया।