AERODISK इंजन N2 स्टोरेज क्रैश टेस्ट, स्ट्रेंथ टेस्ट

सभी को नमस्कार! इस लेख के साथ, AERODISK ने Habré पर एक ब्लॉग खोला। हुर्रे, कॉमरेड्स!

हैबर पर पिछले लेखों में, भंडारण प्रणालियों की वास्तुकला और बुनियादी विन्यास के बारे में प्रश्नों पर विचार किया गया था। इस लेख में, हम एक ऐसे प्रश्न पर विचार करेंगे, जो पहले कवर नहीं किया गया था, लेकिन अक्सर यह पूछा गया था - एरोडास्क इंजन भंडारण प्रणालियों की गलती सहिष्णुता के बारे में। हमारी टीम वह सब कुछ करेगी जिससे कि AERODISK स्टोरेज सिस्टम काम करना बंद कर दे, अर्थात उसे तोड़ना।

ऐसा हुआ कि हमारे उत्पादों के बारे में हमारी कंपनी के इतिहास के बारे में लेख, साथ ही सफल कार्यान्वयन का एक उदाहरण पहले से ही हैबे पर लटका हुआ है, जिसके लिए हमारे भागीदारों - टीएस समाधान और सॉफ्टलाइन कंपनियों के लिए बहुत धन्यवाद।

इसलिए, मैं यहां कॉपी-पेस्ट प्रबंधन कौशल को प्रशिक्षित नहीं करूंगा, लेकिन बस इन लेखों के मूल के लिंक दें:

• आलेख संख्या 1। कंपनी के इतिहास और भंडारण प्रणाली AERODISK इंजन की वास्तुकला के बारे में
• अनुच्छेद संख्या 2। AERODISK इंजिन संग्रहण को जल्दी से कॉन्फ़िगर करने के बारे में
• अनुच्छेद संख्या 3। सुरक्षित शहर परियोजना के ढांचे में 2018 विश्व कप के तहत बड़े वीडियो निगरानी के कार्यान्वयन पर एक दिलचस्प परियोजना

मैं खुशखबरी भी शेयर करना चाहता हूं। लेकिन मैं समस्या के साथ, निश्चित रूप से शुरू करूँगा। हम, एक युवा विक्रेता के रूप में, अन्य लागतों के बीच, हर समय इस तथ्य का सामना करते हैं कि बहुत से इंजीनियर और प्रशासक कॉर्नियां नहीं जानते हैं कि हमारे भंडारण प्रणालियों को ठीक से कैसे संचालित किया जाए।
यह स्पष्ट है कि अधिकांश भंडारण प्रणालियों का प्रबंधन प्रशासक के दृष्टिकोण से लगभग समान दिखता है, लेकिन प्रत्येक निर्माता की अपनी विशेषताएं हैं। और हम कोई अपवाद नहीं हैं।

इसलिए, आईटी पेशेवरों को प्रशिक्षित करने के कार्य को सरल बनाने के लिए, हमने इस वर्ष को मुफ्त शिक्षा के लिए समर्पित करने का फैसला किया। ऐसा करने के लिए, रूस के कई बड़े शहरों में, हम AERODISK सक्षमता केंद्रों का एक नेटवर्क खोल रहे हैं, जिसमें कोई भी इच्छुक तकनीकी विशेषज्ञ बिल्कुल निशुल्क पाठ्यक्रम ले सकता है और AERODISK इंजन भंडारण प्रशासन प्रमाणपत्र प्राप्त कर सकता है।

प्रत्येक सक्षमता केंद्र में, हम AERODISK भंडारण प्रणाली और एक भौतिक सर्वर से एक पूर्ण-डेमो डेमो स्टैंड स्थापित करेंगे, जिस पर हमारा शिक्षक पूर्णकालिक प्रशिक्षण आयोजित करेगा। सक्षम केंद्रों के काम का कार्यक्रम उनकी उपस्थिति पर प्रकाशित किया जाएगा, लेकिन अब हमने निज़नी नोवगोरोड में एक केंद्र खोला है और क्रास्नोडार शहर कतार में है। आप नीचे दिए गए लिंक का उपयोग करके प्रशिक्षण के लिए साइन अप कर सकते हैं। मैं वर्तमान में शहरों और तारीखों के बारे में ज्ञात जानकारी लाता हूं:

• निज़नी नोवगोरोड (ALREADY WORKS - आप यहाँ रजिस्टर कर सकते हैं https://aerodisk.promo/nn/ );
  16 अप्रैल, 2019 तक, आप किसी भी कार्य समय पर केंद्र पर जा सकते हैं, और 16 अप्रैल, 2019 को एक बड़े प्रशिक्षण पाठ्यक्रम का आयोजन किया जाएगा।
• क्रास्नोडार (आने वाला SOON - यहाँ साइन अप करें https://aerodisk.promo/krsnd/ );
  9 अप्रैल से 25 अप्रैल, 2019 तक आप किसी भी कार्य समय पर केंद्र पर जा सकते हैं, और 25 अप्रैल, 2019 को एक बड़ा प्रशिक्षण पाठ्यक्रम आयोजित किया जाएगा।
• येकातेरिनबर्ग (SOON OPENING, हमारी वेबसाइट या Habré पर जानकारी का पालन करें);
  मई-जून 2019।
• नोवोसिबिर्स्क (हमारी वेबसाइट या हैबे पर जानकारी का पालन करें);
  अक्टूबर 2019
• क्रास्नोयार्स्क (हमारी वेबसाइट पर या हैबेरी की जानकारी का पालन करें);
  नवंबर 2019

और, ज़ाहिर है, अगर मास्को आपसे दूर नहीं है, तो किसी भी समय आप मास्को में हमारे कार्यालय का दौरा कर सकते हैं और इसी तरह के प्रशिक्षण से गुजर सकते हैं।

वह सब है। विपणन के साथ बंधे, तकनीक पर जाएं!

Habré पर हम नियमित रूप से अपने उत्पादों, तनाव परीक्षणों, तुलनाओं, उपयोग की सुविधाओं और दिलचस्प कार्यान्वयन के बारे में तकनीकी लेख प्रकाशित करेंगे।

AERODISK इंजन N2 स्टोरेज क्रैश टेस्ट, स्ट्रेंथ टेस्ट

आक्टंग! लेख पढ़ने के बाद, आप कह सकते हैं: ठीक है, निश्चित रूप से, विक्रेता खुद की जांच करेगा ताकि सब कुछ "धमाके के साथ", ग्रीनहाउस की स्थिति, आदि। मैं जवाब दूंगा: कुछ भी नहीं! हमारे विदेशी प्रतियोगियों के विपरीत, हम यहां हैं, आपके करीब हैं, और आप हमेशा हमारे पास (मॉस्को या किसी सेंट्रल कमेटी में) आ सकते हैं और किसी भी तरह से हमारे स्टोरेज सिस्टम का परीक्षण कर सकते हैं। इस प्रकार, हम परिणामों को दुनिया के आदर्श चित्र में समायोजित करने के लिए बहुत अधिक समझ में नहीं आते हैं, क्योंकि हमें जांचना बहुत आसान है। उन लोगों के लिए जो चलने के लिए बहुत आलसी हैं और जिनके पास समय नहीं है, हम दूरस्थ परीक्षण का आयोजन कर सकते हैं। हमारे पास इसके लिए एक विशेष लैब है। संपर्क।

आक्टंग -2! यह परीक्षण भार परीक्षण नहीं है क्योंकि यहाँ हम केवल दोष सहिष्णुता से संबंधित हैं। कुछ हफ़्ते में, हम एक अधिक शक्तिशाली स्टैंड तैयार करेंगे और स्टोरेज सिस्टम के लोड परीक्षण को अंजाम देंगे, परिणाम यहाँ प्रकाशित करेंगे (वैसे, परीक्षण की इच्छा स्वीकार की जाती है)।

तो, चलिए विराम लेते हैं।

टेस्ट स्टैंड

हमारे स्टैंड में निम्नलिखित लोहा शामिल हैं:

• 1 एक्स एयरोडिस्क इंजन एन 2 स्टोरेज (2 कंट्रोलर, 64 जीबी कैश, 8xFC पोर्ट 8Gb / s, 4x ईथरनेट पोर्ट 10Gb / s SFP +, 4x ईथरनेट पोर्ट 1Gb / s); भंडारण प्रणाली में निम्नलिखित डिस्क स्थापित हैं:
• 4 एक्स एसएएस एसएसडी डिस्क 900 जीबी;
• 12 x SAS 10k ड्राइव 1.2 टीबी;
• विंडोज सर्वर 2016 के साथ 1 एक्स भौतिक सर्वर (2xXeon E5 2667 v3, 96GB RAM, 2xFC पोर्ट 8Gb / s, 2x ईथरनेट पोर्ट 10Gb / s SFP +);
• 2 एक्स सैन 8 जी स्विच;
• 2 एक्स लैन 10 जी स्विच;

हमने एफसी और ईथरनेट 10 जी के माध्यम से स्विच के माध्यम से सर्वर को स्टोरेज से जोड़ा। नीचे स्टैंड की योजना।

MPIO और iSCSI सर्जक जैसे आवश्यक घटक, विंडोज सर्वर पर स्थापित हैं।
जोन एफसी स्विच पर कॉन्फ़िगर किए गए हैं, इसी वीएलएएन को लैन स्विच पर कॉन्फ़िगर किया गया है और एमटीयू 9000 स्टोरेज पोर्ट, स्विच और होस्ट पर स्थापित किया गया है (यह सब कैसे करना है यह हमारे प्रलेखन में वर्णित है, इसलिए हम यहां इस प्रक्रिया का वर्णन नहीं करेंगे)।

परीक्षण पद्धति

दुर्घटना परीक्षण योजना इस प्रकार है:

• एफसी और ईथरनेट पोर्ट विफलता की जांच।
• बिजली की विफलता की जांच।
• नियंत्रक विफलता की जाँच करना।
• समूह / पूल में डिस्क विफलता की जाँच करें।

सभी परीक्षण सिंथेटिक लोड स्थितियों के तहत किए जाएंगे, जो हम IOMETER के साथ उत्पन्न करेंगे। समानांतर में, हम एक ही परीक्षण करेंगे, लेकिन भंडारण प्रणाली में बड़ी फ़ाइलों की प्रतिलिपि बनाने की स्थितियों में।

IOmeter config निम्नानुसार है:

• पढ़ें / लिखें - 70/30
• ब्लॉक - 128 k (हमने बड़े ब्लॉकों के साथ भंडारण प्रणाली को गीला करने का फैसला किया)
• थ्रेड की संख्या 128 है (जो कार्यभार के समान है)
• पूर्ण यादृच्छिक
• श्रमिकों की संख्या - 4 (FC के लिए 2, iSCSI के लिए 2)

1. सुनिश्चित करें कि सिंथेटिक लोड और प्रतिलिपि प्रक्रिया बाधित नहीं होगी और विभिन्न विफलता मोड के साथ त्रुटियों का कारण नहीं होगा।
2. सुनिश्चित करें कि बंदरगाहों, नियंत्रकों, आदि को स्विच करने की प्रक्रिया पर्याप्त रूप से स्वचालित है और विफलताओं के मामले में प्रशासक क्रियाओं की आवश्यकता नहीं है (जो कि विफलता के साथ, निश्चित रूप से, असफलताओं के बारे में कोई बात नहीं है)।
3. सुनिश्चित करें कि जानकारी लॉग में सही ढंग से प्रदर्शित है।

मेजबान और भंडारण की तैयारी

हमने FC और ईथरनेट पोर्ट (FC और iSCSI, क्रमशः) का उपयोग करके स्टोरेज पर ब्लॉक एक्सेस को कॉन्फ़िगर किया है। ऐसा कैसे करें, टीएस सॉल्यूशन के दोस्तों ने पिछले लेख ( https://habr.com/en/company/tssolution/blog/432876/ ) में विस्तार से वर्णन किया है। ठीक है, निश्चित रूप से, किसी ने मैनुअल और पाठ्यक्रम रद्द नहीं किए।

हमारे पास सभी ड्राइव्स का उपयोग करके एक हाइब्रिड समूह सेट है। 2 SSD डिस्क कैश में जोड़े जाते हैं, 2 SSD डिस्क अतिरिक्त संग्रहण स्तर (ऑनलाइन-स्तरीय) के रूप में जोड़े जाते हैं। हमने एक समूह में तीन एसएएस की विफलता की जांच करने के लिए 12 एसएएस 10k डिस्क को RAID-60P (ट्रिपल पैरिटी) में बांटा। AutoCorrect के लिए एक डिस्क छोड़ दी गई थी।

हमने दो LUN (FC पर एक, iSCSI पर एक) को जोड़ा।

दोनों LUN का स्वामित्व इंजन -0 नियंत्रक के पास है।

परीक्षण शुरू करें

उपरोक्त विन्यास के साथ IOMETER चालू करें।

हम 1.8 जीबी / एस के बैंडविड्थ और 3 मिलीसेकेंड की देरी को ठीक करते हैं। कोई त्रुटि नहीं है (कुल त्रुटि गणना)।

उसी समय, हमारे होस्ट के स्थानीय ड्राइव "सी" से, हम एक साथ दो बड़े 100GB फ़ाइलों को एफसी और iSCSI LUN स्टोरेज (विंडोज में ड्राइव ई और जी) की नकल करना शुरू करते हैं, अन्य इंटरफेस का उपयोग करते हैं।

ऊपर LUN FC की प्रतिलिपि बनाने की प्रक्रिया है, नीचे iSCSI है।

टेस्ट नंबर 1. I / O पोर्ट को अक्षम करना

हम भंडारण प्रणाली के पीछे पहुंचते हैं))) और कलाई की एक झिलमिलाहट के साथ हम इंजन-एफ नियंत्रक से सभी एफसी और ईथरनेट 10 जी केबलों को बाहर निकालते हैं। जैसे कि एक एमओपी के साथ एक सफाई महिला ने पास किया और फर्श को धोने का फैसला किया जहां बस झूठ बोलना केबल पड़े थे (यानी नियंत्रक काम कर रहा है, लेकिन I / O पोर्ट मृत हैं)।

हम IOMETER को देखते हैं और फाइल कॉपी करते हैं। बैंडविड्थ 0.5 जीबी / एस तक गिर गया, लेकिन बहुत जल्दी अपने पिछले स्तर (लगभग 4-5 सेकंड में) पर लौट आया। कोई त्रुटि नहीं हैं।

फ़ाइलों को कॉपी करना बंद नहीं हुआ, गति में गिरावट है, लेकिन यह पूरी तरह से अनियंत्रित है (840 एमबी / एस से यह 720 एमबी / एस तक गिर गया)। नकल बंद नहीं हुई।

हम भंडारण प्रणाली के लॉग में देखते हैं और हम बंदरगाहों की अनुपलब्धता और समूह के स्वत: चलने के बारे में एक संदेश देखते हैं।

इसके अलावा, डैशबोर्ड हमें बताता है कि एफसी पोर्ट के साथ सब कुछ बहुत अच्छा नहीं है।

भंडारण I / O पोर्ट सफलतापूर्वक विफल हो गया।

परीक्षण संख्या 2. भंडारण नियंत्रक को अक्षम करना

लगभग तुरंत (केबल्स को स्टोरेज सिस्टम में वापस प्लग करने के बाद), हमने चेसिस से कंट्रोलर को खींचकर स्टोरेज खत्म करने का फैसला किया।

फिर से हम पीछे से भंडारण प्रणाली से संपर्क करते हैं (हमें यह पसंद है)) और इस बार हम इंजन -1 नियंत्रक को बाहर निकालते हैं, जो इस समय आरडीजी (जो समूह को स्थानांतरित किया गया) का मालिक है।

IOmeter में स्थिति इस प्रकार है। इनपुट आउटपुट लगभग 5 सेकंड के लिए बंद हो गया। त्रुटियां जमा नहीं होती हैं।

5 सेकंड के बाद, I / O लगभग समान दरों के साथ फिर से शुरू हुआ, लेकिन 35 मिलीसेकंड की देरी के साथ (देरी एक-दो मिनट के बाद सही हो गई)। जैसा कि स्क्रीनशॉट से देखा जा सकता है, टोटल एरर काउंट का मान 0 है, यानी इसमें कोई राइट या रीड एरर नहीं थे।

हम अपनी फाइलों को कॉपी करते हुए देखते हैं। जैसा कि आप देख सकते हैं, यह बाधित नहीं हुआ, प्रदर्शन में एक छोटी सी गिरावट थी, लेकिन सामान्य तौर पर, सब कुछ उसी ~ 800 एमबी / एस पर लौट आया।

हम स्टोरेज सिस्टम पर जाते हैं और वहां सूचना पैनल में दुरुपयोग को देखते हैं कि इंजन -1 नियंत्रक उपलब्ध नहीं है (निश्चित रूप से, हमने इसे पीटा है)।

हम लॉग में एक समान प्रविष्टि भी देखते हैं।

भंडारण नियंत्रक की विफलता भी सफलतापूर्वक बच गई है।

परीक्षण संख्या 3. बिजली की आपूर्ति को डिस्कनेक्ट करना।

बस मामले में, हमने फ़ाइलों को फिर से कॉपी करना शुरू कर दिया, लेकिन IOMETER बंद नहीं हुआ।
हम बीपी-स्निक को खींचते हैं।

सूचना पैनल में भंडारण के लिए एक और चेतावनी जोड़ी गई थी।

हम सेंसर मेनू में भी देखते हैं कि खींची गई बिजली की आपूर्ति से जुड़े सेंसर लाल हो जाते हैं।

SHD काम करना जारी रखता है। बीपी-श्नाइक की विफलता किसी भी तरह से भंडारण प्रणाली के संचालन को प्रभावित नहीं करती है, मेजबान के दृष्टिकोण से, कॉपी गति और आईओएमईटीआर संकेतक अपरिवर्तित रहे।

शक्ति विफलता परीक्षण सफलतापूर्वक पूरा हुआ।

अंतिम परीक्षण से पहले, हमने SHD को फिर से जीवन में लाने का फैसला किया, नियंत्रक और BP-shnik को वापस रखा, और केबल के साथ चीजों को भी रखा, जिसे SHD ने खुशी से हमें इसके स्वास्थ्य पैनल में हरे रंग के आइकन के साथ सूचित किया।

परीक्षण संख्या 4. समूह में तीन डिस्क की विफलता

इस परीक्षण से पहले, हमने एक अतिरिक्त प्रारंभिक कदम उठाया। तथ्य यह है कि इंजन भंडारण एक बहुत ही उपयोगी चीज प्रदान करता है - विभिन्न पुनर्निर्माण (पुनर्निर्माण) नीतियां। पहले, टीएस सॉल्यूशन ने इस फीचर के बारे में लिखा था, लेकिन इसके सार को याद किया। भंडारण व्यवस्थापक पुनर्निर्माण के दौरान संसाधन आवंटन की प्राथमिकता को निर्दिष्ट कर सकता है। या I / O प्रदर्शन की दिशा में, यानी एक लंबा पुनर्निर्माण है, लेकिन कोई प्रदर्शन नहीं है। या पुनर्निर्माण की गति की दिशा में, लेकिन प्रदर्शन कम हो जाएगा। या एक संतुलित विकल्प। चूंकि डिस्क समूह के पुनर्निर्माण के दौरान भंडारण का प्रदर्शन हमेशा प्रशासक के लिए सिरदर्द होता है, इसलिए हम I / O प्रदर्शन की दिशा में पूर्वाग्रह के साथ नीति का परीक्षण करेंगे और पुनर्निर्माण की गति को रोकेंगे।

अब ड्राइव की विफलता की जांच करें। हम LUN (फ़ाइल और IOMETER) पर रिकॉर्डिंग भी सक्षम करते हैं। चूंकि हमारे पास एक ट्रिपल-पैरिटी ग्रुप (RAID-60P) है, इसका मतलब है कि सिस्टम को तीन डिस्क की विफलता का सामना करना होगा, और विफलता के बाद इसे ऑटो-रिप्लेस करने के लिए काम करना होगा, एक डिस्क को किसी एक के स्थान पर RDG में खड़ा होना चाहिए, और उस पर पुनर्निर्माण शुरू होना चाहिए।

हम शुरू करते हैं। सबसे पहले, स्टोरेज इंटरफेस के माध्यम से, उन डिस्कों को हाइलाइट करें, जिन्हें हम बाहर निकालना चाहते हैं (ताकि ऑटो-डिस्क को मिस न करें और न खींचें)।

लोहे पर संकेत की जाँच करें। सब कुछ ठीक है, हम हाइलाइटेड तीन ड्राइव देखते हैं।

और इन तीन डिस्क को बाहर निकालें।

हम मेजबान को देखते हैं। और वहाँ ... कुछ खास नहीं हुआ।

संकेतक को कॉपी करना (वे शुरुआत से अधिक हैं, क्योंकि कैश गर्म हो गया) और आईओएमईटीआर डिस्क को खींचते समय और पुनर्निर्माण शुरू करने (5-10% के भीतर) में बहुत अधिक नहीं बदलता है।

हम भंडारण को देखते हैं।

समूह की स्थिति में हम देखते हैं कि पुनर्निर्माण की प्रक्रिया शुरू हो गई है और यह पूरा होने के करीब है।

RDG कंकाल से पता चलता है कि 2 डिस्क लाल स्थिति में हैं, और एक को पहले ही बदल दिया गया है। AutoCorrect डिस्क अब नहीं है, इसने 3rd विफल डिस्क को बदल दिया। रिबिल्ड को कई मिनटों के लिए निष्पादित किया गया था, 3 डिस्क विफल होने पर फ़ाइल रिकॉर्डिंग बाधित नहीं हुई थी, I / O प्रदर्शन में बहुत बदलाव नहीं हुआ था।

ड्राइव विफलता परीक्षण निश्चित रूप से सफल रहा है।

निष्कर्ष

इस पर, हमने भंडारण प्रणालियों के दुरुपयोग को रोकने का फैसला किया। संक्षेप में:

• एफसी पोर्ट विफलता की जांच - सफल
• ईथरनेट पोर्ट विफलता जाँच - सफल
• नियंत्रक विफलता की जांच - सफल
• पावर विफलता की जाँच - सफल
• सफलतापूर्वक समूह \ पूल में डिस्क विफलता की जाँच करें

विफलताओं में से किसी ने रिकॉर्डिंग को बंद नहीं किया और सिंथेटिक लोड त्रुटियों का कारण नहीं बना, प्रदर्शन में गिरावट, निश्चित रूप से, (और हम जानते हैं कि इसे कैसे हराना है, जो हम जल्द ही करेंगे), लेकिन, यह देखते हुए कि यह सेकंड है, यह काफी स्वीकार्य है। निष्कर्ष: सभी AERODISK स्टोरेज घटकों की गलती सहिष्णुता के स्तर पर काम की है, विफलता के कोई बिंदु नहीं हैं।

जाहिर है, एक लेख के ढांचे के भीतर, हम सभी विफलता परिदृश्यों का परीक्षण नहीं कर सकते हैं, लेकिन हमने सबसे लोकप्रिय लोगों को कवर करने की कोशिश की। इसलिए, कृपया अपनी टिप्पणी, निम्नलिखित प्रकाशनों के लिए शुभकामनाएं और, पर्याप्त आलोचना करें। हमें चर्चा करने में खुशी होगी (और प्रशिक्षण के लिए बेहतर है, बस मामले में, अनुसूची की नकल करें)! नए परीक्षण तक!

• निज़नी नोवगोरोड (ALREADY WORKS - आप यहाँ रजिस्टर कर सकते हैं https://aerodisk.promo/nn/ );
  16 अप्रैल, 2019 तक, आप किसी भी कार्य समय पर केंद्र पर जा सकते हैं, और 16 अप्रैल, 2019 को एक बड़े प्रशिक्षण पाठ्यक्रम का आयोजन किया जाएगा।
• क्रास्नोडार (आने वाला SOON - यहाँ साइन अप करें https://aerodisk.promo/krsnd/ );
  9 अप्रैल से 25 अप्रैल, 2019 तक आप किसी भी कार्य समय पर केंद्र पर जा सकते हैं, और 25 अप्रैल, 2019 को एक बड़ा प्रशिक्षण पाठ्यक्रम आयोजित किया जाएगा।
• येकातेरिनबर्ग (SOON OPENING, हमारी वेबसाइट या Habré पर जानकारी का पालन करें);
  मई-जून 2019।
• नोवोसिबिर्स्क (हमारी वेबसाइट या हैबे पर जानकारी का पालन करें);
  अक्टूबर 2019
• क्रास्नोयार्स्क (हमारी वेबसाइट पर या हैबेरी की जानकारी का पालन करें);
  नवंबर 2019