भंडारण प्रणालियों की निगरानी क्यों करें?

जल्द ही कोई गिर जाएगा

क्योंकि एसएचडी होली के पवित्र को संग्रहीत करता है - डेटा। यदि डेटा उपलब्ध नहीं है, तो यह बहुत जल्द ही तले हुए सूंघेगा। या अगर अचानक जगह खत्म हो गई है - एक अप्रिय आश्चर्य भी। इसलिए, निगरानी अनिवार्य होनी चाहिए, और इसे भंडारण प्रणालियों को कवर करना चाहिए।

भंडारण की निगरानी के लिए दो मुख्य दृष्टिकोण हैं। या तो Nagios, Icinga जैसी एक सार्वभौमिक निगरानी प्रणाली का उपयोग करें, जो SNMP के माध्यम से जानकारी एकत्र करेगा, या स्वयं भंडारण प्रणालियों के निर्माताओं से अत्यधिक विशिष्ट सॉफ़्टवेयर खरीदेगा। बेशक, दूसरा विकल्प लोहे की स्थिति का गहन विश्लेषण प्रदान करता है, विशिष्ट चीजों को दिखाता है जैसे कि कैश की स्थिति, आईओपीएस, हिट दर, नियंत्रक लोडिंग, आदि। यह विकल्प सबसे अधिक बार हमारे ग्राहकों द्वारा चुना जाता है, जिनके पास सेवा में बड़ी और महंगी सरणियां हैं। ।

लेकिन वैसे, वाणिज्यिक निगरानी सॉफ्टवेयर के साथ सब कुछ इतना आसान नहीं है। अधिक विस्तार से मैं आगे बताऊंगा। यह होगा, इसलिए बोलना, पहले हाथ का अनुभव। एक समय में, लगभग 2 वर्षों के लिए मैं एक प्रसिद्ध विक्रेता से कागज के हजारों हरे टुकड़ों के लिए एक ऐसी प्रणाली को खत्म कर रहा था। और उसने इसे उठाया ताकि विक्रेता का समर्थन भी मेरे साथ परामर्श करने लगे। लेकिन कुछ सॉफ़्टवेयर समस्याओं को अन्य लोगों द्वारा प्रतिस्थापित किया गया था, जैसे कि समर्थन से कुछ भारतीयों को नए भारतीयों द्वारा प्रतिस्थापित किया गया था - और यह तब था कि मुझे यह विचार मिला, यदि बिल्कुल भी मौलिक रूप से कार्य करने के लिए नहीं ... सामान्य तौर पर, यह सब इसके साथ शुरू हुआ।

विक्रेता सॉफ्टवेयर में क्या गलत है?

जैसा कि मैंने कहा, निर्माता से निगरानी उसी निर्माता के भंडारण प्रणालियों पर पूरी तरह से निगरानी रखती है। यह इसका मुख्य लाभ है। नुकसान यहां से बढ़ता है: अन्य निर्माताओं के सरणियों को सीमित रूप से समर्थन किया जाता है या बिल्कुल नहीं। यह पता चला है कि यदि आपके पास खेत पर कई अलग-अलग सरणियां हैं, तो आपको कई अलग-अलग निगरानी उपकरणों की आवश्यकता है। हां, और यह मत भूलिए कि आपको अगली बार किस और कब देखना है। आदर्श रूप से, आमतौर पर प्रत्येक सरणी के लिए व्यवस्थापक द्वारा।

यह कोई रहस्य नहीं है कि विक्रेता निर्माताओं के उपकरण से पैसे खर्च होते हैं, और काफी बड़े होते हैं। और समर्थन का विस्तार भी एक बहुत पैसा खर्च होता है। और कुछ विक्रेताओं ने एक नया ध्यान केंद्रित करने में महारत हासिल की है: वे अपने सॉफ़्टवेयर के जीवन चक्र के अंत की घोषणा करते हैं और लाइसेंस के माइग्रेशन के बिना किसी अन्य उत्पाद को खरीदने के लिए बस प्रस्ताव देते हैं। यह एक ऐसा सेटअप था जो अभी कुछ महीने पहले हमारे एक ग्राहक के साथ हुआ था। कोई विकल्प नहीं हैं: यदि आप हार्डवेयर की निगरानी जारी रखना चाहते हैं - एक नई खरीदारी करें।

यदि आप विक्रेता सॉफ़्टवेयर को गहराई से खोदते हैं, तो अन्य अप्रिय सुविधाएँ पॉप अप हो जाती हैं। उदाहरण के लिए, कई उत्पादों में आप वर्तमान स्थिति चित्र देख सकते हैं, लेकिन आप पिछली अवधि के लिए इतिहास नहीं देख सकते हैं। या कहानी सीमित है: लॉग को हर 3 दिनों में एक बार फिर से लिखा जाता है। आंकड़ों के संचय के बारे में बात करने की कोई जरूरत नहीं है। और अक्सर पूर्वानुमान के लिए घटनाओं के इतिहास की आवश्यकता होती है, उदाहरण के लिए, स्पेयर पार्ट्स की खरीद, और रिपोर्टिंग के लिए, और घटनाओं की जांच के लिए। उदाहरण के लिए, कुछ व्यापार प्रणाली में ब्रेक को स्टोरेज सिस्टम पर भेजा जा सकता है और, अगर कोई वास्तविक डेटा नहीं है, तो पीछे छिपने के लिए कुछ भी नहीं है।

और अंत में, कोई भी विक्रेता के सॉफ़्टवेयर में अपडेट और परिवर्तनों की गति के बारे में शिकायत नहीं कर सकता है। ओह, मैं अपने लंबे अभ्यास के लिए कितनी बार इस परेशानी में आया हूं! सरणियों के नए मॉडल सामने आ रहे हैं, नई फर्में सामने आ रही हैं, नई सेटिंग्स दिखाई दे रही हैं। यह सब आसानी से काम करने की निगरानी को तोड़ देता है: या तो किसी तरह के इन्फैटा का संग्रह किया जाना बंद हो जाता है, या सरणियाँ आम तौर पर बंद हो जाती हैं। एक नए माइक्रोकोड में, एक निर्माता ने एसएसएल के पुराने संस्करणों के लिए समर्थन बंद कर दिया, और निगरानी सॉफ्टवेयर ने अभी तक टीएलएस प्रोटोकॉल का समर्थन नहीं किया। और पहले तो किसी को कारण नहीं मिला। अपनी जांच के बाद, मैंने ये इनपुट निर्माता को भेजे, और उन्होंने पहले से ही प्राचीन पुस्तकालयों को अपडेट कर दिया। हालांकि, यह सब लाल टेप अनिश्चित काल तक चला।

और एक बार हमने पायलट को ग्राहक के रूप में विफल कर दिया। यह विक्रेता सॉफ्टवेयर का उपयोग करने का प्रस्ताव था, और ग्राहक ने कार्यक्षमता और इंटरफ़ेस के मामले में सब कुछ पसंद किया। लेकिन दुर्भाग्य से, उनकी मुख्य उत्पादक प्रणालियों का समर्थन नहीं किया गया था। वे एक या दो महीने इंतजार करने के लिए भी तैयार थे, लेकिन विक्रेता ने कहा कि निकट भविष्य में इन प्रणालियों को समर्थन में शामिल करने की कोई योजना नहीं है (और यह सिर्फ हुसैनी पर एचएमएस लाइन का एक अद्यतन था)।

सामान्य तौर पर, बहुत अधिक असुविधा और किसी कारण के लिए बहुत सारा पैसा।

बहुत समय पहले मैंने चेकर्स को नहीं उठाया था ...

चीजों की इस स्थिति से निराश, मैंने अक्सर सोचा है कि भंडारण के लिए अपनी निगरानी कैसे लागू की जाए। यदि आप सरणी को अच्छी तरह से जानते हैं और इसके सीएलआई के मालिक हैं, तो आप राज्य के बारे में आवश्यक जानकारी प्राप्त कर सकते हैं या समस्याओं की तह तक पहुंच सकते हैं। बेशक, इससे पहले, बहुत सारे गोदी, धुआं मंचों और विक्रेताओं के ज्ञान के आधारों को अलग करना आवश्यक है, अलग-अलग जानकारी का टुकड़ा। लेकिन जब आप जानते हैं कि किस कुंजी के साथ कौन सा कमांड टाइप करना है और प्रत्येक आउटपुट कॉलम का क्या मतलब है, तो आप पहले से ही एक गुरु हैं। यह एक सुविधाजनक इंटरफ़ेस में इस ज्ञान का निर्माण करने के लिए बना रहा, जो आपके लिए सब कुछ करना जारी रखेगा।

मैं स्वीकार करता हूं कि पहले मैंने इंटरफ़ेस को स्क्रैच से भी लिखने की योजना बनाई, लेकिन फिर मैं ज़ैबिक्स में आया - एक बड़े समुदाय के साथ एक परिपक्व उपकरण, जिसका विस्तार करना भी आसान है। इसमें वह सब कुछ था जो मुझे चाहिए था: एक इंटरफ़ेस, एक रोल मॉडल, सूचनाएं, एक ट्रिगर सिस्टम, प्रॉक्सी क्लाइंट एजेंट। यह केवल इस संयोजन के लिए ही बना रहा ताकि स्टोरेज सिस्टम और विभिन्न मापदंडों के थ्रेशोल्ड वैल्यू के बारे में सही जानकारी दी जा सके। मामला उबलने लगा। हमारे पास सरणियों में विशेषज्ञों की एक टीम है। बेशक, एक व्यक्ति द्वारा सभी सरणियों को जानना असंभव है, इसलिए हम मॉडल और निर्माता द्वारा विभाजित हैं।

अपनी खुद की निगरानी विकसित करने में एक और कठिनाई लोहे के टुकड़ों को स्वयं तक पहुंचाने की क्षमता है और इसलिए कि वे अभी भी सभी प्रकार के प्रयोगों को लोड करने, तोड़ने और आचरण करने से डरते नहीं हैं। सौभाग्य से, हमारी प्रयोगशाला के संसाधनों ने यह सब अनुमति दी।

मॉनिटर करने के लिए पहली चीज सभी हार्डवेयर घटकों का स्वास्थ्य है। SNMP के माध्यम से कुछ लिया जा सकता है, लेकिन ज्यादातर मामलों में यह एक विशेष प्रोटोकॉल (SMI-S, REST API, SOAP API और अन्य) का उपयोग करके एक सर्वेक्षण है। मुझे कहना होगा कि सरणियाँ स्वयं आपको उन पर ब्रेकडाउन के बारे में सूचनाओं को कॉन्फ़िगर करने की अनुमति देती हैं। और सभी ग्राहक बहुत कम से कम इसका उपयोग करते हैं। लेकिन अगर सरणी पर ही अधिसूचना टूट जाती है तो क्या होगा? ऐसा हुआ, और एक से अधिक बार, जब सरणी हफ्तों के लिए चुप थी और यह सभी को लग रहा था कि सब कुछ क्रम में था, यह चुप था। और फिर यह अचानक स्पष्ट हो गया कि महत्वपूर्ण संख्या में डिस्क इस पर उड़ गई, लेकिन यह पहले ही बहुत देर हो चुकी थी।

मॉनिटर करने के लिए दूसरा महत्वपूर्ण बिंदु प्रदर्शन है। क्योंकि जब एक प्रदर्शन कुछ सेकंड की रिकॉर्डिंग देरी के साथ एक भंडारण प्रणाली पर आ जाता है, तो ओरेकल बस ऊपर और नीचे जा सकता है। कोई विचार नहीं। यह कई भंडारण प्रणालियों के साथ बड़े इन्फ्रास्ट्रक्चर में प्रदर्शन है जो सबसे खराब नियंत्रित है। और ज़ैबिक्स में एक अत्यंत सुविधाजनक भविष्य कहनेवाला विश्लेषण है: पूर्वानुमान के आधार पर, आप मीट्रिक का मान सेट कर सकते हैं, जो भविष्य में बन जाएगा। उदाहरण के लिए, हमने एक ट्रिगर किया जो कि एक पूर्वानुमान होने पर काम करेगा कि वर्तमान निपटान के लिए केवल 3 महीने बचे हैं। या, उदाहरण के लिए, कि 2 सप्ताह में पूर्वानुमान के अनुसार प्रतिक्रिया समय 50 मिलीसेकंड से अधिक होगा। निगरानी हमें आने वाली समस्याओं के बारे में पहले से जानने और कुछ करने के लिए समय देती है।

कुछ बिंदु पर, हमने महसूस किया कि निश्चित रूप से भंडारण की स्थिति के बारे में जानना अच्छा है, लेकिन यह समझना बेहतर है कि नेटवर्क और सर्वर पर क्या हो रहा है। नतीजतन, कई महीनों के काम के बाद, दोनों सर्वर, नेटवर्क और स्टोरेज सिस्टम को एक इंटरफ़ेस में देखना संभव हो गया। न केवल प्लग-इन और स्टोरेज के लिए कनेक्टर दिखाई दिए, बल्कि नेटवर्क टोपोलॉजी मैप्स के रूप में भी एक उपयोगी बाध्यकारी है। अब तक, बेशक, प्लगइन हमारे अनुभव और हमारी जरूरतों को ध्यान में रखता है, लेकिन अगर आप हमें बताएं कि आपको इसमें क्या देखने की जरूरत है, तो हम इसे मोड़ देंगे।


VMware क्लस्टर के लिए एंड-टू-एंड टोपोलॉजी: वर्चुअल मशीन से स्टोरेज वॉल्यूम तक



उत्पादकता

सरणी प्रदर्शन ग्राफ़ पर, हम देखते हैं कि सिस्टम बहुत भारी है। डिस्क समूहों का उच्च उपयोग इंगित करता है कि डिस्क ओवरलोड हैं। स्टोरेज पोर्ट पर बहुत सारे I / O ऑपरेशन होते हैं, जिसका अर्थ है कि आईटी सिस्टम अपने हिस्से के लिए सरणी लोड करते हैं। खैर, प्रतिक्रिया समय की विशेषता ग्राफ, साथ ही अनुशंसित मूल्यों से ऊपर प्रोसेसर का उपयोग। फैसले - बहुत सारे कार्य सरणी पर डाल दिए गए थे, उनमें से कुछ को माइग्रेट करने की आवश्यकता है।


भंडारण नेटवर्क मानचित्र: टोंटी ढूँढना

परिणाम

हमें क्या मिला? हमने नई विशेषताओं के साथ लोकप्रिय और बहुत ही सामान्य ज़ैबिक्स निगरानी प्रणाली को सुसज्जित किया है, जिसमें शामिल हैं:

1. भंडारण नेटवर्क के डिस्क सरणियों और स्विचेस से सभी हार्डवेयर और तार्किक घटकों की स्थिति पर जानकारी का संग्रह।
2. उन सभी प्रणालियों के लिए प्रदर्शन आँकड़े जिनके लिए हमने प्लगइन्स बनाए (विक्रेताओं के पास इस संबंध में अंतराल है)।
3. दोनों साझा नेटवर्क के स्थलाकृतिक मानचित्र और वर्चुअल मशीन से स्टोरेज सिस्टम पर वॉल्यूम के लिए एंड-टू-एंड (अब तक केवल वीएमवेयर के लिए)।
4. सभी इन्वेंट्री जानकारी का संग्रह।
5. डिस्क स्थान की मात्रा।

ज़ैबिक्स स्वयं आपको बहुत ही शांत सूचनाएं बनाने, थ्रेसहोल्ड सेट करने, समस्या के बारे में सूचनात्मक पत्र भेजने की अनुमति देता है। उदाहरण के लिए, यदि स्विच पर पोर्ट गिर गया (या पोर्ट पर ट्रैफ़िक बहुत बड़ा हो गया), संदेश में न केवल पोर्ट नंबर के साथ स्विच का नाम होगा, बल्कि कनेक्टेड डिवाइस के बारे में भी जानकारी होगी।

वर्तमान में हम किन प्रणालियों का समर्थन करते हैं? कई अलग:

1. सभी हिताची सरणियाँ (एएमएस, एचएमएस, वीएसपी, वीएसपी जी)।
2. डेल-ईएमसी क्लैरियोन, वीएनएक्स, यूनिटी, इस्कॉन, कम्प्रेशन को एरो करता है।
3. HPE 3PAR, P9500, XP7 सरणियाँ।
4. IBM Storwize, DS5000 की सारणियाँ।
5. नेटएप एफएएस (7-मोड, सी-मोड) को अरैज़ करता है।
6. एचपीई स्टोरऑन, ईएमसी डेटाडोमेन डिस्क लाइब्रेरी।
7. ब्रोकेड रेशमकीट स्विच, सिस्को एमडीएस।

हमारे पास कुछ ऑपरेटिंग सिस्टम (विंडोज, ईएसएक्स) के लिए एक्सटेंशन भी हैं, जिसके साथ हम भविष्य में स्थलाकृतिक मानचित्र तैयार करने के लिए एफसी एचबीए पर डेटा एकत्र करते हैं। सक्रिय रूप से ओपनस्टैक और वर्चुअलाइजेशन सिस्टम के लिए प्लगइन्स विकसित करना।

प्लग-इन विकसित करते समय, हमारे इंजीनियरों की विशेषज्ञता को ध्यान में रखा जाता है, जिसके पीछे सरणियों पर समस्याओं को हल करने के लिए कई मामले हैं - हार्डवेयर और प्रदर्शन दोनों। नए प्लगइन्स थोड़े समय में अनुरोध पर विकसित किए जाते हैं, बड़ी संख्या में स्वयं की तैयार लाइब्रेरी के कारण।

हमारे कुछ ग्राहक सिस्टम को निम्नानुसार कॉन्फ़िगर करते हैं: अनुबंध की संख्या, संपर्क व्यक्तियों और दोषपूर्ण घटक के सभी मापदंडों के साथ सूचनाएं स्वचालित रूप से हमारे मेल पर भेजी जाती हैं। यह प्रतिक्रिया समय को कम करता है और आवश्यक स्पेयर पार्ट्स का आदेश देता है, क्योंकि ड्यूटी इंजीनियर को रात में भी - बहुत सारी जानकारी को कॉल करने और स्पष्ट करने की आवश्यकता नहीं है। आवेदन तुरंत काम करने के लिए चला जाता है।

आप अपने बुनियादी ढांचे की निगरानी की समस्याओं को कैसे हल करते हैं, विशेष रूप से भंडारण में? इसके बारे में हमें कमेंट में या मेल वीआरज़ेहेव्स्की@क्रोस.ru के मेल में बताएं