एक नौसिखिया की आंखों के माध्यम से स्प्लंक: हमने एक भंडारण इन्वेंट्री सिस्टम कैसे किया

हाल ही में, एक ग्राहक ने हमें डिस्क क्षमता लेखा प्रणाली को लागू करने के लिए कहा। कार्य विभिन्न विक्रेताओं के सत्तर से अधिक डिस्क सरणियों से जानकारी को संयोजित करना था, सैन स्विच और वीएमवेयर ईएसएक्स मेजबानों से। तब डेटा को व्यवस्थित, विश्लेषण और डैशबोर्ड और विभिन्न रिपोर्टों पर प्रदर्शित करने में सक्षम होने की आवश्यकता होती है, उदाहरण के लिए, सभी या अलग-अलग ली गई सरणियों में डिस्क स्थान के मुक्त और अधिकृत मात्रा के बारे में।

हमने परिचालन विश्लेषण प्रणाली - स्प्लंक का उपयोग करके परियोजना को लागू करने का निर्णय लिया।

क्यों फूटा?

स्प्लंक डेटा एकत्र करने की कल्पना करने में शक्तिशाली है। यह आपको वास्तविक समय में अपडेट की गई इंटरेक्टिव रिपोर्ट - डैशबोर्ड बनाने की अनुमति देता है। हमने उन पर कुल डिस्क स्थान पर जानकारी प्रदर्शित की, तुरंत विभिन्न फ़िल्टर द्वारा छंटनी करने की क्षमता के साथ सभी सरणियों को प्रदर्शित किया, उदाहरण के लिए, क्षमता से। सरणी पर क्लिक करके, हम तुरंत सभी कनेक्शनों के बारे में जानकारी प्राप्त करते हैं। एक अलग पैनल में, आप वर्चुअल मशीन का नाम दर्ज कर सकते हैं और यह देख सकते हैं कि ईएसएक्स होस्ट किस पर रहता है, जिससे एरे को डेटा और अन्य पैरामीटर मिलते हैं।

मेरी राय में, अब तक स्प्लंक का कोई एनालॉग नहीं है जो बॉक्स से बाहर किसी भी स्टोरेज सिस्टम के साथ काम करेगा। कुछ साल पहले भुगतान किया गया कमांडपेंट्रल दिखाई दिया, लेकिन इसमें आवश्यक लचीलापन नहीं है, यह नहीं जानता कि मनमाने ढंग से रिपोर्ट कैसे उत्पन्न की जाए (रिपोर्ट के पहले संस्करणों में यह बिल्कुल नहीं था) और लंगड़ा विज़ुअलाइज़ेशन के साथ। सामान्य तौर पर, यह इन्वेंट्री के लिए एक उपकरण नहीं है, लेकिन सिस्टम की स्थिति की निगरानी और नियंत्रण के लिए है। ग्राहक द्वारा निर्धारित कार्य को पूरा करने के लिए, इसे लंबे समय तक और महंगा होना चाहिए।

इसी समय, स्प्लंक में प्रभावशाली सूचना प्रदर्शन क्षमताएं हैं: ग्राफिक्स को स्वतंत्र रूप से आपस में व्यवस्थित किया जा सकता है, एकल विंडो मोड में सभी प्रणालियों की स्थिति की निगरानी कर सकता है और इस प्रकार, उनके रखरखाव को सरल करता है। बाकी सब कुछ के लिए - अपने कार्य के लिए हमने मुफ्त संस्करण का उपयोग किया।

आपने क्या किया?

इस बिंदु तक, हमारी टीम को स्प्लंक के साथ कोई अनुभव नहीं था। सौभाग्य से, सिस्टम अनुकूल और सहज हो गया, और उभरती समस्याओं का समाधान नियमित रूप से या किसी खोज इंजन में आसानी से पाया गया।

स्प्लंक ने कई उपकरणों का निर्माण किया है जिनकी हमें आवश्यकता है। उदाहरण के लिए, सिस्टम आपको तथाकथित लुकअप (निर्देशिका) के माध्यम से किसी भी क्षेत्र के लिए विभिन्न स्रोतों से डेटा को संयोजित करने की अनुमति देता है। इसलिए, एक तालिका में, ईएसएक्स होस्ट्स को आईपी के रूप में प्रदर्शित किया गया, दूसरे में - डीएनएस नामों के रूप में। पहले हम एक होम-निर्मित लुकअप बनाना चाहते थे और DNS रिकॉर्ड्स का चयन करने और तालिकाओं को इकट्ठा करने के लिए nslookup उपयोगिता का उपयोग करते थे, लेकिन यह पता चला कि स्प्लंक में एक निर्देशिका है जो DNS की तुलना IP और इसके विपरीत करता है। इस अंतर्निहित लुकअप को कॉन्फ़िगर करने की आवश्यकता नहीं है, यह स्वयं सिस्टम सेटिंग्स से डीएनएस सर्वर के बारे में डेटा निकालता है, और इससे कोई फर्क नहीं पड़ता कि यह विंडोज या लिनक्स है, और डीएनएस रिकॉर्ड पर डेटा हमेशा अद्यतित होता है।



स्प्लंक के साथ कार्यान्वित दिलचस्प परिदृश्यों में से एक सिस्टम में परिवर्तन नियंत्रण (आरएफसी) है। उदाहरण के लिए, एक आरएफसी प्रबंधक एक इंजीनियर से अनुरोध करता है कि वह सैन स्विच की सेवा ले। वह स्विच नाम स्प्लंक में प्रवेश करता है और देखता है कि कौन से स्टोरेज इससे जुड़े हैं और कौन से सर्वर इन स्टोरेज से डेटा प्राप्त करते हैं। उसी समय, प्रबंधक उस कार्य योजना को देखता है जिसे इंजीनियर ने लिखा था और मूल्यांकन कर सकता है कि रखरखाव के दौरान इस स्विच को अक्षम करने से सरणियों और सर्वरों के प्रदर्शन पर क्या प्रभाव पड़ेगा।

हमने स्प्लंक के सभी स्विच और सरणियों को जोड़ने के बारे में दैनिक लोडिंग जानकारी सेट की है। ग्राहक इस अद्यतन दर से संतुष्ट है। उनके पास पहले से ही एक निगरानी उपकरण Stor2RRD था, लेकिन उन्हें पता नहीं है कि विभिन्न स्रोतों से डेटा को कैसे मिलाएं और उन्हें कल्पना करें। इसलिए, हमने स्प्लंक में डेटा अधिग्रहण प्रणाली को निम्न प्रकार से कॉन्फ़िगर किया है:

1. हम Stor2RRD से भंडारण के बारे में जानकारी प्राप्त करते हैं;
2. स्विच से हम सैन पर जानकारी प्राप्त करते हैं;
3. PowerCLI लिपियों का उपयोग करते हुए vCenter के माध्यम से हम ESX मेजबानों से डेटा एकत्र करते हैं।

प्राप्त डेटा स्वचालित रूप से एक एकल रूप में लाया जाता है, किसी भी आवश्यक रिपोर्ट के रूप में संसाधित और प्रदर्शित किया जाता है।

आपको किससे लड़ना था?

स्प्लंक एक शक्तिशाली प्रणाली है, लेकिन ऐसे कार्य हैं जिन्हें बॉक्स से हल नहीं किया जा सकता है, और कुछ समस्याओं को हल करने के लिए, हमें VMware के गहन ज्ञान की आवश्यकता है।



उदाहरण के लिए, एक ग्राहक वर्चुअल मशीन के लिए प्रत्यक्ष-आवंटित आरडीएम डिस्क और वर्चुअल वर्चुअल डेटास्टोर्स दोनों का उपयोग करता है। इन दो प्रकार के ड्राइव को अलग-अलग तरीके से संभालने की आवश्यकता है। सबसे पहले हमने अपने दम पर इस समस्या को हल किया, लेकिन फिर एक ऐसी स्थिति का सामना किया जहां आभासी मशीन को रॉ डिस्क और वर्चुअल दोनों प्राप्त हुए। यह पता चला है कि हम रिपोर्ट में गलत पथ फ़ील्ड vCenter और RAW डिस्क सरणी से गलत लिंक प्राप्त कर रहे थे। यह योजना साधारण डेटास्टोर्स के साथ काम करती है, लेकिन रॉ डिस्क के साथ काम नहीं करती है। उनके लिए, आपको रॉ डिस्क आईडी डिस्क संपत्ति का उपयोग करने की आवश्यकता है, जिसमें डिस्क विशेषता शामिल है। मुझे वीएमवेयर विशेषज्ञों की ओर मुड़ना पड़ा जो स्क्रिप्ट को रीडायरेक्ट करते हैं ताकि यह रॉ डिस्क आईडी के माध्यम से सही सरणी की गणना करे।

साथ ही, हमने तुरंत यह नहीं सीखा कि पावरक्लिआई लिपियों के साथ कैसे काम किया जाए, बाद में एल्गोरिदम को और विकसित किया जाना था। प्रारंभ में, लिपियों ने तीन घंटे तक कई हजार आभासी मशीनों से डेटा संसाधित किया! शोधन के बाद, लिपियों की अवधि घटाकर चालीस मिनट कर दी गई।

परिणाम क्या है?

स्प्लंक के साथ कोई अनुभव नहीं होने पर, हमने इसके आधार पर डिस्क कैपेसिटी को रिकॉर्ड करने के लिए एक प्रणाली लागू की, जो कई स्रोतों से जानकारी प्राप्त करती है, इसे समेकित करती है और सुविधाजनक और सहज ज्ञान युक्त रेखांकन की एक विस्तृत श्रृंखला प्रदान करती है। यदि आपको पहले ऐसी प्रणाली का चयन या निर्माण नहीं करना पड़ा है, तो स्प्लंक इस भूमिका के लिए एक अच्छा उम्मीदवार है। यह जल्दी से काम करता है, आसानी से और लचीले रूप से कॉन्फ़िगर किया जाता है और विशाल बहुमत के कार्यों को हल करने के लिए किसी विशेष ज्ञान की आवश्यकता नहीं होती है।

व्लादिस्लाव सेमेनोव, सिस्टम आर्किटेक्चर ग्रुप के प्रमुख, सेंटर फॉर डिज़ाइनिंग कम्प्यूटिंग कॉम्प्लेक्स, जेट इन्फोसिस्टम्स