हम समय-समय पर अपनी सेवाओं में उपयोग के लिए नए हार्डवेयर और सॉफ्टवेयर का परीक्षण करते हैं। आप हमेशा उचित मूल्य के लिए अधिक सुविधाएँ चाहते हैं। आज मैं आपको बताऊंगा कि कैसे हमने वेस्टर्न डिजिटल एक्टिवसेल P100 डिवाइस को समझा और अपने S3 स्टोरेज के लिए इसे आजमाया।
तुरंत एक छोटा अस्वीकरण: हमने सार्वजनिक सेवा में इसके उपयोग के संदर्भ में उत्पाद का परीक्षण किया। निजी उपयोग के लिए दिलचस्प और महत्वपूर्ण शायद कुछ कार्य, बाएं ओवर थे।
यह OST डेटा सेंटर में स्थापना से पहले अप्रैल 2019 में ActiveScale P100 है।अब हमारा
S3 Cloudian HyperStore 7.1.5 पर चलता है। यह संस्करण अमेज़ॅन एपीआई के साथ 98% संगतता प्रदान करता है। वर्तमान समाधान में वह सब कुछ है जो हमें एक सेवा प्रदाता और हमारे ग्राहकों के रूप में चाहिए, इसलिए हम विकल्प के लिए कम नहीं दिखे।
इस बार, पश्चिमी डिजिटल ActiveScale सॉफ्टवेयर और हार्डवेयर समाधान हमारे हाथ में आ गया। विक्रेता इसे S3 क्लस्टर के आयोजन के लिए एक समाधान के रूप में रखता है।
यह कैसा दिखता है:
ActiveScale P100 OST डेटा सेंटर के हॉल में से एक में स्थापित है।शीर्ष तीन इकाइयां नियंत्रण नोड हैं। निम्नलिखित छह इकाइयाँ डेटा संग्रहीत करने के लिए नोड हैं। छह नोड्स में से प्रत्येक में 10 टीबी के 12 डिस्क होते हैं। कुल 720 टीबी "कच्ची" क्षमता की। कॉम्प्लेक्स में 2 नेटवर्क डिवाइस भी शामिल हैं। प्रत्येक नोड के लिए - 10 जी के 2 लिंक। कुल मिलाकर, इस निर्णय से रैक में 11 इकाइयाँ लगती हैं।
हमने लोड परीक्षण के माध्यम से ActiveScale चलाया: एक स्क्रिप्ट ने विभिन्न आकारों की फ़ाइलों की एक अलग संख्या उत्पन्न की, उन्हें एकल-थ्रेडेड और बहु-थ्रेडेड मोड में अपलोड करने का प्रयास किया और फ़ाइलों को अपलोड करने और हटाने के लिए कमांड का निष्पादन समय रिकॉर्ड किया। यह परीक्षण कृत्रिम था: यह एक कंप्यूटर से एसएसडी-ड्राइव, मेमोरी की एक बड़ी मात्रा और 3.2 गीगाहर्ट्ज की आवृत्ति के साथ एक प्रोसेसर के साथ किया गया था, जिसमें 100 एमबी / एस की सीमित चैनल चौड़ाई थी। फिर भी, हमारे पास वर्तमान समाधान के लिए एक समान परीक्षण के परिणाम हैं, और प्राप्त परिणाम हमारी अपेक्षाओं से अधिक थे।
तनाव परीक्षण के परिणाम।
* जब किसी ऑब्जेक्ट को हटाना केवल हटाने के लिए चिह्नित किया जाता है। निष्कासन स्वयं दिन में एक बार होता है। जब क्लस्टर लगभग भर जाता है, तो यह क्षमता प्रबंधन को जटिल कर सकता है, क्योंकि उपयोग किए गए संसाधनों के बारे में अद्यतित जानकारी नहीं है।अमेज़ॅन एस 3 संगतता का परीक्षण मानक तरीकों से किया गया था।
यहाँ उन परीक्षणों में
से एक है जिसका मैंने उपयोग किया था।
परीक्षण के समय, हमारे पास सबसे बुनियादी दस्तावेज थे, इसलिए हम इस "ब्लैक बॉक्स" के उपकरण को अपने दम पर - व्यवस्थापक वेब इंटरफेस, एपीआई और भौतिक पहुंच के माध्यम से निपटाते हैं।
अंदर क्या मिला था
व्यवस्थापक इंटरफ़ेस मुख्य पृष्ठ पर, क्लस्टर साइज़ और वर्किंग मेट्रिक्स, ऑब्जेक्ट्स, यूज़र्स, बकेट्स, स्टोरेज पॉलिसियों के आँकड़ों की सारांश जानकारी।
उपयोगकर्ता इंटरफ़ेस S3 सेवा में, यह आवश्यक है ताकि क्लाइंट की ओर से व्यवस्थापक उपयोगकर्ताओं को जोड़ / निकाल सकें, उनके लिए एक्सेस कुंजी उत्पन्न कर सकें, उपयोगकर्ताओं को उद्धृत कर सकें आदि। P100 में यह नहीं है, लेकिन हमारी प्रतिक्रिया के बाद विक्रेता इसे लागू करने की योजना बनाता है।
उपयोगकर्ता / भूमिका प्रबंधन। एक सार्वजनिक सेवा को व्यवस्थित करने के लिए, हमें अलग-अलग पहुँच अधिकारों वाले उपयोगकर्ताओं को बनाने की क्षमता चाहिए। P100 की इस संबंध में महत्वपूर्ण सीमाएँ हैं:
- आप केवल एक सिस्टम उपयोगकर्ता बना सकते हैं, वह है, एक क्लस्टर व्यवस्थापक। अधिक - केवल सक्रिय निर्देशिका के साथ एकीकरण के माध्यम से।
- उपयोगकर्ताओं को समूहीकृत नहीं किया जा सकता है और उन्हें व्यवस्थापक नहीं सौंपा जा सकता है। वास्तव में, यह हमारे लिए एक सार्वजनिक सेवा प्रदान करना असंभव बनाता है।
- उपयोगकर्ता को स्थायी रूप से हटाया नहीं जा सकता है, इसलिए यदि नया उपयोगकर्ता समान लॉगिन के साथ है, तो आपको रचनात्मक होना पड़ेगा।
- उपयोगकर्ताओं के लिए कोटा निर्धारित करना (वॉल्यूम, लेनदेन की संख्या, आदि) केवल सीएलआई के माध्यम से संभव है।
बिलिंग। P100 बॉक्स से बाहर है, और यह सेवा प्रदाता के रूप में हमारे लिए सबसे बड़ी कमी है। हमारे पास एक वाणिज्यिक उत्पाद है, और हमें किसी तरह ग्राहकों को बिल देना होगा। P100 में आँकड़े लॉग होते हैं जिन्हें हर घंटे व्यवस्थापक पैनल के माध्यम से हटाया जा सकता है। सैद्धांतिक रूप से, आप उन्हें पार्स कर सकते हैं, आवश्यक डेटा निकाल सकते हैं और उन पर एक गणना कर सकते हैं। लेकिन ये लॉग केवल 30 दिनों तक संग्रहीत हैं। उन स्थितियों में क्या करना है जहां 31 दिनों के महीने में या ग्राहक पिछले महीनों के लिए खाते को दोबारा जांचने के लिए कहता है।
वस्तुओं के भंडारण के लिए अपने स्वयं के नियम निर्धारित करना। P100 पहले से ही निम्नलिखित सेटिंग्स के साथ हमारे पास आया है: चंक (20 Kb) से छोटी फाइलें
इरेज़र कोड (ईसी) 6 + 2 मोड में संग्रहीत की जाती हैं। चंक से बड़ी फाइलें ईसी 13 + 4 मोड में संग्रहीत की जाती हैं। P100 स्वयं फ़ाइल का आकार निर्धारित करता है और उपयुक्त मोड का चयन करता है।
एक तरफ, P100 के पास अधिक विकल्प हैं। दूसरी ओर, प्रतिकृति कारक और मिटाने के कोड के लिए सभी भंडारण नियम सेटिंग्स क्लस्टर परिनियोजन के चरण में ही संभव हैं। बाद में, ऑपरेशन के दौरान, नए डेटा भंडारण नियमों को जोड़ना या मौजूदा लोगों को बदलना संभव नहीं है। क्लस्टर का विस्तार करते समय, यह किया जाना चाहिए ताकि भंडारण की दक्षता और विश्वसनीयता इष्टतम हो।
Erasure कोड संग्रहण प्रदर्शन तालिका।मूल निवासी CLI \ AdminAPI। क्लस्टर का प्रबंधन करने के लिए, P100 में एक CLI है, लेकिन इसे केवल Ubuntu (हम Red Hat का उपयोग करते हैं) के लिए लिखा और परखा गया है। यह कर्ल अनुरोधों (पुट, गेट, पोस्ट) के माध्यम से बातचीत पर महत्वपूर्ण लाभ नहीं देता है, लेकिन क्लस्टर के प्रबंधन के लिए कुछ विशेषताएं हैं।
मूल AWS S3 API और AWS CLI के लिए समर्थन। यह अमेज़ॅन एपीआई के साथ संगतता का एक संकेतक है। सीधे शब्दों में, क्या इस समाधान में अमेज़ॅन एस 3 के लिए कमांड का उपयोग करना संभव है। अनुभव के अनुसार, औसतन, यह सूचक 50-70% की सीमा में कहीं भिन्न होता है।
परीक्षण परिणामों के अनुसार P100 को 58% मिला। व्यक्तिगत वस्तुओं तक पहुंच अधिकार प्रदान करने पर संगतता परीक्षण करना संभव नहीं था, क्योंकि P100 समाधान में आप केवल एक बाल्टी में सामान्य पहुंच निर्दिष्ट कर सकते हैं, और एक अलग वस्तु पर नहीं। इसके अलावा कोई IAM (पहचान और अभिगम प्रबंधन) नहीं है। नतीजतन, संगतता 50% के करीब है।
परीक्षण के परिणामों से।ओएस प्रबंधन। विनिर्देशन के अनुसार, ActiveScale OS 5.x प्रकट होता है। वेब इंटरफ़ेस के माध्यम से उपलब्ध लॉग और फ़ोल्डरों के अनुसार, मुझे पता चला कि यह एक डेबियन वितरण पर आधारित सबसे अधिक संभावना है। परीक्षण के दौरान, आत्म-प्रबंधन अपडेट के तरीके, महत्वपूर्ण सुरक्षा अपडेट कैसे स्थापित करना है, आपके मॉनिटरिंग एजेंट्स, इत्यादि का पता लगाना संभव नहीं था। निश्चित रूप से विशेष रूप से प्रशिक्षित व्यक्ति के प्रस्थान के साथ P100 तकनीकी सहायता से संपर्क करने की आवश्यकता है।
प्रति उपयोगकर्ता बाल्टी की संख्या। ऐसी सेवाओं में, उपयोगकर्ता आमतौर पर फ़ाइलों को संग्रहीत करने के लिए 100 बाल्टी, एक प्रकार का "फ़ोल्डर" बना सकता है। सामान्य मामले में, यह पर्याप्त है, लेकिन अभ्यास से पता चलता है कि कई बाल्टी नहीं हैं। P100 में, 100 बाल्टी अधिकतम है। हमारे वर्तमान समाधान में, उपयोगकर्ता 1000 बाल्टी बना सकता है।
बाल्टी और वस्तुओं तक पहुंच अधिकार स्थापित करना। P100 में, आप एक विशिष्ट बाल्टी तक पहुंच दे सकते हैं, लेकिन किसी विशिष्ट वस्तु के लिए नहीं। उत्तरार्द्ध अक्सर उपयोगकर्ताओं द्वारा उपयोग किया जाता है क्योंकि यह आपको डाउनलोड की संख्या और उस समय की सीमा निर्धारित करने की अनुमति देता है जब इसे डाउनलोड किया जा सकता है।
क्लस्टर / उपयोगकर्ता / बाल्टी आँकड़े। हमें क्लस्टर अधिभोग को ट्रैक करने के लिए इस जानकारी की आवश्यकता है और उस क्षण को याद नहीं करना चाहिए जब हम संसाधनों से छत पर पहुंचते हैं।
इंटरफ़ेस में, आप उपयोगकर्ताओं और बाल्टियों पर लगभग वास्तविक समय के आँकड़े देख सकते हैं (सूचना एक घंटे में एक बार अपडेट की जाती है)।
इसे एक विशेष सिस्टम बकेट के माध्यम से डाउनलोड किया जा सकता है, लेकिन ईमेल या उपयोगकर्ता नाम के बजाय डाउनलोड किए गए फॉर्म में यूयूआईडी होगा, इसलिए आपको किसी तरह की तुलना करने की आवश्यकता है कि विशिष्ट यूयूआईडी के पीछे किस तरह का उपयोगकर्ता छिपा हुआ है। यह एक समस्या नहीं है अगर 10 उपयोगकर्ता हैं, लेकिन यदि अधिक है
स्व निदान। P100 क्लस्टर के पूरे आयरन भाग को SNMP के माध्यम से पूछताछ कर सकता है और इसे डैशबोर्ड पर प्रदर्शित कर सकता है। उदाहरण के लिए, आप डिस्क, मेमोरी उपयोग आदि की पूर्णता और तापमान देख सकते हैं।
सिस्टम नोड की स्थिति के बारे में जानकारी।
डिस्क की स्थिति के बारे में जानकारी। जब कोई ड्राइव विफल हो जाती है, तो आप जल्दी से खोजने और बदलने के लिए बैकलाइट चालू कर सकते हैं।
क्लस्टर में सीपीयू और मेमोरी लोड करने के लिए पैरामीटर।उपयोगकर्ता क्रिया लॉग करना। यह वहाँ नहीं है, जिसका अर्थ है कि "फ़ाइल को हटाने और इसे हटाने" की स्थितियों को समझना आसान नहीं है।
SSE / SSE-C का समर्थन करें। P100 एन्क्रिप्शन का समर्थन करता है, लेकिन सीमाओं के साथ: आपको एक अलग लाइसेंस कुंजी का अनुरोध करने की आवश्यकता है, और यह अतिरिक्त पैसा है।
लोड बैलेंसर। यह अंतर्निहित है, संभवतया HAProxy के लायक है। आपको इसे कम से कम कॉन्फ़िगर करने की आवश्यकता है: बस आने वाले और बाहर जाने वाले आईपी पते निर्दिष्ट करें।
नोड्स या नोड्स पर इनपुट / आउटपुट प्रक्रियाओं का स्वचालन। यह तब मदद करता है जब एक क्लस्टर में एक नोड टूट जाता है और इसे डिमोशन करना पड़ता है। अब ऐसी स्थितियों के लिए, हमारे पास तैयार समाधान है। मुझे P100 में ऐसा कोई तंत्र नहीं मिला, आप केवल व्यवस्थापक वेब इंटरफ़ेस के माध्यम से एक अलग नोड को अक्षम कर सकते हैं। सबसे अधिक संभावना है, आपको विक्रेता से इंजीनियर को आमंत्रित करना होगा।
S3 गेट उपकरण। यह सॉफ्टवेयर सॉल्यूशन आपको क्लाइंट साइड पर ftp / nfs / सांबा-गेट तैनात करने और उन फाइलों को ड्रॉप करने की अनुमति देता है जो S3 में होनी चाहिए। एक सुविधाजनक बात अगर अंतिम उपयोगकर्ता S3 का उपयोग करना नहीं जानता है। दुर्भाग्य से, P100 में यह बोर्ड पर नहीं है।
वर्किंग एप्लीकेशन पोर्ट्स। P100 में, S3 के लिए केवल मानक पोर्ट उपलब्ध हैं - 80, 443।
उपयोगकर्ता प्रलेखन। केवल एपीआई प्रलेखन है।
प्रशासनिक दस्तावेज। अनुरोध पर विक्रेता द्वारा प्रदान किया गया।
परीक्षण नहीं किया गया है, लेकिन विक्रेता द्वारा घोषित किया गया है
एकाधिक समापन बिंदु। हम एक तैयार स्थापना के साथ पहुंचे, जहां प्रति क्लस्टर केवल एक समापन बिंदु कॉन्फ़िगर किया गया था। परिवर्तन विफल रहा।
Georezervirovanie। यह विकल्प तीन साइटों पर डेटा को दोहराने और ग्राहकों को बैकअप साइटों पर स्विच करना संभव बनाता है। हमारे पास केवल एक क्लस्टर था, इसलिए परीक्षण करना संभव नहीं था।
AD के साथ एकीकरण। घोषित किया गया है, लेकिन हम S3 के संबंध में AD का उपयोग नहीं करते हैं, इसलिए हमने परीक्षण नहीं किया।
निष्कर्ष
सामान्य तौर पर, WD ActiveScale P100 ने एक सकारात्मक प्रभाव छोड़ा: यह "बॉक्स से बाहर" काम करता है, जल्दी और एक ही समय में बहुत स्वीकार्य है। फिर भी, यह एक निजी समाधान है जिसे अभी तक सार्वजनिक S3 सेवा बनाने के लिए उपयोग नहीं किया जा सकता है। यहाँ मुख्य बात यह है कि हमारे पास पर्याप्त नहीं है:
- उपयोगकर्ता समूह बनाने और उनके लिए व्यवस्थापक सेट करने का कोई तरीका नहीं है;
- कोई ग्राफिकल यूजर इंटरफेस नहीं;
- कोई बिलिंग नहीं;
- केवल विक्रेता से अपील के माध्यम से अतिरिक्त कार्य शामिल करना;
- अलग-अलग भंडारण नीतियों को रखने और उन्हें एक ही क्लस्टर के भीतर अलग-अलग उपयोगकर्ता समूहों को सौंपने में असमर्थता, वर्तमान कार्यों पर निर्भर करती है।
परीक्षण के परिणामों के अनुसार, विक्रेता ने सभी इच्छाओं को स्वीकार कर लिया। शायद निकट भविष्य में उनमें से एक का एहसास हो जाएगा।