कुबेरनेट्स में रिपोजिटरी: ओपनईबीएस बनाम रूक (सेफ) बनाम रैन्चर लॉन्गहॉर्न बनाम स्टोरेज बनाम रॉबिन बनाम पोर्टवर्क्स बनाम लिन्स्टर।

अद्यतन! । टिप्पणियों में, पाठकों में से एक ने लिनस्टॉर की कोशिश करने का सुझाव दिया (शायद वह खुद इस पर काम करता है), इसलिए मैंने इस समाधान के बारे में एक खंड जोड़ा। मैंने इसे कैसे स्थापित किया जाए , इस बारे में एक पोस्ट भी लिखी है, क्योंकि प्रक्रिया बाकी हिस्सों से बहुत अलग है।

ईमानदार होने के लिए, मैंने कुबेरनेट्स को छोड़ दिया (कम से कम अभी के लिए)। मैं हरोकू का उपयोग करूंगा। क्यों? भंडारण के कारण! किसने सोचा होगा कि मैं खुद कुबेरनेट्स के साथ स्टोरेज से ज्यादा गड़बड़ करूंगा। मैं हेट्ज़नर क्लाउड का उपयोग करता हूं क्योंकि यह सस्ती है और प्रदर्शन अच्छा है, और शुरू से ही मैंने रैंचर का उपयोग करके क्लस्टर तैनात किए। मैंने कुबेरनेट्स को Google / Amazon / Microsoft / DigitalOcean, इत्यादि से प्रबंधित सेवाओं की कोशिश नहीं की है, क्योंकि मैं खुद सब कुछ सीखना चाहता था। और मैं किफायती हूं।

तो - हाँ, मैंने यह तय करने में बहुत समय बिताया कि कब कौन सी कुबेरनेट्स पर संभावित स्टैक पर विचार करने के लिए कौन सा स्टोरेज चुनना है। मैं खुले स्रोत समाधान पसंद करता हूं, और न केवल कीमत के कारण, बल्कि मैंने जिज्ञासा से बाहर कुछ भुगतान विकल्पों का अध्ययन किया, क्योंकि उनके पास प्रतिबंधों के साथ मुक्त संस्करण हैं। जब मैं विभिन्न विकल्पों की तुलना कर रहा था, तो मैंने नवीनतम परीक्षणों से कुछ नंबर नीचे लिखे, और वे उन लोगों के लिए रुचि के हो सकते हैं, जो कुबेरनेट्स में भंडारण का अध्ययन करते हैं। हालांकि मैंने व्यक्तिगत रूप से अब तक कुबेरनेट्स को अलविदा कह दिया है। मैं सीएसआई चालक का भी उल्लेख करना चाहता हूं, जिसमें आप सीधे हेट्ज़नर क्लाउड वॉल्यूम तैयार कर सकते हैं, लेकिन मैंने अभी तक इसकी कोशिश नहीं की है। मैंने क्लाउड-आधारित सॉफ़्टवेयर-डिफ़ाइंड स्टोरेज का अध्ययन किया क्योंकि मुझे प्रतिकृति की आवश्यकता थी और किसी भी नोड पर लगातार वॉल्यूम को माउंट करने की क्षमता, विशेष रूप से नोड विफलता और अन्य समान स्थितियों की स्थिति में। कुछ समाधान समय पर और साइट बैकअप से एक बिंदु पर स्नैपशॉट प्रदान करते हैं, जो सुविधाजनक है।

मैंने 6-7 भंडारण समाधानों का परीक्षण किया:

OpenEBS

जैसा कि मैंने पिछली पोस्ट में कहा था , सूची के अधिकांश विकल्पों का परीक्षण करने के बाद , मैंने शुरुआत में ओपनईबीएस पर समझौता किया। OpenEBS को स्थापित करना और उपयोग करना बहुत आसान है, लेकिन ईमानदार होने के लिए, लोड के तहत वास्तविक डेटा के साथ परीक्षण के बाद, इसके प्रदर्शन ने मुझे निराश किया। यह एक खुला स्रोत है, और मेरे स्लैक चैनल पर डेवलपर्स ने हमेशा बहुत मदद की जब मुझे मदद की ज़रूरत थी। दुर्भाग्य से, अन्य विकल्पों की तुलना में इसका प्रदर्शन बहुत कम है, इसलिए मुझे फिर से परीक्षण चलाना पड़ा। OpenEBS में अब 3 स्टोरेज इंजन हैं, लेकिन मैं cStor के लिए बेंचमार्क परिणाम पोस्ट कर रहा हूं। अभी तक मेरे पास Jiva और LocalPV के लिए कोई संख्या नहीं है।

संक्षेप में, जीव थोड़ा तेज है, और स्थानीयपीवी आमतौर पर तेज है, सीधे ड्राइव के बेंचमार्क से भी बदतर नहीं है। स्थानीयपीवी के साथ समस्या यह है कि वॉल्यूम तक पहुंच केवल उस नोड पर प्राप्त की जा सकती है जहां इसे तैयार किया गया था, और पूरी तरह से कोई प्रतिकृति नहीं है। मुझे नए क्लस्टर पर वेलेरो के माध्यम से बैकअप को पुनर्प्राप्त करने में कुछ समस्याएं थीं, क्योंकि नोड नाम अलग थे। अगर हम बैकअप के बारे में बात करते हैं, तो cStor में वेलेरो के लिए एक प्लगइन है , जिसके साथ आप एक समय में स्नैपशॉट के साइट बैकअप को बंद कर सकते हैं, जो कि वेलेरो-रेस्टिक के साथ फ़ाइल स्तर पर बैकअप की तुलना में अधिक सुविधाजनक है। मैंने इस प्लगइन के साथ बैकअप और पुनर्स्थापनों को प्रबंधित करना आसान बनाने के लिए कई स्क्रिप्ट्स लिखीं। सामान्य तौर पर, मुझे वास्तव में ओपनईबीएस पसंद है, लेकिन इसका प्रदर्शन ...

कौआ

रूक में ओपन सोर्स कोड भी है, और यह सूची में अन्य विकल्पों से अलग है कि यह एक भंडारण ऑर्केस्ट्रेटर है जो विभिन्न बैकेंड के साथ भंडारण के प्रबंधन के जटिल कार्यों को करता है, उदाहरण के लिए सेफ , एजएफएफएस और अन्य, जो काम को बहुत सरल करता है। जब कुछ महीने पहले मैंने इसे आज़माया था, तो मुझे EfgeFS की समस्या थी, इसलिए मैंने मुख्य रूप से सेफ का परीक्षण किया। सिफ केवल ब्लॉक स्टोरेज ही नहीं प्रदान करता है, बल्कि एस 3 / स्विफ्ट और वितरित फाइल सिस्टम के साथ संगत ऑब्जेक्ट स्टोरेज भी करता है। मुझे सिफ के बारे में जो पसंद है वह कई डिस्क पर वॉल्यूम डेटा वितरित करने की क्षमता है ताकि वॉल्यूम एक डिस्क पर फिट होने की तुलना में अधिक डिस्क स्थान का उपयोग कर सके। यह सुविधाजनक है। एक और अच्छी सुविधा यह है कि जब आप किसी क्लस्टर में डिस्क जोड़ते हैं, तो यह सभी डिस्क पर डेटा को स्वचालित रूप से पुनर्वितरित करता है।

सेफ में स्नैपशॉट हैं, लेकिन जहां तक ​​मुझे पता है, उनका उपयोग सीधे रूक / कुबेरनेट्स में नहीं किया जा सकता है। सच है, मैं इसमें नहीं गया था। लेकिन ऑफ साइट कोई बैकअप नहीं है, इसलिए आपको वेलेरो / रेस्टिक के साथ कुछ का उपयोग करना होगा, लेकिन फ़ाइल स्तर पर केवल बैकअप हैं, समय पर स्नैपशॉट नहीं। लेकिन रूक में, मुझे सेफ के साथ सरल काम वास्तव में पसंद आया - यह लगभग सभी जटिल चीजों को छिपाता है और सीफ के साथ सीधे समस्या निवारण के लिए संवाद करने के लिए उपकरण प्रदान करता है। दुर्भाग्य से, सेफ़ वॉल्यूम के तनाव परीक्षण में, मुझे हर समय यह समस्या थी, जिसके कारण सेफ़ अस्थिर हो गया था। यह अभी तक स्पष्ट नहीं है कि यह सीएफएच में एक बग है या कैसे एक समस्या है जो सेफ को नियंत्रित करती है। मैंने मेमोरी सेटिंग्स के साथ संयोजन किया, और यह बेहतर हो गया, लेकिन समस्या अंत तक हल नहीं हुई। सेफ का प्रदर्शन अच्छा है, जैसा कि आप नीचे दिए गए बेंचमार्क में देख सकते हैं। उसके पास एक अच्छा डैशबोर्ड भी है।

रणछोर दीर्घायु

मुझे लोंगहॉर्न बहुत पसंद है। मेरी राय में, यह एक आशाजनक समाधान है। सच है, डेवलपर्स खुद (रैंचर लैब्स) स्वीकार करते हैं कि यह काम के माहौल के लिए उपयुक्त नहीं है, और यह देखा जा सकता है। इसमें ओपन सोर्स कोड और अच्छा प्रदर्शन है (हालांकि उन्होंने अभी तक इसे अनुकूलित नहीं किया है), लेकिन वॉल्यूम को चूल्हा से कनेक्ट करने के लिए बहुत लंबा समय लगता है, और सबसे खराब मामलों में 15-16 मिनट लगते हैं, खासकर एक बड़े बैकअप को पुनर्स्थापित करने या वर्कलोड को अपग्रेड करने के बाद। उसके पास इन स्नैपशॉट के स्नैपशॉट और ऑफ साइट बैकअप हैं, लेकिन वे केवल वॉल्यूम पर लागू होते हैं, इसलिए आपको अभी भी अन्य संसाधनों को बैकअप करने के लिए वेलेरो जैसी कोई चीज चाहिए। बैकअप और रिकवरी बहुत विश्वसनीय है, लेकिन अनिश्चित रूप से धीमी है। गंभीरता से, बस निषेधात्मक रूप से धीमा। सीपीयू उपयोग और सिस्टम लोडिंग अक्सर लोंगहॉर्न में औसत डेटा के साथ काम करते समय कूदते हैं। लॉन्गहॉर्न को नियंत्रित करने के लिए एक सुविधाजनक डैशबोर्ड है। मैंने पहले ही कहा कि मुझे लॉन्गहॉर्न पसंद है, लेकिन इस पर काम करने की जरूरत है।

StorageOS

StorageOS सूची में पहला भुगतान किया गया उत्पाद है। इसमें 500 जीबी के सीमित प्रबंधित स्टोरेज वाले डेवलपर्स के लिए एक संस्करण है, लेकिन मेरी राय में, नोड्स की संख्या सीमित नहीं है। बिक्री विभाग ने मुझे बताया कि लागत 1 टीबी के लिए प्रति माह $ 125 से शुरू होती है, अगर मुझे सही याद है। एक बुनियादी डैशबोर्ड और एक सुविधाजनक सीएलआई है, लेकिन प्रदर्शन के साथ कुछ अजीब हो रहा है: कुछ बेंचमार्क में यह काफी सभ्य है, लेकिन मुझे वॉल्यूम के तनाव परीक्षण में बिल्कुल भी गति पसंद नहीं थी। सामान्य तौर पर, मुझे नहीं पता कि क्या कहना है। इसलिए, मुझे विशेष रूप से समझ नहीं आया। कोई भी ऑफ साइट बैकअप नहीं है, और आपको वेलेरो के साथ रेस्टिक टू बैकअप वॉल्यूम का भी उपयोग करना होगा। यह अजीब है, क्योंकि उत्पाद का भुगतान किया जाता है। और डेवलपर्स स्लैक में संवाद करने के लिए उत्सुक नहीं थे।

रोबिन

मैंने उनके तकनीकी निदेशक से रेडिट पर रॉबिन के बारे में सीखा। मैंने उसके बारे में पहले कभी नहीं सुना था। शायद इसलिए कि मैं मुफ्त समाधानों की तलाश में था, और रॉबिन ने भुगतान किया। उनके पास 10 टीबी स्टोरेज और तीन नोड्स के साथ एक बहुत ही उदार मुक्त संस्करण है। सामान्य तौर पर, उत्पाद काफी सभ्य और अच्छी विशेषताओं के साथ होता है। वहां एक उत्कृष्ट सीएलआई है, लेकिन अच्छी बात यह है कि आप संपूर्ण एप्लिकेशन को स्नैपशॉट और बैकअप कर सकते हैं (संसाधन चयनकर्ता में इसे हेल्म रिलीज या "फ्लेक्स एप्लिकेशन" कहा जाता है), जिसमें वॉल्यूम और अन्य संसाधन शामिल हैं, इसलिए आप वेलेरो के बिना कर सकते हैं। और सब कुछ अद्भुत होगा यदि यह एक छोटे से विवरण के लिए नहीं है: यदि आप पुनर्स्थापित करते हैं (या "आयात", जैसा कि रॉबिन में कहा जाता है) एक नए क्लस्टर पर आवेदन - उदाहरण के लिए, एक दुर्घटना से वसूली के मामले में - वसूली, निश्चित रूप से, काम करता है, लेकिन एप्लिकेशन को जारी रखना अनुमति नहीं है। इस रिलीज में, यह बस संभव नहीं है, और डेवलपर्स ने पुष्टि की है। यह, इसे हल्के ढंग से रखने के लिए, अजीब है, खासकर जब आप अन्य लाभों पर विचार करते हैं (उदाहरण के लिए, अविश्वसनीय रूप से तेजी से बैकअप और पुनर्प्राप्ति)। डेवलपर्स अगली रिलीज के लिए सब कुछ ठीक करने का वादा करते हैं। प्रदर्शन आम तौर पर अच्छा है, लेकिन मैंने एक अजीब बात पर गौर किया: यदि आप मेजबान से जुड़े वॉल्यूम पर सीधे बेंचमार्क चलाते हैं, तो पढ़ने की गति समान मात्रा की तुलना में बहुत अधिक है, लेकिन अंदर से। अन्य सभी परिणाम समान हैं, लेकिन सिद्धांत रूप में कोई अंतर नहीं होना चाहिए। हालांकि वे इस पर काम कर रहे हैं, मैं रिकवरी और बैकअप की समस्या के कारण परेशान था - मुझे ऐसा लग रहा था कि मुझे आखिरकार एक उपयुक्त समाधान मिल गया है, और मुझे इसके लिए भुगतान करने के लिए तैयार था जब मुझे अधिक स्थान या अधिक सर्वर की आवश्यकता थी।

Portworx

मुझे वास्तव में यहां कहने के लिए कुछ नहीं है। यह एक पेड प्रोडक्ट है, उतना ही ठंडा और महंगा। प्रदर्शन एक चमत्कार है। अब तक यह सबसे अच्छा संकेतक है। स्लैक ने मुझे बताया कि यह मूल्य $ 205 प्रति माह प्रति नोड से शुरू होता है, जैसा कि Google GKE मार्केटप्लेस में दर्शाया गया है। मुझे नहीं पता कि अगर आप सीधे खरीदेंगे तो यह सस्ता होगा। किसी भी मामले में, मैं इसे बर्दाश्त नहीं कर सकता, इसलिए मैं बहुत निराश था, डेवलपर लाइसेंस (1 टीबी और 3 नोड तक) कुबेरनेट्स के साथ व्यावहारिक रूप से बेकार है, जब तक कि आप स्थैतिक तैयारी के साथ संतुष्ट नहीं हैं। मुझे उम्मीद थी कि परीक्षण अवधि के अंत में वॉल्यूम लाइसेंस स्वचालित रूप से डेवलपर के स्तर पर गिर जाएगा, लेकिन यह नहीं हुआ। डेवलपर लाइसेंस का उपयोग केवल डॉकर के साथ सीधे किया जा सकता है, और कुबेरनेट्स में कॉन्फ़िगरेशन बहुत बोझिल और सीमित है। बेशक, मैं ओपन सोर्स पसंद करता हूं, लेकिन अगर मेरे पास पैसा होता, तो मैं पोर्टवर्क्स को जरूर चुनता। अब तक, इसका प्रदर्शन अन्य विकल्पों के साथ तुलना नहीं करता है।

Linstor

मैंने इस खंड को पोस्ट प्रकाशित होने के बाद जोड़ा, जब एक पाठक ने लिनस्टॉर की कोशिश करने का सुझाव दिया। मैंने इसे आजमाया और मुझे यह पसंद आया! लेकिन आपको अभी भी खोदना होगा। अब मैं कह सकता हूं कि प्रदर्शन खराब नहीं है (मैंने नीचे बेंचमार्क परिणाम जोड़े)। वास्तव में, मुझे सीधे ड्राइव के लिए समान प्रदर्शन मिला, बिल्कुल ओवरहेड के साथ। (यह मत पूछो कि पोर्टवर्क्स के पास सीधे ड्राइव के बेंचमार्क से बेहतर नंबर क्यों हैं। मुझे कोई पता नहीं है। जादू, शायद।) इसलिए लिनस्टॉर अभी भी बहुत प्रभावी लगता है। इसे स्थापित करना उतना मुश्किल नहीं है, लेकिन अन्य विकल्पों की तरह आसान नहीं है। पहले मुझे लिन्स्टर (कर्नेल मॉड्यूल और टूल / सेवाएं) स्थापित करना पड़ा और LVM को पतली प्रोविज़निंग के लिए कॉन्फ़िगर करना और कुबेरनेट्स के बाहर स्नैपशॉट का समर्थन करना, सीधे होस्ट पर, और फिर कुबेरनेट से भंडारण का उपयोग करने के लिए आवश्यक संसाधन बनाना। मुझे यह पसंद नहीं आया कि यह CentOS पर काम नहीं करता था और उबंटू का उपयोग करना था। डरावना नहीं, ज़ाहिर है, लेकिन थोड़ा कष्टप्रद है, क्योंकि प्रलेखन (जो, संयोगवश, उत्कृष्ट है) में कई पैकेजों का उल्लेख है जो निर्दिष्ट एपल रिपॉजिटरी में नहीं मिल सकते हैं। लाइनस्टोर में स्नैपशॉट हैं, लेकिन साइट बैकअप से दूर नहीं है, इसलिए यहां फिर से मुझे वेलेरो का उपयोग रेस्टिक के साथ बैकअप संस्करणों में करना पड़ा। मैं फ़ाइल-स्तरीय बैकअप के बजाय स्नैपशॉट पसंद करूंगा, लेकिन इसका समाधान और उत्पादक विश्वसनीय होने पर इसे सहन किया जा सकता है। लिन्स्टोर के पास खुला स्रोत है, लेकिन भुगतान किया गया समर्थन है। अगर मैं सही तरीके से समझूं, तो इसका उपयोग प्रतिबंधों के बिना किया जा सकता है, भले ही आपके पास एक समर्थन समझौता न हो, लेकिन इसे स्पष्ट करने की आवश्यकता है। मुझे पता नहीं है कि लिबस्टर को कुबेरनेट्स के लिए कैसे परीक्षण किया जाता है, लेकिन भंडारण स्तर खुद कुबेरनेट्स के बाहर है और, जाहिर है, समाधान कल नहीं दिखाई दिया, इसलिए यह शायद वास्तविक परिस्थितियों में पहले ही परीक्षण किया जा चुका है। क्या यहां कोई समाधान है जो मुझे अपना मन बदल देगा और कुबेरनेट्स में वापस मिलेगा? मुझे नहीं पता, मुझे नहीं पता। प्रतिकृति का अध्ययन करने के लिए, गहरी खुदाई करना अभी भी आवश्यक है। आइए देखते हैं। लेकिन पहली धारणा अच्छी है। मैं निश्चित रूप से अधिक स्वतंत्रता हासिल करने और नई चीजें सीखने के लिए हेरोकू के बजाय अपने खुद के कुबेरनेट समूहों का उपयोग करना पसंद करूंगा। चूँकि Linstor दूसरों की तरह आसानी से स्थापित नहीं है, इसलिए मैं जल्द ही इसके बारे में एक पोस्ट लिखूंगा।

मानक

दुर्भाग्य से, मैंने तुलना के कुछ रिकॉर्ड रखे हैं, क्योंकि मैंने नहीं सोचा था कि मैं इसके बारे में लिखूंगा। मेरे पास केवल फियो बेस बेंचमार्क के परिणाम हैं, और केवल एकल नोड क्लस्टर के लिए, इसलिए प्रतिकृति कॉन्फ़िगरेशन के लिए मेरे पास अभी तक संख्या नहीं है। लेकिन इन परिणामों से, आप अनुमान लगा सकते हैं कि प्रत्येक विकल्प से क्या उम्मीद की जाए, क्योंकि मैंने उनकी तुलना एक ही क्लाउड सर्वर, 4 कोर, 16 जीबी रैम, टेस्ट के तहत वॉल्यूम के लिए अतिरिक्त 100 जीबी डिस्क के साथ की थी। मैंने प्रत्येक समाधान के लिए तीन बार बेंचमार्क चलाया और औसत परिणाम की गणना की, साथ ही प्रत्येक उत्पाद के लिए सर्वर सेटिंग्स को रीसेट किया। यह सब पूरी तरह से अवैज्ञानिक है, सिर्फ आपको सामान्य शब्दों में समझने के लिए। अन्य परीक्षणों में, मैंने वॉल्यूम से 38 जीबी फ़ोटो और वीडियो की प्रतिलिपि बनाई और पढ़ने और लिखने का परीक्षण करने के लिए, लेकिन, अफसोस, मैंने संख्याओं को नहीं बचाया। संक्षेप में: पोर्टवर्क बहुत तेज था।

वॉल्यूम के बेंचमार्क के लिए, मैंने इस प्रकटीकरण का उपयोग किया:

kind: PersistentVolumeClaim apiVersion: v1 metadata: name: dbench spec: storageClassName: ... accessModes: - ReadWriteOnce resources: requests: storage: 5Gi --- apiVersion: batch/v1 kind: Job metadata: name: dbench spec: template: spec: containers: - name: dbench image: sotoaster/dbench:latest imagePullPolicy: IfNotPresent env: - name: DBENCH_MOUNTPOINT value: /data - name: FIO_SIZE value: 1G volumeMounts: - name: dbench-pv mountPath: /data restartPolicy: Never volumes: - name: dbench-pv persistentVolumeClaim: claimName: dbench backoffLimit: 4 

पहले मैंने इसी स्टोरेज क्लास के साथ एक वॉल्यूम बनाया और फिर मैंने पर्दे के पीछे फियो के साथ काम शुरू किया। मैंने प्रदर्शन का अनुमान लगाने के लिए 1 जीबी लिया और बहुत लंबा इंतजार नहीं किया। यहाँ परिणाम हैं:

मैंने हरेक में हरेक सूचक के लिए सबसे अच्छा मूल्य और लाल रंग में सबसे खराब मूल्य पर प्रकाश डाला।

निष्कर्ष

जैसा कि आप देख सकते हैं, ज्यादातर मामलों में पोर्टवर्क्स ने दूसरों की तुलना में बेहतर प्रदर्शन किया। लेकिन मेरे लिए, वह प्रिय है। मुझे नहीं पता कि रॉबिन की लागत कितनी है, लेकिन एक महान मुफ्त संस्करण है, इसलिए यदि आपको भुगतान किए गए उत्पाद की आवश्यकता है, तो आप इसे आज़मा सकते हैं (मुझे उम्मीद है कि वे जल्द ही पुनर्प्राप्ति और बैकअप के साथ समस्या को ठीक कर देंगे)। तीन मुक्त लोगों में से, मुझे ओपनईबीएस के साथ कम से कम सभी समस्याएं थीं, लेकिन इसका प्रदर्शन नरक में नहीं है। यह एक अफ़सोस की बात है, मैंने अधिक परिणाम नहीं सहेजे हैं, लेकिन मुझे आशा है कि दिए गए आंकड़े और मेरी टिप्पणियाँ आपकी मदद करती हैं।