प्लग करने योग्य भंडारण के रूप में सेफ: एक बड़ी परियोजना से 5 व्यावहारिक अंतर्दृष्टि

डेटा की वृद्धि को देखते हुए, आजकल अधिक से अधिक यह सॉफ्टवेयर-परिभाषित और वितरित डेटा वेयरहाउस के बारे में कहा जाता है, और पारंपरिक रूप से खुले सेफ प्लेटफॉर्म पर बहुत ध्यान दिया जाता है। आज हम उन निष्कर्षों के बारे में बात करना चाहते हैं जो हम एक बड़े रूसी विभाग के लिए डेटा भंडारण परियोजना को लागू करने की प्रक्रिया में आए थे।



जब विभिन्न प्रकार के डेटा को संग्रहीत करने की बात आती है, तो निश्चित रूप से, एक वितरित डेटा वेयरहाउस तुरंत दिमाग में आता है। विशुद्ध रूप से सैद्धांतिक रूप से, ऐसे समाधानों के कई फायदे हैं: आप किसी भी डिस्क का उपयोग कर सकते हैं, सिस्टम किसी भी सर्वर (यहां तक ​​कि बहुत पुराने) पर काम करता है, स्केलिंग के लिए व्यावहारिक रूप से कोई सीमा नहीं है। यही कारण है कि इस तरह की प्रणाली की शुरूआत कई वर्षों पहले रूसी संघ के सबसे बड़े क्षेत्रों में इकाइयों में से एक के साथ न केवल रूसी संघ के सभी क्षेत्रों में शुरू की गई थी, बल्कि सभी अधिक या कम बड़े शहरों में भी की गई थी।

उपलब्ध समाधानों का विश्लेषण करने के बाद, चुनाव सेफ के पक्ष में किया गया था। इस निर्णय के कई कारण थे:
• सिफ एक काफी परिपक्व उत्पाद है, और आज सूचना के पेटाबाइट्स पर सेफ स्थापित हैं।
• एक बड़ा समुदाय विकास में शामिल है (हमारे सहित), जिसका अर्थ है कि भंडारण के लिए नए कार्य और सुधार दिखाई देंगे।
• सेफ में पहले से ही विभिन्न प्रोग्रामिंग भाषाओं के समर्थन के साथ एक अच्छा एपीआई है। यह महत्वपूर्ण था क्योंकि ग्राहक की आवश्यकताओं और अपेक्षाओं को पूरा करने के लिए उत्पाद को स्पष्ट रूप से परिष्कृत करने की आवश्यकता थी।
• लाइसेंस की लागत कुछ भी नहीं है। नहीं, निश्चित रूप से, सिस्टम को और अधिक विकसित करने की आवश्यकता है, लेकिन ग्राहक के विशिष्ट कार्यों के मामले में, वैसे भी अतिरिक्त विकास को अंजाम देना आवश्यक होगा, तो एक मुक्त उत्पाद के आधार पर ऐसा क्यों न करें?
• अंत में, प्रतिबंध। राज्य के स्वामित्व वाली कंपनियों को यह सुनिश्चित किया जाना चाहिए कि अगली बार कोई उन पर प्रतिबंध लगाने का विचार लेकर आए, और इसलिए एक विदेशी और विशेष रूप से अमेरिकी उत्पाद पर निर्भर होना खतरनाक है। एक और बात, ओपन सोर्स।

व्यावहारिक निष्कर्ष
सिफ का परिचय कई महीनों में धीरे-धीरे हुआ। सबसे पहले, भंडारण केंद्रीय क्षेत्र में लॉन्च किया गया था, और फिर हमने क्षेत्रीय डेटा केंद्रों को जोड़कर समाधान को दोहराया। प्रत्येक नए नेटवर्क नोड के आगमन के साथ, भंडारण प्रदर्शन में वृद्धि हुई, इसके भीतर डेटा प्रवाह में वृद्धि के बावजूद, क्षेत्र से क्षेत्र में जानकारी के हस्तांतरण को सुनिश्चित करना।
किसी भी बड़े संगठन के काम की एक विशेषता विषम जानकारी को संग्रहीत करने की आवश्यकता है, जो अक्सर एक द्विआधारी फ़ाइल होती है। जैसा कि अभ्यास से पता चलता है, कर्मचारियों के पास यह पता लगाने का कोई समय नहीं होता है कि वे किस प्रकार की फाइलें हैं, उन्हें वर्गीकृत करें और उन्हें समय पर ढंग से संसाधित करें - सूचना तेजी से जमा होती है। और परिचालन गतिविधियों के लिए संभावित महत्वपूर्ण डेटा नहीं खोने के लिए, उनके सक्षम भंडारण को व्यवस्थित करना आवश्यक है। उदाहरण के लिए, वितरित भंडारण पर आधारित।
और इस तरह की परियोजना को लागू करने की प्रक्रिया में, हमने सेफ के उपयोग पर कई निष्कर्ष निकाले:

निष्कर्ष 1: सेफ पूरी तरह से सभी बैकअप समाधानों को बदल देता है
जैसा कि अभ्यास से पता चला है, ज्यादातर असंरचित जानकारी के लिए बैकअप बिल्कुल भी नहीं किया जाता है, क्योंकि इसे लागू करना बेहद मुश्किल है। जब सेफ लागू किया जाता है, तो बैकअप को "बोनस के रूप में" प्राप्त किया जाता है। स्थापित करते समय, हम केवल प्रतिकृति पैरामीटर सेट करते हैं - प्रतियों की संख्या और उनके स्थान का स्थान। यदि ग्राहक के पास कई डेटा केंद्र हैं, तो एक विनाशकारी कॉन्फ़िगरेशन प्राप्त होता है, जिसमें विभिन्न डिस्क और सर्वर पर डेटा की 3-4 प्रतियां होने पर बस अतिरिक्त बैकअप की आवश्यकता नहीं होती है। ऐसी प्रणाली किसी भी हार्डवेयर समाधान से बेहतर काम करती है, कम से कम उस समय के लिए जब हम बड़ी मात्रा में डेटा और भौगोलिक रूप से वितरित सिस्टम के बारे में बात कर रहे हैं।

निष्कर्ष 2: बड़ी स्थापनाओं के साथ, सेफ प्रदर्शन नेटवर्क के प्रदर्शन के बराबर 99% है।
जब हमने PostgreSQL डेटाबेस से डेटा (उस पर नीचे) को एक सिफ-आधारित स्टोरेज में स्थानांतरित किया, तो ज्यादातर मामलों में अपलोड गति डेटा ट्रांसमिशन नेटवर्क बैंडविड्थ के बराबर थी। यदि कुछ मामलों में यह मामला नहीं था, तो सिफ को फिर से संगठित करने के लिए इस गति को प्राप्त करने की अनुमति दी गई। बेशक, हम 100 Gb / s कनेक्शन के बारे में बात नहीं कर रहे हैं, लेकिन भौगोलिक रूप से वितरित इन्फ्रास्ट्रक्चर के लिए मानक डेटा चैनलों के साथ, 10 Mbit / s, 100 Mbit / s या 1 Gbit / s के सेफ डॉट डॉट प्रदर्शन को प्राप्त करना काफी संभव है। यह डिस्क को सही ढंग से आवंटित करने और सूचना के क्लस्टरिंग को कॉन्फ़िगर करने के लिए पर्याप्त है।

निष्कर्ष 3: मुख्य बात यह है कि कंपनी की ख़ासियत को ध्यान में रखते हुए सेफ को कॉन्फ़िगर करना
सेटिंग्स की बात करें, सिस्टम कॉन्फ़िगरेशन के चरण में सेफ काम में विशेषज्ञता का सबसे बड़ा हिस्सा आवश्यक है। प्रतिकृति मापदंडों के अलावा, समाधान आपको एक्सेस स्तर, डेटा अवधारण नियम और इसी तरह सेट करने की अनुमति देता है। उदाहरण के लिए, यदि हमारे पास पूरे रूस में मिनी-कंप्यूटिंग केंद्र हैं, तो हम अपने क्षेत्र में बनाए गए दस्तावेज़ों और फाइलों तक त्वरित पहुंच को व्यवस्थित कर सकते हैं, साथ ही कहीं से सभी कॉर्पोरेट दस्तावेजों तक पहुंच बना सकते हैं। उत्तरार्द्ध थोड़ी लंबी देरी और कम गति के साथ काम करेगा, लेकिन स्वामित्व की जगह पर इस तरह की "एकाग्रता" जानकारी संगठन के लिए इष्टतम स्थिति बनाती है।

निष्कर्ष 4: जब यह पहले से ही कॉन्फ़िगर किया गया है, तो कोई भी लिनक्स व्यवस्थापक सेफ को प्रबंधित कर सकता है
शायद सेफ की सबसे सुखद विशेषताओं में से एक यह है कि सिस्टम अनावश्यक मानव भागीदारी के बिना काम करता है जब यह पहले से ही कॉन्फ़िगर है। यही है, यह पता चला है कि दूरस्थ मिनी-डेटासेंटरों में यह सिर्फ लिनक्स प्रशासक सम्‍मिलित करने के लिए पर्याप्त है, क्योंकि अगले सेफ सेगमेंट के लिए समर्थन के लिए किसी अतिरिक्त ज्ञान की आवश्यकता नहीं है।

निष्कर्ष 5: बाहरी सूचकांक प्रणाली के साथ सेफ को सप्लीमेंट करना स्टोरेज को प्रासंगिक खोज के लिए सुविधाजनक बनाता है
जैसा कि आप जानते हैं, सिफ के अंदर कोई सूचकांक नहीं है जिसका उपयोग संदर्भ द्वारा खोज करने के लिए किया जा सकता है। इसलिए, जब किसी वस्तु को भंडारण में प्रवेश किया जाता है, तो सूचकांक के रूप में सेवारत मेटा-डेटा को सहेजना संभव है। उनकी मात्रा काफी कम है, और इसलिए एक नियमित संबंधपरक डीबीएमएस आसानी से उनका सामना कर सकता है। बेशक, यह एक अतिरिक्त प्रणाली है, लेकिन यह दृष्टिकोण आपको असंरचित डेटा के विशाल संस्करणों के संदर्भ में जानकारी जल्दी से खोजने की अनुमति देता है।



डेटा ट्रांसफर के बारे में कुछ शब्द
एक बड़ी परियोजना में कई चरण शामिल हैं, लेकिन शायद हमारे लिए सबसे दिलचस्प पोस्टग्रेक्यूएल से बड़ी मात्रा में डेटा को एक नए भंडार में स्थानांतरित करने की प्रक्रिया थी। सिफ को लॉन्च करने के बाद, कार्य सेवाओं और व्यावसायिक प्रक्रियाओं को रोकने और जानकारी की अखंडता को सुनिश्चित किए बिना कई डेटाबेस से डेटा स्थानांतरित करने के लिए उत्पन्न हुआ।
ऐसा करने के लिए, हमें सेफ ओपन सोर्स प्रोजेक्ट के विकास में योगदान करना होगा और pg_rbytea माइग्रेशन मॉड्यूल बनाना होगा, जिसका स्रोत कोड लिंक पर पाया जा सकता है ( https://github.com/val5244/pg_rubtea )। समाधान का सार एक साथ निर्दिष्ट डेटाबेस से सेफ रिपॉजिटरी में डेटा स्थानांतरित करना था। विकसित मॉड्यूल आपको डेटाबेस को रोकने के बिना डेटा को तुरंत माइग्रेट करने की अनुमति देता है, रेडोस ऑब्जेक्ट स्टोरेज के एब्स्ट्रैक्शन का उपयोग करते हुए, जिसका समर्थन देशी स्तर पर सेफ में कार्यान्वित किया जाता है। वैसे, हमने 2018 की शुरुआत में PG Conf पर इस बारे में एक रिपोर्ट बनाई थी ( https://pgconf.ru/2018/107082 )।
पहले चरण में, विभाग के विभागों के कार्यात्मक कार्य के लिए आवश्यक विभिन्न द्विआधारी डेटा को रिपॉजिटरी में स्थानांतरित किया गया था। वास्तव में, वे सभी फाइलें और वस्तुएं जो स्पष्ट नहीं हैं कि उनकी विशाल कुल मात्रा और फजी संरचना के कारण कैसे स्टोर किया जाए। इसके बाद, यह विभिन्न मीडिया सामग्री को सेफ में स्थानांतरित करने की योजना बनाई गई है, जो मूल दस्तावेजों को कॉरपोरेट अक्षरों से मान्यता और संलग्नक से पहले बनाए गए हैं।
भंडारण के शीर्ष पर काम करने के लिए यह सब करने के लिए, Restful सेवाओं को विकसित किया गया था जो ग्राहक प्रणालियों में एकीकरण के लिए सेफ का उपयोग करने की अनुमति देता था। यहां फिर से, एक सुविधाजनक एपीआई की उपस्थिति ने एक भूमिका निभाई, जो आपको विभिन्न सूचना प्रणालियों के लिए प्लग-इन सेवा बनाने की अनुमति देती है। इसलिए सिफ मुख्य संगठन बन गया है, जो संगठन के भीतर अधिक से अधिक संस्करणों और सूचनाओं का दावा करता है।

निष्कर्ष
विभिन्न वितरित डेटा वेयरहाउस बाजार पर हैं, जिनमें वाणिज्यिक समाधान और अन्य खुले स्रोत उत्पाद शामिल हैं। उनमें से कुछ विशेष अनुकूलन का उपयोग करते हैं, अन्य संपीड़न के साथ काम करते हैं या इरेज़र कोडिंग का उपयोग करते हैं। हालांकि, व्यवहार में, हम आश्वस्त थे कि सेफ वास्तव में वितरित वातावरण और विशाल भंडारण के लिए आदर्श रूप से अनुकूल है, क्योंकि इस मामले में सिस्टम का प्रदर्शन केवल संचार चैनलों की गति से सीमित है, और आप सर्वर की संख्या या डेटा की मात्रा के आधार पर लाइसेंस पर बहुत पैसा बचाते हैं (निर्भर करता है) किस उत्पाद के साथ तुलना करें)। एक अच्छी तरह से तैयार सेफ प्रणाली आपको स्थानीय प्रशासकों द्वारा क्षेत्र में न्यूनतम पर्यवेक्षण के साथ इष्टतम प्रदर्शन सुनिश्चित करने की अनुमति देती है। और यह एक गंभीर लाभ है यदि आप भौगोलिक रूप से वितरित कार्यान्वयन का परिचय देते हैं।