डेटा वेयरहाउस वास्तुकला: पारंपरिक और बादल

नमस्कार, हेब्र! डेटा वेयरहाउस आर्किटेक्चर के विषय पर बहुत कुछ लिखा गया है, लेकिन यह अभी तक एक लेख के रूप में पर्याप्त रूप से और संक्षिप्त रूप से नहीं मिला है कि मैं गलती से ठोकर खाई।

मैं आपको अपने अनुवाद में इस लेख से परिचित होने के लिए आमंत्रित करता हूं। टिप्पणियाँ और परिवर्धन का स्वागत है!


(छवि स्रोत)

परिचय

इसलिए, डेटा वेयरहाउस की वास्तुकला बदल रही है। इस लेख में, हम पारंपरिक उद्यम डेटा वेयरहाउस और क्लाउड समाधानों की तुलना कम प्रारंभिक लागत, बेहतर मापनीयता और प्रदर्शन से करेंगे।

डेटा वेयरहाउस एक ऐसी प्रणाली है जिसमें किसी कंपनी के भीतर विभिन्न स्रोतों से डेटा एकत्र किया जाता है और इस डेटा का उपयोग प्रबंधन निर्णयों का समर्थन करने के लिए किया जाता है।

कंपनियां पारंपरिक ऑन-प्रिमाइसेस सिस्टम के बजाय क्लाउड-आधारित डेटा वेयरहाउस की ओर बढ़ रही हैं। क्लाउड डेटा स्टोरेज में पारंपरिक स्टोरेज से कई अंतर हैं:

• भौतिक उपकरण खरीदने की आवश्यकता नहीं है;
• क्लाउड डेटा वेयरहाउस कॉन्फ़िगर और स्केल करने के लिए तेज़ और सस्ता हैं;
• क्लाउड डेटा वेयरहाउस आमतौर पर जटिल विश्लेषणात्मक प्रश्नों को बहुत तेज़ी से निष्पादित कर सकते हैं क्योंकि वे बड़े पैमाने पर समानांतर प्रसंस्करण का उपयोग करते हैं।

पारंपरिक डेटा गोदाम वास्तुकला

निम्नलिखित अवधारणाएं पारंपरिक डेटा वेयरहाउस बनाने के लिए उपयोग किए गए कुछ स्थापित डिजाइन विचारों और सिद्धांतों को उजागर करती हैं।

तीन स्तरीय वास्तुकला

अक्सर, पारंपरिक डेटा वेयरहाउस आर्किटेक्चर में तीन स्तरीय संरचना होती है, जिसमें निम्न स्तर होते हैं:

• निचला स्तर : इस स्तर में कई अलग-अलग स्रोतों से डेटा पुनर्प्राप्त करने के लिए उपयोग किया जाने वाला डेटाबेस सर्वर होता है, उदाहरण के लिए, फ्रंट-एंड एप्लिकेशन के लिए उपयोग किए जाने वाले ट्रांसेक्शनल डेटाबेस से।
• मध्य-स्तरीय : मध्य-स्तरीय में एक OLAP सर्वर होता है जो डेटा को एक संरचना में बदलता है जो विश्लेषण और जटिल प्रश्नों के लिए बेहतर अनुकूल है। एक OLAP सर्वर दो तरीकों से काम कर सकता है: या तो एक उन्नत संबंधपरक डेटाबेस प्रबंधन प्रणाली के रूप में, जो मानक डेटा से संबंधित मानक OLAP संचालन के लिए मैप करता है, या एक बहुआयामी OLAP मॉडल का उपयोग करता है जो सीधे बहुआयामी डेटा और संचालन को लागू करता है।
• शीर्ष स्तर : शीर्ष स्तर ग्राहक स्तर है। इस स्तर में उच्च-स्तरीय डेटा विश्लेषण, रिपोर्टिंग और डेटा विश्लेषण के लिए उपयोग किए जाने वाले उपकरण शामिल हैं।

किमबॉल बनाम Inmon

डेटा वेयरहाउस के दो अग्रणी: बिल इनमोन और राल्फ किमबॉल, अलग-अलग डिज़ाइन दृष्टिकोण प्रदान करते हैं।

राल्फ किमबॉल का दृष्टिकोण डेटा मौतों के महत्व पर आधारित है, जो विशिष्ट व्यवसायों से संबंधित डेटा वेयरहाउस हैं। एक डेटा वेयरहाउस विभिन्न डेटा मौतों का एक संयोजन है जो रिपोर्टिंग और विश्लेषण की सुविधा प्रदान करता है। किमबॉल-आधारित डेटा वेयरहाउस प्रोजेक्ट एक बॉटम-अप दृष्टिकोण का उपयोग करता है।

बिल इनमॉन का दृष्टिकोण इस तथ्य पर आधारित है कि डेटा वेयरहाउस सभी कॉर्पोरेट डेटा का एक केंद्रीकृत भंडारण है। इस दृष्टिकोण के साथ, संगठन पहले एक सामान्यीकृत डेटा वेयरहाउस मॉडल बनाता है। फिर, वेयरहाउस मॉडल के आधार पर डायनामिक डेटा marts बनाए जाते हैं। इसे टॉप-डाउन डेटा वेयरहाउस अप्रोच के रूप में जाना जाता है।

डेटा वेयरहाउस मॉडल

पारंपरिक वास्तुकला में, डेटा वेयरहाउस के तीन सामान्य मॉडल हैं: वर्चुअल स्टोरेज, डेटा शोकेस और कॉर्पोरेट डेटा वेयरहाउस:

• एक वर्चुअल डेटा वेयरहाउस एक अलग डेटाबेस का एक सेट है, जिसे एक साथ उपयोग किया जा सकता है ताकि उपयोगकर्ता प्रभावी रूप से सभी डेटा तक पहुंच सके जैसे कि वे एक डेटा वेयरहाउस में संग्रहीत थे;
• एक डेटा शोकेस मॉडल का उपयोग विशिष्ट व्यावसायिक लाइनों की रिपोर्ट और विश्लेषण करने के लिए किया जाता है। इस संग्रहण मॉडल में, किसी विशिष्ट व्यावसायिक क्षेत्र से संबंधित कई स्रोत प्रणालियों से डेटा एकत्र किया जाता है, जैसे बिक्री या वित्त;
• कॉर्पोरेट डेटा वेयरहाउस मॉडल में समग्र डेटा को संग्रहीत करना शामिल है जो पूरे संगठन को फैलाता है। यह मॉडल डेटा वेयरहाउस को सभी व्यावसायिक इकाइयों से एकीकृत डेटा के साथ एंटरप्राइज़ सूचना प्रणाली के दिल के रूप में मानता है।

स्टार बनाम हिमपात का एक खंड

स्टार और स्नोफ्लेक योजनाएं आपके डेटा वेयरहाउस की संरचना करने के दो तरीके हैं।

एक स्टार स्कीमा में एक केंद्रीकृत डेटा गोदाम होता है, जो एक तथ्य तालिका में संग्रहीत होता है। चार्ट तथ्य तालिका को असामान्य आयाम तालिकाओं की एक श्रृंखला में विभाजित करता है। तथ्य तालिका में एकत्रित डेटा होता है जिसका उपयोग रिपोर्टिंग के लिए किया जाएगा, और आयाम तालिका संग्रहीत डेटा का वर्णन करती है।

असामान्य प्रोजेक्ट कम जटिल होते हैं क्योंकि डेटा को समूहीकृत किया जाता है। तथ्य तालिका प्रत्येक आयाम तालिका में संलग्न करने के लिए केवल एक लिंक का उपयोग करती है। सरल स्टार के आकार का डिज़ाइन जटिल प्रश्नों के लेखन को बहुत सरल करता है।


एक स्नोफ्लेक पैटर्न इस मायने में अलग है कि यह सामान्यीकृत डेटा का उपयोग करता है। सामान्यीकरण का अर्थ है कुशल डेटा संगठन ताकि सभी डेटा निर्भरताएँ परिभाषित हों और प्रत्येक तालिका में अतिरेक हो। इस प्रकार, अलग-अलग माप तालिका में अलग-अलग माप तालिकाएँ कांटा जाती हैं।

स्नोफ्लेक योजना कम डिस्क स्थान का उपयोग करती है और डेटा अखंडता को बेहतर बनाए रखती है। मुख्य नुकसान डेटा तक पहुंचने के लिए आवश्यक प्रश्नों की जटिलता है - प्रत्येक क्वेरी को संबंधित डेटा प्राप्त करने के लिए कई टेबल जॉइन के माध्यम से जाना चाहिए।

ईटीएल बनाम ईएलटी

ETL और ELT डेटा को स्टोरेज में लोड करने के दो अलग-अलग तरीके हैं।

ETL (एक्सट्रैक्ट, ट्रांसफॉर्म, लोड) पहले डेटा स्रोतों के एक पूल से डेटा को पुनः प्राप्त करते हैं। डेटा एक अस्थायी स्टेजिंग डेटाबेस में संग्रहीत किया जाता है। फिर, डेटा को लक्ष्य डेटा वेयरहाउस सिस्टम के लिए उपयुक्त रूप में बदलने और बदलने के लिए रूपांतरण संचालन किया जाता है। फिर संरचित डेटा को भंडारण में लोड किया जाता है और विश्लेषण के लिए तैयार होता है।


ईएलटी ( एक्सट्रेक्ट , लोड, ट्रांसफॉर्म) के मामले में , डेटा को स्रोत डेटा पूल से निष्कर्षण के तुरंत बाद लोड किया जाता है। कोई मध्यवर्ती डेटाबेस नहीं है, जिसका अर्थ है कि डेटा तुरंत एक एकल केंद्रीकृत भंडार में अपलोड किया गया है।
डेटा को व्यापार खुफिया और एनालिटिक्स टूल के साथ उपयोग करने के लिए डेटा वेयरहाउस सिस्टम में परिवर्तित किया जाता है।

संगठनात्मक परिपक्वता

संगठन की डेटा वेयरहाउस संरचना इसकी वर्तमान स्थिति और आवश्यकताओं पर भी निर्भर करती है।

मूल संरचना भंडारण अंत उपयोगकर्ताओं को सीधे स्रोत सिस्टम से सारांश डेटा तक पहुंचने, रिपोर्ट बनाने और इस डेटा का विश्लेषण करने की अनुमति देती है। यह संरचना उन मामलों के लिए उपयोगी है जहां डेटा स्रोत एक ही प्रकार के डेटाबेस सिस्टम से आते हैं।


एक मध्यवर्ती क्षेत्र के साथ भंडारण एक संगठन में अगला तार्किक कदम है जिसमें डेटा के कई प्रकार और स्वरूपों के साथ विषम डेटा स्रोत हैं। मंचन क्षेत्र डेटा को एक सामान्य संरचित प्रारूप में परिवर्तित करता है जो विश्लेषण और रिपोर्टिंग टूल का उपयोग करने के लिए अनुरोध करना आसान है।


मध्यवर्ती संरचना की एक भिन्नता डेटा गोदाम में डेटा मौसा के अतिरिक्त है। डेटा मौसा गतिविधि के एक विशिष्ट क्षेत्र पर सारांश डेटा संग्रहीत करते हैं, जो इस डेटा को विश्लेषण के विशिष्ट रूपों के लिए आसानी से सुलभ बनाता है।

उदाहरण के लिए, डेटा marts को जोड़ने से वित्तीय विश्लेषक को बिक्री डेटा पर विस्तृत प्रश्न करने में आसानी हो सकती है और ग्राहक व्यवहार का अनुमान लगा सकते हैं। डेटा मौसा विशेष रूप से अंत-उपयोगकर्ता की जरूरतों को पूरा करने के लिए डेटा को सिलाई करके विश्लेषण की सुविधा देते हैं।

नया डेटा वेयरहाउस आर्किटेक्चर

हाल के वर्षों में, डेटा वेयरहाउस क्लाउड पर जा रहे हैं। नए क्लाउड डेटा वेयरहाउस पारंपरिक वास्तुकला का पालन नहीं करते हैं और उनमें से प्रत्येक अपनी अनूठी वास्तुकला प्रदान करता है।

यह खंड संक्षेप में दो सबसे लोकप्रिय क्लाउड स्टोरेज द्वारा उपयोग किए जाने वाले आर्किटेक्चर का वर्णन करता है: अमेज़ॅन रेडशिफ्ट और Google बिगविक।

अमेज़न रेडशिफ्ट

Amazon Redshift एक पारंपरिक डेटा वेयरहाउस का क्लाउड-आधारित दृश्य है।

Redshift के लिए आवश्यक है कि कंप्यूटिंग संसाधनों को क्लस्टर के रूप में तैयार और कॉन्फ़िगर किया जाए जिसमें एक या अधिक नोड्स का संग्रह हो। प्रत्येक नोड का अपना प्रोसेसर, मेमोरी और रैम है। लीडर नोड अनुरोधों को संकलित करता है और उन्हें उन कंप्यूट नोड्स में भेजता है जो अनुरोधों को निष्पादित करते हैं।

प्रत्येक नोड पर, डेटा को स्लाइस नामक ब्लॉक में संग्रहीत किया जाता है । Redshift स्तंभ संग्रहण का उपयोग करता है, अर्थात, प्रत्येक डेटा ब्लॉक में एक स्तंभ से कई पंक्तियों में मान होते हैं, और एक पंक्ति से कई स्तंभों से मान नहीं होते हैं।


Redshift MPP (बड़े पैमाने पर समानांतर प्रसंस्करण) वास्तुकला का उपयोग करता है, बड़े डेटा सेटों को उन खंडों में तोड़ता है जो प्रत्येक नोड में स्लाइस को सौंपे जाते हैं। अनुरोध अधिक तेज़ हैं क्योंकि एक ही समय में प्रत्येक स्लाइस में नोड्स प्रक्रिया की गणना करते हैं। लीडर नोड नोड परिणामों को जोड़ती है और उन्हें क्लाइंट एप्लिकेशन को लौटाता है।

बीआई और एनालिटिकल टूल जैसे क्लाइंट एप्लिकेशन सीधे ओपन सोर्स से कनेक्ट कर सकते हैं पोस्टग्रैसक्यूडी जेडडीबीसी और ओडीबीसी ड्राइवरों का उपयोग कर। इस तरह, विश्लेषक Redshift डेटा पर सीधे अपने कार्य कर सकते हैं।

Redshift केवल संरचित डेटा लोड कर सकता है। आप किसी भी स्थानीय होस्ट से डेटा को SSH कनेक्शन के साथ स्थानांतरित करके, या Redshift API का उपयोग करके अन्य डेटा स्रोतों को एकीकृत करके Amazon S3 और DynamoDB सहित पूर्व-एकीकृत सिस्टम का उपयोग करके डेटा को Redshift में लोड कर सकते हैं।

Google का बड़ा हिस्सा

BigQuery आर्किटेक्चर को सर्वर की आवश्यकता नहीं होती है, जिसका अर्थ है कि Google गतिशील रूप से कंप्यूटर संसाधनों के आवंटन को नियंत्रित करता है। इसलिए, सभी संसाधन प्रबंधन निर्णय उपयोगकर्ता से छिपे हुए हैं।

BigQuery ग्राहकों को Google क्लाउड स्टोरेज और अन्य पठनीय डेटा स्रोतों से डेटा डाउनलोड करने की अनुमति देता है। एक विकल्प डेटा स्ट्रीमिंग है, जो डेवलपर्स को वास्तविक समय में डेटा गोदाम में डेटा जोड़ने की अनुमति देता है, लाइन से लाइन, जब वे उपलब्ध हो जाते हैं।

BigQuery, Dremel नामक एक क्वेरी इंजन का उपयोग करता है, जो केवल कुछ सेकंड में अरबों पंक्तियों को स्कैन कर सकता है। कोलोसस बेस फ़ाइल प्रबंधन प्रणाली में डेटा को स्कैन करने के लिए ड्रेमल बड़े पैमाने पर समानांतर प्रश्नों का उपयोग करता है। कोलोसस नोड्स नामक विभिन्न कंप्यूटिंग संसाधनों के बीच 64 मेगाबाइट के टुकड़ों में फाइलों को वितरित करता है, जो समूहों में समूहित होते हैं।
Dremel Redshift के समान एक स्तंभ डेटा संरचना का उपयोग करता है। ट्री आर्किटेक्चर सेकंडों में हजारों मशीनों को अनुरोध भेजता है।

सरल एसक्यूएल कमांड का उपयोग डेटा प्रश्नों को करने के लिए किया जाता है।

धूमधाम

Panoply सेवा के रूप में व्यापक डेटा प्रबंधन प्रदान करता है। इसकी अनूठी आत्म-अनुकूलन वास्तुकला मशीन सीखने और प्राकृतिक भाषा प्रसंस्करण (एनएलपी) का उपयोग करके मॉडल और डेटा ट्रांसफर को स्रोत से विश्लेषण तक स्थानांतरित करती है, डेटा से मूल्यों तक के समय को यथासंभव शून्य तक कम करती है।

Panoply इंटेलिजेंट डेटा इन्फ्रास्ट्रक्चर में निम्नलिखित विशेषताएं शामिल हैं:

• क्वेरी और डेटा विश्लेषण - प्रत्येक उपयोग के मामले के लिए सबसे अच्छा कॉन्फ़िगरेशन निर्धारित करना, इसे समय के साथ समायोजित करना और अनुक्रमित करना, चाबियाँ सॉर्ट करना, डिस्क कुंजी, डेटा प्रकार, निकासी और विभाजन करना।
• ऐसे प्रश्नों की पहचान करता है जो सर्वोत्तम प्रथाओं का पालन नहीं करते हैं - उदाहरण के लिए, वे जिनमें नेस्टेड लूप या निहित जाति शामिल हैं - और उन्हें एक समतुल्य क्वेरी में फिर से लिखना है जिसमें निष्पादन समय या संसाधनों का एक अंश आवश्यक है।
• क्वेरी पैटर्न के आधार पर समय के साथ सर्वर कॉन्फ़िगरेशन का अनुकूलन और यह सीखना कि कौन सा सर्वर सेटअप सबसे अच्छा काम करता है। मंच मूल रूप से सर्वर प्रकारों को बदलता है और समग्र प्रदर्शन को मापता है।

क्लाउड स्टोरेज से परे

क्लाउड-आधारित डेटा वेयरहाउसिंग पारंपरिक वास्तुकला दृष्टिकोणों पर एक बड़ा सुधार है। हालाँकि, उपयोगकर्ताओं को अभी भी कई समस्याओं का सामना करना पड़ता है जब उन्हें कॉन्फ़िगर करते हैं:

• क्लाउड-आधारित डेटा वेयरहाउस में डेटा अपलोड करना तुच्छ नहीं है, और ईटीएल प्रक्रिया के लिए बड़े पैमाने पर डेटा पाइपलाइनों को कॉन्फ़िगरेशन, परीक्षण और समर्थन की आवश्यकता होती है। प्रक्रिया का यह हिस्सा आमतौर पर तीसरे पक्ष के उपकरण द्वारा किया जाता है;
• अपडेट, सम्मिलन और विलोपन जटिल हो सकते हैं और क्वेरी प्रदर्शन में गिरावट को रोकने के लिए सावधानीपूर्वक किया जाना चाहिए;
• अर्ध-संरचित डेटा से निपटना मुश्किल है - इसे एक संबंधपरक डेटाबेस प्रारूप में सामान्यीकृत करने की आवश्यकता है, जिसमें बड़े डेटा प्रवाह के स्वचालन की आवश्यकता होती है;
• नेस्टेड स्ट्रक्चर आमतौर पर क्लाउड डेटा वेयरहाउस में समर्थित नहीं हैं। आपको नेस्टेड टेबल्स को उन फॉर्मेट में बदलना होगा जो डेटा वेयरहाउस समझता है;
• क्लस्टर अनुकूलन । आपके वर्कलोड को चलाने के लिए Redshift क्लस्टर को कॉन्फ़िगर करने के लिए विभिन्न विकल्प हैं। विभिन्न कार्यभार, डेटासेट या यहां तक ​​कि विभिन्न प्रकार के प्रश्नों के लिए अलग-अलग कॉन्फ़िगरेशन की आवश्यकता हो सकती है। इष्टतम प्रदर्शन प्राप्त करने के लिए, लगातार समीक्षा करना आवश्यक है और, यदि आवश्यक हो, इसके अलावा कॉन्फ़िगरेशन को कॉन्फ़िगर करें;
• क्वेरी ऑप्टिमाइज़ेशन - उपयोगकर्ता क्वेरीज़ सर्वोत्तम प्रथाओं का पालन नहीं कर सकती हैं और इसलिए उन्हें पूरा करने में अधिक समय लगेगा। आप प्रश्नों को अनुकूलित करने के लिए उपयोगकर्ताओं या स्वचालित ग्राहक अनुप्रयोगों के साथ काम कर सकते हैं ताकि डेटा वेयरहाउस अपेक्षा के अनुरूप काम कर सके
• बैकअप और रिकवरी - यद्यपि डेटा वेयरहाउस प्रदाता आपके डेटा का बैकअप लेने के लिए कई विकल्प प्रदान करते हैं, वे कॉन्फ़िगर करने और निगरानी और करीबी ध्यान देने की आवश्यकता के लिए गैर-तुच्छ हैं।

मूल पाठ से लिंक करें: panoply.io/data-warehouse-guide/data-warehouse- RGBecture-traditional-vs-cloud