🍈 📛 🕜 क्या हमें डेटा लेक की जरूरत है? डेटा वेयरहाउस के साथ क्या करना है? 💦 👸🏻 ☣️

यह लेख माध्यम पर मेरे लेख का अनुवाद है - गेटिंग स्टार्ट विथ डेटा लेक , जो काफी लोकप्रिय हुआ, शायद इसकी सादगी के कारण। इसलिए, मैंने इसे रूसी में लिखने और इसे थोड़ा पूरक करने का फैसला किया, ताकि एक साधारण व्यक्ति जो डेटा विशेषज्ञ नहीं है, वह समझ सके कि डेटा वेयरहाउस (डीडब्ल्यू) क्या है और डेटा झील क्या है और वे कैसे मिलती हैं ।

मैं डेटा लेक के बारे में क्यों लिखना चाहता था? मैं 10 वर्षों से डेटा और एनालिटिक्स के साथ काम कर रहा हूं, और अब मैं निश्चित रूप से कैम्ब्रिज में अमेज़ॅन एलेक्सा एआई में बड़े डेटा के साथ काम करता हूं, जो बोस्टन में है, हालांकि मैं खुद वैंकूवर द्वीप पर विक्टोरिया में रहता हूं और अक्सर बोस्टन, सिएटल और वैंकूवर, और कभी-कभी मास्को में भी, मैं सम्मेलनों में बोलता हूं। इसके अलावा, समय-समय पर मैं लिखता हूं, लेकिन मैं मुख्य रूप से अंग्रेजी में लिखता हूं, और पहले से ही कई किताबें लिख चुका हूं, मुझे भी उत्तरी अमेरिका से एनालिटिक्स के रुझान साझा करने की आवश्यकता है, और कभी-कभी मैं टेलीग्राम में लिखता हूं।

मैंने हमेशा डेटा वेयरहाउस के साथ काम किया, और 2015 के बाद से मैंने अमेज़ॅन वेब सर्विसेज के साथ मिलकर काम करना शुरू कर दिया, और सामान्य तौर पर क्लाउड एनालिटिक्स (AWS, Azure, GCP) पर स्विच किया। मैंने 2007 से एनालिटिक्स समाधानों के विकास को देखा और यहां तक कि टेराडैट डेटा वेयरहाउस विक्रेता में भी काम किया और इसे Sberbank में लागू किया, फिर Hadoop के साथ बिग डेटा दिखाई दिया। सभी ने कहना शुरू कर दिया कि स्टोरेज का युग बीत चुका है और अब सब कुछ हडोप पर था, और फिर उन्होंने डेटा लेक के बारे में फिर से बात करना शुरू कर दिया, अब डेटा वेयरहाउस निश्चित रूप से खत्म हो गया था। लेकिन सौभाग्य से (शायद किसी के लिए और दुर्भाग्य से, जिसने हैडूप स्थापित करने पर बहुत पैसा कमाया), डेटा वेयरहाउस नहीं गया।

इस लेख में, हम विचार करेंगे कि डेटा झील क्या है। यह लेख उन लोगों के लिए है जिनके पास डेटा वेयरहाउसिंग के साथ बहुत कम या कोई अनुभव नहीं है।

तस्वीर में, लेक ब्लेड मेरी पसंदीदा झीलों में से एक है, हालांकि मैं केवल एक बार वहां गया था, लेकिन मैं इसे जीवन के लिए याद करता हूं। लेकिन हम एक और प्रकार की झील के बारे में बात करेंगे - डेटा झील। शायद आप में से कई लोग पहले ही इस शब्द के बारे में एक से अधिक बार सुन चुके हैं, लेकिन एक और परिभाषा किसी को नुकसान नहीं पहुंचाएगी।

सबसे पहले, यहां डेटा झील की सबसे लोकप्रिय परिभाषाएं हैं:

"सभी प्रकार के कच्चे डेटा का फ़ाइल भंडारण जो संगठन में किसी के विश्लेषण के लिए उपलब्ध है" - मार्टिन फाउलर।

“यदि आपको लगता है कि डेटा डिस्प्ले पानी की एक बोतल है - सुविधाजनक उपयोग के लिए शुद्ध, पैक और पैक किया गया है, तो डेटा झील अपने प्राकृतिक रूप में पानी का एक विशाल भंडार है। उपयोगकर्ता, मैं खुद के लिए पानी खींच सकता हूं, गहराई में गोता लगा सकता हूं, तलाश कर सकता हूं "- जेम्स डिक्सन।

अब हम यह सुनिश्चित करने के लिए जानते हैं कि डेटा लेक एनालिटिक्स के बारे में है, यह हमें बड़ी मात्रा में डेटा को उनके मूल रूप में संग्रहीत करने की अनुमति देता है और हमारे पास डेटा की आवश्यक और सुविधाजनक पहुंच है।

मुझे अक्सर चीजों को सरल करना पसंद है, अगर मैं सरल शब्दों में एक जटिल शब्द बता सकता हूं, तो मेरे लिए मैं समझ गया कि यह कैसे काम करता है और इसके लिए क्या है। किसी तरह, मैं फोटो गैलरी में अपने iPhone उठा रहा था, और यह मुझ पर dawned था, इसलिए यह डेटा की एक वास्तविक झील है, मैंने सम्मेलनों के लिए एक स्लाइड भी बनाई है:

सब कुछ बहुत सरल है। हम फोन पर एक फोटो लेते हैं, फोटो फोन पर सेव की जाती है और उसे आईक्लाउड (क्लाउड में फाइल स्टोरेज) में सेव किया जा सकता है। फोन फोटो का मेटा-डेटा भी एकत्र करता है: जो दिखाया गया है, वह भू-टैग, समय। नतीजतन, हम अपनी तस्वीर खोजने के लिए सुविधाजनक iPhone इंटरफ़ेस का उपयोग कर सकते हैं और साथ ही हम संकेतक भी देख सकते हैं, उदाहरण के लिए, जब मैं शब्द अग्नि के साथ फ़ोटो देखता हूं, तो मुझे एक आग की छवि के साथ 3 फ़ोटो मिलते हैं। मेरे लिए, यह एक बिजनेस इंटेलिजेंस टूल की तरह है जो बहुत जल्दी और स्पष्ट रूप से काम करता है।

और निश्चित रूप से, हमें सुरक्षा (प्राधिकरण और प्रमाणीकरण) के बारे में नहीं भूलना चाहिए, अन्यथा हमारा डेटा आसानी से खुली पहुंच में आ सकता है। बड़े निगमों और स्टार्ट-अप के बारे में बहुत सी खबरें हैं, जिसमें डेवलपर्स की लापरवाही और साधारण नियमों का पालन नहीं करने के कारण डेटा सार्वजनिक डोमेन में आ गया।

यहां तक कि इस तरह की एक साधारण तस्वीर हमें यह कल्पना करने में मदद करती है कि डेटा झील क्या है, पारंपरिक डेटा वेयरहाउस और उसके मुख्य तत्वों से इसके अंतर:

डेटा लोडिंग (अंतर्ग्रहण) डेटा लेक का एक प्रमुख घटक है। डेटा दो तरह से डेटा वेयरहाउस में प्रवेश कर सकता है - बैच (अंतराल पर डाउनलोड) और स्ट्रीमिंग (डेटा स्ट्रीम)।
फ़ाइल संग्रहण डेटा झील का मुख्य घटक है। हमें आसानी से स्केलेबल, अत्यंत विश्वसनीय और कम लागत पर भंडारण की आवश्यकता है। उदाहरण के लिए, AWS में, यह S3 है।
कैटलॉग और खोज - डेटा स्वैम्प से बचने के लिए (यह तब है जब हम सभी डेटा को एक ढेर में डंप करते हैं, और फिर उनके साथ काम करना असंभव है), हमें डेटा को वर्गीकृत करने के लिए एक मेटा-डेटा परत बनाने की आवश्यकता है ताकि उपयोगकर्ता आसानी से कर सकें डेटा है कि वे विश्लेषण के लिए की जरूरत है। इसके अतिरिक्त, आप ElasticSearch जैसे अतिरिक्त खोज समाधानों का उपयोग कर सकते हैं। खोज एक सुविधाजनक इंटरफेस के माध्यम से वांछित डेटा के लिए उपयोगकर्ता खोज में मदद करता है।
प्रोसेसिंग (प्रोसेस) - यह कदम डेटा के प्रसंस्करण और परिवर्तन के लिए जिम्मेदार है। हम डेटा को बदल सकते हैं, उनकी संरचनाओं को बदल सकते हैं, स्पष्ट और बहुत कुछ।
सुरक्षा - सुरक्षा समाधान डिजाइन करने में समय बिताना महत्वपूर्ण है। उदाहरण के लिए, भंडारण, प्रसंस्करण और लोडिंग के दौरान डेटा एन्क्रिप्शन। प्रमाणीकरण और प्राधिकरण विधियों का उपयोग करना महत्वपूर्ण है। निष्कर्ष में, एक लेखा परीक्षा उपकरण की आवश्यकता है।

व्यावहारिक दृष्टिकोण से, हम तीन विशेषताओं के साथ एक डेटा झील को चिह्नित कर सकते हैं:

जो कुछ भी आप चाहते हैं उसे इकट्ठा और संग्रहीत करें - डेटा झील में सभी डेटा होते हैं, दोनों कच्चे कच्चे डेटा किसी भी समय के लिए, और संसाधित / साफ़ किए गए डेटा।
गहन विश्लेषण - एक डेटा झील उपयोगकर्ताओं को डेटा का पता लगाने और विश्लेषण करने की अनुमति देती है।
लचीली पहुंच - एक डेटा झील विभिन्न डेटा और विभिन्न परिदृश्यों के लिए लचीला उपयोग प्रदान करती है।

अब हम डेटा वेयरहाउस और डेटा लेक के बीच अंतर के बारे में बात कर सकते हैं। लोग आमतौर पर पूछते हैं:

लेकिन डेटा गोदाम के बारे में क्या?
क्या हम डेटा वेयरहाउस को डेटा लेक से बदल रहे हैं या हम इसका विस्तार कर रहे हैं?
क्या डेटा झील के बिना करना संभव है?

संक्षेप में, कोई स्पष्ट उत्तर नहीं है। यह सब विशिष्ट स्थिति, टीम कौशल और बजट पर निर्भर करता है। उदाहरण के लिए, एडब्ल्यूएस में ओरेकल के लिए एक डेटा वेयरहाउस का प्रवास और अमेज़ॅन की सहायक कंपनी द्वारा डेटा झील का निर्माण - वूट - हमारी डेटा झील की कहानी: कैसे Woot.com ने AWS पर एक सर्वर रहित डेटा झील का निर्माण किया ।

दूसरी ओर, स्नोफ्लेक विक्रेता कहता है कि अब आपको डेटा झील के बारे में सोचने की ज़रूरत नहीं है, क्योंकि उनके डेटा प्लेटफ़ॉर्म (2020 तक यह डेटा वेयरहाउस था) आपको डेटा झील और डेटा वेयरहाउस दोनों को संयोजित करने की अनुमति देता है। मैंने स्नोफ्लेक के साथ बहुत काम नहीं किया है, और यह वास्तव में एक अनूठा उत्पाद है जो ऐसा कर सकता है। प्रश्न की कीमत एक और प्रश्न है।

अंत में, मेरी व्यक्तिगत राय यह है कि हमें अभी भी अपनी रिपोर्ट के लिए डेटा के मुख्य स्रोत के रूप में डेटा वेयरहाउस की आवश्यकता है, और हम सब कुछ संग्रहीत करते हैं जो डेटा झील में फिट नहीं होता है। एनालिटिक्स की पूरी भूमिका निर्णय लेने के लिए व्यापार के लिए सुविधाजनक पहुंच प्रदान करना है। वैसे भी, व्यापार उपयोगकर्ता डेटा झील की तुलना में डेटा वेयरहाउस के साथ अधिक कुशलता से काम करते हैं, उदाहरण के लिए, अमेज़ॅन में - Redshift (विश्लेषणात्मक डेटा वेयरहाउस) और Redshift Spectrum / Athena (Hive / Presto पर आधारित S3 में डेटा लेक के लिए SQL इंटरफ़ेस) है। यही बात अन्य आधुनिक विश्लेषणात्मक डेटा वेयरहाउस पर भी लागू होती है।

आइए एक विशिष्ट डेटा वेयरहाउस वास्तुकला को देखें:

यह एक क्लासिक उपाय है। हमारे पास स्रोत प्रणालियां हैं, ईटीएल / ईएलटी का उपयोग करके हम डेटा को विश्लेषणात्मक डेटा वेयरहाउस में कॉपी करते हैं और समाधान को बिजनेस इंटेलिजेंस (मेरी पसंदीदा झांकी, और तुम्हारा?) से जोड़ते हैं।

इस समाधान के निम्नलिखित नुकसान हैं:

ईटीएल / ईएलटी संचालन में समय और संसाधन लगते हैं।
एक नियम के रूप में, एक विश्लेषणात्मक डेटा गोदाम में डेटा संग्रहीत करने के लिए मेमोरी सस्ता नहीं है (उदाहरण के लिए, Redshift, BigQuery, Teradata), क्योंकि हमें एक संपूर्ण क्लस्टर खरीदने की आवश्यकता है।
व्यावसायिक उपयोगकर्ताओं के पास साफ और अक्सर एकत्रित डेटा तक पहुंच होती है और उनके पास कच्चे डेटा प्राप्त करने की क्षमता नहीं होती है।

बेशक, यह सब आपके मामले पर निर्भर करता है। यदि आपको अपने डेटा वेयरहाउस के साथ कोई समस्या नहीं है, तो आपको बिल्कुल डेटा लेक की आवश्यकता नहीं है। लेकिन जब जगह की कमी, समस्या या समस्या की कीमत में महत्वपूर्ण भूमिका होती है, तो आप डेटा झील के विकल्प पर विचार कर सकते हैं। इसीलिए, डेटा लेक बहुत लोकप्रिय है। यहाँ एक डेटा झील वास्तुकला का एक उदाहरण है:

डेटा लेक दृष्टिकोण का उपयोग करते हुए, हम अपने डेटा लेक (बैच या स्ट्रीमिंग) में कच्चे डेटा लोड करते हैं, फिर हम डेटा को आवश्यक रूप से संसाधित करते हैं। डेटा झील व्यावसायिक उपयोगकर्ताओं को अपना डेटा परिवर्तन (ETL / ELT) बनाने या Business Intelligence समाधान में डेटा का विश्लेषण करने की अनुमति देती है (यदि आपके पास सही ड्राइवर है)।

किसी भी विश्लेषणात्मक समाधान का लक्ष्य व्यावसायिक उपयोगकर्ताओं की सेवा करना है। इसलिए, हमें हमेशा व्यवसाय की आवश्यकताओं पर काम करना चाहिए। (अमेज़ॅन में, यह सिद्धांतों में से एक है - पीछे की ओर काम करना)।

डेटा वेयरहाउस और डेटा लेक दोनों के साथ काम करना, हम दोनों समाधानों की तुलना कर सकते हैं:

मुख्य निष्कर्ष जो निकाला जा सकता है वह यह है कि डेटा वेयरहाउस डेटा लेक के साथ प्रतिस्पर्धा नहीं करता है, लेकिन इसे और अधिक पूरक करता है। लेकिन यह आपके ऊपर है कि आपके मामले के लिए क्या सही है। अपने आप को आज़माना और सही निष्कर्ष निकालना हमेशा दिलचस्प होता है।

मैं उन मामलों में से एक के बारे में बात करना चाहूंगा, जब मैंने डेटा लेक दृष्टिकोण का उपयोग करना शुरू किया था। सब कुछ बहुत सामान्य है, मैंने ईएलटी टूल (हमारे पास मैटलिन ईटीएल था) और अमेज़ॅन रेडशिफ्ट का उपयोग करने की कोशिश की, मेरे समाधान ने काम किया, लेकिन यह आवश्यकताओं में फिट नहीं हुआ।

मुझे वेब लॉग्स लेने, उन्हें बदलने और 2 मामलों के लिए डेटा प्रदान करने की आवश्यकता थी:

विपणन टीम एसईओ के लिए बॉट की गतिविधि का विश्लेषण करना चाहती थी
आईटी साइट मेट्रिक्स देखना चाहता था

बहुत सरल, बहुत सरल लॉग। यहाँ एक उदाहरण है:

https 2018-07-02T22:23:00.186641Z app/my-loadbalancer/50dc6c495c0c9188 192.168.131.39:2817 10.0.0.1:80 0.086 0.048 0.037 200 200 0 57 "GET https://www.example.com:443/ HTTP/1.1" "curl/7.46.0" ECDHE-RSA-AES128-GCM-SHA256 TLSv1.2 arn:aws:elasticloadbalancing:us-east-2:123456789012:targetgroup/my-targets/73e2d6bc24d8a067 "Root=1-58337281-1d84f3d73c47ec4e58577259" "www.example.com" "arn:aws:acm:us-east-2:123456789012:certificate/12345678-1234-1234-1234-123456789012" 1 2018-07-02T22:22:48.364000Z "authenticate,forward" "-" "-"

एक फाइल का वजन 1-4 मेगाबाइट था।

लेकिन एक कठिनाई थी। हमारे पास दुनिया भर में 7 डोमेन थे, और एक दिन में 7,000 हजार फाइलें बनाई गईं। यह एक बहुत बड़ी मात्रा नहीं है, केवल 50 गीगाबाइट है। लेकिन हमारे Redshift क्लस्टर का आकार भी छोटा था (4 नोड्स)। पारंपरिक तरीके से एक भी फाइल डाउनलोड करने में लगभग एक मिनट का समय लगा। अर्थात्, कार्य माथे में हल नहीं हुआ था। और यह मामला था जब मैंने डेटा लेक दृष्टिकोण का उपयोग करने का फैसला किया। समाधान कुछ इस तरह से देखा गया:

यह काफी सरल है (मैं ध्यान देना चाहता हूं कि क्लाउड में काम करने का फायदा सरलता है)। मैंने इस्तेमाल किया:

कम्प्यूटिंग पावर के रूप में AWS इलास्टिक मैप रिड्यूस (Hadoop)
डेटा को एन्क्रिप्ट करने और एक्सेस को प्रतिबंधित करने की क्षमता के साथ एक फ़ाइल भंडारण के रूप में AWS S3
तर्क और डेटा परिवर्तन के लिए InMemory कम्प्यूटिंग पावर और PySpark के रूप में स्पार्क
स्पार्क के परिणामस्वरूप लकड़ी की छत
नए डेटा और विभाजन के बारे में मेटाडाटा के कलेक्टर के रूप में AWS Glue Crawler
Redshift स्पेक्ट्रम मौजूदा Redshift उपयोगकर्ताओं के लिए डेटा झील के लिए एक SQL इंटरफ़ेस के रूप में

सबसे छोटे EMR + स्पार्क क्लस्टर ने 30 मिनट में फाइलों का एक पूरा गुच्छा संसाधित किया। एडब्ल्यूएस के लिए अन्य मामले हैं, विशेष रूप से एलेक्सा से संबंधित हैं, जहां बहुत अधिक डेटा है।

हाल ही में, मुझे पता चला कि डेटा झील की कमियों में से एक GDPR है। समस्या तब होती है जब क्लाइंट उसे हटाने के लिए कहता है, और डेटा फ़ाइलों में से एक में है, हम डेटाबेस में डेटा मैनीपुलेशन भाषा और DELETE ऑपरेशन का उपयोग नहीं कर सकते हैं।

उम्मीद है कि लेख ने डेटा वेयरहाउस और डेटा लेक के बीच अंतर को स्पष्ट किया। यदि यह दिलचस्प था, तो मैं अभी भी अपने लेखों या उन पेशेवरों के लेख का अनुवाद कर सकता हूं, जिन्हें मैंने पढ़ा है। और उन समाधानों के बारे में भी बात करते हैं जिनके साथ मैं काम करता हूं, और उनकी वास्तुकला।

क्या हमें डेटा लेक की जरूरत है? डेटा वेयरहाउस के साथ क्या करना है?

More articles: