मार्वल: इन्फिनिटी वॉर या एक-दो मिनट में अपने प्रोजेक्ट का डेटा कैसे इकट्ठा करें

मेरी रुचि के दो क्षेत्र हैं। पहला: अनाम आलसी डेटा विश्लेषकों का समाज, दूसरा: अनाम गीक्स का समाज। और अगर सब कुछ दूसरे के साथ ठीक है, तो पहले के साथ सब कुछ अधिक जटिल है। जब आप लोगों को बताते हैं कि डेटा विश्लेषक किन कार्यों को हल करते हैं, तो वे क्या प्रतिनिधित्व करते हैं? प्रयोग के लिए, उसने परिभाषा को पहले और बहुत पहले Google में प्रस्तुत किया:

एक डेटा विश्लेषक एक बहुमुखी विशेषज्ञ है जिसे गणित, सांख्यिकी, कंप्यूटर विज्ञान, कंप्यूटर विज्ञान, व्यवसाय और अर्थशास्त्र में ज्ञान है। बिग डेटा विश्लेषक विषम जानकारी वाले डेटा का बड़ी मात्रा में अध्ययन करता है, उदाहरण के लिए: अनुसंधान के परिणाम, बाजार के रुझान, ग्राहक प्राथमिकताएं, आदि। ऐसी जानकारी के अनुसंधान और विश्लेषण से नई वैज्ञानिक खोजें हो सकती हैं, कंपनी की दक्षता बढ़ सकती है, राजस्व पैदा करने के नए अवसर मिल सकते हैं, और बेहतर ग्राहक सेवा हो सकती है। आदि डेटा वैज्ञानिकों का मुख्य कौशल एकत्रित जानकारी की प्रणाली में तार्किक कनेक्शन देखना है और इसके आधार पर कुछ व्यावसायिक समाधान, मॉडल विकसित करना है।

Buduguru.org/profession/39 से परिभाषा।

यूनिवर्सल विशेषज्ञ, ठीक है। डॉ। मैनहट्टन और स्टीफन हॉकिंग के बीच कुछ के वर्णन से देखते हुए।


हालांकि, मैं इस परिभाषा के शब्दार्थों में नहीं जाऊंगा, मैं डेटा विश्लेषकों के विषय के बारे में बात करना चाहता हूं (नहीं, वह नहीं जहां डेटा की कमी के बारे में बात करते हैं)। और क्या होगा अगर डेटा आईएस है?

और यहाँ हम निम्नलिखित समस्याओं पर जाते हैं:

• इस डेटा का अध्ययन करने के लिए मैं किन उपकरणों का उपयोग कर सकता हूं?
• इन डेटा सरणियों को कैसे बदलें?
• उन्हें कैसे स्टोर करें? क्या मुझे उन्हें स्टोर करने की आवश्यकता है?
• क्या होगा अगर बहुत सारे स्रोत हैं, और वे सभी विषम हैं?

ठीक है। हमने समस्याओं का एक पूल बनाया, लेकिन आगे क्या करना है? इस लेख में, मैं उस टूल के बारे में बात करूंगा जिसे हमारी विकास टीम ने कार्यान्वित किया है, जिसका नाम है iDVP.Data SaaS क्लाउड सिस्टम।

यह क्या है

iDVP.Data SaaS क्लाउड में डेटा के साथ काम करने के लिए एक बहुक्रियाशील उपकरण है, जो आपको विभिन्न डेटा कनेक्ट करने, इसे रूपांतरित करने और इसे वेब सिस्टम की तरह बाहरी सिस्टम में भेजने की अनुमति देता है।

अनंत युद्ध

यहां हम अनैच्छिक रूप से हितों के दूसरे क्षेत्र के साथ प्रतिच्छेद करते हैं: एक उदाहरण के रूप में, मैंने ओपन मार्वल डेटा को iDVP.Data SaaS से जोड़ने का फैसला किया। क्या सभी ने इन्फिनिटी वॉर के बारे में एक नई फिल्म देखी है? फिल्म देखने के बाद, मैं मार्वल ब्रह्मांड में अन्य बड़े पैमाने पर संघर्षों को याद करने में मदद नहीं कर सका, लेकिन मताधिकार में वैश्विक परिवर्तन हुए हैं। मेरे लिए यह याद रखना दिलचस्प हो गया कि इन्फिनिटी वॉर में कॉमिक लाइन के कितने पात्रों ने भाग लिया, और इसमें से कितने की मृत्यु हो गई? इन सवालों के जवाब के लिए, मैंने सबसे विश्वसनीय स्रोत - आधिकारिक मार्वल वेबसाइट की ओर रुख किया।



सबसे पहले, आइवीडीपी.डाटा सास वेबसाइट पर जाएं और पंजीकरण करें।

उसके बाद, हम उपयोगकर्ता के कार्य पृष्ठ पर पहुंचते हैं, जहां परीक्षण डेमो मामलों के साथ कार्यक्षेत्र हैं। वे एक डेटा स्रोत को डेटा स्टोरफ्रंट से कनेक्ट करने से डेटा स्ट्रीम प्रस्तुत करते हैं।



परीक्षण के मामलों की जांच करने और एक नया कार्यक्षेत्र जोड़ने के बाद, चलो अपनी स्वयं की डेटा स्ट्रीम बनाने के लिए आगे बढ़ते हैं। स्रोतों के रूप में, मैंने निम्नलिखित डेटा चुना:

• बाकी सेवा जो मार्वल ब्रह्मांड के सभी पात्रों के बारे में जानकारी देती है;
• बाकी सेवा जो मार्वल ब्रह्मांड की सभी घटनाओं के बारे में जानकारी देती है;
• CSV प्रारूप में फ़ाइल, जो गृहयुद्ध में मुख्य प्रतिभागियों को इंगित करता है।

चरण 1. कनेक्ट

हम एक-एक करके डेटा कनेक्ट करते हैं:



परिणामस्वरूप, हमें तीन जुड़े डेटा स्रोत मिलते हैं:

• प्रतिभागियों_अमेरिका_ सेवा - सेवा;
• character_marvel_raw - सेवा;
• event_marvel_raw - CSV प्रारूप में फ़ाइल।

चरण 2. कन्वर्ट

डेटा कनेक्ट करने के बाद, हम डेटा सेट (डेटासेट) बनाते हैं, जहाँ हम एसक्यूएल स्क्रिप्ट का उपयोग करके आवश्यक परिवर्तन (डेटा क्लींजिंग, गणना, या, उदाहरण के लिए JSON से डेटा पार्स करना) करते हैं।

select k.id, k.name, k.com.name as comics_name, k.ser.name as series_name, k.stor.name as stories_name, k.event.name as events_name from ( select a.id, a.name, flatten(a.comics) as com, flatten(a.series) as ser, flatten(a.stories) as stor, flatten(a.events) as event from ( select c.`data`.id as id, c.`data`.name as name, c.`data`.comics.`items` as comics, c.`data`.series.`items` as series, c.`data`.stories.`items` as stories, c.`data`.events.`items` as events from ( select t.res.`data`.`results` as `data` from ( select convert_from(a.content, 'JSON') res from `characters_marvel_raw` a ) t ) c ) a ) k 

परिणामस्वरूप, हमें डेटा प्राप्त होता है:



और डेटा स्ट्रीम की ऐसी श्रृंखला:



डेटा कनेक्ट करने और इसे परिवर्तित करने के बाद, प्राप्त जानकारी तक पहुंच की गति अभी भी कम हो सकती है (स्रोत की लंबी प्रतिक्रिया या डेटा की बड़ी मात्रा के कारण)। यहां iDVP.Data SaaS में डेटा के " भौतिकीकरण " (भंडारण) का तंत्र शुरू हो गया है । बिगडाटा प्रौद्योगिकियों के उपयोग के माध्यम से बड़ी मात्रा में जानकारी के साथ काम करते हुए भी संग्रहीत डेटा तक पहुंच बेहद तेज है। सहेजे गए डेटा को किसी भी समय (पूरे या आंशिक रूप से) अपडेट किया जा सकता है, साथ ही उस शेड्यूल को समायोजित कर सकते हैं जिसके द्वारा सिस्टम स्वचालित रूप से उन्हें अपडेट करेगा।

इस प्रकार, ऐतिहासिक डेटा जमा करना संभव है, भले ही स्रोत खुद इस का समर्थन न करे। भौतिककरण भी डेटा के साथ काम जारी रखने में मदद करता है अगर फ़ाइल सिस्टम में iDVP.Data SaaS को सहेजकर स्रोत अप्राप्य हो जाता है।



चरण 3. पोस्ट

हम एक डेटा शोकेस (वेब ​​सेवा) बनाते हैं, जो एक SQL क्वेरी का भी प्रतिनिधित्व करता है। डेटा शोकेस में, आप इनपुट और आउटपुट मापदंडों को परिभाषित कर सकते हैं।



एक बार डेटा मौट्स बनाए जाने के बाद, उन्हें सार्वजनिक डोमेन में प्रकाशित किया जा सकता है और उनके बाहरी सिस्टम में उपयोग किया जा सकता है।




परिणामी सेवा का उपयोग रिपोर्ट और 3 डी अनुप्रयोगों के निर्माण के लिए किया जा सकता है, उदाहरण के लिए, हमने चुनाव 2018 के आंकड़ों की कल्पना करने के लिए ऐसा किया।

पुनश्च निष्कर्ष

पहला निष्कर्ष

हमें याद आया कि कॉमिक्स की लाइन जहाँ इन्फिनिटी वॉर का उल्लेख है, और यहाँ हमें क्या मिला:

• 57 पात्रों ने भाग लिया;
• 5 की पुष्टि नहीं;
• 15 की मौत हो गई।

दूसरा निष्कर्ष

यदि आपको डेटा को जल्दी और आसानी से सामना करने की आवश्यकता है, तो आप iDVP.Data SaaS सिस्टम का उपयोग कर सकते हैं, जो वर्तमान में बीटा परीक्षण में है। हमारी टीम को उम्मीद है कि आप में से जिन्होंने इस कहानी को अंत तक पढ़ा है, उनमें से कुछ ऐसे हैं जो हमारे नए टूल के पहले परीक्षक होंगे।

इसके साथ, आप स्वतंत्र रूप से कर सकते हैं:

• विभिन्न स्रोतों से कनेक्ट;
• समान रूप से किसी भी स्रोत से डेटा प्राप्त करते हैं;
• SQL का उपयोग करके ETL डेटा ट्रांसफ़ॉर्मेशन करें
• बिगडाटा प्रौद्योगिकियों का उपयोग करके डेटा प्रोसेसिंग गति में वृद्धि;
• डेटा का विश्लेषण;
• बाहरी प्रणालियों को डेटा प्रदान करना;
• इन ऑपरेशनों को सुविधाजनक और सरल इंटरफ़ेस में अंजाम दें।

आपकी प्रतिक्रिया के लिए अग्रिम धन्यवाद!

पोस्ट पर टिप्पणियों पर उपयोग का एक उदाहरण:

टिप्पणियों पर आंकड़े ।