👨‍🎤 🍍 😐 पूर्ण स्टैक डेटा विश्लेषक 🌄 💃🏿 🆕

डेटा विश्लेषण अक्सर इस तरह से आयोजित किया जाता है: यहां हमारे पास रिपॉजिटरी के डेवलपर्स हैं, और यहां हमारे पास विश्लेषक हैं। DWH (डेटा वेयरहाउस, स्टोरेज) में वे SQL कर सकते हैं, और हमारे विश्लेषक Excel के साथ काम कर सकते हैं। अगर हमें कुछ का विश्लेषण करने की आवश्यकता है, तो विश्लेषकों के पास जाएं, और वे डेटा के लिए DWH के डेटा के लिए जाते हैं। यह तर्कसंगत प्रतीत होता है। और कई अनुभव करते हैं कि यह श्रम का एक सामान्य विभाजन है। इस लेख में मैं इस विचार से अवगत कराना चाहता हूं कि श्रम का यह विभाजन त्रुटिपूर्ण है और नाटकीय रूप से डेटा विश्लेषण की पूरी प्रक्रिया की दक्षता और उत्पादकता को कम करता है।

एक विश्लेषणात्मक समस्या पर एक विशिष्ट कार्य चक्र इस तरह दिखता है:

एक व्यवसाय एक समस्या लेकर आता है और जवाब मांगता है।
विश्लेषक व्यवसाय के साथ चर्चा कर रहे हैं कि क्या किया जाना चाहिए।
विश्लेषकों ने महसूस किया कि वे उनसे व्यवसाय चाहते हैं और समझते हैं कि उन्हें डेटा में मोटे तौर पर क्या चाहिए।
विश्लेषक डेटा प्राप्त करने के लिए DWH में एक क्वेरी लिखते हैं।
DWH एक अनुरोध लेता है, डेटा को पढ़ता है, पूछता है, स्पष्ट करता है, पुनः प्राप्त करता है।
विश्लेषकों का मानना है कि उन्होंने सब कुछ नहीं लिया या उन्हें गलत समझा, वे डेटा प्राप्त करने के लिए DWH में फिर से अनुरोध लिखते हैं।
DWH एक अनुरोध लेता है, डेटा को पढ़ता है, पूछता है, स्पष्ट करता है, पुनः प्राप्त करता है।
विश्लेषकों का मानना है कि उन्होंने सब कुछ नहीं लिया या उन्हें गलत समझा, वे डेटा प्राप्त करने के लिए DWH में फिर से अनुरोध लिखते हैं।
दोहराएँ चरण 7 और 8

एक बार, DWH के लोग कहते हैं कि वे डेटा नहीं दे सकते या विश्लेषकों से इतने सारे अनुरोधों को संसाधित करने के लिए तैयार नहीं हैं। जवाब में, विश्लेषकों ने अपने डेटा को DWH से दूर किसी तरह के एक्सेल में जमा करना शुरू कर दिया। वहाँ वे अपनी ईटीएल प्रक्रियाओं को इकट्ठा करना शुरू करते हैं, जैसा कि वे कर सकते हैं, इस आधार पर कि वे डीडब्ल्यूएच से "बिना किसी लड़ाई के" प्राप्त कर सकते हैं।

परिणामस्वरूप हमारे पास क्या है:

डीडब्ल्यूएच उपभोक्ताओं की जरूरतों को पर्याप्त रूप से कवर नहीं करता है (अच्छी तरह से डीडब्ल्यूएच की ओर से, ऐसा लगता है कि उपयोगकर्ताओं को पता नहीं है कि वे क्या चाहते हैं)।
विश्लेषक खराब ईटीएल प्रक्रियाओं को लिखना शुरू करते हैं और अपने डेटा की मात्रा के अनुसार छद्म डीडब्ल्यूएच बनाते हैं, लेकिन बिना रिजर्व, एक्सेस कंट्रोल, कम प्रदर्शन आदि।
DWH और विश्लेषकों की बातचीत का कारण बनता है एक व्यवसाय के बारे में नहीं बताता है, और दूसरा यह कि "पक्षी भाषा" के बारे में कम्फ़र्ट नहीं करता है।
एक व्यावसायिक प्रश्न का उत्तर प्राप्त करने की प्रक्रिया में देरी हो रही है, क्योंकि अब डाटा प्रोसेसिंग प्रक्रिया DWH के बाहर मैन्युअल काम का एक गुच्छा है। और हमने एक ही रिपॉजिटरी को छोड़कर DWH का निर्माण क्यों किया?
व्यवसाय से समस्या के बयान में मामूली बदलाव से डेटा विश्लेषण चक्र लगभग शून्य से शुरू होता है, क्योंकि DWH फिर से लचीलापन नहीं दिखाएगा, और विश्लेषकों के पास नए संदर्भ में डेटा नहीं होगा।

इसका क्या समाधान हो सकता है? यदि आप डीडब्ल्यूएच और विश्लेषकों के बीच बातचीत की समस्या से छुटकारा पाना चाहते हैं, तो आपको डीडब्ल्यूएच और विश्लेषकों की दक्षताओं को करीब लाना होगा। एक व्यक्ति जो इन दक्षताओं को जोड़ता है, उसे डेटा विश्लेषक कहा जा सकता है।

ऐसे पूर्ण स्टैक डेटा विश्लेषक को क्या करने में सक्षम होना चाहिए?

कच्चे डेटा स्रोतों के साथ काम करना, यह समझता है कि डेटा संग्रहण कैसे काम करता है।
डेटा सामग्री के संदर्भ में रिपॉजिटरी में क्या बदलने की जरूरत है, इसे तैयार करने के लिए क्या डेटा जोड़ने और इसे कैसे संसाधित करना है, इसके लिए कट्टर DWH डेवलपर्स इसे लागू कर सकते हैं।
व्यवसाय की जरूरतों को समझें, आवश्यकताओं पर चर्चा करें और अपने ग्राहक की मदद करें, आंतरिक या बाहरी, एक समस्या तैयार करें और उसका समाधान करें।
एक विश्लेषणात्मक समाधान डिजाइन करने में सक्षम हो, अर्थात समस्या को हल करने के तरीके को समझें कि किस डेटा की आवश्यकता है, "आविष्कार" करने की क्या आवश्यकता है, किन धारणाओं को बनाने की आवश्यकता है
अपने परिणामों की कल्पना करने और अपने ग्राहकों को रिपोर्ट करने में सक्षम (आंतरिक या बाहरी)
"प्रतिलिपि प्रस्तुत करने योग्य" अध्ययन करने में सक्षम होने के लिए, यह एक विश्लेषण है जो हमेशा एक ही डेटा पर दोहराया जा सकता है और एक ही परिणाम प्राप्त कर सकता है। ऐसा करने के लिए, आपको आर / अजगर या सिस्टम के साथ काम करने में सक्षम होना चाहिए जो आपको विश्लेषण प्रक्रिया को औपचारिक बनाने की अनुमति देता है।

यदि आप एक विश्लेषणात्मक में तकनीकी और विश्लेषणात्मक दक्षताओं को जोड़ते हैं, तो आपको वास्तव में एक अभिन्न कर्मचारी मिलता है जो एंड-टू-एंड समस्या को हल कर सकता है। और यह विश्लेषणात्मक कार्यों के लिए बहुत महत्वपूर्ण है, जैसा कि केवल इस विश्लेषक की समझ है कि वह क्या कर रहा है और क्यों कर रहा है। उन लोगों में विभाजन जो "विश्लेषण" करते हैं और जो "डेटा संसाधित करते हैं" इस तथ्य की ओर जाता है कि इनमें से प्रत्येक कर्मचारी अक्षम है: विश्लेषक हाथों के बिना है, क्योंकि पैमाने पर कुछ भी प्राप्त और संसाधित नहीं किया जा सकता है, और डेटा इंजीनियर "बिना दिमाग के" है, जैसा कि यह था। वह नहीं सोचता है कि इसका उपयोग कैसे किया जाएगा और इसमें क्या परिकल्पनाएं हैं।

श्रम का विभाजन बहुत महत्वपूर्ण है, लेकिन यह थोड़ा अलग विमान में होना चाहिए। विश्लेषक को वह सब कुछ प्राप्त करने में सक्षम होना चाहिए जो उसे विश्लेषण के लिए चाहिए, और डेटा इंजीनियर का कार्य उन प्रणालियों का निर्माण करना है जो विश्लेषक के लिए ब्याज के किसी भी संभावित वर्गों में प्रभावी रूप से डेटा प्रदान करते हैं। डेटा इंजीनियर के लिए, इसका अर्थ है कि डेटा को एक लचीले रूप में संग्रहीत किया जाना चाहिए, लेकिन उपयोग के लिए सुविधाजनक में एक ही समय में: आंशिक रूप से भाजित, आंशिक रूप से क्यूब्स के माध्यम से पहुंच के साथ, आंशिक रूप से पूर्व-एकत्र और गणना के साथ।

और यदि आप अपने लिए पूर्ण स्टैक विश्लेषक नहीं खोज सकते हैं, तो कम से कम एनालिटिक्स टीम में डेटा एंगीनर को शामिल करें ताकि डेटा के साथ काम करने में सक्षमता विश्लेषण से बाहरी सेवा में स्थानांतरित न हो।

यह Google ऐडवर्ड्स एपीआई से डेटा प्राप्त करने में सहायता करने के लिए डेटा विश्लेषक का व्यवसाय नहीं है, लेकिन पिछले महीने के लिए राजस्व पर डेटा प्राप्त करने के लिए एक चयन लिखना डेटा एंगीनर का व्यवसाय नहीं है।

पूर्ण स्टैक डेटा विश्लेषक

More articles: