डेटा इंजीनियर पेशे में सबसे अधिक मांग वाला कौशल

2019 के आंकड़ों के अनुसार, डेटा इंजीनियर वर्तमान में एक पेशा है, जिसकी मांग अन्य सभी की तुलना में तेजी से बढ़ रही है। डेटा इंजीनियर संगठन में महत्वपूर्ण भूमिका निभाता है - पाइपलाइनों और डेटाबेस को बनाता है और बनाए रखता है जो डेटा को संसाधित करने, बदलने और संग्रहीत करने के लिए उपयोग किया जाता है। इस पेशे के प्रतिनिधियों को सबसे पहले कौन से कौशल की आवश्यकता है? क्या सूची डेटा वैज्ञानिकों से आवश्यक है? आप इस सब के बारे में मेरे लेख से सीखेंगे।

मैंने जनवरी 2020 में डेटा इंजीनियर की स्थिति के लिए रिक्तियों का विश्लेषण किया था, जिसमें वे यह समझने के लिए थे कि प्रौद्योगिकी में कौन से कौशल सबसे लोकप्रिय हैं। फिर मैंने डेटा वैज्ञानिक स्थिति में रिक्तियों पर आंकड़ों के साथ परिणामों की तुलना की, और कुछ दिलचस्प अंतर सामने आए।

हम लंबे समय तक परिचय के बिना कर सकते हैं - यहां शीर्ष दस प्रौद्योगिकियां हैं जो सबसे अधिक बार नौकरी ग्रंथों में उल्लिखित हैं:



2020 में डेटा इंजीनियर पद के लिए नौकरियों में प्रौद्योगिकी का उल्लेख

चलो ठीक है।

डाटा इंजीनियर की जिम्मेदारियां

आज, जो काम डेटा इंजीनियर करते हैं, वह संगठनों के लिए बहुत महत्वपूर्ण है - यह ऐसे लोग हैं जो सूचनाओं को संग्रहीत करने के लिए जिम्मेदार हैं और इसे इस तरह से लाते हैं कि अन्य कर्मचारी इसके साथ काम कर सकते हैं। डेटा इंजीनियर कई स्रोतों से डेटा, स्ट्रीम या पैकेट प्राप्त करने के लिए पाइपलाइनों का निर्माण करते हैं। इसके बाद, पाइपलाइन निष्कर्षण, परिवर्तन और लोडिंग (दूसरे शब्दों में, ईटीएल प्रक्रियाओं) का संचालन करते हैं, जिससे डेटा आगे उपयोग के लिए अधिक उपयुक्त हो जाता है। उसके बाद, डेटा विश्लेषकों और डेटा वैज्ञानिकों को गहरी प्रसंस्करण के लिए स्थानांतरित किया जाता है। अंत में, डेटा डैशबोर्ड, रिपोर्ट और मशीन लर्निंग मॉडल पर अपनी यात्रा समाप्त करता है।

मैं ऐसी जानकारी की तलाश कर रहा था जो हमें यह निष्कर्ष निकालने की अनुमति दे कि वर्तमान में डेटा इंजीनियर के काम में कौन सी प्रौद्योगिकियां सबसे अधिक मांग में हैं।

तरीकों

मैंने तीन जॉब सर्च साइट्स - सिम्पलीहाइड , वास्तव में, और मॉन्स्टर से जानकारी एकत्र की और अमेरिकी निवासियों के लिए जॉब टेक्सट में डेटा इंजीनियर के साथ आने वाले कीवर्ड को देखा। इस कार्य के लिए, मैंने दो पायथन पुस्तकालयों का उपयोग किया - अनुरोध और सुंदर सूप । कीवर्ड के बीच, मैंने उन दोनों को शामिल किया जो डेटा वैज्ञानिक पद के लिए रिक्तियों का विश्लेषण करने के लिए पिछली सूची में थे, और जिन्हें मैंने स्वयं डेटा इंजीनियरों के लिए नौकरी की पेशकश पढ़ते समय मैन्युअल रूप से चुना था। लिंक्डइन को स्रोतों की सूची में शामिल नहीं किया गया था, क्योंकि मुझे डेटा एकत्र करने के अपने अंतिम प्रयास के बाद वहां प्रतिबंधित कर दिया गया था।

प्रत्येक कीवर्ड के लिए, मैंने प्रत्येक साइट पर अलग-अलग ग्रंथों की कुल संख्या से हिट के प्रतिशत की गणना की, और फिर मैंने तीन स्रोतों से औसत मूल्य की गणना की।

परिणाम

नीचे सभी तीन नौकरी साइटों में उच्चतम स्कोर के साथ डेटा इंजीनियरिंग से तीस तकनीकी शब्द हैं।



और यहाँ एक ही नंबर हैं, लेकिन एक तालिका के रूप में डिज़ाइन किया गया है:



क्रम में चलते हैं।

परिणाम अवलोकन

एसक्यूएल और पायथन दोनों ही दो-तिहाई से अधिक रिक्तियों की समीक्षा में दिखाई देते हैं। यह इन दो तकनीकों है जो पहले अध्ययन करने के लिए समझ में आता है। पायथन एक बहुत लोकप्रिय प्रोग्रामिंग भाषा है जिसका उपयोग डेटा के साथ काम करने, वेबसाइट बनाने और स्क्रिप्ट लिखने के लिए किया जाता है। SQL संरचित क्वेरी भाषा के लिए खड़ा है; यह भाषाओं के एक समूह द्वारा कार्यान्वित मानक को मानता है, और इसका उपयोग संबंधपरक डेटाबेस से डेटा निकालने के लिए किया जाता है। वह एक लंबे समय पहले दिखाई दिया और खुद को अत्यधिक स्थिर के रूप में स्थापित किया।

लगभग आधे रिक्त पदों के बारे में स्पार्क कहते हैं। अपाचे स्पार्क "स्ट्रीमिंग, एसक्यूएल, मशीन लर्निंग और ग्राफ़ प्रोसेसिंग के लिए अंतर्निहित मॉड्यूल के साथ एक संयुक्त बड़ा डेटा एनालिटिक्स इंजन है।" यह उन लोगों के साथ विशेष रूप से लोकप्रिय है जो बड़े डेटाबेस के साथ काम करते हैं।

लगभग 45% पोस्टिंग में AWS दिखाई देती है। यह अमेज़ॅन का क्लाउड कंप्यूटिंग प्लेटफॉर्म है; यह सभी क्लाउड प्लेटफार्मों के बीच सबसे बड़ी बाजार हिस्सेदारी का मालिक है।
इसके बाद जावा और हैडोप - भाई के लिए 40% से थोड़ा अधिक। जावा एक व्यापक, युद्ध-परीक्षण वाली भाषा है, जिसे 2019 में स्टैक ओवरफ्लो डेवलपर सर्वेक्षण ने प्रोग्रामर्स को भयभीत करने वाली भाषाओं में दसवां स्थान हासिल किया। इसके विपरीत, पायथन दूसरी सबसे अधिक पसंद की जाने वाली भाषा थी। जावा जावा भाषा को चलाता है, और आपको इसके बारे में जानने की जरूरत है, जिसे जनवरी 2020 के आधिकारिक पेज के स्क्रीनशॉट से समझा जा सकता है।



टाइम मशीन की तरह
Apache Hadoop बड़े डेटा के लिए सर्वर क्लस्टर के साथ MapReduce प्रोग्रामिंग मॉडल का उपयोग करता है। अब यह मॉडल तेजी से खारिज हो रहा है।

आगे हम हाइव, स्काला, काफ्का और नोएसक्यूएल देखते हैं - इनमें से प्रत्येक तकनीक का उल्लेख प्रस्तुत रिक्तियों के एक चौथाई हिस्से में किया गया है। अपाचे हाइव एक डेटा वेयरहाउसिंग प्रोग्राम है जो "SQL का उपयोग करके वितरित स्टोरेज में स्थित बड़े डेटासेट के पढ़ने, लिखने और प्रबंधन को सरल करता है।" स्काला एक प्रोग्रामिंग भाषा है जो बड़े डेटा के साथ काम करते समय सक्रिय रूप से उपयोग की जाती है। विशेष रूप से, स्काला पर स्पार्क बनाया गया था। पहले से ही भयभीत भाषाओं की रैंकिंग में, स्काला ग्यारहवीं पंक्ति पर है। Apache Kafka स्ट्रीमिंग संदेशों को संसाधित करने के लिए एक वितरित मंच है। स्ट्रीमिंग डेटा के साधन के रूप में बहुत लोकप्रिय है।

NoSQL डेटाबेस SQL के साथ खुद को कंट्रास्ट करता है। वे इसमें भिन्न हैं कि वे संबंधपरक नहीं हैं, संरचित नहीं हैं, और क्षैतिज मापनीयता है। NoSQL ने कुछ लोकप्रियता हासिल की है, लेकिन इस दृष्टिकोण के लिए बुखार की सनक, भविष्यवाणियों तक सही है कि यह SQL को प्रमुख भंडारण प्रतिमान के रूप में बदल देगा, लगता है कि खत्म हो गया है।

डेटा वैज्ञानिक रिक्तियों में शर्तों के साथ तुलना

डेटा विज्ञान के क्षेत्र में नियोक्ताओं द्वारा उपयोग किए जाने वाले तीस तकनीकी शब्द यहां दिए गए हैं। मुझे यह सूची उसी तरह से मिली, जैसा मैंने डेटा इंजीनियरिंग के लिए ऊपर वर्णित किया है।



2020 में डेटा वैज्ञानिक के लिए नौकरियों में प्रौद्योगिकी का उल्लेख

यदि हम पहले समीक्षा किए गए सेट की तुलना में कुल संख्या के बारे में बात करते हैं, तो 28% अधिक रिक्तियां थीं (9396 के खिलाफ 12 013)। आइए देखें कि डेटा इंजीनियरों के लिए डेटा इंजीनियरों की तुलना में रिक्तियों में कौन सी प्रौद्योगिकियां सामान्य हैं।

डेटा इंजीनियरिंग में अधिक लोकप्रिय है

नीचे दिया गया ग्राफ़ 10% से कम या -10% से अधिक मूल्यों में औसत अंतर वाले कीवर्ड दिखाता है।



डेटा इंजीनियर और डेटा वैज्ञानिक के बीच कीवर्ड की आवृत्ति में सबसे बड़ा अंतर

AWS द्वारा सबसे महत्वपूर्ण वृद्धि देखी गई है: डेटा इंजीनियरिंग में यह डेटा विज्ञान की तुलना में 25% अधिक नियमित रूप से प्रकट होता है (लगभग 45% और कुल रिक्तियों की 20% क्रमशः)। अन्तर पटल है!

यहां थोड़ा अलग प्रतिनिधित्व में एक ही डेटा है - ग्राफ पर, डेटा इंजीनियर और डेटा वैज्ञानिक पदों के लिए रिक्तियों में समान कीवर्ड के परिणाम एक-दूसरे के किनारे स्थित हैं।



डेटा इंजीनियर और डेटा वैज्ञानिक के बीच कीवर्ड की आवृत्ति में सबसे बड़ा अंतर

अगली सबसे बड़ी छलांग मैंने स्पार्क पर ध्यान दिया - एक डेटा इंजीनियर को अक्सर बड़े डेटा के साथ काम करना पड़ता है। काफ़्का भी 20% की वृद्धि हुई, यानी डेटा वैज्ञानिक नौकरी रिक्ति की तुलना में लगभग चार गुना। डेटा ट्रांसफर डेटा इंजीनियर की प्रमुख जिम्मेदारियों में से एक है। अंत में, जावा, NoSQL, Redshift, SQL और Hadoop के लिए डेटा इंजीनियरिंग के क्षेत्र में संदर्भों की संख्या 15% अधिक हो गई।

डेटा इंजीनियरिंग में कम लोकप्रिय

अब देखते हैं कि डेटा इंजीनियर के लिए नौकरी रिक्तियों में कौन सी प्रौद्योगिकियां कम लोकप्रिय हैं।
डेटा विज्ञान के क्षेत्र की तुलना में सबसे तेज गिरावट आर में हुई: वहां यह लगभग 56% रिक्तियों में दिखाई दिया, यहां - केवल 17% में। प्रभावशाली। R एक प्रोग्रामिंग भाषा है जो वैज्ञानिकों और सांख्यिकीविदों के साथ-साथ भयानक भाषाओं की रैंकिंग में आठवें स्थान के विजेता के साथ लोकप्रिय है।

एसएएस भी डाटा इंजीनियर पद के लिए रिक्तियों में काफी कम है - अंतर 14% है। एसएएस एक मालिकाना भाषा है जिसे सांख्यिकी और डेटा के साथ काम करने के लिए डिज़ाइन किया गया है। एक दिलचस्प बिंदु: डेटा वैज्ञानिकों के लिए रिक्तियों पर मेरे शोध के परिणामों को देखते हुए, हाल ही में उन्होंने बहुत सारे पदों को खो दिया है - किसी भी अन्य तकनीक से अधिक।

डेटा इंजीनियरिंग और डेटा साइंस दोनों में मांग की

यह ध्यान दिया जाना चाहिए कि दोनों सेटों में पहले दस पदों में से आठ समान हैं। SQL, Python, Spark, AWS, Java, Hadoop, Hive और Scala डेटा इंजीनियरिंग उद्योग और डेटा साइंस दोनों के लिए शीर्ष दस में से एक हैं। नीचे दिए गए ग्राफ़ में, आप डेटा इंजीनियरों नियोक्ताओं द्वारा पंद्रह सबसे लोकप्रिय तकनीकों को देख सकते हैं, और उनके बगल में डेटा स्केनिस्टिस्ट के लिए उनकी रिक्ति दर है।

सिफारिशें

यदि आप डेटा इंजीनियरिंग में संलग्न होना चाहते हैं, तो मैं आपको निम्नलिखित तकनीकों को मास्टर करने की सलाह दूंगा - मैं उन्हें अनुमानित प्राथमिकता के क्रम में सूचीबद्ध करता हूं।

SQL सीखें। मैं आपको विशेष रूप से PostgreSQL के लिए राजी करता हूं, क्योंकि इसमें ओपन सोर्स कोड है, समुदाय में बहुत लोकप्रिय है और बढ़ते चरण में है। आप यह सीख सकते हैं कि मेरी यादगार एसक्यूएल पुस्तक से भाषा का उपयोग कैसे किया जाए - इसका पायलट संस्करण यहां उपलब्ध है ।

सबसे कट्टर स्तर पर नहीं, यद्यपि अजगर जानें। मेरा यादगार पायथन शुरुआती लोगों के लिए है। आप इसे अमेज़न पर खरीद सकते हैं , एक इलेक्ट्रॉनिक कॉपी या अपनी पसंद का एक भौतिक, या इस साइट पर पीडीएफ में डाउनलोड कर सकते हैं।

एक बार जब आप पायथन से परिचित हो जाते हैं, तो पंडों की ओर बढ़ें, पायथन पुस्तकालय जो डेटा को साफ करने और संसाधित करने के लिए उपयोग किया जाता है। यदि आप एक ऐसी कंपनी में काम करने पर ध्यान केंद्रित कर रहे हैं, जिसे पायथन में लिखने की क्षमता की आवश्यकता है (और उनमें से ज्यादातर हैं), तो आप सुनिश्चित हो सकते हैं कि पांडा का ज्ञान डिफ़ॉल्ट रूप से माना जाएगा। मैं अब पंडों के साथ काम करने के लिए परिचयात्मक मार्गदर्शिका समाप्त कर रहा हूं - आप सदस्यता ले सकते हैं ताकि रिलीज के क्षण को याद न करें।

मास्टर AWS। यदि आप एक डाटा इंजीनियर बनना चाहते हैं, तो आप ज़ाशनिक में क्लाउड प्लेटफॉर्म के बिना नहीं कर सकते हैं, और AWS उनमें से सबसे लोकप्रिय है। जब मैंने Google क्लाउड पर डेटा इंजीनियरिंग का अध्ययन किया, तो लिनक्स अकादमी के पाठ्यक्रमों ने मेरी बहुत मदद की, मुझे लगता है कि उनके पास AWS पर अच्छी सामग्री भी होगी।

यदि आप पहले से ही इस पूरी सूची में महारत हासिल कर चुके हैं और डेटा इंजीनियर के रूप में नियोक्ताओं की नजर में बढ़ना चाहते हैं, तो मैं अपाचे स्पार्क को बड़े डेटा के साथ काम करने का सुझाव देता हूं। यद्यपि डेटा विज्ञान रिक्तियों पर मेरे शोध में रुचि में गिरावट देखी गई है, यह अभी भी लगभग हर दूसरे काम में डेटा इंजीनियरों के लिए चमकती है।

अंत में

मुझे उम्मीद है कि डेटा इंजीनियर के लिए सबसे लोकप्रिय तकनीकों की यह समीक्षा आपके लिए उपयोगी लगी। यदि आप इस बारे में उत्सुक हैं कि विश्लेषक कैसे काम करते हैं, तो मेरे दूसरे लेख को पढ़ें। सफल इंजीनियरिंग!