डेटा इंजीनियर - 21 वीं सदी का सबसे सेक्सी पेशा

हाल ही में, एक बड़ी कंपनी के एचआर के साथ बातचीत में, "एक साक्षात्कार के लिए हमारे पास आने वाला हर डेटा इंजीनियर एक डेटा वैज्ञानिक बनना चाहता है।" इसने मुझे बहुत आश्चर्यचकित किया और इंजीनियर की तारीख के लिए बहुत निराश था, ईमानदार होने के लिए।

यहां हमने (और न केवल) पहले ही डेटा इंजीनियरों और व्यापार के लिए उनके मूल्य के बारे में कई सामग्रियों को प्रकाशित किया है - उदाहरण के लिए, निकोलाई मार्कोव के साथ एक साक्षात्कार या " डेटा इंजीनियर बनने के 4 कारण ", लेकिन यह बहुत पहले था। समय गुजरता है, सामग्री जमा होती है, दुनिया विकसित होती है, इसलिए कुछ बताने के लिए है।

शायद हमें पहले यह याद रखना चाहिए कि इंजीनियर की तारीख का काम क्या है (प्लस या माइनस, निश्चित रूप से, क्योंकि प्रत्येक कंपनी अपने स्वयं के कुछ जोड़ सकती है, ऊपर से कुछ अन्य कर्मचारियों द्वारा किया जा सकता है):

- स्थिर पाइपलाइनों का निर्माण करना जो कंपनी के भीतर सभी उपयोगकर्ताओं के लिए डेटा सुलभ बनाते हैं;
- ईटीएल या ईएलटी प्रक्रिया के हिस्से के रूप में डेटा का संग्रह, सफाई और प्रीप्रोसेसिंग;
- डेटा वेयरहाउस बनाने के लिए डीबीए के साथ काम करें;
- डेटा सेवा के लिए चौखटे और microservices का उपयोग;
- डेटा की गुणवत्ता की निगरानी;
- ठेस में उत्पादन मॉडल।

यूएसए, जर्मनी के श्रम बाजारों पर विचार करें और स्थानीय, मॉस्को, डेटा इंजीनियरों के साथ बात करें।

संयुक्त राज्य अमेरिका

पिछले साल के अंत में , पासा ने बर्निंग ग्लास के नोवा प्लेटफॉर्म के डेटा का अध्ययन किया, जो अमेरिकी श्रम बाजार में खुले पदों का विश्लेषण करता है, और यह पता चला कि 2017 के सापेक्ष, डेटा इंजीनियर की मांग 96.7% बढ़ गई, जबकि एक डेटा वैज्ञानिक के लिए - 51, 1%।



बेशक, इंजीनियरों की तारीख की मांग बहुत बड़ी है। अब, उदाहरण के लिए, वास्तव में अकेले संयुक्त राज्य अमेरिका में 131,000 से अधिक रिक्तियों को खोला गया है, जिनमें से अधिकांश सिएटल, सैन फ्रांसिस्को और न्यूयॉर्क में हैं। वेतन रन-अप आम तौर पर नीचे दिए गए आरेख का अनुसरण करता है । इसी समय, यह ध्यान रखना महत्वपूर्ण है कि संयुक्त राज्य अमेरिका में तारीख इंजीनियरों के लिए वेतन वैज्ञानिकों के लिए वेतन से नीच नहीं है (एक राय है कि इंजीनियरों को कम मिलता है), लेकिन वे उदाहरण के लिए, शहर पर निर्भर करते हैं: न्यूयॉर्क में, इंजीनियरों को $ 132 हजार मिल सकते हैं, और सैन फ्रांसिस्को और 151 हजार डॉलर।



और तुलना के लिए - वास्तव में एक ही स्थान पर केवल 12,000+ वैज्ञानिको के रिक्त पद एक ही तनख्वाह के साथ प्रकाशित किए गए थे। सामान्य तौर पर, संख्याएं खुद के लिए बोलती हैं: डेटा इंजीनियर सबसे अधिक मांग वाला और "कामुक" पेशा बन गया है!

जर्मनी

इंजीनियरों की तिथि के लिए अनिश्चित मांग जर्मनी में है। सितंबर में, हमने XING के लिए एक कॉर्पोरेट डेटा इंजीनियरिंग कार्यक्रम आयोजित किया। जब बाजार पर पर्याप्त कर्मी नहीं होते हैं, और कंपनी को इंजीनियरों की बहुत आवश्यकता होती है, तो इसका एक उपाय यह है कि आप अपने वर्तमान कर्मचारियों को विकसित और प्रशिक्षित करें। XING में इंजीनियरिंग के निदेशक मार्टिन शेटेव ने कहा कि हाल के वर्षों में उन्होंने धीरे-धीरे एक दर्जन से अधिक डेवलपर्स को पीछे छोड़ दिया है और अपनी तिथि इंजीनियर बना ली है। यह मुख्य रूप से आवश्यकता के कारण किया गया था, लेकिन यह भी क्योंकि वे परियोजनाओं के लिए महत्वपूर्ण डोमेन ज्ञान लाते हैं।

पहली तारीख के इंजीनियरों ने कुछ परियोजनाओं पर कंपनी में केंद्रीय डीएस टीम के साथ मिलकर काम किया और यह एक बहुत ही कार्बनिक जोड़ था। तारीख के अंदर "बढ़ी" इंजीनियरों की बढ़ती संख्या के आगमन के साथ, कठिनाइयों का पता चला: केंद्रीय टीम ने प्रशिक्षण में बहुत समय लगाया, उन्हें अलग-अलग टीमों में काम करने के लिए कई तारीख इंजीनियरों को महीनों तक तैयार करना पड़ा। और जब तक पिछले समूह ने स्नातक की उपाधि प्राप्त नहीं की, तब तक अगला समूह पहले से ही आ रहा था, लेकिन उन सभी को एकजुट करना संभव नहीं था, क्योंकि सभी ने विभिन्न परियोजनाओं पर काम किया, मुझे छोटे समूहों में प्रशिक्षित करना पड़ा। परियोजना की टीमों में नई तिथि के इंजीनियरों को शामिल करना भी असंभव था, क्योंकि कई टीमों के लिए यह पहली तारीख का इंजीनियर था।

अधिकांश डेवलपर्स जिन्होंने इंजीनियरिंग की तारीख पर स्विच करने का फैसला किया, वे जून या वरिष्ठ थे, और वे सभी अध्ययन करना चाहते थे, इसलिए XING को केवल किताबें, ट्यूटोरियल प्रदान करना और कार्यशालाओं का आयोजन करना था। कार्यशालाएं कर्मचारियों और बाहरी प्रदाताओं दोनों द्वारा आयोजित की गई थीं, और इस तरह की मुख्य प्रौद्योगिकियों के लिए समर्पित थीं: हादोप, स्काला और काफ्का। समय के साथ, तिथि इंजीनियर अब टीमों के लिए नए नहीं थे, और कम और कम केंद्रीय टीम ने दीर्घकालिक परियोजनाओं पर बड़े इंजीनियरों के साथ काम किया। मार्टिन के अनुसार, औसतन एक सेवानिवृत्त इंजीनियर को अधिक जटिल कार्यों पर स्वतंत्र रूप से काम करना शुरू करने में 6 महीने लगते हैं, और फिर 6 महीने के बाद कंपनी अपने कर्मचारी की स्थिति बदल देती है। बेशक, कर्मचारी के कौशल और ज्ञान और एक तिथि इंजीनियर के लिए आवश्यकताओं के बीच प्रारंभिक अंतराल, प्रशिक्षण प्रक्रिया जितनी तेज़ होगी।

आंतरिक कर्मचारियों के प्रशिक्षण के इन कई वर्षों के दौरान, XING ने कई अवलोकन किए:
- बैकएंड डेवलपर्स जिन्होंने पहले से ही पाइपलाइनों के साथ काम किया है, आमतौर पर नए ज्ञान को तेजी से पकड़ते हैं, उदाहरण के लिए, फ्रंट-एंड डेवलपर्स;
- कम सफलता के साथ, तिथि वैज्ञानिक इंजीनियरों को तारीख करने से पीछे हटते हैं;
- डेटा वैज्ञानिकों में डेवलपर्स को पीछे हटाने के प्रयास भी सफल नहीं हुए, जब तक कि व्यक्ति के पास एक अच्छा गणितीय आधार और वैज्ञानिक तरीकों का ज्ञान या स्वतंत्र रूप से यह सब सीखने की बहुत बड़ी इच्छा नहीं थी, क्योंकि आवश्यक ज्ञान में अंतर बहुत व्यापक है।

यह मुझे लगता है कि ये बहुत महत्वपूर्ण अवलोकन हैं जो किसी भी नियोक्ता के लिए बहुत पैसा और समय बचा सकते हैं, क्योंकि रूसी बाजार में पर्याप्त इंजीनियर नहीं हैं, और आपको अभी भी अपने कर्मचारियों को प्रशिक्षित करना है। और जो डेटा इंजीनियर डेटा वैज्ञानिक बनना चाहते हैं, उन्हें यह विचार करना चाहिए कि यह उस तरह से काम नहीं करेगा, क्योंकि इंजीनियर की तारीख और वैज्ञानिक की तारीख अलग-अलग मानसिकता वाले दो लोग हैं।

अभी हाल ही में, एलेक्सी ग्रिगोरिएव ने बर्लिन में डार्विन रिक्रूटमेंट मार्केट रिपोर्ट को ODS में #career चैनल पर फेंक दिया। और डेटा इंजीनियरिंग पर अनुभाग खोलने वाले उद्धरण में, यह पहले से ही स्थापित बाजार में इंजीनियरिंग डेटा के विकास की बात करता है, और स्थानीय डेटा इंजीनियरों की कमी के तथ्य की पुष्टि की जाती है: "जर्मनी में अधिक से अधिक कंपनियां अन्य देशों के कर्मचारियों को काम पर रख रही हैं, और उनके अनुभवी डेटा इंजीनियर उत्कृष्ट लाते हैं। उपकरण और प्रौद्योगिकी। " एजेंसी 51% के बारे में कहती है - यही कारण है कि अन्य देशों के कई उम्मीदवारों का उनके ग्राहकों के साथ साक्षात्कार होता है। इसलिए, डेट इंजीनियरिंग मांग में एक अच्छा पेशा है, जिसके साथ आप स्थानांतरण प्राप्त कर सकते हैं। यह ठीक उसी तरह है जब न्यूप्रालाब स्नातक निकोलाई रेकुब्रेट्सकी हैम्बर्ग में इंजीनियर की तारीख के लिए चले गए, जिनके साथ हमने पिछले साल एक साक्षात्कार किया था । बर्लिन में वेतन के स्तर के अनुसार, एजेंसी प्रति वर्ष 55-70 हजार यूरो का एक कांटा लाती है, लेकिन शायद जर्मनी के विभिन्न शहरों में वेतन और अतिरिक्त कॉर्पोरेट और सामाजिक लाभों में अंतर है (कम से कम हैम्बर्ग में हमें इसके बारे में बहुत सारी अच्छी बातें बताई गई थीं) )।

रूस

खैर, रूस में, इंजीनियर ने पेशे के बारे में वर्ष 2017 में ही तारीख लिखनी शुरू कर दी (हालांकि उस समय इंजीनियरों के पास पहले से ही लाइव तारीखें थीं, और सम्मेलनों में आप तारीख इंजीनियरिंग पर अच्छी रिपोर्ट सुन सकते थे), लेकिन अभी तक सभी ने डेटा वैज्ञानिक को सुना है, और किसी को यह आभास हो जाता है कि हर कोई केवल "21 वीं सदी के सबसे कामुक पेशे" का सपना देख रहा है। Habr या तो मदद नहीं करता है, जिसने मुझे सितंबर 2017 में एक डेटा इंजीनियरिंग हब बनाने से इनकार कर दिया: "नए हब के निर्माण के लिए एक आवेदन पर विचार करने के लिए, आपको कम से कम 10 सामग्रियों के लिंक निर्दिष्ट करने होंगे जो पहले से ही हैबर के पृष्ठों पर पोस्ट किए गए हैं और प्रस्तावित हब के लिए जिम्मेदार ठहराया जा सकता है"। मेरा मानना ​​है कि आप पहले से ही फिर से आवेदन कर सकते हैं, शर्त पूरी हो गई है।

लेकिन आखिरकार, हर लोहे से केवल डीएस कहा जाता है, इसलिए हम सुनते हैं: "हमारे साक्षात्कार के लिए आने वाला हर डेटा इंजीनियर डेटा वैज्ञानिक बनना चाहता है।"



बस उस समय जब यह कहा गया था, हमारा डेटा इंजीनियर 5.0 कार्यक्रम समाप्त हो रहा था, और मैंने इस वाक्यांश को एक समूह चैट में डालने और हमारे प्रतिभागियों की राय प्राप्त करने का निर्णय लिया। और इसलिए, क्या चर्चा सामने आई और क्या विचार व्यक्त किए गए:

"हम अब हमारे लिए एक टीम की भर्ती कर रहे हैं [इंजीनियरों की तारीख], 30 लोग पहले ही साक्षात्कार कर चुके हैं, और बिना किसी अपवाद के लगभग हर कोई वैज्ञानिक बनना चाहता है ... यह वास्तव में हमारी दिशा के लिए अपमानजनक हो जाता है :("

“हर कोई बहुत पैसा चाहता है और एक ही समय में तनाव को कम करता है। और ऐसे विशेषज्ञों का मानना ​​है कि डीएस-एएम डीई से अधिक का भुगतान करते हैं, हालांकि ऐसा नहीं है। यहां समस्या यह है कि डीई को सीखने की ज़रूरत है कि विभिन्न तकनीकों का उपयोग करके ठंडी चीजों का निर्माण कैसे किया जाए, कभी-कभी खुद को काटने के लिए अगर कुछ उपयुक्त नहीं है, और डीएस के लिए, लगभग सभी उपकरण किए गए हैं, और अधिकांश भाग के लिए, वे विभिन्न समस्याओं को हल करने के लिए समान हैं। (Python / R + पुस्तकालयों में एमएल और तंत्रिका नेटवर्क के विभिन्न कार्यान्वयन के साथ)। सामान्य तौर पर, डीई के लिए अब डीएस के लिए प्रवेश सीमा कम है, और तैयार किए गए उपकरणों की उपलब्धता के कारण इस प्रकार का काम बहुत आसान है। मुझे लगता है कि यह लोगों के मनोविज्ञान का मामला है: हर कोई दृष्टि में होने के लिए मान्यता प्राप्त करना चाहता है, और बिग डेटा स्टैक में, डीएस सभी जादू करता है। DE सहायक के रूप में कार्य करते हैं ... यहाँ कुछ उपमाएँ हैं जो मैंने देखीं:
1) उदाहरण के लिए, कंप्यूटर गेम - कोई भी एक समर्थन नहीं बनना चाहता, लेकिन हर कोई केरी / डीडी / बनना चाहता है।
2) या फुटबॉल - हर कोई आगे बढ़ना चाहता है और कुछ रक्षक बनना चाहते हैं।
डीई के साथ संवाद करते हुए, मैंने अक्सर इस तरह की बातें सुनीं: कोई भी परियोजना पर मेरी सराहना नहीं करता है, मुझे लोडर की तरह मानता है, यहां डेटा ले जाता है, यहां लाता है ... एक बात अच्छी है, अब पुनर्विचार की प्रक्रिया जारी है और कई डीई टीमें सम्मान और प्यार करने लगी हैं। उदाहरण के लिए, मेरी जगह पर इस संबंध में सब कुछ अच्छा है, क्योंकि डे हर कोई मेरे साथ अच्छा व्यवहार करता है, मैं डीएस की मदद करता हूं, वे मेरी मदद करते हैं, और इसलिए हम सहजीवन में रहते हैं। ”

"मुझे ऐसा प्रतीत होता है कि डीएस डीई के बिना रहते थे) सामान्य तौर पर, बिग डेटा डीई के बिना नहीं रह सकता, लेकिन डीएस के बिना, कम से कम, यह सामान्य है। बस मुझे सड़े टमाटर मत फेंको।

लेकिन एक वैकल्पिक राय थी: “डे निश्चित रूप से एक प्रारंभिक चरण नहीं है। लेकिन, दुर्भाग्य से, हर कोई केवल डीएस के बारे में जानता है और इस बारे में बहुत सारी सामग्री और पाठ्यक्रम प्रकाशित किए गए हैं। यही लोग सीखते हैं। और डीई के लिए कुछ पाठ्यक्रम हैं। हमें परियोजनाओं के आधार पर, सब कुछ और सब कुछ अध्ययन करने की आवश्यकता है। दुर्भाग्य से, दुनिया कंटेनरों की ओर बढ़ रही है। और जार अक्सर क्यूबेर पर उपयोग किए जाने की संभावना है। और सभी डीएस के कारण। उनके लिए कंटेनर उठाना और जाना आसान है। यह मुझे इस तथ्य से है कि सब कुछ एकीकरण की प्रक्रिया को सुविधाजनक बनाने और बिक्री के लिए रोलिंग करने जा रहा है, जिससे डीई ज़ोन में कमी आती है। # बाहर मर रहा है »

“मैं क्या देखता हूं: रणनीतिक स्थिति के लिए एक तार्किक दौड़ है। इंजीनियरिंग में एडवांस्ड dss शेव डे से ज्यादा खराब नहीं है और t2m [मार्केट में समय] को कम करने के लिए PROM में रोल आउट करने का नाटक कर सकता है, लेकिन वे खुद मशीन जोन पर ऑटोमैट के जरिए हमला कर सकते हैं और ds जोन में प्रवेश कर सकते हैं। यदि आप 2 में से चुनते हैं, तो निश्चित रूप से, दूसरा मेरे करीब है। मुझे लगता है कि कुल मिलाकर, जो लोग अपने कार्यात्मक ढांचे से आगे जाने की कोशिश करते हैं, वे जीतेंगे, क्योंकि कार्यात्मक उन्नयन की इच्छा पूरी तरह से प्रक्रिया दृष्टिकोण की विशेषता है, लेकिन लंबे समय में जो मूल जीतता है। "

कार्यक्रम में वक्ताओं में से एक भी चर्चा में शामिल हुआ: "इसके विपरीत, एक डीएस के रूप में, मैं अक्सर इंजीनियरिंग कार्यों के लिए आकर्षित होता हूं। मेरे लिए, DE पर स्विच करना ग्रेड में एक महत्वपूर्ण कमी है। एक ऐसी अवधि थी जब मैंने डीई को अमेज़ॅन में लाने की कोशिश की, मैंने 6 घंटे के साक्षात्कार के लिए लक्ज़मबर्ग भी उड़ान भरी, लेकिन "आप डीएस नहीं हैं, आप डीएस हैं" शब्दों के साथ मना कर दिया गया था।

लेकिन मैं मना करने के साथ इस शब्द पर आपका ध्यान आकर्षित करूंगा, यह एक बार फिर पुष्टि करता है कि ये अलग लोग हैं। इसलिए, यदि आपकी ताकत एक व्यवस्थित दृष्टिकोण, एक इंजीनियरिंग मानसिकता, नई तकनीकों को समझने की क्षमता, प्रलेखन को समझने, अच्छा कोड लिखने, स्थिर समाधान डिजाइन करने की क्षमता है, तो आगे विकास करें और एक सक्षम तिथि इंजीनियर बनें, रूस में एक टीम और कंपनी की तलाश करें। " विदेश में, जहाँ आप एक तारीख इंजीनियर के रूप में अपनी क्षमता को अधिकतम कर सकते हैं, और किसी और के बनने की कोशिश नहीं करेंगे।

और अगर आपके बीच डेट इंजीनियर हैं जिनके बारे में लिखने और बात करने के लिए कुछ है, तो चलिए दोस्त हैं और डेट इंजीनियरिंग को आगे बढ़ाते हैं :)