डेटा इंजीनियर कौन हैं, और वे कैसे बनते हैं?

फिर से नमस्कार! लेख का शीर्षक अपने बारे में बोलता है। "डेटा इंजीनियर" पाठ्यक्रम की शुरुआत की प्रत्याशा में , हम सुझाव देते हैं कि डेटा इंजीनियर कौन हैं। लेख में बहुत सारे उपयोगी लिंक हैं। अच्छी पढाई हो।



डेटा इंजीनियरिंग तरंग को पकड़ने और इसे रसातल में खींचने से रोकने के बारे में एक सरल मार्गदर्शिका।

किसी को आभास हो जाता है कि आजकल हर कोई डाटा साइंटिस्ट बनना चाहता है। लेकिन डाटा इंजीनियरिंग के बारे में क्या? संक्षेप में, यह डेटा विश्लेषक और डेटा वैज्ञानिक का एक प्रकार का संकर है; एक डेटा इंजीनियर आमतौर पर वर्कफ़्लोज़, प्रोसेसिंग पाइपलाइन और ईटीएल प्रक्रियाओं के प्रबंधन के लिए जिम्मेदार होता है । इन कार्यों के महत्व के कारण, यह वर्तमान में एक और लोकप्रिय पेशेवर शब्दजाल है जो सक्रिय रूप से गति प्राप्त कर रहा है।

उच्च वेतन और भारी मांग इस काम को बेहद आकर्षक बनाने का एक छोटा सा हिस्सा है! यदि आप नायकों की श्रेणी में शामिल होना चाहते हैं, तो सीखने की शुरुआत करने में कभी देर नहीं करनी चाहिए। इस पोस्ट में, मैंने पहले कदम उठाने में आपकी मदद करने के लिए सभी आवश्यक जानकारी एकत्र की है।

तो चलिए शुरू करते है!

डाटा इंजीनियरिंग क्या है?

ईमानदारी से, इससे बेहतर कोई स्पष्टीकरण नहीं है:

“एक वैज्ञानिक एक नए तारे की खोज कर सकता है, लेकिन उसे पैदा नहीं कर सकता। उसे इसके लिए इंजीनियर से पूछना पड़ेगा। ”

-गार्डन लिंडसे ग्लीग

इस प्रकार, एक डाटा इंजीनियर की भूमिका काफी महत्वपूर्ण है।

नाम से यह निम्नानुसार है कि डेटा इंजीनियरिंग डेटा के साथ जुड़ा हुआ है, अर्थात् इसके वितरण, भंडारण और प्रसंस्करण के साथ। तदनुसार, इंजीनियरों का मुख्य कार्य डेटा के लिए एक विश्वसनीय बुनियादी ढांचा प्रदान करना है। अगर हम जरूरतों के एआई पदानुक्रम को देखते हैं, तो डेटा इंजीनियरिंग पहले 2–3 चरण लेता है: डेटा एकत्र करना, स्थानांतरित करना और भंडारण करना ।



डेटा इंजीनियर क्या करता है?

बड़े डेटा के आगमन के साथ, जिम्मेदारी का क्षेत्र नाटकीय रूप से बदल गया है। पहले, इन विशेषज्ञों ने बड़े एसक्यूएल प्रश्नों को लिखा और इन्फॉर्मेटिका ईटीएल, पेंटाहो ईटीएल, टेंडेंड जैसे उपकरणों का उपयोग करके डेटा को पछाड़ दिया, लेकिन अब डेटा इंजीनियरों की आवश्यकताएं बढ़ गई हैं।

डेटा इंजीनियर की स्थिति के लिए खुली रिक्तियों वाली अधिकांश कंपनियों की निम्नलिखित आवश्यकताएं हैं:

• SQL और पायथन का उत्कृष्ट ज्ञान।
• विशेष रूप से अमेज़ॅन वेब सेवाओं में क्लाउड प्लेटफार्मों के साथ अनुभव।
• जावा / स्काला का ज्ञान पसंद किया जाता है।
• SQL और NoSQL डेटाबेस (डेटा मॉडलिंग, डेटा स्टोरेज) की अच्छी समझ।

ध्यान रखें, यह केवल सबसे आवश्यक है। इस सूची से, हम मान सकते हैं कि डेटा इंजीनियर सॉफ्टवेयर विकास और बैकएंड के क्षेत्र में विशेषज्ञ हैं।
उदाहरण के लिए, यदि कोई कंपनी विभिन्न स्रोतों से बड़ी मात्रा में डेटा उत्पन्न करना शुरू करती है, तो डेटा इंजीनियर के रूप में आपका कार्य सूचनाओं के संग्रह, उसके प्रसंस्करण और भंडारण को व्यवस्थित करना है।

इस मामले में प्रयुक्त उपकरणों की सूची भिन्न हो सकती है, यह सब इस डेटा की मात्रा, उनकी प्राप्ति की गति और विविधता पर निर्भर करता है। अधिकांश कंपनियां बड़े डेटा का सामना नहीं करती हैं, इसलिए, एक केंद्रीकृत भंडार के रूप में, तथाकथित डेटा भंडार, आप SQL डेटाबेस (PostgreSQL, MySQL, आदि) का उपयोग स्क्रिप्ट के एक छोटे सेट के साथ कर सकते हैं जो रिपॉजिटरी को सीधे डेटा प्रदान करता है।

Google, अमेज़ॅन, फेसबुक या ड्रॉपबॉक्स जैसे आईटी दिग्गजों की अधिक मांग है: अजगर, जावा या स्काला का ज्ञान।

• बड़े डेटा के साथ अनुभव: Hadoop, Spark, Kafka।
• एल्गोरिदम और डेटा संरचनाओं का ज्ञान।
• वितरित प्रणालियों की मूल बातें समझना।
• डेटा विज़ुअलाइज़ेशन टूल जैसे कि झांकी या इलास्टिकसर्च के साथ अनुभव एक बड़ा प्लस होगा।

यही है, बड़े डेटा की ओर एक स्पष्ट बदलाव है, अर्थात् उच्च भार पर उनके प्रसंस्करण में। इन कंपनियों ने सिस्टम फॉल्ट टॉलरेंस रिक्वायरमेंट बढ़ा दी है।

डेटा इंजीनियर बनाम। वैज्ञानिक डेटा


खैर, यह एक सरल और मज़ेदार तुलना थी (व्यक्तिगत कुछ भी नहीं), लेकिन वास्तव में, सब कुछ बहुत अधिक जटिल है।

सबसे पहले, आपको पता होना चाहिए कि एक डेटा वैज्ञानिक और एक डेटा इंजीनियर की भूमिकाओं और कौशल के बीच अंतर में बहुत अधिक अस्पष्टता है। यही है, आप आसानी से हैरान हो सकते हैं कि एक सफल डेटा इंजीनियर के लिए किस तरह के कौशल की आवश्यकता होती है। बेशक, कुछ कौशल हैं जो दोनों भूमिकाओं को ओवरलैप करते हैं। लेकिन कई तरह के विपरीत कौशल भी हैं।

डेटा विज्ञान एक गंभीर मामला है, लेकिन हम एक कार्यात्मक डेटा विज्ञान के साथ एक ऐसी दुनिया की ओर बढ़ रहे हैं जहाँ चिकित्सक अपने स्वयं के विश्लेषण करने में सक्षम हैं। डेटा पाइपलाइन और एकीकृत डेटा संरचनाओं का उपयोग करने के लिए, आपको डेटा इंजीनियरों की आवश्यकता है, न कि वैज्ञानिकों की।

क्या एक डाटा इंजीनियर एक डेटा वैज्ञानिक की तुलना में अधिक मांग है?

- हाँ, क्योंकि इससे पहले कि आप गाजर का केक बना सकते हैं, आपको सबसे पहले गाजर पर इकट्ठा, छील और स्टॉक करना होगा!

एक डेटा इंजीनियर किसी भी डेटा वैज्ञानिक की तुलना में प्रोग्रामिंग के बारे में बेहतर जानता है, लेकिन जब आंकड़ों की बात आती है, तो यह बिल्कुल विपरीत है।

लेकिन यहां एक डेटा इंजीनियर का लाभ है: उसके बिना / उसके, प्रोटोटाइप मॉडल का मूल्य, सबसे अधिक बार पायथन फ़ाइल में भयानक गुणवत्ता के कोड का एक टुकड़ा होता है, जो एक डेटा वैज्ञानिक से प्राप्त होता है और किसी तरह एक परिणाम देता है, शून्य पर जाता है।

डेटा इंजीनियर के बिना, यह कोड कभी भी एक परियोजना नहीं बनेगा, और कोई भी व्यावसायिक समस्या प्रभावी रूप से हल नहीं होगी। एक डेटा इंजीनियर यह सब एक उत्पाद में बदलने की कोशिश कर रहा है।

बुनियादी जानकारी एक डेटा इंजीनियर को पता होना चाहिए



इसलिए, यदि यह कार्य आपके भीतर प्रकाश पैदा करता है और आप उत्साही हैं - तो आप इसे सीख सकते हैं, आप सभी आवश्यक कौशल में महारत हासिल कर सकते हैं और डेटा विकास के क्षेत्र में एक वास्तविक रॉक स्टार बन सकते हैं। और, हाँ, आप प्रोग्रामिंग कौशल या अन्य तकनीकी ज्ञान के बिना भी ऐसा कर सकते हैं। यह मुश्किल है, लेकिन संभव है!

पहले चरण क्या हैं?

आपके पास एक सामान्य विचार होना चाहिए कि क्या है।

सबसे पहले, डाटा इंजीनियरिंग कंप्यूटर विज्ञान को संदर्भित करता है। विशेष रूप से, आपको प्रभावी एल्गोरिदम और डेटा संरचनाओं को समझना होगा। दूसरे, चूंकि डेटा इंजीनियर डेटा के साथ काम करते हैं, डेटाबेस के संचालन के सिद्धांतों और उन्हें अंतर्निहित संरचनाओं की समझ आवश्यक है।

उदाहरण के लिए, नियमित बी-ट्री एसक्यूएल डेटाबेस बी-ट्री डेटा संरचना पर आधारित हैं, साथ ही आधुनिक वितरित रिपॉजिटरी, एलएसएम-ट्री और अन्य हैश टेबल संशोधनों में हैं।

* ये कदम आदिल खष्टमोव के एक अद्भुत लेख पर आधारित हैं। इसलिए, यदि आप रूसी जानते हैं, तो इस लेखक का समर्थन करें और उसकी पोस्ट पढ़ें।

1. एल्गोरिदम और डेटा संरचनाएं

सही डेटा संरचना का उपयोग एल्गोरिदम के प्रदर्शन में काफी सुधार कर सकता है। आदर्श रूप से, हम सभी को अपने स्कूलों में डेटा संरचनाओं और एल्गोरिदम का अध्ययन करना चाहिए, लेकिन यह शायद ही कभी कवर किया गया है। किसी भी मामले में, परिचित होने में कभी देर नहीं होती।
तो, यहाँ डेटा संरचना और एल्गोरिदम सीखने के लिए मेरे पसंदीदा मुफ्त पाठ्यक्रम हैं:

• सरल से जटिल: डेटा संरचनाएं (उडेमी)
• एल्गोरिदम, भाग I (कोर्टेरा)
• एल्गोरिदम, भाग II (कोर्टेरा)
  

इसके अलावा, थॉमस कॉर्मेन के एल्गोरिदम पर क्लासिक काम को मत भूलना - एल्गोरिदम का परिचय । यह सही संदर्भ है जब आपको अपनी स्मृति को ताज़ा करने की आवश्यकता होती है।

• अपने कौशल में सुधार करने के लिए, Leetcode का उपयोग करें ।

आप Youtube पर कार्नेगी मेलन विश्वविद्यालय के अद्भुत वीडियो के साथ डेटाबेस की दुनिया में भी गोता लगा सकते हैं:

• डेटाबेस सिस्टम का परिचय ।
• उन्नत डेटाबेस सिस्टम ।

2. एसक्यूएल सीखना

हमारा पूरा जीवन डेटा है। और डेटाबेस से इस डेटा को निकालने के लिए, आपको उनके साथ एक भाषा में "बोलना" चाहिए।

SQL (संरचित क्वेरी भाषा) एक डेटा संचार भाषा है। कोई फर्क नहीं पड़ता कि कोई क्या कहता है, SQL जीवित है, जीवित है और बहुत लंबे समय तक जीवित रहेगा।

यदि आप लंबे समय से विकास में हैं, तो आपने संभवतः देखा कि SQL की आसन्न मृत्यु के बारे में अफवाहें समय-समय पर दिखाई देती हैं। यह भाषा 70 के दशक की शुरुआत में विकसित हुई थी और अभी भी विश्लेषकों, डेवलपर्स और सिर्फ उत्साही लोगों के बीच बहुत लोकप्रिय है।
SQL के ज्ञान के बिना, डेटा इंजीनियरिंग में करने के लिए कुछ भी नहीं है, क्योंकि आप अनिवार्य रूप से डेटा को पुनः प्राप्त करने के लिए प्रश्न बनाने होंगे। सभी आधुनिक बड़े डेटा स्टोर SQL का समर्थन करते हैं:

• अमेज़न रेडशिफ्ट
• एचपी वर्टिका
• ओरेकल
• SQL सर्वर

... और कई अन्य।

वितरित सिस्टम में संग्रहीत डेटा की एक बड़ी परत का विश्लेषण करने के लिए जैसे कि एचडीएफएस, एसक्यूएल तंत्र का आविष्कार किया गया था: अपाचे हाइव, इम्पाला, आदि। आप देखते हैं, यह कहीं भी जाने वाला नहीं है।

एसक्यूएल कैसे सीखें? बस इसे अभ्यास में करें।

ऐसा करने के लिए, मैं एक उत्कृष्ट ट्यूटोरियल पढ़ने की सलाह दूंगा, जो संयोगवश, मोड एनालिटिक्स से मुक्त है।

1. SQL मध्यम
2. एसक्यूएल में डेटा का संयोजन

इन पाठ्यक्रमों की एक विशिष्ट विशेषता एक इंटरैक्टिव वातावरण की उपस्थिति है जिसमें आप सीधे ब्राउज़र में SQL प्रश्नों को लिख और निष्पादित कर सकते हैं। आधुनिक SQL संसाधन निरर्थक नहीं होगा। और आप इस ज्ञान को डेटाबेस अनुभाग में लेटकोड कार्यों में लागू कर सकते हैं।

3. पायथन और जावा / स्काला में प्रोग्रामिंग

क्यों यह पायथन प्रोग्रामिंग भाषा सीखने के लायक है, मैंने पहले ही लेख में लिखा है पायथन बनाम आर। एआई, एमएल और डेटा साइंस के लिए सबसे अच्छा उपकरण चुनना । जावा और स्काला के लिए, बड़ी मात्रा में डेटा संग्रहीत और प्रसंस्करण के लिए अधिकांश उपकरण इन भाषाओं में लिखे गए हैं। उदाहरण के लिए:

• अपाचे काफ्का (स्काला)
• Hadoop, HDFS (जावा)
• अपाचे स्पार्क (स्काला)
• अपाचे कैसेंड्रा (जावा)
• HBase (जावा)
• अपाचे हाइव (जावा)

यह समझने के लिए कि ये उपकरण कैसे काम करते हैं, आपको उन भाषाओं को जानना होगा जिसमें वे लिखे गए हैं। स्काला का कार्यात्मक दृष्टिकोण आपको समानांतर डेटा प्रोसेसिंग के कार्यों को कुशलतापूर्वक हल करने की अनुमति देता है। अजगर, दुर्भाग्य से, गति और समानांतर प्रसंस्करण का दावा नहीं कर सकता। सामान्य तौर पर, कई भाषाओं और प्रोग्रामिंग प्रतिमानों का ज्ञान समस्याओं को हल करने के लिए दृष्टिकोण की चौड़ाई को अच्छी तरह से प्रभावित करता है।

स्काला भाषा में अपने आप को विसर्जित करने के लिए, आप भाषा के लेखक से स्काला में प्रोग्रामिंग पढ़ सकते हैं। ट्विटर ने एक अच्छा परिचयात्मक मार्गदर्शिका - स्काला स्कूल भी प्रकाशित किया।

पाइथन के लिए, मुझे फ्लुएंट पायथन सबसे अच्छी मिड-रेंज पुस्तक लगती है।

4. बड़े डेटा उपकरण

यहाँ बड़े डेटा दुनिया में सबसे लोकप्रिय उपकरणों की एक सूची है:

• अपाचे चिंगारी
• अपाचे काफ्का
• Apache Hadoop (HDFS, HBase, Hive)
• अपाचे कैसेंड्रा

आप इस अद्भुत इंटरैक्टिव वातावरण में बड़े डेटा ब्लॉक के निर्माण के बारे में अधिक जानकारी प्राप्त कर सकते हैं। सबसे लोकप्रिय उपकरण स्पार्क और काफ्का हैं। वे निश्चित रूप से खोज के लायक हैं, यह समझना उचित है कि वे अंदर से बाहर कैसे काम करते हैं। 2013 में जे क्रेप्स (काफ्का के सह-लेखक) ने स्मारकीय कृति द लॉग को प्रकाशित किया : हर सॉफ्टवेयर डेवलपर को वास्तविक समय डेटा एकत्रीकरण के अमूर्तता के बारे में पता होना चाहिए , वैसे, इस टैल्मड के मुख्य विचारों का उपयोग अपाचे कफका बनाने के लिए किया गया था।

• Hadoop का एक परिचय पूर्ण Hadoop Tutorial (मुक्त) है ।
• मेरे लिए सबसे व्यापक अपाचे स्पार्क गाइड स्पार्क है: संपूर्ण गाइड ।

5. बादल मंच



कम से कम एक क्लाउड प्लेटफ़ॉर्म का ज्ञान डेटा इंजीनियर की स्थिति के लिए आवेदकों की बुनियादी आवश्यकताओं की सूची में है। नियोक्ता अमेज़ॅन वेब सेवाओं को वरीयता देते हैं, इसके बाद Google के क्लाउड प्लेटफॉर्म पर आते हैं, और शीर्ष तीन Microsoft Azure नेताओं को बंद कर देते हैं।

आपको Amazon EC2, AWS Lambda, Amazon S3, DynamoDB में पारंगत होना चाहिए।

6. वितरित प्रणाली

बड़े डेटा के साथ काम करने का तात्पर्य स्वतंत्र रूप से काम करने वाले कंप्यूटरों के समूहों की उपस्थिति से है, जिसके बीच संचार नेटवर्क पर किया जाता है। क्लस्टर जितना बड़ा होगा, उसके सदस्य नोड्स की विफलता की संभावना उतनी ही अधिक होगी। एक शांत डेटा विशेषज्ञ बनने के लिए, आपको वितरित सिस्टम के लिए समस्याओं और मौजूदा समाधानों में तल्लीन करने की आवश्यकता है। यह क्षेत्र पुराना और जटिल है।

एंड्रयू टेनबाम को इस क्षेत्र में अग्रणी माना जाता है। जो लोग सिद्धांत से डरते नहीं हैं, मैं उनकी पुस्तक डिस्ट्रीब्यूटेड सिस्टम्स की सिफारिश करता हूं, शुरुआती लोगों के लिए यह जटिल लग सकता है, लेकिन यह वास्तव में आपको अपने कौशल को सुधारने में मदद करता है।

मुझे मार्टिन क्लेपमैन द्वारा डिजाइनिंग डेटा-इंटेंसिव एप्लिकेशन सबसे अच्छी परिचयात्मक पुस्तक लगती है । वैसे, मार्टिन का एक अद्भुत ब्लॉग है । उनका काम बड़े डेटा के भंडारण और प्रसंस्करण के लिए एक आधुनिक बुनियादी ढांचे के निर्माण के बारे में ज्ञान को व्यवस्थित करने में मदद करेगा।

जो लोग वीडियो देखना पसंद करते हैं, उनके लिए Youtube पर एक डिस्ट्रीब्यूटेड कंप्यूटर सिस्टम्स कोर्स है।

7. डेटा पाइपलाइन



डेटा पाइपलाइन वे हैं जो आप डेटा इंजीनियर के बिना नहीं रह सकते।

ज्यादातर समय, डेटा इंजीनियर तथाकथित पाइपलाइन तारीख का निर्माण करता है, अर्थात यह डेटा को एक स्थान से दूसरे स्थान तक पहुंचाने की प्रक्रिया बनाता है। ये उपयोगकर्ता स्क्रिप्ट हो सकते हैं जो बाहरी सेवा एपीआई पर जाते हैं या एक SQL क्वेरी बनाते हैं, डेटा को पूरक करते हैं और उन्हें एक केंद्रीकृत भंडारण (डेटा वेयरहाउस) या असंरचित डेटा भंडारण (डेटा झील) में डालते हैं।

संक्षेप में: मुख्य डेटा इंजीनियर चेकलिस्ट



संक्षेप में, आपको निम्नलिखित की अच्छी समझ की आवश्यकता है:

• सूचना प्रणाली;
• सॉफ्टवेयर डेवलपमेंट (फुर्तीली, DevOps, डिज़ाइन तकनीक, SOA);
• वितरित सिस्टम और समानांतर प्रोग्रामिंग;
• डेटाबेस के बुनियादी ढांचे - योजना, डिजाइन, संचालन और समस्या निवारण;
• डिजाइनिंग प्रयोग - ए / बी परीक्षण अवधारणाओं को साबित करने के लिए, विश्वसनीयता, सिस्टम प्रदर्शन, और जल्दी से अच्छे समाधान प्रदान करने के लिए विश्वसनीय तरीके विकसित करने के लिए भी।

डेटा इंजीनियर बनने के लिए ये केवल कुछ आवश्यकताएं हैं, इसलिए डेटा सिस्टम, सूचना प्रणाली, निरंतर वितरण / तैनाती / एकीकरण, प्रोग्रामिंग भाषाओं और अन्य विषयों को कंप्यूटर विज्ञान में अध्ययन करें और समझें (सभी विषय क्षेत्रों में नहीं)।

और अंत में, आखिरी लेकिन बहुत महत्वपूर्ण बात जो मैं कहना चाहता हूं।

डेटा इंजीनियरिंग बनने का मार्ग इतना सरल नहीं है जितना कि यह प्रतीत हो सकता है। वह क्षमा नहीं करता, निराश करता है, और आपको इसके लिए तैयार रहना चाहिए। इस यात्रा के कुछ बिंदु आपको पद छोड़ने के लिए प्रेरित कर सकते हैं। लेकिन यह एक वास्तविक कार्य और शैक्षिक प्रक्रिया है।

बस इसे शुरू से अलंकृत न करें। यात्रा का पूरा बिंदु जितना संभव हो उतना सीखना और नई चुनौतियों के लिए तैयार रहना है।

यहाँ एक बढ़िया तस्वीर है जो मुझे पता चली है कि इस बिंदु को अच्छी तरह दिखाता है:



और हाँ, बर्नआउट से बचने और आराम करने के लिए याद रखें। यह भी बहुत महत्वपूर्ण है। सौभाग्य है

आपको आर्टिकल कैसा लगा, दोस्तों हम आपको एक मुफ्त वेबिनार में आमंत्रित करते हैं, जो आज 20.00 बजे आयोजित किया जाएगा। वेबिनार के एक भाग के रूप में, हम चर्चा करेंगे कि एक छोटी कंपनी या स्टार्टअप के लिए कम से कम लागत के साथ एक प्रभावी और स्केलेबल डाटा प्रोसेसिंग सिस्टम कैसे बनाया जाए। अभ्यास के रूप में, हम आपको Google क्लाउड डेटा प्रोसेसिंग टूल से परिचित कराएँगे। जल्द मिलते हैं!