पेशे के लिए लेवलिंग प्लान डाटा इंजीनियर

पिछले आठ वर्षों से, मैं एक प्रोजेक्ट मैनेजर के रूप में काम कर रहा हूं (मैं काम पर कोड नहीं लिख रहा हूं), जो स्वाभाविक रूप से मेरी प्रौद्योगिकी बैकएंड को नकारात्मक रूप से प्रभावित करता है। मैंने अपनी तकनीकी बैकलॉग को कम करने और डेटा इंजीनियर का पेशा हासिल करने का फैसला किया। डेटा इंजीनियर का मुख्य कौशल डेटा वेयरहाउस को डिज़ाइन करने, बनाने और बनाए रखने की क्षमता है।

मैंने एक प्रशिक्षण योजना बनाई, मुझे लगता है कि यह न केवल मेरे लिए उपयोगी होगी। योजना स्व-अध्ययन पाठ्यक्रमों पर केंद्रित है। रूसी में मुफ्त पाठ्यक्रमों को प्राथमिकता दी जाती है।

सेक्शन:

• एल्गोरिदम और डेटा संरचनाएं। कुंजी अनुभाग। यदि आप इसका अध्ययन करते हैं, तो बाकी सब कुछ काम करेगा। कोड लिखने और बुनियादी संरचनाओं और एल्गोरिदम का उपयोग करने में अपना हाथ प्राप्त करना महत्वपूर्ण है।
• डेटाबेस और डेटा वेयरहाउस, बिजनेस इंटेलिजेंस। हम एल्गोरिदम से डेटा भंडारण और प्रसंस्करण के लिए आगे बढ़ते हैं।
• Hadoop और बिग डेटा। जब डेटाबेस को हार्ड ड्राइव में शामिल नहीं किया जाता है, या जब डेटा का विश्लेषण करने की आवश्यकता होती है, लेकिन एक्सेल अब उन्हें लोड नहीं कर सकता है, तो बड़ा डेटा शुरू होता है। मेरी राय में, पिछले दो के गहन अध्ययन के बाद ही इस खंड में परिवर्तन आवश्यक है।

एल्गोरिदम और डेटा संरचनाएं

अपनी योजना में, मैंने गणित और एल्गोरिथम की मूल बातें दोहराते हुए पायथन सीखना शामिल किया।

• पायथन प्रोग्रामिंग
• पायथन: मूल बातें और आवेदन
• रैखिक बीजगणित
• असतत गणित में शैक्षिक कार्यक्रम
• एल्गोरिदम: सिद्धांत और व्यवहार। तरीकों
• एल्गोरिदम: सिद्धांत और व्यवहार। डेटा संरचनाएं

डेटाबेस और वेयरहाउस, बिजनेस इंटेलिजेंस

• पुस्तक: मार्टिन क्लेप्पमैन - अत्यधिक लोड किए गए अनुप्रयोग। प्रोग्रामिंग, स्केलिंग, समर्थन। पुस्तक बताती है कि विभिन्न डेटा मॉडल कैसे काम करते हैं, कार्य के आधार पर अंदर से बाहर, उनके कार्यान्वयन और सीमाएं।
• डेटाबेस का परिचय
• DBMS गोता
• गैर-संबंधपरक डेटाबेस का परिचय

डेटा वेयरहाउस, ईटीएल, ओएलएपी क्यूब्स के निर्माण से संबंधित विषय अत्यधिक साधनों पर निर्भर हैं, इसलिए मैं इस दस्तावेज़ के पाठ्यक्रमों के लिंक नहीं देता। किसी विशेष कंपनी में किसी विशिष्ट परियोजना पर काम करते समय ऐसी प्रणालियों का अध्ययन करना उचित है। ETL के लिए एक परिचय के लिए, आप Talend या Airflow की कोशिश कर सकते हैं।

मेरी राय में, डेटा वेयरहाउस डेटा वॉल्ट लिंक 1 , लिंक 2 को डिजाइन करने के लिए आधुनिक पद्धति का अध्ययन करना महत्वपूर्ण है। और इसे सीखने का सबसे अच्छा तरीका एक सरल उदाहरण के साथ इसे लेना और लागू करना है। GitHub के पास डेटा वॉल्ट लिंक को लागू करने के कई उदाहरण हैं। मॉडर्न डेटा वेयरहाउस बुक: हंस हॉल्टग्रेन द्वारा डेटा वॉल्ट के साथ एजाइल डेटा वेयरहाउस की मॉडलिंग।

अंत उपयोगकर्ताओं के लिए बिजनेस इंटेलिजेंस के उपकरणों के साथ खुद को परिचित करने के लिए, आप रिपोर्ट, डैशबोर्ड, मिनी डेटा वेयरहाउस पावर बीआई डेस्कटॉप के मुफ्त डिजाइनर का उपयोग कर सकते हैं। प्रशिक्षण सामग्री: लिंक 1 , लिंक 2 ।

Hadoop और बड़ा डेटा

• आपको तीसरे पक्ष के पुस्तकालयों के बिना MapReduce के स्वतंत्र कार्यान्वयन के साथ शुरू करने की आवश्यकता है। यह भविष्य में बहु-थ्रेडेड कार्यान्वयन को बेहतर ढंग से समझने में मदद करेगा। एक महान पायथन उदाहरण यहां वर्णित है ।
• Hadoop। बड़ी मात्रा में डेटा प्रसंस्करण के लिए एक प्रणाली।
• बिग डाटा इंजीनियरिंग का परिचय

निष्कर्ष

ऐसा नहीं है कि आप जो कुछ भी पढ़ते हैं वह काम पर लागू होता है। इसलिए, एक स्नातक परियोजना की आवश्यकता है जिसमें आप नए ज्ञान को लागू करने का प्रयास करते हैं।

डेटा विश्लेषण और मशीन लर्निंग से संबंधित कोई विषय नहीं हैं, जैसा कि यह डेटा वैज्ञानिक पेशे पर अधिक लागू होता है। इसके अलावा, AWS, Azure बादलों से संबंधित कोई विषय नहीं हैं। ये विषय अत्यधिक मंच पर निर्भर हैं।

समुदाय के लिए प्रश्न:
मेरी पम्पिंग योजना कितनी पर्याप्त है? क्या निकालें या जोड़ें?
एक थीसिस के रूप में आप किस प्रोजेक्ट की सलाह देते हैं?