خلال السنوات الثماني الماضية ، كنت أعمل كمدير للمشروع (لا أكتب رمزًا في العمل) ، مما يؤثر سلبًا بشكل طبيعي على الخلفية التكنولوجية. قررت تقليص تراكم التكنولوجي والحصول على مهنة مهندس البيانات. المهارة الأساسية لمهندس البيانات هي القدرة على تصميم وبناء وصيانة مستودعات البيانات.
لقد وضعت خطة تدريب ، وأعتقد أنها ستكون مفيدة ليس فقط بالنسبة لي. وتركز الخطة على دورات الدراسة الذاتية. تعطى الأولوية لدورات مجانية باللغة الروسية.
أقسام:
- الخوارزميات وهياكل البيانات. القسم الرئيسي. إذا قمت بدراسته ، فسيعمل كل شيء آخر. من المهم أن تحصل على يدك في كتابة التعليمات البرمجية واستخدام الهياكل الأساسية والخوارزميات.
- قواعد البيانات ومستودعات البيانات ، ذكاء الأعمال. ننتقل من الخوارزميات إلى تخزين البيانات ومعالجتها.
- Hadoop والبيانات الكبيرة. عندما لا يتم تضمين قاعدة البيانات في القرص الصلب ، أو عندما تحتاج البيانات إلى تحليل ، ولكن لم يعد بإمكان Excel تحميلها ، تبدأ البيانات الكبيرة. في رأيي ، لا يعد الانتقال إلى هذا القسم ضروريًا إلا بعد إجراء دراسة مستفيضة للقسمين السابقين.
الخوارزميات وهياكل البيانات
في خطتي ، قمت بتضمين تعلم بيثون ، وتكرار أساسيات الرياضيات والخوارزمية.
قواعد البيانات والمستودعات ، ذكاء الأعمال
تعتمد الموضوعات المتعلقة ببناء مستودعات البيانات ، ETLs ، ومكعبات OLAP اعتمادًا كبيرًا على الأدوات ، لذلك لا أقدم روابط إلى الدورات التدريبية في هذا المستند. من المستحسن دراسة هذه الأنظمة عند العمل في مشروع معين في شركة معينة. للحصول على مقدمة حول ETL ، يمكنك تجربة
Talend أو
Airflow .
في رأيي ، من المهم دراسة المنهجية الحديثة لتصميم مستودعات البيانات Data Vault
link 1 ،
link 2 . وأفضل طريقة لتعلم ذلك هي أخذها وتنفيذها بمثال بسيط. لدى GitHub عدة أمثلة لتطبيق
رابط Data Vault. كتاب مستودع البيانات الحديث: نمذجة مستودع بيانات رشيق مع قبو البيانات من قبل هانز Hultgren.
للتعرف على أدوات Business Intelligence للمستخدمين النهائيين ، يمكنك استخدام المصمم المجاني للتقارير ولوحات المعلومات ومستودعات البيانات الصغيرة Power BI Desktop. مواد التدريب:
الرابط 1 ،
الرابط 2 .
Hadoop والبيانات الكبيرة
استنتاج
ليس كل ما تدرسه يطبق في العمل. لذلك ، هناك حاجة إلى مشروع التخرج الذي تحاول تطبيق المعرفة الجديدة.
لا توجد مواضيع متعلقة بتحليل البيانات والتعلم الآلي ، كما هذا ينطبق أكثر على مهنة عالم البيانات. أيضا ، لا توجد مواضيع متعلقة بـ AWS ، Azure clouds. هذه المواضيع تعتمد بشكل أساسي على النظام الأساسي.
أسئلة للمجتمع:
ما مدى كفاية خطتي للضخ؟ ما لإزالة أو إضافة؟
ما المشروع الذي توصي به كرسالة؟