Nivellierungsplan für den Beruf Data Engineer

In den letzten acht Jahren habe ich als Projektmanager gearbeitet (ich schreibe keinen Code bei der Arbeit), was sich natürlich negativ auf mein Technologie-Backend auswirkt. Ich beschloss, meinen technologischen Rückstand abzubauen und den Beruf des Dateningenieurs zu erlangen. Die Kernkompetenz eines Data Engineers ist die Fähigkeit, Data Warehouses zu entwerfen, zu erstellen und zu warten.

Ich habe einen Trainingsplan erstellt, ich denke, er wird nicht nur für mich nützlich sein. Der Plan konzentriert sich auf Selbststudienkurse. Kostenlose Russischkurse haben Vorrang.

Abschnitte:

• Algorithmen und Datenstrukturen. Schlüsselabschnitt. Wenn Sie es studieren, wird alles andere klappen. Es ist wichtig, dass Sie Code schreiben und grundlegende Strukturen und Algorithmen verwenden.
• Datenbanken und Data Warehouses, Business Intelligence. Wir wechseln von Algorithmen zur Datenspeicherung und -verarbeitung.
• Hadoop und Big Data. Wenn die Datenbank nicht auf der Festplatte enthalten ist oder wenn die Daten analysiert werden müssen, Excel sie jedoch nicht mehr laden kann, beginnen die Big Data. Meiner Meinung nach ist der Übergang zu diesem Abschnitt erst nach einer gründlichen Untersuchung der beiden vorherigen erforderlich.

Algorithmen und Datenstrukturen

In meinem Plan war das Erlernen von Python enthalten, wobei die Grundlagen der Mathematik und der Algorithmusisierung wiederholt wurden.

• Python-Programmierung
• Python: Grundlagen und Anwendung
• Lineare Algebra
• Bildungsprogramm in diskreter Mathematik
• Algorithmen: Theorie und Praxis. Methoden
• Algorithmen: Theorie und Praxis. Datenstrukturen

Datenbanken und Lager, Business Intelligence

• Buch: Martin Kleppman - Hoch geladene Anwendungen. Programmierung, Skalierung, Unterstützung. Das Buch beschreibt, wie verschiedene Datenmodelle funktionieren, wie sie von innen nach außen implementiert werden, welche Einschränkungen und Auswahlmöglichkeiten je nach Aufgabe bestehen.
• Einführung in Datenbanken
• DBMS Dive
• Einführung in nicht relationale Datenbanken

Themen im Zusammenhang mit dem Erstellen von Data Warehouses, ETLs und OLAP-Cubes hängen stark von Tools ab. Daher verweise ich in diesem Dokument nicht auf Kurse. Es ist ratsam, solche Systeme zu untersuchen, wenn Sie an einem bestimmten Projekt in einem bestimmten Unternehmen arbeiten. Für eine Einführung in ETL können Sie Talend oder Airflow ausprobieren.

Meiner Meinung nach ist es wichtig, die moderne Methodik zum Entwerfen von Data Warehouses zu studieren. Data Vault Link 1 , Link 2 . Und der beste Weg, dies zu lernen, besteht darin, es anhand eines einfachen Beispiels zu nehmen und umzusetzen. GitHub bietet mehrere Beispiele für die Implementierung eines Data Vault- Links . Modernes Data Warehouse-Buch: Modellierung des agilen Data Warehouse mit Data Vault von Hans Hultgren.

Um sich mit den Tools von Business Intelligence für Endbenutzer vertraut zu machen, können Sie den kostenlosen Designer von Berichten, Dashboards und Mini-Data-Warehouses Power BI Desktop verwenden. Schulungsunterlagen: Link 1 , Link 2 .

Hadoop und Big Data

• Sie müssen mit der unabhängigen Implementierung von MapReduce ohne Bibliotheken von Drittanbietern beginnen. Dies wird in Zukunft helfen, Multithread-Implementierungen besser zu verstehen. Ein großartiges Python-Beispiel wird hier beschrieben.
• Hadoop. Ein System zur Verarbeitung großer Datenmengen.
• Einführung in das Big Data Engineering

Fazit

Nicht alles, was Sie studieren, wird bei der Arbeit angewendet. Daher wird ein Abschlussprojekt benötigt, in dem Sie versuchen, neues Wissen anzuwenden.

Es gibt keine Themen im Zusammenhang mit Datenanalyse und maschinellem Lernen Dies gilt mehr für den Beruf des Data Scientist. Es gibt auch keine Themen im Zusammenhang mit AWS, Azure-Clouds. Diese Themen sind stark plattformabhängig.

Fragen an die Community:
Wie ausreichend ist mein Pumpplan? Was muss entfernt oder hinzugefügt werden?
Welches Projekt empfehlen Sie als Abschlussarbeit?