Depuis huit ans, je travaille en tant que chef de projet (je n’écris pas de code au travail), ce qui affecte naturellement mon backend technologique. J'ai décidé de réduire mon backlog technologique et d'accéder au métier d'Ingénieur Data. La compétence de base d'un ingénieur de données est la capacité de concevoir, construire et maintenir des entrepôts de données.
J'ai fait un plan de formation, je pense qu'il sera utile non seulement pour moi. Le plan est axé sur des cours d'autoformation. La priorité est donnée aux cours gratuits de russe.
Sections:
- Algorithmes et structures de données. Section clé. Si vous l'étudiez, tout le reste fonctionnera. Il est important de mettre la main sur l'écriture de code et l'utilisation de structures et d'algorithmes de base.
- Bases de données et entrepôts de données, Business Intelligence. Nous passons des algorithmes au stockage et au traitement des données.
- Hadoop et Big Data. Lorsque la base de données n'est pas incluse dans le disque dur, ou lorsque les données doivent être analysées, mais qu'Excel ne peut plus les charger, le Big Data commence. À mon avis, la transition vers cette section n'est nécessaire qu'après une étude approfondie des deux précédentes.
Algorithmes et structures de données
Dans mon plan, j'ai inclus l'apprentissage de Python, en répétant les bases des mathématiques et de l'algorithmisation.
Bases de données et entrepôts, Business Intelligence
Les sujets liés à la construction d’entrepôts de données, d’ETL et de cubes OLAP dépendent fortement des outils. Je ne donne donc pas de liens vers des cours dans ce document. Il est conseillé d'étudier de tels systèmes lorsque vous travaillez sur un projet spécifique dans une entreprise particulière. Pour une introduction à ETL, vous pouvez essayer
Talend ou
Airflow .
À mon avis, il est important d'étudier la méthodologie moderne de conception des entrepôts de données Data Vault
link 1 ,
link 2 . Et la meilleure façon de l'apprendre est de le prendre et de le mettre en œuvre avec un exemple simple. GitHub propose plusieurs exemples d'implémentation de la
liaison Data Vault. Modern Data Warehouse Book: Modélisation de l'entrepôt de données agile avec Data Vault par Hans Hultgren.
Pour vous familiariser avec les outils de Business Intelligence pour les utilisateurs finaux, vous pouvez utiliser le concepteur gratuit de rapports, tableaux de bord, mini entrepôts de données Power BI Desktop. Matériel de formation:
lien 1 ,
lien 2 .
Hadoop et Big Data
Conclusion
Tout ce que vous étudiez ne s'avère pas être appliqué au travail. Par conséquent, un projet de fin d'études est nécessaire dans lequel vous essayez d'appliquer de nouvelles connaissances.
Il n'y a pas de sujets liés à l'analyse des données et à l'apprentissage automatique, comme cela s'applique davantage à la profession de Data Scientist. En outre, il n'y a aucun sujet lié à AWS, aux nuages ​​Azure. ces sujets dépendent fortement de la plateforme.
Questions à la communauté:
Dans quelle mesure mon plan de pompage est-il adéquat? Que supprimer ou ajouter?
Quel projet recommandez-vous comme thèse?