专业数据工程师的调配计划

在过去的八年中,我一直在担任项目经理(我不在工作中编写代码),这自然会对我的技术后端产生负面影响。 我决定减少技术积压,并聘请数据工程师。 数据工程师的核心技能是设计,构建和维护数据仓库的能力。

我制定了培训计划,我认为这不仅对我有用。 该计划侧重于自学课程。 优先提供俄语免费课程。

栏目:

  • 算法和数据结构。 关键部分。 如果您学习它,其他所有内容都将奏效。 编写代码以及使用基本结构和算法非常重要。
  • 数据库和数据仓库,商业智能。 我们从算法转向数据存储和处理。
  • Hadoop和大数据。 当数据库未包含在硬盘驱动器中或需要分析数据但Excel无法再加载它们时,大数据就会开始。 我认为,只有在仔细研究了前两个部分之后,才有必要过渡到本部分。

算法和数据结构


在我的计划中,我包括学习Python,重复数学和算法的基础知识。


数据库和仓库,商业智能



与构建数据仓库,ETL,OLAP多维数据集相关的主题高度依赖于工具,因此在此文档中没有链接到课程。 建议在特定公司的特定项目中研究此类系统。 有关ETL的介绍,可以尝试TalendAirflow

我认为,研究设计数据仓库的现代方法非常重要,数据仓库链接1链接2 。 学习它的最好方法是通过一个简单的示例来学习和实现它。 GitHub有几个实现Data Vault 链接的示例。 现代数据仓库书:Hans Hultgren用Data Vault建模敏捷数据仓库。

要熟悉面向最终用户的商业智能工具,您可以使用免费的Power BI桌面报表设计器,仪表板和微型数据仓库。 培训材料: 链接1链接2

Hadoop和大数据



结论


并非您学习的所有内容都能在工作中得到应用。 因此,您需要尝试应用新知识的毕业项目。

没有与数据分析和机器学习相关的主题,因为 这更适用于数据科学家行业。 此外,也没有与AWS,Azure云相关的主题。 这些主题高度依赖平台。

给社区的问题:
我的抽水计划足够吗? 要删除或添加什么?
您推荐什么项目作为论文?

Source: https://habr.com/ru/post/zh-CN472622/


All Articles