最近，在与一家大公司的HR进行的交谈中，“每位来我们采访的数据工程师都希望成为一名数据科学家。” 坦白讲，这让我感到非常惊讶，并且对工程师的职位感到非常失望。
在这里，我们（不仅是）已经发布了一些有关数据工程师及其业务价值的材料，例如，
采访Nikolai Markov或“
成为数据工程师的四个理由 ”，但这是很久以前的事情了。 时间的流逝，物质的积累，世界的发展，所以有话要说。
也许我们首先应该简短地回顾一下工程师约会的任务是什么（当然，由于每个公司都可以添加自己的东西，因此上述内容可以由其他员工来执行）：
-建立稳定的管道，使公司内所有用户均可访问数据；
-作为ETL或ELT流程的一部分，对数据进行收集，清理和预处理；
-与DBA合作创建数据仓库；
-使用框架和微服务进行数据服务；
-监测数据质量；
-在产品中输出模型。
考虑一下美国，德国的劳动力市场，并与当地的莫斯科数据工程师进行交谈。
美国去年年底 ，Dice研究了Burning Glass的Nova平台的数据，该平台分析了美国劳动力市场中的空缺职位，事实证明，相对于2017年，对数据工程师的需求增长了96.7％，而数据科学家的需求为51。 1％
当然，对工程师日期的需求巨大。 例如，现在，Indeed仅在美国就开设了超过131,000个职位空缺，大多数在西雅图，旧金山和纽约。 薪资增长通常遵循下
图 。 同时，必须注意的是
，美国日期工程师的薪水并不比科学家的薪水低（有观点认为工程师的薪水会减少），但它们取决于城市，例如：在纽约，工程师可以获得132,000美元，并且旧金山和15.1万美元。
为了进行比较-实际上，在同一地点，只有12,000多个数据科学家的职位空缺以相同的薪水发布。 通常，数字可以说明一切：数据工程师已成为最受追捧和“最性感”的职业！
德国在德国，工程师的需求尚未得到满足。 9月，我们为XING进行了公司数据工程计划。 当市场上没有足够的人员并且公司非常需要工程师时，解决方案之一就是开发和培训您的现有员工。 XING的工程总监Martin Shtoev说，近年来，他们逐步培训了十几位开发人员，并任命了约会工程师。 这样做主要是因为需要，而且还因为它们为项目带来了重要的领域知识。
初任工程师与公司的中央DS团队在某些项目上紧密合作，这是非常有机的补充。 随着越来越多的“约会”内部工程师的出现，人们发现了很多困难：中央团队在培训上投入了大量时间，他们不得不准备数名约会工程师几个月才能在不同的团队中工作。 到上一个小组毕业时，下一个小组已经接近了，但是不可能将所有小组团结起来，因为 每个人都从事不同的项目，我不得不进行小组培训。 在项目团队中仅包括新的日期工程师也是不可能的，因为对于许多团队来说，它是第一位日期工程师。
决定改用工程日期的大多数开发人员都是6月或高级，他们都想学习，因此XING只需提供书籍，教程和组织研讨会。 讲习班由员工和外部提供商共同举办，致力于诸如Hadoop，Scala和Kafka之类的核心技术。 随着时间的推移，约会工程师不再是团队的新手，越来越少的中央团队与成年工程师一起从事长期项目。 根据Martin的说法，经过培训的工程师平均要花6个月才能开始独立完成更复杂的任务，然后再过6个月，公司就改变了员工职位。 当然，员工的技能和知识与约会工程师的要求之间的初始差距越小，培训过程就越快。
在这几年的内部员工培训中，邢先生提出了以下几点看法：
-已经使用管道的后端开发人员通常比前端开发人员更快地掌握新知识；
-成功人士较少，日期科学家会再培训日期工程师；
-除非该人具有良好的数学基础和科学方法知识，或者非常渴望独立学习所有这些知识，否则尝试对数据科学家中的开发人员进行培训的尝试也不会成功，因为所需知识的差距太大。
在我看来，这些都是非常重要的发现，可以为任何雇主节省很多钱和时间，因为俄罗斯市场上没有足够的工程师，而且您仍然必须培训员工。 那些想成为数据科学家的数据工程师应该考虑到它不是那样工作的，因为工程师的日期和科学家的日期是两个心态不同的人。
就在最近，阿列克谢·格里戈里耶耶夫（Alexey Grigoriev）在柏林向ODS的#career频道发布了一份达尔文招聘市场报告。 在引言中有关数据工程的部分的引言中，它谈到了已经形成的市场中工程数据的发展，并且证实了缺乏本地数据工程师的事实：“德国越来越多的公司正在从其他国家雇用员工，这些经验丰富的数据工程师带来了工具和技术。” 该机构说，大约有51％的人接受了来自其他国家的求职者面试。 因此，日期工程是一项需求旺盛的职业，通过它您可以进行搬迁。 这正是Newprolab毕业生Nikolai Rekubratsky搬到汉堡担任工程师职位的方式，去年我们与他
进行了面试 。 根据柏林的薪水水平，该机构每年可带来55,700,000欧元的收入，但也许在德国的不同城市，薪水以及其他企业和社会福利有所不同（至少在汉堡，我们被告知了很多好处） ）
俄罗斯嗯，在俄罗斯，工程师仅在2017年才开始写有关该专业的日期（尽管当时工程师已经有了实时日期，并且在会议上您可以听到有关日期工程的好报告），但是到目前为止，每个人都听说过数据科学家，并且给人的印象是，每个人都只是梦想着“ 21世纪最性感的职业”。 Habr对此也无济于事，于是我拒绝在2017年9月建立数据工程中心：“要开始考虑创建新的中心的应用程序，您必须指定指向至少10个已发布在Habr页面上并且可以归因于拟议中枢的材料的链接''。 我相信您已经可以再次申请，条件已满足。
但是毕竟，从每一个铁都只能说到ds，因此我们听到：“参加我们采访的每个数据工程师都想成为数据科学家。”
就在此刻，我们的
Data Engineer 5.0程序即将结束，我决定将此短语放入群聊中，并征询参与者的意见。 因此，展开了哪些讨论并表达了哪些注意事项：
“我们现在正在为我们（工程师的日期）招募一个团队，已经有30人接受了采访，几乎每个人都毫无例外地希望成为科学家……这确实侮辱了我们的方向：
“每个人都想要很多钱，同时将压力降到最低。 这些专家认为，DS-AM的费用要比DE高，尽管事实并非如此。 这里的问题是，DE需要学习如何使用不同的技术来构建有趣的事物，有时在没有合适的方法的情况下削减自己的东西，并且对于DS来说，几乎所有工具都已完成，并且在大多数情况下它们都是相同的，可以解决不同的问题（具有ML和神经网络的各种实现的Python / R +库）。 通常，DS的进入阈值现在比DE更低，并且由于现成工具的可用性，这种类型的工作要容易得多。 我认为这与人们的心理有关：每个人都希望获得认可并在视线范围内，而在大数据堆栈中，DS发挥了所有作用。 DE担任助手...我注意到了两个类比：
1）例如，计算机游戏-没有人希望成为支持者，但每个人都希望成为Kerry / DD /。
2）还是足球-每个人都想成为前锋，很少有人想成为防守者。
经常与DE交流，我听到这样的话：没有人喜欢我的项目，没有像对待装载者一样对待我，把数据带到这里，把它带到这里...一件事情很好，现在有一个重新思考的过程，许多DE团队开始尊重和热爱。 例如，在我这里，这方面的一切都很酷，因为DE每个人都对我很好，我帮助DS，他们帮助了我，所以我们生活在共生中。”
“我看上去DS就像没有DE一样生活）一般来说，大数据不能没有DE来生存，但是至少没有DS才是正常的。 只是不要把我烂的西红柿扔给我。”
但是，还有另一种观点：“ DE绝对不是初始阶段。 但是，不幸的是，每个人都只了解DS，并且已经出版了许多有关此的材料和课程。 这是人们学到的东西。 DE的课程很少。 我们需要根据项目研究所有内容。 不幸的是，世界正朝着集装箱发展。 而且jarn可能经常在多维数据集上使用。 都是因为DS。 他们很容易拿起容器去。 这是我的事实，即一切都会促进整合和推广到销售的过程，从而导致DE区的减少。 ＃死亡»
“我看到的是：战略定位存在逻辑上的竞争。 先进的dss在工程上刮胡子并不比de差，并且可以/希望假装在PROM中推出以减少t2m（上市时间），但是他们自己可以通过自动贩卖机攻击机器区域并进入ds区域。 如果您从2中选择，那么第二个离我更近。 我认为，总的来说，那些尝试超越其功能框架的人会取胜，因为对功能等级的渴望完美地体现了过程方法的特征，但从长远来看，无缝地取胜。”
该计划的一位发言人也参加了讨论：“相反，作为DS，我经常被工程任务所吸引。 对我而言，改用DE是成绩的显着下降。 曾经有一段时间，我试图去亚马逊的DE，我什至飞到卢森堡接受了6个小时的采访，但被拒绝，并写着“你不是DE，你是DS”。
但我会拒绝您提请您注意此措辞，它再次证实了这些人是不同的人。 因此，如果您的强项是系统的方法，工程的思维方式，理解新技术的能力，理解文档的能力，编写良好的代码，设计稳定的解决方案的能力，然后进一步发展并成为合格的日期工程师，在俄罗斯寻找团队和公司，或者在国外，您可以最大程度地发挥约会工程师的潜力，而不会尝试成为别人。
如果你们当中有约会工程师有什么要写和谈论的东西，那就让我们成为朋友，移动约会工程吧：)