Engenheiro de dados - a profissão mais sexy do século XXI

Recentemente, em uma conversa com os RHs de uma grande empresa, "todo engenheiro de dados que vem até nós para uma entrevista quer se tornar um cientista de dados". Isso me surpreendeu bastante e fiquei muito decepcionado com a data do engenheiro, para ser sincero.

Aqui nós (e não apenas) já publicamos vários materiais sobre engenheiros de dados e seu valor para os negócios - por exemplo, uma entrevista com Nikolai Markov ou “ 4 razões para se tornar um engenheiro de dados ”, mas isso foi há muito tempo. O tempo passa, o material se acumula, o mundo se desenvolve, então há algo a dizer.

Talvez devêssemos primeiro recordar brevemente qual é a tarefa da data do engenheiro (mais ou menos, é claro, já que cada empresa pode adicionar algo próprio, algo do acima pode ser realizado por outros funcionários):

- construção de gasodutos estáveis ​​que tornam os dados acessíveis a todos os usuários da empresa;
- coleta, limpeza e pré-processamento de dados como parte de um processo ETL ou ELT;
- Trabalhar com o DBA para criar data warehouses;
- o uso de estruturas e microsserviços para o serviço de dados;
- monitoramento da qualidade dos dados;
- modelos de saída no prod.

Considere os mercados de trabalho dos EUA, Alemanha e converse com engenheiros de dados locais, em Moscou.

EUA

No final do ano passado , a Dice estudou os dados da plataforma Nova da Burning Glass, que analisa posições abertas no mercado de trabalho dos EUA, e, em relação a 2017, a demanda por engenheiros de dados aumentou 96,7%, enquanto o cientista de dados - 51. 1%



A demanda pela data dos engenheiros, é claro, é enorme. Agora, por exemplo, a Indeed abriu mais de 131.000 vagas apenas nos Estados Unidos, principalmente em Seattle, São Francisco e Nova York. O aumento do salário geralmente segue o diagrama abaixo . Ao mesmo tempo, é importante observar que os salários dos engenheiros de data nos EUA não são inferiores aos salários dos cientistas (existe uma opinião de que os engenheiros recebem menos), mas dependem, por exemplo, da cidade: em Nova York, os engenheiros podem receber 132 mil dólares e São Francisco e 151 mil dólares.



E para comparação - no mesmo local no Indeed, apenas mais de 12.000 vagas de cientistas de dados foram publicadas com o mesmo salário. Em geral, os números falam por si: o engenheiro de dados se tornou a profissão mais procurada e "mais sexy"!

Alemanha

A demanda não atendida pela data dos engenheiros está na Alemanha. Em setembro, realizamos um programa corporativo de engenharia de dados para o XING. Quando não há pessoal suficiente no mercado e a empresa precisa muito de engenheiros, uma das soluções é desenvolver e treinar seus funcionários atuais. Martin Shtoev, diretor de engenharia da XING, disse que nos últimos anos eles gradualmente treinaram mais de uma dúzia de desenvolvedores e fizeram seus engenheiros de data. Isso foi feito principalmente por causa da necessidade, mas também porque eles trazem conhecimento de domínio importante para os projetos.

Os engenheiros da primeira data trabalharam em estreita colaboração com a equipe central do DS na empresa em alguns projetos e isso foi uma adição muito orgânica. Com o advento de um número crescente de engenheiros "crescidos" dentro da data, foram descobertas dificuldades: a equipe central investiu muito tempo em treinamento, tendo que preparar vários engenheiros de data por meses para trabalhar em equipes diferentes. E quando o grupo anterior se formou, o próximo já estava se aproximando, mas não foi possível unir todos, porque todo mundo trabalhou em projetos diferentes, eu tive que treinar em pequenos grupos. Também era impossível simplesmente incluir os novos engenheiros de data nas equipes de projeto, porque para muitas equipes era o primeiro engenheiro de data.

A maioria dos desenvolvedores que decidiram mudar para a data de engenharia era junho ou mais velha, e todos queriam estudar, portanto o XING só precisava fornecer livros, tutoriais e organizar workshops. As oficinas foram conduzidas por funcionários e fornecedores externos e foram dedicadas a tecnologias essenciais como: Hadoop, Scala e Kafka. Com o tempo, os engenheiros de data não eram mais novos para as equipes, e cada vez menos a equipe central trabalhava com engenheiros adultos em projetos de longo prazo. De acordo com Martin, em média, são necessários seis meses para que um engenheiro treinado comece a trabalhar independentemente em tarefas mais complexas e, depois de mais seis meses, a empresa muda sua posição de funcionário. Obviamente, quanto menor a lacuna inicial entre as habilidades e os conhecimentos do funcionário e os requisitos para um engenheiro de data, mais rápido o processo de treinamento.

Durante esses vários anos de treinamento de funcionários internos, a XING fez várias observações:
- desenvolvedores de back-end que já trabalharam com pipelines geralmente adquirem novos conhecimentos mais rapidamente do que, por exemplo, desenvolvedores de front-end;
- com menos sucesso, data Os cientistas treinam até hoje os engenheiros;
- As tentativas de treinar os desenvolvedores em cientistas de dados também não tiveram êxito, a menos que a pessoa tivesse uma boa base matemática e conhecimento de métodos científicos ou um desejo muito grande de aprender tudo isso independentemente, porque a lacuna no conhecimento necessário é muito grande.

Parece-me que essas são observações muito importantes que podem economizar muito dinheiro e tempo para qualquer empregador, porque não há engenheiros suficientes no mercado russo e você ainda precisa treinar seus funcionários. E os engenheiros de dados que desejam se tornar cientistas de dados devem considerar que não funciona assim, porque a data do engenheiro e a data do cientista são duas pessoas com mentalidades diferentes.

Recentemente, Alexey Grigoriev lançou um relatório de mercado da Darwin Recruitment em Berlim para o canal #career da ODS. E aqui na citação que abre a seção sobre engenharia de dados, ele fala do desenvolvimento de dados de engenharia em um mercado já formado, e o fato de uma falta de engenheiros de dados locais é confirmado: “mais e mais empresas na Alemanha estão contratando funcionários de outros países e esses experientes engenheiros de dados trazem excelentes ferramentas e tecnologias ". A agência afirma que cerca de 51% - é quantos candidatos de outros países são entrevistados com seus clientes. Portanto, a engenharia de data é uma boa profissão em demanda, com a qual você pode obter a realocação. Foi exatamente assim que Nikolai Rekubratsky, graduado na Newprolab, se mudou para Hamburgo para o cargo de engenheiro, com quem fizemos uma entrevista no ano passado. De acordo com o nível de salários em Berlim, a agência traz um garfo de 55 a 70 mil euros por ano, mas talvez em diferentes cidades da Alemanha exista uma diferença de salário e de benefícios sociais e corporativos adicionais (pelo menos em Hamburgo nos disseram muitas coisas boas sobre isso )

Rússia

Bem, na Rússia, o engenheiro começou a escrever a data sobre a profissão apenas no ano de 2017 (embora na época os engenheiros já tivessem datas em andamento e em conferências você pudesse ouvir bons relatórios sobre a engenharia de datas), mas até agora todos já ouviram o cientista de dados, e fica a impressão de que todo mundo só sonha com "a profissão mais sexy do século XXI". O Habr também não ajuda, o que me recusou a criar um hub de engenharia de dados em setembro de 2017: “Para iniciar a consideração de um aplicativo para a criação de um novo hub, você deve especificar links para pelo menos 10 materiais que já foram publicados nas páginas do Habr e que podem ser atribuídos ao hub proposto”. Eu acredito que você já pode se inscrever novamente, a condição foi cumprida.

Afinal, de todos os ds de ferro apenas é dito, portanto ouvimos: "Todo engenheiro de dados que chega à nossa entrevista quer se tornar um cientista de dados".



No momento em que foi dito, nosso programa Data Engineer 5.0 estava chegando ao fim e decidi colocar essa frase em um bate-papo em grupo e obter a opinião de nossos participantes. E assim, que discussão se desenrolou e que considerações foram expressas:

"Agora estamos recrutando uma equipe para nós [data dos engenheiros], 30 pessoas já entrevistaram e quase todos, sem exceção, querem ser cientistas ... Isso realmente se torna um insulto à nossa direção :("

“Todo mundo quer muito dinheiro e, ao mesmo tempo, minimiza a tensão. E esses especialistas acreditam que os DS-AMs pagam mais do que DE, embora não seja assim. O problema aqui é que o DE precisa aprender a criar coisas bacanas usando diferentes tecnologias, às vezes para cortar o próprio caso não haja nada adequado; para o DS, quase todas as ferramentas foram feitas e, na maioria das vezes, são iguais para resolver problemas diferentes. (Bibliotecas Python / R + com várias implementações de ML e redes neurais). Em geral, o limite de entrada agora é mais baixo para o DS do que para o DE, e esse tipo de trabalho é muito mais fácil devido à disponibilidade de ferramentas prontas. Eu acho que isso é uma questão de psicologia das pessoas: todo mundo quer que o reconhecimento esteja à vista e, na pilha de Big Data, o DS faz toda a mágica. DE atuam como assistentes ... Aqui estão algumas analogias que eu notei:
1) Por exemplo, jogos de computador - ninguém quer ser um suporte, mas todo mundo quer ser Kerry / DD /.
2) Ou futebol - todo mundo quer ser atacante e poucos querem ser zagueiros.
Ao me comunicar com o DE com frequência, ouvi coisas assim: ninguém me aprecia no projeto, me trata como um carregador, pega os dados aqui, os traz aqui ... Uma coisa é boa, agora o processo de repensar está em andamento e muitas equipes de DE estão começando a respeitar e amar. Por exemplo, aqui em minha casa tudo é legal a esse respeito, pois todos os DE me tratam bem, eu ajudo o DS, eles me ajudam, e por isso vivemos em simbiose. ”

"Eu pareceria que o DS vivia sem DE) Em geral, o Big Data não pode viver sem DE, mas sem o DS, pelo menos, é normal. Só não me jogue tomates podres. "

Mas havia uma opinião alternativa: “DE definitivamente não é um estágio inicial. Infelizmente, porém, todos conhecem apenas o DS e muitos materiais e cursos foram publicados sobre isso. É isso que as pessoas aprendem. E existem poucos cursos para DE. Precisamos estudar tudo e tudo, dependendo dos projetos. Infelizmente, o mundo está se movendo em direção a contêineres. E é provável que o jarn seja frequentemente usado no cubador. E tudo por causa do DS. É fácil para eles pegar o contêiner e partir. Sou eu o fato de que tudo vai facilitar o processo de integração e distribuição às vendas, o que leva a uma diminuição na zona DE. # morrendo »

“O que vejo: há uma corrida lógica para o posicionamento estratégico. Os dss avançados fazem a barba na engenharia não pior do que de e podem / querem fingir implantar na PROM para reduzir t2m [tempo de colocação no mercado], mas eles mesmos podem atacar a zona da máquina através do automático e entrar na zona ds. Se você escolher entre 2, é claro, o segundo está mais perto de mim. Eu acho que, no geral, aqueles que tentarem ir além de sua estrutura funcional vencerão, porque o desejo de gradação funcional caracteriza perfeitamente a abordagem do processo, mas a longo prazo, o que vencer sem problemas. ”

Um dos palestrantes do programa também entrou na discussão: "Pelo contrário, como DS, sou frequentemente atraído por tarefas de engenharia. Para mim, mudar para DE é uma diminuição significativa na nota. Houve um período em que tentei chegar ao DE na Amazon, até voei para o Luxemburgo para uma entrevista de 6 horas, mas foi recusada com a frase “você não é DE, você é DS” ”.

Mas eu chamaria sua atenção para este texto com recusa, mais uma vez confirma que são pessoas diferentes. Portanto, se um dos seus pontos fortes é uma abordagem sistemática, uma mentalidade de engenharia, a capacidade de entender novas tecnologias, a capacidade de entender a documentação, escrever um bom código, criar soluções estáveis, desenvolver ainda mais e tornar-se um engenheiro de data competente, procurar uma equipe e empresa na Rússia ou no exterior, onde você pode maximizar seu potencial como engenheiro de encontros e não tentará se tornar outra pessoa.

E se houver entre vocês engenheiros de data que têm algo para escrever e conversar, vamos ser amigos e mudar a data de engenharia :)