Habr, olá! Outra entrevista com nosso graduado é Nikolai Rekubratsky, líder de equipe da XING. Nikolay falou sobre a vida na Alemanha, sobre o recurso em que encontrou trabalho, como os especialistas europeus diferem do russo em sua abordagem ao trabalho, sobre a demanda pela profissão de engenheiro de dados na Europa, sobre projetos no XING etc.
- Kolya, qual é a sua formação e como foi sua carreira como engenheiro de dados e líder de equipe?- Tornei-me um Timlid cerca de um ano atrás, mas ainda assim tento não perder a oportunidade de programar um pouco quando minhas mãos chegam. Antes disso, eu era desenvolvedor há muito tempo e agora é chamado de
engenheiro de data .
Em meu último escritório, participei de publicidade em vídeo, construí um sistema analítico para nossos clientes. Foi uma startup que cresceu gradualmente até explodir. Os volumes de negócios aumentaram e, com eles - a quantidade de dados processados e, em algum momento, as ferramentas que eu usei e as arquiteturas que usamos pararam de funcionar. Como resultado, trouxe novas ferramentas, novas arquiteturas e, em seguida, a arquitetura lambda estava muito na moda.
Depois, houve um projeto para compilar perfis para centenas de milhões de usuários, também bastante interessante. E em todos esses projetos, gostei do desafio: existem alguns requisitos para a resposta, para a consistência dos dados, para outra coisa. Para atender a essas expectativas e requisitos, é necessário repensar muito a arquitetura atual. Foi um desafio e liberdade de ação ao mesmo tempo, e foi exatamente isso que me atraiu.
- E como foi sua carreira?- Eu não trabalhei em um número tão grande de empresas durante meus 11 anos de trabalho, XING é o quarto. Comecei como desenvolvedor web, escrevi muito em Ruby na estrutura Ruby on Rails. Ele trabalhou em Moscou em um escritório que fez muitas coisas interessantes relacionadas a transmissões de vídeo: transmissões ao vivo e vídeo interativo. Além disso, este escritório estava envolvido na construção de vários sistemas de vídeo, organizou a transmissão das Olimpíadas em Sochi e depois fechou. Todas as empresas em que trabalhei morreram. Espero que isso não tenha nada a ver comigo (risos - comentário do autor).
- A XING conhece o destino de suas empresas anteriores?"XING está indo bem." Voltando ao Undev, gostei novamente da liberdade de usar todas as tecnologias que considerava necessárias. Consegui usar diferentes "chapéus": eu era desenvolvedor de back-end e front-end, estava envolvido na administração de servidores, escrevi em vários idiomas diferentes. Foi uma experiência muito interessante.
Depois de cinco anos, mudei-me para São Petersburgo, mudei para outra empresa que, de fato, estava envolvida em publicidade em vídeo. Eu vim para lá como desenvolvedor Ruby, mas tarefas cada vez mais interessantes apareceram e exigiam outras abordagens e outras ferramentas. Naquela época, eu tinha muito tempo para ler artigos, blogs, livros, que eram dedicados às coisas com as quais trabalhei e que resolveram alguns pontos problemáticos deste trabalho.
Adquiri novas habilidades e, depois de atualizar meu currículo no LinkedIn, comecei a receber mensagens de recrutadores. Eles ofereceram vagas nas quais o termo "engenheiro de data" apareceu. Então percebi que a área em que trabalhei tinha esse nome, tem suas próprias especificidades e agora essas pessoas são chamadas de "engenheiros de data".
Então percebi que agora sou engenheiro de encontros, você pode se posicionar no mercado de uma maneira um pouco diferente. Comecei a assistir vagas e acabei no XING. O XING é uma rede profissional e social alemã líder no mundo de língua alemã, mas não está representada em outros idiomas.
- Com um histórico de desenvolvedores tão forte, por que e em que momento você foi ao programa Big Data Specialist ?- Aconteceu quando eu trabalhei na Virool, ela estava envolvida em publicidade em vídeo. Naquele momento, eu já havia construído um sistema analítico que usava o Spark. Estava no meio do caminho para a construção de uma plataforma de gerenciamento de dados. E eu tinha perguntas, era difícil entender como construir arquitetura em certos casos para processar dados com eficiência. Havia muitas dessas perguntas e, em algum momento, um dos meus colegas lançou um link para esse programa no chat. Eu disse que estava interessado, o escritório me apoiou, pagou pela participação. No programa, as aulas sobre DMP foram muito importantes para mim, encontrei respostas para muitas perguntas que me atormentavam. No programa, fizemos muitas coisas com as mãos, lemos a teoria para nós, mas, mesmo assim, você obtém o maior benefício quando começa a aplicar o conhecimento em suas tarefas. E tive muita sorte: não havia pessoas no trabalho envolvidas em aprendizado de máquina e pude colocar meus novos conhecimentos em prática na tarefa de prever cliques em banners. Foi um projeto muito interessante, durou muito tempo e eu trabalhei nele o resto do tempo: era necessário desenvolver modelos, de alguma forma aprimorá-los, depois trazê-los para produção com minhas próprias mãos. Como a empresa tinha um ambiente de inicialização, não havia muitos funcionários e não havia fim para o trabalho, eu fiz tudo isso.
- Você disse que muitas empresas diferentes estavam batendo em você, russa e estrangeira. Por que XING? Por que mudar para a Alemanha? Você já considerou outros países?- Eu vou começar do fim. Eu considerei, é claro, outros países. A última empresa teve a oportunidade de trabalhar em San Francisco. Minha esposa e eu moramos lá por vários meses, parecia. No final, eles decidiram que San Francisco não é muito adequado para a vida familiar. Talvez seja muito bom para os jovens e corajosos, mas parecia-nos que esta cidade não é muito adequada para nós. Mas eu não queria trabalhar em algum lugar da Rússia para ter uma experiência diferente. Era meu objetivo - trabalhar em uma empresa internacional, ver como as coisas são feitas de maneira diferente. E eu queria que não fosse muito longe da Rússia.
Começamos a olhar para a Europa, a Inglaterra e a Alemanha, duas locomotivas econômicas. O resto dos países não é tão conhecido por suas empresas de TI. Na Inglaterra, fiquei um pouco confuso com os estereótipos sobre o mau tempo no nível subconsciente, então olhei mais para a Alemanha. E há alguma ironia no fato de eu agora morar em Hamburgo, e este é o mesmo Petersburgo na Alemanha em termos de clima, é bastante chuvoso aqui. Mas desde que eu morava em São Petersburgo nos últimos 4 anos, depois que o tempo parecia bom, onde quer que você se mudasse.
Eu olhei para diferentes empresas na Alemanha. No começo, pensei que, com meu conhecimento em publicidade, seria mais fácil aplicá-los em uma empresa de publicidade. Mas não havia empresas onde a partida com a equipe e as tarefas que eles tinham acabariam. Não via escritórios interessantes para mim ou não estava satisfeito com as pessoas e suas atitudes.
- Como você procurou trabalho? Você postou um currículo além de atualizar seu perfil no LinkedIn?- Existe um serviço HoneyPot como serviço de namoro para desenvolvedores. Você coloca um currículo, indica seus requisitos e expectativas e as empresas começam a escrever para você. Conversei com várias empresas lá, mas havia um sentimento de que a empresa estava prestes a escrever, o que é ainda melhor. Parece que este, no qual você já passou por várias etapas, não é nada, mas talvez ainda haja algo melhor.
E em algum momento eles escreveram para mim do XING, e não para a posição da data do engenheiro, mas para a posição do desenvolvedor do Ruby. Eu também pensei que não era interessante para mim, então li sobre a empresa, foi co-organizadora de competições em sistemas de recomendação por dois anos seguidos e pensei: "Bem, tudo bem, pode ser interessante conversar com eles". Na primeira entrevista, falei sobre minha formação, sobre o que sei e posso fazer, e eles disseram: "vemos que você tem expectativas diferentes e um perfil diferente, temos uma vaga, data do engenheiro, vamos mudar para isso". Então eu continuei a me comunicar com eles, por vários meses esse truque durou desde a entrevista, houve muitos estágios. O que mais me chamou atenção foi a última etapa - uma reunião com a equipe.
- Como foi a sua reunião com a futura equipe?- Geralmente você vai a um restaurante para almoçar e conversa por uma hora, come, e em um ambiente tão descontraído, você pode entender que tipo de pessoas deseja trabalhar com eles. E para mim este foi o momento em que decidi o que quero, é interessante para mim. Nós nos reunimos com minha esposa e filho e nos mudamos. A empresa fornece moradia por um tempo até você encontrar a sua, mas não é só para você, o apartamento tinha cinco quartos e quase todos estavam ocupados. E a vida com uma criança que gosta de acordar às cinco da manhã foi um teste para nossos vizinhos. Mas, provavelmente, isso os motivou a encontrar rapidamente seu lar. Então também encontramos nosso refúgio.
- Conte-nos sobre os projetos que você está realizando com a equipe agora.- Temos várias áreas, todas elas conectadas aos usuários, porque temos uma equipe cujo foco é especificamente os dados do usuário - recomendações e produção de conteúdo. Há outro departamento que lida com vagas, notícias e nos concentramos nos dados do usuário. Mas, ao mesmo tempo, Xing é um escritório bastante grande e existem cerca de 60 equipes que fazem coisas diferentes, ou seja, equipes de produtos, que viram partes diferentes do site.
Existem dois projetos interessantes na seção de recomendações. Agora estamos explorando a força das conexões entre usuários com base em vários sinais. Agora, existem apenas informações sobre a presença de comunicação entre os usuários, mas não temos uma compreensão de quão forte ela é. Existem algumas hipóteses nas quais o aluno está envolvido: ela escreve sua tese de mestrado sobre a força das conexões entre usuários com base na topologia da rede.
Há outro projeto, também associado a recomendações, que estamos tentando entender por que o usuário visitou nosso site agora, qual é o seu objetivo no momento. Ou seja, essa ênfase está precisamente nos dados em tempo real, ou seja, para analisar os históricos das sessões desse usuário em tempo real e entender para onde ele está indo, o que ele precisa, por que ele deseja adicionar essa pessoa ou aquela e, com base nisso, alterar nosso algoritmo para fornecer ele a melhor recomendação.
Também posso dizer sobre geração de conteúdo. Duas novas histórias surgiram recentemente: o aniversário do trabalho do usuário na empresa e quando um novo colega desconhecido aparece na empresa, o usuário. Aqui, o interesse é que o usuário indique a empresa de forma livre e ele possa especificar qualquer coisa, e às vezes é difícil comparar nomes diferentes e entender que essa é a mesma empresa - um erro de digitação ou uma divisão é chamada de maneira um pouco diferente , e queremos entender que essa é a mesma entidade. Se tomarmos uma empresa de 10 mil funcionários, por exemplo, não queremos mostrar a aparência de uma nova pessoa a todos, mas queremos fazer uma recomendação mais pessoal com base em interesses e outras coisas.
- Conte-nos sobre as ferramentas de engenharia de dados que você usa com mais frequência no seu trabalho e por quê. Qual é o seu favorito?- Em nossa pilha, com a qual temos que trabalhar mais ou menos regularmente, são Nive, Spark, Kafka, Cassandra, Akka Streams, ElasticSearch. Meus favoritos são Akka Streams e Kafka, porque eu gosto de trabalhar com dados novos que são processados em tempo real, bem, Kafka me ajudou mais de uma vez na minha carreira, por isso eu realmente a amo. Pelo que costumo usar como gerente, é a comunicação com as pessoas, o que é muito importante, e muitos engenheiros de data subestimam essa ferramenta.
- A maioria das empresas não separa o cientista de dados e o engenheiro de dados, não entende que esses são dois perfis diferentes de uma pessoa e tenta procurar uma equipe de especialistas universais que podem fazer tudo: coletar dados, processá-los, preparar o modelo e colocá-lo em produção. Por que você acha que isso está acontecendo e essa abordagem é justificada?- Eu acho que isso é normal, vem dos recursos disponíveis para a empresa. É muito difícil para uma pequena startup contratar toda a linha de especialistas necessários: controle de qualidade, back-end, front-end, desenvolvedores de dispositivos móveis, engenheiro de dados, cientistas de dados, qualquer outra pessoa. Eles simplesmente não conseguem, nas startups eles contratam desenvolvedores que estão prontos para fazer tudo. Quando as empresas crescem, elas podem se dar ao luxo de ter especialistas focados em uma área específica. Em grandes escritórios, você pode ver a separação entre engenheiro e cientista de dados. Existe essa separação no XING, mas, ao mesmo tempo, espera-se que os cientistas de dados possam escrever código de produção, o que não é uma vergonha.
- Como você agora está em uma posição gerencial, procurando pessoas para ingressar em sua equipe, que habilidades duras e leves são importantes na escolha de um candidato? E de acordo com sua observação, o que está faltando? O que exige mais desenvolvimento se estivermos falando sobre as pessoas com quem você falou, contratando-se como uma equipe.- Quanto às habilidades difíceis: é muito difícil encontrar uma pessoa que combine com a sua pilha; para grandes empresas, a pilha é muito específica. Por exemplo, quando fui contratado, cheguei muito bem à pilha desse escritório em particular, porque tinha o conhecimento da Scala, que é usado principalmente para todas as tarefas relacionadas à engenharia de datas. Ao mesmo tempo, eu tinha um background em Ruby e, no XING, muitas coisas de produtos são escritas em Ruby. Minha formação correspondia muito bem. Mas, ao contratar funcionários, também não espero que eles tenham um sucesso perfeito, inclusive na pilha de engenharia de dados.
É ótimo se uma pessoa conhece as coisas fundamentais que são difíceis de aprender: programar bem ou entender estatísticas. É difícil, por exemplo, começar a escrever bem em Scala, leva tempo, porque o idioma não é fácil; mas comece a escrever no Hive, porque é SQL, e você simplesmente senta e escreve, e quando alguém começa a jurar que suas solicitações estão sendo feitas pelo servidor, você começa a descobrir o que está acontecendo lá. Contratamos pessoas que têm algo que combina com nossa pilha e que têm uma característica muito importante para nós - a capacidade de aprender. É importante para minha equipe que as pessoas sejam curiosas, para que, mesmo que não saibam de algo, possam dominar rapidamente, descobrir e de alguma forma obter esse conhecimento. A capacidade de aprendizado é uma das habilidades importantes que observamos quando contratamos. Outra habilidade importante é a capacidade de se comunicar normalmente com as pessoas, de trazer coisas positivas para a equipe.
- Kolya, conte-nos sobre seu time.- O XING possui uma estrutura interessante: muitas equipes têm três gerentes cada - gerente de projetos ágil, líder de equipe e gerente de produto. Dois gerentes - líder da equipe e produto - estão constantemente com a equipe. O produto apresenta quais recursos podemos implementar e como melhorar os existentes. Timlid sou eu, sou responsável pela solução tecnológica e pelo desenvolvimento de pessoas na equipe. O gerente de projeto ágil analisa como a equipe trabalha e dá conselhos sobre o que pode ser aprimorado nos processos ou está tentando resolver alguns conflitos externos. Além desses três gerentes, existem cinco desenvolvedores: um engenheiro de controle de qualidade, um desenvolvedor de pilha cheia e três engenheiros de data. Outra pessoa que não mencionei, um aluno, está escrevendo um doutorado.
- De que países são membros da sua equipe?- É impossível encontrar especialistas apenas na Alemanha, temos uma empresa muito diversificada. Não é tão internacional quanto, digamos, a maioria das empresas em Berlim, mas ainda é bastante internacional. Eu tenho dois colegas da Ucrânia, um garoto e uma garota da Alemanha e uma garota da Holanda. Nosso gerente de projetos ágil da Croácia. Dentro da empresa, o idioma oficial é o inglês, todos se comunicam nela.
- A próxima pergunta continua na anterior: os europeus diferem dos nossos em suas observações? Você trabalha na Rússia há muito tempo, agora você já tem experiência em trabalhar com europeus.- Tenho alguma experiência em trabalhar com europeus, mas é limitado a uma empresa européia, então só posso falar sobre o que vejo. O que é muito perceptível: a quantidade de comunicação entre os desenvolvedores - o que fazemos e por quê. Isso implica muita sincronização e reuniões, mas todos têm uma imagem muito boa do que está acontecendo, por que e por quê.
- Essas reuniões são acionadas pelo seu produto?- Essa é uma cultura da empresa que vai do topo. Temos um guia muito aberto que informa regularmente o que está acontecendo, que tipo de notícia e ouve com muito cuidado os comentários sobre o que as pessoas gostam, o que não gostam, como mudar. Existem ferramentas para dar esse feedback à gerência - anonimamente ou abertamente. A cultura de feedback em todos os níveis é muito bem organizada. E esta é a primeira coisa que é muito diferente da minha experiência anterior em outras empresas.
A segunda coisa: o equilíbrio entre trabalho e vida pessoal é observado com muita clareza. Às 6 horas, o escritório está vazio, as pessoas não sentem a necessidade de se sentar à noite ou à noite, na tentativa de cumprir o prazo, não há rumores. Na Rússia, o trabalho costuma ir além do dia normal de trabalho; na Alemanha, as pessoas estão muito atentas a isso e não desejam ficar depois das 18:00, todos entendem isso e são incentivadas em todos os níveis de administração. Eles têm muitas tradições: adoram sentar em um café no sábado de manhã, pedindo um brunch. Eles apenas gostam da vida, estão interessados no trabalho.
- Sobre o escritório vazio às 18h: isso se deve ao fato de o trabalho ser planejado corretamente e não há excesso de tarefas? Ou, relativamente falando, amanhã é o prazo final, há tarefas que não estão concluídas e a pessoa acorda às 6 horas e sai porque tem uma vida pessoal?- Os prazos (pelo que vi) não são tão difíceis que amanhã haverá definitivamente algo em produção. , - , , , .
— ?— , , , , . . research , , , . , , , .
— - ?— , , , , , . , , , . , , , , , , - . , . - , excel, . .