Habr, bonjour! Une autre interview avec notre diplômé est Nikolai Rekubratsky, chef d'équipe chez XING. Nikolay a parlé de la vie en Allemagne, de la ressource sur laquelle il a trouvé du travail, de la façon dont les spécialistes européens diffèrent du russe dans leur approche du travail, de la demande pour la profession d'ingénieur des données en Europe, des projets dans XING, etc.
- Kolya, quel est votre parcours et comment s'est déroulée votre carrière d'ingénieur de données et de chef d'équipe?- Je suis devenu Timlid il y a environ un an, mais j'essaie toujours de ne pas rater l'occasion de programmer un peu quand mes mains se touchent. Avant cela, j'étais développeur pendant longtemps et celui qui s'appelle maintenant
ingénieur date .
Dans mon dernier bureau, j'étais engagé dans la publicité vidéo, construit un système analytique pour nos clients. C'était une startup qui s'est progressivement développée jusqu'à éclater. Les volumes d'affaires ont augmenté, et avec eux - la quantité de données traitées, et à un moment donné les outils que j'ai utilisés et les architectures que nous avons utilisées ont cessé de fonctionner. En conséquence, j'ai apporté de nouveaux outils, de nouvelles architectures, puis l'architecture lambda était très à la mode.
Ensuite, il y a eu un projet de compilation de profils pour des centaines de millions d'utilisateurs, également très intéressant. Et dans tous ces projets, j'ai aimé le défi: il y a des exigences pour la réponse, pour la cohérence des données, pour autre chose. Pour répondre à ces attentes et exigences, vous devez beaucoup repenser l'architecture actuelle. C'était à la fois un défi et une liberté d'action à la fois, et c'est exactement ce qui m'a attiré.
- Et comment s'est passé ton parcours?- Je n’ai pas travaillé dans un si grand nombre d’entreprises au cours de mes 11 années de travail, XING est la quatrième. Et j'ai commencé en tant que développeur web, j'ai beaucoup écrit en Ruby dans le framework Ruby on Rails. Il a travaillé à Moscou dans un bureau qui a fait beaucoup de choses intéressantes liées aux flux vidéo: à la fois des émissions en direct et des vidéos interactives. En outre, ce bureau a été engagé dans la construction de divers systèmes vidéo, a organisé la diffusion des Jeux olympiques à Sotchi, puis a fermé. Toutes les entreprises pour lesquelles je travaillais sont mortes. J'espère que cela n'a rien à voir avec moi (rires - commentaire de l'auteur).
- XING connaît-il le sort de vos anciennes entreprises?"XING se porte bien." De retour chez Undev, j'ai encore apprécié la liberté d'utiliser toutes les technologies que je jugeais nécessaires. J'ai réussi à mettre différents «chapeaux»: j'étais à la fois développeur backend et frontend, j'étais engagé dans l'administration de serveurs, j'écrivais sur un tas de langages différents. Ce fut une expérience très intéressante.
Après 5 ans, j'ai déménagé à Saint-Pétersbourg, j'ai déménagé dans une autre entreprise qui, en fait, était engagée dans la publicité vidéo. J'y suis arrivé en tant que développeur Ruby, mais des tâches de plus en plus intéressantes sont apparues qui nécessitaient d'autres approches et d'autres outils. À cette époque, j'ai eu beaucoup de temps pour lire moi-même des articles, des blogs, des livres, qui étaient consacrés aux choses avec lesquelles je travaillais, et qui ont résolu certains points douloureux de ce travail.
J'ai acquis de nouvelles compétences et après avoir mis à jour mon CV sur LinkedIn, j'ai commencé à recevoir des messages de recruteurs. Ils ont proposé des postes vacants dans lesquels le terme "ingénieur date" est apparu. Puis j'ai réalisé que le domaine dans lequel je travaillais avait son nom, avait ses spécificités, et maintenant ces personnes sont appelées «ingénieurs date».
Et donc j'ai réalisé que maintenant je suis ingénieur de datation, vous pouvez vous positionner sur le marché d'une manière légèrement différente. J'ai commencé à regarder les postes vacants et j'ai fini chez XING. XING est un réseau professionnel et social allemand leader dans le monde germanophone, mais il n'est pas représenté dans d'autres langues.
- Avec une telle expérience en développement, pourquoi et à quel moment êtes-vous allé au programme de spécialiste du Big Data ?- C'est arrivé quand je travaillais chez Virool, elle était engagée dans la publicité vidéo. À ce moment-là , j'avais déjà construit un système analytique qui utilisait Spark. Était au milieu de la construction d'une plateforme de gestion des données. Et j'avais des questions, il était difficile de comprendre comment construire une architecture dans certains cas afin de traiter efficacement les données. Il y avait beaucoup de ces questions, et à un moment donné, un de mes collègues a jeté un lien vers ce programme dans le chat. J'ai dit que j'étais intéressé, le bureau m'a soutenu, a payé la participation. Au programme, les cours sur le DMP étaient très importants pour moi, j'y ai trouvé des réponses à de nombreuses questions qui me tourmentaient. Au programme, nous avons fait beaucoup de choses avec nos mains, nous avons lu la théorie, mais tout de même, vous obtenez le plus d'avantages lorsque vous commencez à appliquer les connaissances à vos tâches. Et j'ai eu tellement de chance: il n'y avait aucune personne au travail qui était engagée dans l'apprentissage automatique, et j'ai pu mettre mes nouvelles connaissances en pratique sur la tâche de prédire les clics sur les bannières. C'était un projet très intéressant, il a duré très longtemps et j'y ai travaillé le reste du temps: il fallait développer des modèles, les améliorer en quelque sorte, puis les mettre en production de mes propres mains. Étant donné que l'entreprise avait une atmosphère de startup, qu'il n'y avait pas beaucoup d'employés et qu'il n'y avait pas de fin au travail, j'ai fait tout cela.
- Vous avez dit que de nombreuses entreprises différentes vous frappaient, russes et étrangères. Pourquoi XING? Pourquoi déménager en Allemagne? Avez-vous envisagé d'autres pays?- Je vais commencer par la fin. J'ai considéré, bien sûr, d'autres pays. La dernière entreprise a eu l'opportunité de travailler à San Francisco. Ma femme et moi y avons vécu plusieurs mois, regarda. En fin de compte, ils ont décidé que San Francisco n'était pas très adaptée à la vie de famille. C'est peut-être très bon pour les jeunes et les courageux, mais il nous a semblé que cette ville ne nous convenait pas. Mais je ne voulais pas travailler quelque part en Russie pour vivre une expérience différente. C'était mon objectif - travailler dans une entreprise internationale, voir comment les choses se font différemment. Et je voulais que ce ne soit pas très loin de la Russie.
Nous avons commencé à regarder l'Europe, à savoir l'Angleterre et l'Allemagne, deux locomotives économiques. Les autres pays ne sont pas aussi connus pour leurs sociétés informatiques. En Angleterre, j'étais un peu confus par les stéréotypes sur le mauvais temps à un niveau subconscient, alors j'ai regardé plus vers l'Allemagne. Et il y a une certaine ironie dans le fait que j'habite maintenant à Hambourg, et c'est le même Pétersbourg en Allemagne en termes de temps, il fait assez pluvieux ici. Mais depuis que je vis à Saint-Pétersbourg depuis 4 ans, après tout, le temps semble bon, où que vous alliez.
J'ai regardé différentes entreprises en Allemagne. Au début, je pensais qu'avec ma réserve de connaissances en publicité, il serait plus facile pour moi de les appliquer dans une agence de publicité. Mais il n'y avait pas d'entreprises où le match avec l'équipe et les tâches qu'elle avait à accomplir se révélaient. Je n'ai pas vu de bureaux intéressants pour moi ou je n'étais pas satisfait des gens et de leur attitude.
- Comment as-tu cherché du travail? Avez-vous publié un CV en plus de mettre à jour votre profil sur LinkedIn?- Il existe un service HoneyPot comme service de rencontres pour les développeurs. Vous placez un curriculum vitae, indiquez vos exigences et vos attentes, et les entreprises commencent à vous écrire. J'y ai parlé avec plusieurs entreprises, mais j'avais l'impression que l'entreprise était sur le point d'écrire, ce qui est encore mieux. Il semble que celui-ci, dans lequel vous avez déjà traversé plusieurs étapes, n'est rien, mais peut-être qu'il y a encore quelque chose de mieux.
Et à un moment donné, ils m'ont écrit de XING, et non pas pour le poste d'ingénieur date, mais pour le poste de développeur Ruby. J'ai également pensé que cela ne m'intéressait pas, puis j'ai lu sur l'entreprise, c'était un co-organisateur de concours sur les systèmes de recommandation pendant deux années consécutives, et j'ai pensé: "Bon, d'accord, ça pourrait être intéressant de parler avec eux." Lors de la première entrevue, j'ai parlé de mes antécédents, de ce que je sais et de ce que je peux faire, et ils ont dit: "nous voyons que vous avez des attentes différentes et un profil différent, nous avons un poste vacant, une date d'ingénieur, passons à cela." J'ai donc continué à communiquer avec eux, pendant plusieurs mois tout ce gadget a duré de l'entretien, il y a eu plusieurs étapes. Ce qui m'a le plus attiré, c'est la dernière étape - une rencontre avec l'équipe.
- Comment s'est passée ta rencontre avec la future équipe?- Habituellement, vous allez au restaurant pour le déjeuner et vous y parlez pendant une heure, vous mangez, et dans une atmosphère si détendue, vous pouvez comprendre quel genre de personnes vous voulez travailler avec eux. Et pour moi, c'est le moment où j'ai décidé ce que je veux, c'est intéressant pour moi. Nous nous sommes réunis avec ma femme et mon enfant et avons déménagé. La société fournit un logement pendant un certain temps jusqu'à ce que vous trouviez le vôtre, mais ce n'est pas seulement pour vous, l'appartement avait cinq chambres et presque toutes étaient occupées. Et la vie avec un enfant qui aime se réveiller à 5 heures du matin a été un test pour nos voisins. Mais, probablement, cela les a motivés à trouver rapidement leur maison. Ensuite, nous avons également trouvé notre refuge.
- Parlez-nous des projets que vous menez actuellement avec l'équipe.- Nous avons plusieurs domaines, ils sont tous liés aux utilisateurs, car nous avons une équipe qui se concentre spécifiquement sur les données des utilisateurs - recommandations et production de contenu. Il existe un autre département qui s'occupe des postes vacants, des nouvelles et nous nous concentrons sur les données des utilisateurs. Mais en même temps, Xing est un bureau assez grand, et il y a environ 60 équipes qui font des choses différentes, à savoir les équipes produit, elles ont vu différentes parties du site.
Il y a deux projets intéressants dans la section des recommandations. Nous explorons maintenant la force des connexions entre les utilisateurs en fonction de divers signaux. Maintenant, il n'y a que des informations sur la présence de la communication entre les utilisateurs, mais nous ne savons pas à quel point elle est forte. Il y a certaines hypothèses dans lesquelles l'étudiant est maintenant engagé; elle rédige sa thèse de maîtrise sur la force des connexions entre les utilisateurs en fonction de la topologie du réseau.
Il y a un autre projet, qui est également associé à des recommandations, nous essayons de comprendre pourquoi l'utilisateur a visité notre site en ce moment, quel est son but en ce moment. Autrement dit, un tel accent est précisément mis sur les données en temps réel, c'est-à -dire pour regarder les historiques de session de cet utilisateur en temps réel et comprendre où il va, ce dont il a besoin, pourquoi il veut ajouter cette personne ou cela, et en fonction de cela, changer notre algorithme pour fournir lui la meilleure recommandation.
Je peux également parler de la génération de contenu. Deux nouvelles histoires sont récemment apparues: l'anniversaire du travail de l'utilisateur dans l'entreprise et lorsqu'un nouveau collègue inconnu apparaît dans l'entreprise, l'utilisateur. Ici, l'intérêt est que l'utilisateur indique l'entreprise sous forme libre, et il peut spécifier n'importe quoi, et parfois il peut être difficile de comparer différents noms et de comprendre qu'il s'agit de la même entreprise - une faute de frappe ou une division est appelée , et nous voulons comprendre qu'il s'agit d'une seule et même entité. Si nous prenons une entreprise de 10 000 employés, par exemple, nous ne voulons pas montrer l'apparence d'une nouvelle personne à tout le monde, mais nous voulons faire une recommandation plus personnelle en fonction des intérêts et d'autres choses.
- Parlez-nous des outils d'ingénierie des données que vous utilisez le plus souvent dans votre travail et pourquoi. Quel est ton préféré?- Dans notre pile, avec laquelle nous devons travailler plus ou moins régulièrement, ce sont Nive, Spark, Kafka, Cassandra, Akka Streams, ElasticSearch. Mes préférés sont Akka Streams et Kafka, parce que j'aime travailler avec de nouvelles données qui sont traitées en temps réel, eh bien, Kafka m'a aidé plus d'une fois dans ma carrière, pour cela je l'aime vraiment. D'après ce que j'utilise le plus souvent en tant que manager, c'est plutôt la communication avec les gens, qui est très importante, et de nombreux ingénieurs de datation sous-estiment cet outil.
- La plupart des entreprises ne séparent pas le scientifique des données et l'ingénieur des données, ne comprennent pas qu'il s'agit de deux profils différents d'une personne et essaient de rechercher une équipe de spécialistes universels qui peuvent tout faire: collecter des données, les traiter et préparer le modèle et le mettre en production. Pourquoi pensez-vous que cela se produit et cette approche est-elle justifiée?- Je pense que c'est normal, cela vient des ressources dont dispose l'entreprise. Il est très difficile pour une petite startup d'embaucher toute la gamme de spécialistes nécessaires: assurance qualité, backend, frontend, développeurs mobiles, ingénieur de données, data scientistes, n'importe qui d'autre. Ils ne tireront tout simplement pas, dans les startups, ils embauchent des développeurs qui sont prêts à tout faire. Lorsque les entreprises se développent, elles peuvent se permettre d'avoir des spécialistes qui se concentrent sur un domaine spécifique. Dans les grands bureaux, vous pouvez souvent voir la séparation entre ingénieur de données et scientifique des données. Il existe une telle séparation dans XING, mais en même temps, il est prévu que les scientifiques des données soient capables d'écrire du code de production, pour lequel ce n'est pas une honte.
- Puisque vous êtes maintenant dans un poste de direction, à la recherche de personnes pour rejoindre votre équipe, quelles sont les compétences techniques et techniques importantes lors du choix d'un candidat? Et selon votre observation, qu'est-ce qui manque? Ce qui nécessite plus de développement si nous parlons des personnes avec qui vous avez parlé, en vous engageant en équipe.- Concernant les compétences: il est très difficile de trouver une personne qui correspond à votre stack, pour les grandes entreprises la stack est très spécifique. Par exemple, lorsque j'ai été embauché, j'ai très bien touché la pile de ce bureau particulier, car j'avais la connaissance de Scala, qui est principalement utilisée pour toutes les tâches liées à l'ingénierie des dates. En même temps, j'avais un arrière-plan Ruby, et dans XING beaucoup de produits sont écrits en Ruby. Mes antécédents correspondaient très bien. Mais lors de l'embauche d'employés, je ne m'attends pas à ce qu'ils obtiennent un coup parfait non plus, y compris sur la pile d'ingénierie des données.
C'est formidable si une personne connaît les choses fondamentales qui sont difficiles à apprendre: bien programmer ou comprendre les statistiques. Il est difficile, par exemple, de bien commencer à écrire en Scala, cela prend du temps, car la langue n'est pas facile; mais commencez simplement à écrire dans Hive, parce que c'est SQL, et vous vous asseyez et écrivez, et quand quelqu'un commence à jurer que vos demandes sont déposées par le serveur, vous commencez à comprendre ce qui se passe là -bas. Nous embauchons des personnes qui ont quelque chose qui correspond à notre pile et qui ont un trait très important pour nous - la capacité d'apprendre. Il est important pour mon équipe que les gens soient curieux, de sorte que même s'ils ne savent pas quelque chose, ils puissent rapidement maîtriser, comprendre et, d'une manière ou d'une autre, acquérir ces connaissances. La capacité d'apprentissage est l'une des compétences importantes que nous examinons lorsque nous embauchons. Une autre compétence importante est la capacité de communiquer normalement avec les gens, d'apporter des choses positives à l'équipe.
- Kolya, parle-nous de ton équipe.- XING a une structure intéressante: de nombreuses équipes ont chacune trois managers - chef de projet agile, chef d'équipe et chef de produit. Deux managers - chef d'équipe et produit - sont constamment avec l'équipe. Le produit propose les fonctionnalités que nous pouvons implémenter et comment améliorer celles existantes. Timlid c'est moi, je suis responsable de la solution technologique et du développement des personnes dans l'équipe. Le chef de projet Agile examine le fonctionnement de l'équipe et donne des conseils sur ce qui peut être amélioré dans les processus ou tente de résoudre certains conflits externes. Et en plus de ces trois managers, il y a cinq développeurs: un ingénieur QA, un développeur full stack et trois ingénieurs date. Une autre personne que je n'ai pas mentionnée, une étudiante, écrit un doctorat.
- De quels pays sont les membres de votre équipe?- Il est impossible de trouver des spécialistes uniquement en Allemagne, nous avons une entreprise très diversifiée. Pas aussi international que, disons, la plupart des entreprises de Berlin, mais tout de même assez international. J'ai deux collègues d'Ukraine, un gars et une fille d'Allemagne et une fille des Pays-Bas. Notre chef de projet agile de Croatie. Au sein de l'entreprise, la langue officielle est l'anglais, tout le monde y communique.
- La question suivante s'inscrit dans la continuité de la précédente: les Européens diffèrent-ils des nôtres dans vos observations? Vous travaillez depuis longtemps en Russie, vous avez déjà une expérience de travail avec des Européens.- J'ai une certaine expérience de travail avec des Européens, mais elle est limitée à une seule entreprise européenne, je ne peux donc parler que de ce que je vois. Ce qui est très visible: la quantité de communication entre les développeurs - ce que nous faisons et pourquoi. Cela implique beaucoup de synchronisation et de réunions, mais tout le monde a une très bonne idée de ce qui se passe, pourquoi et pourquoi.
- Ces réunions sont déclenchées par votre produit?- C'est une culture d'entreprise qui part du haut. Nous avons un guide très ouvert qui raconte régulièrement ce qui se passe, quel genre de nouvelles et écoute très attentivement les commentaires sur ce que les gens aiment, ce qu'ils n'aiment pas, comment le changer. Il existe des outils pour transmettre ces commentaires à la direction - de manière anonyme ou ouverte. La culture du feedback à tous les niveaux est très bien organisée. Et c'est la première chose qui est très différente de mon expérience précédente dans d'autres entreprises.
Deuxième chose: l'équilibre entre le travail et la vie personnelle est très clairement observé. À 18 heures, le bureau est vide, les gens ne ressentent pas le besoin de s’asseoir le soir ou le soir pour respecter le délai, il n'y a pas de rumeurs. En Russie, le travail va souvent au-delà de la journée de travail habituelle, en Allemagne, les gens sont très attentifs à cela et ne veulent pas rester après 18h00, tout le monde le comprend et est encouragé à tous les niveaux de la direction. Ils ont beaucoup de traditions: ils adorent s'asseoir dans un café le samedi matin pour commander un brunch. Ils aiment juste la vie, ils sont intéressés par le travail.
- A propos du bureau vide à 18h: est-ce dû au fait que le travail est correctement planifié et qu'il n'y a pas d'excès de tâches? Ou, relativement parlant, demain est la date limite, il y a des tâches qui ne sont pas accomplies, et la personne se lève à 6 heures et part parce qu’elle a une vie personnelle?- Les délais (d'après ce que j'ai vu) ne sont pas si durs que demain il y aura définitivement quelque chose en production. , - , , , .
— ?— , , , , . . research , , , . , , , .
— - ?— , , , , , . , , , . , , , , , , - . , . - , excel, . .