«Je pense que les idées d'équipe sont les plus importantes lors du développement d'un produit.»

Habr, bonjour! Nous continuons une série d'entretiens avec des anciens de Newprolab dans lesquels ils parlent de leur histoire de passer à la science des données. Les histoires sont différentes et seront intéressantes pour ceux qui envisagent de changer leur cheminement de carrière ou de voir comment de nouvelles connaissances peuvent aider à résoudre les problèmes actuels. Nous avons récemment rencontré Yana Charuyskaya, chef de produit chez MTS. Yana a raconté comment elle est arrivée au big data, comment elle a grandi professionnellement, s'est souvenue de son projet préféré, qui a donné à ses amis, en plus de ses connaissances et de son expérience. Elle a parlé de l'atmosphère de travail au sein de MTS, des projets que son équipe réalise, de son rêve, de ses projets pour l'avenir, etc.

- Yana, parle-moi un peu de toi et de ton parcours.

- Je m'appelle Yana Charuyskaya, je suis chef de produit chez MTS. Je m'intéresse au domaine du Big Data et je le fais depuis environ deux ans. Si brièvement sur mon histoire: je suis diplômé de l'École supérieure d'économie en informatique de gestion, j'ai étudié pendant 6 ans, puis étudié pendant un an en tant que psychologue. Pendant quatre ans, j'ai travaillé dans le conseil informatique, trois d'entre eux étaient engagés dans l'entreposage de données, les data marts, la gestion de bâtiments, principalement pour les grandes banques. La dernière année en consultation a été consacrée à l'apprentissage automatique et à l'analyse prédictive. Maintenant, je travaille chez MTS en tant que chef de produit, j'ai une équipe de 6 personnes, et elle grandit, dans un proche avenir j'en embaucherai 7. En général, la société se développe également, il y a maintenant plus de 150 spécialistes du Big Data dans MTS et beaucoup plus de postes vacants sont ouverts (nous prévoyons d'augmenter le personnel est presque 2 fois!). Mon équipe et moi développons plusieurs produits en même temps, ils sont actuellement à différents stades de mise en œuvre: il y a des produits qui sont en phase R&D, certains en phase de production.



- Pourquoi et à quel moment avez-vous décidé de lier votre travail au Big Data?

- À un moment donné, c'est devenu à la mode et intéressant, mais pour moi, c'était un domaine difficile et incompréhensible. Bien sûr, je suis allé à l'université le langage de programmation C # et j'ai un peu compris ses fondements théoriques, mais je ne me suis jamais programmé. Après avoir obtenu un emploi dans le conseil informatique, j'ai écrit de nombreux scripts en SQL. Mais qu'est-ce que Python, les réseaux de neurones, ce qui écrit des programmes dans un langage de programmation ou la construction de modèles prédictifs - tout cela pour moi était un étrange ensemble de mots que je voulais vraiment comprendre. C'était un défi pour moi et je voulais essayer. Tout a commencé avec le fait que j'ai trouvé sur Internet des sites sur Python, j'ai commencé à m'entraîner et à résoudre des problèmes simples. J'ai décidé, il semble que cela se révèle, mais quelque chose manquait. Je me suis retrouvé un tuteur Python, avec qui nous avons écrit du code pour résoudre un système arbitraire d'équations linéaires en utilisant la méthode de Gauss. Je me souviens, nous avons résolu ce problème pendant environ un mois; C'est vrai que ça s'est mal passé pour moi, peut-être que l'enseignant n'était pas très, je ne sais pas, mais j'ai finalement décidé moi-même.

Après l'expérience infructueuse du tutorat, j'ai commencé à envisager des options pour suivre des cours, j'ai trouvé le programme "Big Data Specialist" sur Internet, j'étais très heureux que c'était exactement ce dont j'avais besoin: pendant trois mois pour faire de l'apprentissage automatique et une excellente occasion de se familiariser avec un grand nombre de systèmes de déploiement de big data. Pour moi, la formation en ligne n'est certainement pas l'option la plus appropriée, il est important pour moi de ne pas rester seul à la maison devant l'ordinateur, mais d'être en compagnie de personnes engagées dans une tâche, il doit y avoir un élément de compétition pour que vous puissiez faire mieux que le vôtre collègue. Par conséquent, j'ai choisi Newprolab pour moi et je ne le regrette pas.

À cette époque, je développais un entrepôt de données, pour moi c'était un peu ennuyeux, je voulais emménager dans un nouveau domaine, mais le chef a dit qu'à cette époque, il n'y avait pas une telle possibilité, cependant, il a suggéré que je ferme complètement les analyses dans une grande banque. Pendant le passage du programme, j'ai réalisé que je voulais toujours faire du machine learning, j'étais comme interviewer, chercher du travail, j'ai reçu deux offres. Je viens avec le leader avec eux et je dis que je pars parce que je veux étudier la Data Science. C'est alors seulement qu'il m'a offert une telle opportunité au sein de l'entreprise. L'une des conditions pour passer à un autre domaine a été l'abandon de son équipe d'analystes. J'ai été laissé seul, c'était dur. Pour la plupart, je faisais de la prévente, c'est-à-dire que pour faire un modèle, je devais d'abord trouver un client, vendre ce modèle, le fabriquer, le protéger et être payé pour cela. Mais ce sont des activités ponctuelles, vous n'aurez pas d'équipe pour cela, il n'y avait pas beaucoup d'expertise. Les produits étaient principalement commerciaux, nous n’utilisions pratiquement pas de solutions open source, donc je n’avais pas besoin de Python ni de Spark, les modèles étaient construits principalement en utilisant des solutions commerciales pour construire des modèles de réponse classiques. Étant donné que je voulais acquérir plus d'expertise dans le domaine de la science des données, créer des produits intéressants et travailler dans une grande équipe de spécialistes, j'ai décidé de chercher à nouveau du travail.

- Nous parlerons davantage de la façon dont vous vous êtes impliqué dans MTS. Dites-moi comment vous pouvez et devez garder de bons spécialistes et cela vaut-il la peine de le faire?

- Bien sûr, ça vaut le coup, et il vaut mieux ne pas le tenir, mais créer toutes les conditions pour
ils voulaient rester! Il n'y a pas beaucoup de bons spécialistes sur le marché du big data, je consacre donc beaucoup de temps au maintien d'une ambiance conviviale au sein de l'équipe. Nous communiquons beaucoup, partageons des idées, des impressions. Nous allons également à des conférences ensemble et jouons à des jeux intellectuels (par exemple, «Quoi? Où? Quand?»). J'essaie de donner à tous les gars des puzzles intéressants et de regarder leur téléchargement pour qu'il n'y ait pas de surcharge.

- Et quelles difficultés avez-vous rencontrées professionnellement au tout début, quels défis avez-vous dû relever?

- Le plus grand défi était le langage de programmation, parce que je suis plus mathématicien, et la programmation est une logique différente: assigner des variables, construire des classes, héritage, polymorphisme et ainsi de suite. Le fait que la programmation ne m'appartienne pas, j'ai décidé pour moi de revenir en HSE. L'une des plus grandes difficultés a été de surmonter la barrière psychologique que je peux également écrire du code, et ce n'est pas un problème pour moi. En général, il n'y a pas eu beaucoup de difficultés, il y a eu beaucoup de questions. C'est bien d'avoir eu beaucoup d'amis qui ont répondu à toutes ces questions: mes camarades de classe à Newprolab et mes futurs amis que j'ai rencontrés lors de diverses conférences sur la science des données et le Big Data. Et aussi Open Data Science à Slack, où vous pouvez poser n'importe quelle question, et des petits déjeuners Data Science, auxquels vous pouvez venir discuter de tout problème. En général, il me semble que les difficultés, le cas échéant, sont facilement surmontées, car la Data Science se développe activement et les gars sont très ouverts et prêts à aider.

Je parle beaucoup avec des gens, y compris des nouveaux arrivants dans le domaine de la science des données, qui doutent de se lancer dans le domaine ou non. Ils ont travaillé dans un domaine toute leur vie, ils s'intéressent à la science des données, mais ils doutent que cela vaille la peine de changer quelque chose, ils ont peur. Je crois que si vous voulez changer votre vie et aller à votre rêve, c'est bien réel. J'ai commencé avec un promoteur, travaillé à Auchan, fait de la publicité pour les yaourts, puis je suis devenu tuteur en mathématiques, j'ai été engagé dans le tutorat pendant trois ans (et peut-être plus), mais j'ai réalisé que cela apportait une sorte de revenu, mais pas toujours. Je suis allé travailler dans une société de crédit-bail en tant qu’économiste, il n’y avait pas d’informatique, Excel au mieux, nous n’écrivions pas de macros non plus, le travail était ennuyeux pour moi et j’étais très inquiet que cela se dégrade. J'ai essayé de me retrouver dans un autre domaine (en fait, plus lié à mes études) - je suis allé en consultation, j'étais engagé dans des installations de stockage. Ensuite, les dépôts se sont fatigués, et encore une fois, j'ai dû choisir où aller ensuite. Avec de telles étapes progressives, liées à l'évolution de mon activité professionnelle, je suis arrivée au Big Data, ce que je n'ai aucun regret. J'étais prêt à dépenser mes ressources, mon temps, pour comprendre ce domaine. Je pense que s'il y a de la motivation, alors vous pouvez facilement surmonter tous les obstacles et réaliser ce que vous voulez. Encore une fois, pas besoin d'avoir peur.

- Une excellente position de vie et votre histoire est un excellent exemple du fait que tout est possible si vous le souhaitez. Pour en revenir à ceux qui veulent aller à la Data Science, qu'en pensez-vous, outre la peur, que peut-on arrêter de plus? Vous parlez beaucoup avec les gens, peut-être qu'ils ont partagé avec vous.

- L'essentiel - "Je n'ai aucune expérience, je ne suis pas prêt, je ne sais rien." Je vais vous dire tout de suite de ma propre expérience: je suis allé aux cours Newprolab, j'y ai étudié pendant deux semaines et j'avais déjà deux offres dans le domaine de la Data Science pour de bons salaires. Deux offres, et j'étudiais encore! Je ne travaillais même pas dans ce domaine, j'ai enseigné juste un peu de Python et je viens juste de commencer à suivre des cours. Je suis venu chez l’employeur et je lui ai dit que j’étudiais maintenant dans le cadre du programme, je terminerai le 8 juin, je suis motivé pour évoluer dans ce domaine, j'ai une expérience pertinente dans les entrepôts de données. Les entreprises étaient prêtes à m'emmener. Maintenant, le marché est très étroit, il y a très peu de scientifiques des données, donc les entreprises prennent généralement des personnes pour se développer. S'ils voient du potentiel en vous, ils sont prêts à le développer.

Après tout, il existe de nombreuses ressources de formation différentes: Coursera , EdX , Udacity , pour pomper vos connaissances. Même si vous ne connaissez pas les statistiques, vous ne connaissez pas l'algèbre linéaire, les mathématiques, un langage de programmation, vous ne savez rien du tout, pour chacun de votre ignorance il y a un certain cours que vous pouvez écouter rapidement et comprendre rapidement tout, le principal désir et l'aspiration sont ici. Et il n'y a rien de tel que «je n'ai aucune expérience», l'essentiel est la motivation, les ressources et l'énergie. Et je pense qu'il y aura du temps si tu le veux.

Selon Data Science, maintenant beaucoup de cours en ligne ont divorcé, partout la publicité contextuelle apparaît pour moi sur certains cours, puis sur d'autres. Et leur coût est assez élevé, mais je vois et j'entends l'entreprise fournisseur des cours pour la première fois. En général, c'est, bien sûr, un battage médiatique, et je pense qu'il existe de nombreux cours de faible qualité qui ne donnent pratiquement rien.



- D'après vos observations: quelles compétences générales et techniques ne sont souvent pas suffisantes pour que les débutants et les scientifiques expérimentés des données deviennent de véritables spécialistes hautement qualifiés? Que dois-je rechercher?

- Très souvent, il n'y a pas suffisamment de compétences pratiques pour mettre en œuvre des modèles à l'échelle de l'entreprise, il est important de comprendre le domaine et de hiérarchiser correctement le travail. Vous ne devez pas consacrer beaucoup de temps à une tâche dont les résultats n'apporteront pas d'effet positif pour l'entreprise. Les scientifiques des données sont également encouragés à développer leurs compétences en communication pour présenter les résultats de leurs produits à la fois en interne et en externe. En ce qui concerne les compétences techniques, j'aimerais que les candidats comprennent mieux la terminologie, comprennent les fondements mathématiques de la construction de modèles et connaissent les cas d'utilisation de modèles pour différents types de tâches d'apprentissage automatique. La créativité et l'imagination sont également très importantes pour développer de nouvelles approches pour résoudre un problème (que ce soit en ajoutant des métriques à un magasin de données, en modifiant sa structure d'une certaine manière ou en utilisant une autre classe de modèles).

- Parlez-moi des projets dans le domaine de la Data Science que vous avez réalisés.

- Je vais d'abord vous dire brièvement ce que j'ai fait en conseil. Nous avions des projets dans divers domaines, le département n'était pas très grand et nous étions engagés dans diverses tâches. Ma première tâche était liée au modèle de réponse pour un produit de prêt dans une grande banque russe. Le modèle a réussi, il a donné un résultat positif, je l'ai fait en utilisant une solution commerciale; grâce à la mise en place de ce modèle, j'ai pu parcourir toute la gamme des travaux sur la coordination des besoins métiers, la construction et la production du modèle, ainsi que l'évaluation de sa qualité et sa mise dans les délais. Étant donné que mon ancienne entreprise se spécialise principalement dans le secteur bancaire, nous avons principalement construit des modèles pour les banques, mais nous avons également essayé d'autres domaines (par exemple, l'assurance et la vente au détail). À ce moment-là, j'ai non seulement participé à ces projets en tant que data scientist, mais aussi en tant que manager. Il me semble que le domaine ne peut être limité, dans n'importe quel domaine, vous pouvez le comprendre rapidement. Je suis très heureux que le conseil informatique m'ait donné une telle flexibilité.

- Peut-être y a-t-il un ou plusieurs projets dont vous êtes particulièrement heureux de vous souvenir?

- Oui, il y en a un - mon tout premier projet dans une grande banque russe, nous avions une équipe très sympathique, nous avons construit un entrepôt de données à partir de zéro, nous nous sommes engagés dans son développement, soutenu, construit des rapports à ce sujet. C'était un produit très cool. Nous avons acquis beaucoup d'expérience, nous avons formé une excellente équipe. Nous sommes depuis longtemps dispersés dans différentes sociétés, mais nous entretenons toujours activement des relations. Nous nous sommes probablement retrouvés dans cette banque.

- Bien. Passons à MTS. Pourquoi exactement eux? Qu'est-ce qui a été proposé pour faire si intéressant? À quelles tâches vous et votre équipe faites-vous face actuellement?

- Premièrement, j'ai été attiré par MTS par une énorme équipe de Big Data, un groupe de spécialistes avec lesquels vous pouvez consulter à tout moment, ce qui n'était pas du conseil informatique, mais je manquais terriblement. Nous avions un leader très expérimenté et plusieurs data scientists, il est clair que leur expérience n'était pas suffisante pour résoudre les problèmes. En gros, nous avions un ensemble standard de tâches que nous faisions, et nous avons essayé de ne pas dévier de cet ensemble de tâches, parce que nous n'avions pas l'expertise. Je suis très heureux d'avoir choisi MTS, nous avons maintenant plus de 150 personnes et nous voulons toujours croître de 70% d'ici la fin de l'année. C'est très cool, j'aime communiquer et partager des expériences, je pense que le sang neuf ne fera certainement pas de mal.

Deuxièmement, voici une large pile de technologies, nous utilisons Open Source: Python, Spark, Hive, Kafka - tous les mots à la mode populaires dans le domaine du Big Data. Nous avons même une solution commerciale, mais nous n'y touchons pas et nous n'y construisons pas de modèles. C'est formidable d'avoir réussi à me familiariser avec cette pile sur le programme Newprolab et à consolider mes connaissances par la suite dans MTS.

De plus, bien sûr, des tâches intéressantes, des produits intéressants. Les clients sont principalement nationaux, mais certains produits sont mis en valeur. Notre équipe a plusieurs domaines: stratégique, il est lié à la mise en place de modèles qui ne nous rapportent pas actuellement d'argent; il y a des projets commerciaux qui devraient montrer cette année un résultat financier. Je travaille dans l'équipe R&D, nous sommes engagés dans la vente de produits qui à l'avenir aideront MTS à devenir meilleur.

Mon équipe et moi avons trois produits en ce moment. Le premier est une évaluation de la qualité de service de nos abonnés à différents points de contact, notamment la prévision du NPS (indice de fidélisation client - note de l'auteur) au niveau de chaque abonné. Nous avons des sondages que nous menons tous les mois pour tous nos abonnés afin de savoir s'ils sont prêts à recommander la marque MTS ou non. 0 - pas prêt à recommander à personne, 10 - prêt et à le faire activement. Nous collectons ces estimations et prédisons la note que l'abonné nous donnerait s'il avait réussi l'enquête, et voyons également les raisons qui pourraient affecter cette note; Nous pouvons rapidement vous aider à les corriger. Ceci est le premier produit.

Le deuxième produit est lié à l'analyse vocale. Ici, jusqu'à présent uniquement en R&D, l'une des tâches de l'analyse vocale est de reconnaître la parole en texte par des appels à un centre de contact afin d'analyser et de classer automatiquement les appels. Pour le moment, cela est fait par l'opérateur, et le sujet des messages peut ne pas toujours être suffisamment précis.

Je vous parlerai probablement du troisième produit plus tard lors d'une conférence Big Data.
L'équipe est très cool, nous essayons de maintenir une atmosphère de travail à domicile pour mettre tout le monde à l'aise. J'essaie d'écouter chaque membre de l'équipe, chacun partage ses idées. Il me semble que les idées d'équipe sont les plus importantes lors du développement d'un produit. En général, nous essayons également de mettre en œuvre les idées les plus folles.

- Donnez un exemple d'idées folles.

- Il me semble que notre produit par la voix a commencé ainsi. Nous avons fait NPS, analysé les évaluations de nos abonnés, puis quelqu'un a demandé: "Pourquoi ne pouvons-nous pas analyser les appels vocaux vers le centre d'appels?" En effet, pourquoi pas? Nous avertissons nos abonnés que nous pouvons enregistrer et analyser. Nous ne les écoutons pas nous-mêmes, mais grâce au traitement automatique, nous pouvons retirer les thèmes des appels pour améliorer la qualité du service client.

Il m'est difficile de donner des exemples spécifiques - des moments de travail où les gars veulent tester quelque chose, essayer de mettre en œuvre quelque chose et optimiser quelque part. Nous essayons également différentes solutions, de nombreux fournisseurs viennent chez nous, proposent les dernières technologies. Nous passons des pilotes avec eux, regardons les résultats.

- A part MTS, vous avez certainement envisagé d'autres options. Qu'est-ce qui est essentiel pour vous lors du choix d'un employeur?

- L'ouverture de l'entreprise est importante pour moi; J'aime pouvoir consulter mes collègues, mon chef, partager mes peurs, je sais qu'il comprendra et pourra donner des conseils pratiques. La réputation de l'entreprise est importante pour moi. Bien sûr, je suis prêt à aller dans une startup si elle a une idée intéressante, mais en général, la réputation de l'entreprise est importante pour moi. J'aime travailler chez MTS, nous sommes le plus grand opérateur en Russie. Je pense que les opportunités de développement sont également importantes, et MTS encourage la participation à diverses conférences en tant que conférencier et auditeur. , , .

. , , Confluence Jira. , - , , , . , , .



— « » , «Deep Learning» – . : / , , , / / ?

— , . , . ; , , , , , . , , , - , - . , , , ( , ). , , , , . , , . , , , , , , ( ).

«Deep Learning», , . , , — . , . Keras , . , Xception, , . - , , , Python, . , , , . .

— ? ? ?

— Product Owner, . -, . , , , , . . . , , , - , - , . , . , , . , .

-, . , .

Newprolab : «Data Engineer» , «Deep Learning», « ». , , ; ; , . , , .

— , Big Data / Data Science , . , , ?

— . , , , : , . , arxiv.org . Data Science , , . , , , , , , , , : Newprolab, , , , data scientist' data engineer'.

— - ?

— , , . . , , , - , . , , . , , .

— . , - , -, ?

— Data Science , . ODS , , Slack. , – , , . . -, github, stackoverflow , arxiv.org.