Habr, olá! Continuamos uma série de entrevistas com ex-alunos do Newprolab, nos quais eles falam sobre sua história de mudança para a ciência de dados. As histórias são diferentes e serão interessantes para quem está pensando em mudar de carreira ou em como o novo conhecimento pode ajudar a resolver os problemas atuais. Recentemente, nos encontramos com Yana Charuyskaya, Product Owner da MTS. Yana contou como chegou ao big data, como cresceu profissionalmente, lembrou-se de seu projeto favorito, que deu a seus amigos, além de seu conhecimento e experiência. Ela falou sobre o ambiente de trabalho no MTS, sobre os projetos que sua equipe está realizando, sobre seu sonho, planos para o futuro etc.
- Yana, conte-me um pouco sobre você e seu passado.- Meu nome é Yana Charuyskaya, sou Dono do Produto na MTS. Estou interessado no campo de Big Data e faço isso há cerca de dois anos. Se brevemente sobre a minha história: me formei na Escola Superior de Economia em Informática Empresarial, estudei por 6 anos e depois estudei por um ano como psicólogo. Durante quatro anos, trabalhei em consultoria de TI, três deles estavam envolvidos em data warehousing, data marts, relatórios de gerenciamento predial, principalmente para grandes bancos. O último ano em consultoria foi em aprendizado de máquina e análise preditiva. Agora, trabalho na MTS como gerente de produtos, tenho uma equipe de 6 pessoas e está crescendo, contratarei mais 7. Em geral, a empresa também está se expandindo, agora a MTS tem mais de 150 especialistas em Big Data e muitas outras vagas estão abertas (planejamos aumentar a equipe é quase 2 vezes!). Minha equipe e eu estamos desenvolvendo vários produtos ao mesmo tempo, no momento em que estão em diferentes estágios de implementação: existem produtos que estão no estágio de P&D, alguns estão no estágio de produção.
- Por que e em que momento você decidiu vincular seu trabalho a big data?- Em algum momento, tornou-se elegante e interessante, mas para mim era uma área difícil e incompreensível. Claro, fui para a universidade a linguagem de programação C # e um pouco entendi seus fundamentos teóricos, mas nunca me programava. Depois de conseguir um emprego trabalhando em consultoria de TI, escrevi muitos scripts em SQL. Mas o que é Python, redes neurais, o que está escrevendo programas em alguma linguagem de programação ou construindo modelos preditivos - tudo isso para mim era um conjunto estranho de palavras que eu realmente queria entender. Foi um desafio para mim, e eu queria tentar. Tudo começou com o fato de eu encontrar na Internet alguns sites em Python, comecei a treinar e resolver problemas simples. Eu decidi, parece que de alguma forma acontece, mas algo estava faltando. Eu me encontrei um tutor de Python, com quem escrevemos código para resolver um sistema arbitrário de equações lineares usando o método Gauss. Lembro que resolvemos esse problema por cerca de um mês; É verdade que acabou mal para mim, talvez o professor não tenha sido muito, eu não sei, mas, no final, eu mesmo decidi.
Após a experiência malsucedida de tutoria, comecei a considerar opções de participar de cursos, encontrei o programa
"Big Data Specialist" na Internet, fiquei muito feliz que era exatamente isso que eu precisava: por três meses para fazer aprendizado de máquina e uma ótima oportunidade para me familiarizar com um grande número de sistemas para implantar big data. Para mim, o treinamento on-line definitivamente não é a opção mais adequada; é importante para mim não ficar em casa sozinha no computador, mas estar na companhia de pessoas envolvidas em uma tarefa, deve haver algum elemento de competição para que você possa fazer melhor que o seu colega. Portanto, escolhi o Newprolab para mim e não me arrependo.
Naquela época, eu estava desenvolvendo um data warehouse, para mim era um pouco chato, queria mudar para uma nova área, mas o chefe disse que naquele momento não havia essa possibilidade, no entanto, ele sugeriu que eu fechasse completamente as análises em um grande banco. Durante a passagem do programa, percebi que ainda quero fazer aprendizado de máquina, era como entrevistar, procurar trabalho, recebi duas ofertas. Venho ao líder com eles e digo que estou saindo porque quero estudar Ciência de Dados. Só então ele me proporcionou essa oportunidade dentro da empresa. Uma das condições para mudar para outra área foi o abandono de sua equipe de analistas. Eu fui deixado sozinho, foi difícil. Na maioria das vezes, eu estava envolvido em pré-vendas, ou seja, para fazer um modelo, primeiro tive que encontrar um cliente, vender esse modelo, fabricá-lo, protegê-lo e ser pago por ele. Mas essas são algumas atividades únicas, você não terá uma equipe para isso, não havia muita experiência. Os produtos eram principalmente comerciais, praticamente não usamos soluções de código aberto, então eu não precisava de Python ou Spark, os modelos foram construídos principalmente usando soluções comerciais para criar modelos de resposta clássicos. Devido ao fato de que queria obter mais experiência no campo da ciência de dados, criar produtos interessantes e trabalhar em uma grande equipe de especialistas, decidi procurar trabalho novamente.
- Falaremos mais sobre como você se envolveu no MTS. Diga-me como você pode e deve manter bons especialistas. Vale a pena fazer isso?- Claro, vale a pena, e é ainda melhor não segurá-lo, mas criar todas as condições para
eles queriam ficar! Como não existem muitos bons especialistas no mercado de big data, dedico muito tempo à manutenção de uma atmosfera amigável dentro da equipe. Nós nos comunicamos muito, compartilhamos idéias, impressões. Também vamos a conferências juntos e jogamos jogos intelectuais (por exemplo, "O quê? Onde? Quando?"). Tento dar a todos os caras quebra-cabeças interessantes e assistir o download deles, para que não haja excesso de trabalho.
- E que dificuldades você encontrou profissionalmente desde o início, que desafios você teve que superar?- O maior desafio foi a linguagem de programação, porque sou mais matemático, e a programação é de lógica diferente: atribuir variáveis, criar classes, herança, polimorfismo e assim por diante. O fato de a programação não ser minha, decidi por mim novamente no HSE. Uma das maiores dificuldades foi superar a barreira psicológica de que também posso escrever código, e isso não é um problema para mim. Em geral, não houve muitas dificuldades, muitas perguntas. É bom que eu tenha muitos amigos que responderam a todas essas perguntas: meus colegas de classe no Newprolab e futuros amigos que eu conheci em várias conferências sobre Data Science e Big Data. E também Open Data Science no Slack, onde você pode fazer qualquer pergunta e café da manhã da Data Science, para o qual você pode discutir qualquer problema. Em geral, parece-me que as dificuldades, se houver, são facilmente superadas, porque a Data Science está se desenvolvendo ativamente e os funcionários estão muito abertos e prontos para ajudar.
Converso muito com pessoas, incluindo recém-chegados ao campo da ciência de dados, que duvidam de entrar ou não no campo. Eles têm trabalhado em algum campo a vida inteira, estão interessados em ciência de dados, mas duvidam que valha a pena mudar alguma coisa, estão com medo. Acredito que se você quiser mudar sua vida e seguir para o seu sonho, isso é bastante real. Comecei com um promotor, trabalhei em Auchan, anunciei iogurtes, depois me tornei um tutor em matemática, fiquei envolvido por três anos (e talvez mais), mas percebi que isso traz algum tipo de renda, mas nem sempre. Eu fui trabalhar em uma empresa de leasing como economista, não havia TI lá, o Excel estava lá, na melhor das hipóteses, também não escrevemos macros, o trabalho era chato para mim e eu estava muito preocupado com a degradação. Tentei me encontrar em outra área (de fato, mais relacionada à minha educação) - entrei em consultoria, estava envolvida em instalações de armazenamento. Então os repositórios se cansaram e, novamente, eu enfrentei a escolha de onde ir a seguir. Com essas etapas graduais, relacionadas às mudanças na minha atividade profissional, cheguei ao Big Data, do qual não me arrependo. Eu estava pronto para gastar meus recursos, meu tempo, para entender essa área. Eu acho que se houver motivação, você poderá facilmente superar todos os obstáculos e alcançar o que deseja. Mais uma vez, não precisa ter medo.
- Uma excelente posição na vida e sua história é um ótimo exemplo do fato de que tudo é possível, se desejado. Voltando àqueles que desejam ingressar na Data Science, o que você acha, além do medo, o que mais pode parar? Você fala muito com as pessoas, talvez elas tenham compartilhado com você.- A principal coisa - "Não tenho experiência, não estou pronta, não sei de nada." Vou contar imediatamente por experiência própria: fui para os cursos do Newprolab, estudei lá por duas semanas e já tinha duas ofertas no campo da ciência de dados por bons salários. Duas ofertas, e eu ainda estava estudando! Eu nem trabalhei nessa área, ensinei apenas um pouco de Python e agora comecei a fazer cursos. Eu vim para o empregador e disse que estava estudando agora no programa, terminarei em 8 de junho, estou motivado para me desenvolver nessa área, tenho experiência relevante em data warehouses. As empresas estavam prontas para me levar. Agora, o mercado é muito restrito, há muito poucos cientistas de dados, então as empresas geralmente levam as pessoas a crescer. Se eles vêem potencial em você, estão prontos para desenvolvê-lo.
Afinal, existem tantos recursos de treinamento diferentes:
Coursera ,
EdX ,
Udacity , para
aumentar seu conhecimento. Mesmo se você não conhece estatística, não conhece álgebra linear, matemática, uma linguagem de programação, não sabe nada, pois para cada uma de sua ignorância existe um determinado curso que você pode ouvir rapidamente e rapidamente descobrir tudo, o principal desejo e desejo estão aqui. E não existe algo como “não tenho experiência”, o principal é motivação, recursos e energia. E acho que haverá tempo, se você quiser.
De acordo com a Data Science, agora muitos cursos on-line se divorciaram, em todos os lugares a publicidade contextual aparece para mim em alguns cursos e depois em outros. E o custo deles é bastante alto, mas eu vejo e ouço a empresa fornecedora dos cursos pela primeira vez. Em geral, é claro que isso é um hype, e acho que existem muitos cursos de baixa qualidade que praticamente não dão nada.
- Com base nas suas observações: que habilidades suaves e duras geralmente não são suficientes para que iniciantes e experientes cientistas de dados se tornem especialistas verdadeiramente altamente qualificados? O que devo procurar?- Muitas vezes, não há habilidades práticas suficientes para implementar modelos em toda a empresa; é importante entender a área de assunto e priorizar corretamente o trabalho. Você não deve gastar muito tempo em uma tarefa, cujos resultados não trarão um efeito positivo para a empresa. Os cientistas de dados também são incentivados a desenvolver suas habilidades de comunicação para apresentar os resultados de seus produtos internamente aos colegas e externamente. Quanto às habilidades difíceis, eu gostaria que os candidatos entendessem melhor a terminologia, entendessem os fundamentos matemáticos da construção de modelos e conhecessem os casos de uso de modelos para vários tipos de tarefas de aprendizado de máquina. Criatividade e imaginação também são muito importantes para o desenvolvimento de novas abordagens para resolver um problema (seja adicionando métricas a um armazenamento de dados, alterando sua estrutura de uma certa maneira ou usando outra classe de modelos).
- Conte-me mais sobre os projetos que você fez no campo da ciência de dados.- Primeiro, vou contar brevemente o que fiz na consultoria. Tínhamos projetos em vários campos, o departamento não era muito grande e estávamos envolvidos em diversas tarefas. Minha primeira tarefa foi relacionada ao modelo de resposta para um produto de empréstimo em um grande banco russo. O modelo foi bem-sucedido, deu um resultado positivo, eu fiz isso usando uma solução comercial; graças à implementação desse modelo, pude realizar todo o trabalho de coordenação de requisitos de negócios, construção e produção do modelo, além de avaliar sua qualidade e atendê-lo dentro do cronograma. Como minha empresa anterior se especializou principalmente no setor bancário, construímos modelos para bancos, mas também tentamos outras áreas (por exemplo, seguros e varejo). Naquela época, eu não apenas participei desses projetos como cientista de dados, mas também como gerente. Parece-me que a área de assunto não pode ser limitada; em qualquer área de assunto você pode descobrir rapidamente. Estou muito feliz que a consultoria em TI tenha me proporcionado tanta flexibilidade.
- Talvez exista algum ou vários projetos que você tenha prazer em recordar?- Sim, existe um - meu primeiro projeto em um grande banco russo, tínhamos uma equipe muito amigável, construímos um data warehouse a partir do zero, estávamos envolvidos em seu desenvolvimento, suportamos, construímos relatórios sobre ele. Foi um produto muito legal. Adquirimos muita experiência, formamos uma excelente equipe. Há muito que estamos espalhados por diferentes empresas, mas ainda mantemos relacionamentos ativamente. Provavelmente nos encontramos nesse banco.
- bom Vamos para o MTS. Por que exatamente eles? O que foi oferecido para fazer isso tão interessante? Que tarefas você e sua equipe enfrentam agora?- Em primeiro lugar, fui atraído pelo MTS por uma grande equipe de Big Data, um grupo de especialistas com os quais você pode consultar a qualquer momento, que não estava na consultoria de TI, mas me faltava muito. Tínhamos um líder muito experiente e vários cientistas de dados, é claro que a experiência deles não foi suficiente para resolver quaisquer problemas. Grosso modo, tínhamos um conjunto padrão de tarefas que realizamos e tentamos não nos desviar desse conjunto de tarefas, porque não possuímos a experiência. Estou muito feliz por ter escolhido a MTS, agora temos mais de 150 pessoas e ainda queremos crescer 70% até o final do ano. Isso é muito legal, eu gosto de me comunicar e compartilhar experiências, acho que o sangue novo definitivamente não vai doer.
Em segundo lugar, aqui está uma grande pilha de tecnologias: usamos código aberto: Python, Spark, Hive, Kafka - todas as palavras-chave populares no campo de Big Data. Temos até uma solução comercial, mas não a tocamos e não construímos modelos lá. É ótimo que eu tenha me familiarizado com essa pilha no programa Newprolab e consolidado meu conhecimento posteriormente no MTS.
Além disso, é claro, tarefas interessantes, produtos interessantes. Os clientes são principalmente domésticos, mas alguns produtos são lançados. Nossa equipe possui diversas áreas: estratégica, ligada à implementação de modelos que atualmente não nos trazem dinheiro; existem projetos comerciais que este ano devem mostrar um resultado financeiro. Eu trabalho na equipe de P&D, estamos envolvidos na venda de produtos que no futuro ajudarão a MTS a melhorar.
Minha equipe e eu temos três produtos agora. A primeira é uma avaliação da qualidade do serviço para nossos assinantes em vários pontos de contato, incluindo a previsão de NPS (índice de fidelidade do cliente - nota do autor) no nível de cada assinante. Temos pesquisas que realizamos mensalmente para todos os nossos assinantes, a fim de entender se eles estão prontos para recomendar a marca MTS ou não. 0 - não está pronto para recomendar a ninguém, 10 - está pronto e ativamente fazendo isso. Coletamos essas estimativas e prevemos a classificação que o assinante nos daria se ele passasse na pesquisa e também vemos os motivos que poderiam afetar essa classificação; Podemos ajudar rapidamente a corrigi-los. Este é o primeiro produto.
O segundo produto está relacionado à análise de voz. Até agora, apenas em P&D, uma das tarefas da análise de voz é reconhecer a fala em texto através de chamadas para um contact center, a fim de analisar e classificar automaticamente as chamadas. No momento, isso é feito pelo operador e o assunto das mensagens nem sempre pode ser suficientemente preciso.
Provavelmente vou falar sobre o terceiro produto mais tarde em uma conferência de Big Data.
A equipe é muito legal, tentamos manter um ambiente de trabalho doméstico para deixar todos confortáveis. Eu tento ouvir todos os membros da equipe, todos compartilham suas idéias. Parece-me que as idéias da equipe são as mais importantes no desenvolvimento de um produto. Em geral, também estamos tentando implementar as idéias mais loucas.
- Dê um exemplo de idéias malucas.- Parece-me que nosso produto por voz começou assim. Fizemos o NPS, analisamos as classificações de nossos assinantes e, em seguida, alguém perguntou: "Por que não podemos analisar as chamadas de voz para o call center?" De fato, por que não? Avisamos nossos assinantes que podemos gravar e analisar. Nós mesmos não os ouvimos, mas graças ao processamento da máquina, podemos extrair os tópicos das chamadas a partir daí para melhorar a qualidade do serviço ao cliente.
É difícil para mim dar exemplos específicos - momentos de trabalho em que os funcionários querem testar alguma coisa, tentar implementar alguma coisa e otimizar em algum lugar. Também tentamos várias soluções, muitos fornecedores vêm até nós, oferecem as mais recentes tecnologias. Passamos pilotos com eles, olhamos os resultados.
- Você definitivamente além do MTS considerou algumas outras opções. O que é crítico para você ao escolher um empregador?- A abertura da empresa é importante para mim; Gosto de poder consultar meus colegas, meu líder, compartilhar meus medos, sei que ele entenderá e poderá dar conselhos práticos. A reputação da empresa é importante para mim. É claro que estou pronto para iniciar uma startup se tiver uma ideia interessante, mas, em geral, a reputação da empresa é importante para mim. Eu gosto de trabalhar na MTS, somos a maior operadora da Rússia. Penso que as oportunidades de desenvolvimento também são importantes, e o MTS incentiva a participação em várias conferências, tanto como orador quanto como ouvinte. , , .
. , , Confluence Jira. , - , , , . , , .
— « » , «Deep Learning» – . : / , , , / / ?— , . , . ; , , , , , . , , , - , - . , , , ( , ). , , , , . , , . , , , , , , ( ).
«Deep Learning», , . , , — . , . Keras , . , Xception, , . - , , , Python, . , , , . .
— ? ? ?— Product Owner, . -, . , , , , . . . , , , - , - , . , . , , . , .
-, . , .
Newprolab :
«Data Engineer» , «Deep Learning», « ». , , ; ; , . , , .
— , Big Data / Data Science , . , , ?— . , , , : , . ,
arxiv.org . Data Science , , . , , , , , , , , : Newprolab, , , , data scientist' data engineer'.
— - ?— , , . . , , , - , . , , . , , .
— . , - , -, ?— Data Science , . ODS , , Slack. , – , , . . -, github,
stackoverflow , arxiv.org.