Ciência de dados na Rússia: idiomas, tecnologias e muito mais

Em dezembro de 2017, realizamos uma pesquisa entre vários grupos de usuários russos, de uma forma ou de outra relacionada à análise dos dados. Gostaríamos de saber quais linguagens de programação, tecnologias e ferramentas são usadas por especialistas neste campo. Isso também é importante para o desenvolvimento do PyCharm , que já é bastante popular entre os analistas. Uma melhor compreensão das necessidades dos especialistas em análise de dados tornará nosso produto ainda mais conveniente.

Mais tarde, realizamos um estudo semelhante em outros países e tivemos a oportunidade de comparar a situação na Rússia com o mundo. Aqui compartilharemos as observações mais interessantes, dados mais completos sobre a Rússia e infográficos são publicados em nosso site . Os dados de origem estão disponíveis aqui (todas as respostas às perguntas em aberto foram excluídas para manter a confidencialidade). Em breve também publicaremos os resultados de um estudo mundial.



Perfil do especialista em ciência de dados

O estudo analisou as respostas de 373 russos e 1965 participantes de todo o mundo. Por idade, os especialistas russos no campo da ciência de dados praticamente não diferem de seus colegas estrangeiros, mas os especialistas estrangeiros têm um nível mais alto de educação formal. Entre os russos pesquisados, 59% possuem diploma de bacharel e apenas 20% possuem mestrado, enquanto no mundo 45% dos entrevistados possuem diploma de bacharel e 36% têm mestrado.

O campo da ciência de dados é relativamente jovem, cerca de metade dos entrevistados (46%) trabalha no setor há 1 a 3 anos. E apenas 18% têm experiência de 3 a 6 anos. É significativo que, para a grande maioria dos entrevistados (aqueles com experiência de 0 a 6 anos e mais de 90%), a idade média não tenha nada a ver com experiência. Isso provavelmente se deve à juventude da esfera e ao fato de pessoas de áreas relacionadas estarem se mudando para ela ativamente.

Muitas pessoas resolvem tarefas de análise de dados, juntamente com a programação e outras responsabilidades do trabalho. Apenas 50% dos entrevistados (36% no mundo, de acordo com nossa pesquisa) indicaram a análise de dados como sua principal atividade profissional, 33% dos entrevistados combinam a análise de dados com suas principais responsabilidades profissionais.

Linguagens de programação

Python é a linguagem dominante de análise de dados na Rússia e no mundo. No exterior, a participação do uso de Python e R no campo da análise de dados é de 73% e 40%, respectivamente, na Rússia O Python é muito mais popular que o R - 84% contra 25%.

Tecnologia e Ferramentas

Mais de 60% dos entrevistados, de uma maneira ou de outra, usam ferramentas de aprendizado profundo. O TensorFlowTM é a estrutura mais popular - 49%, Keras em segundo lugar com 39%.

O Apache Spark é usado por 40% dos participantes, incluindo 92% dos que programam no Scala. Todo mundo para quem Scala é o idioma principal usa o Apache Spark. A proporção de quem só programa em Python e usa Spark é de cerca de 14% (se você não levar em consideração a capacidade de usar Spark de Lua e Julia, esse percentual aumentará para 20%).

Salário

O conhecimento das tecnologias de big data é a chave para os altos salários. O salário médio de um especialista fora da pilha de tecnologia de big data é de 127 mil rublos. Os salários dos especialistas variam significativamente, dependendo das qualificações e experiência, mas, em média, são muito mais altos no campo da análise de big data. Curiosamente, apesar da popularidade do Apache Spark, os respondentes com conhecimento dessa tecnologia são inferiores em salários aos especialistas que possuem o Apache Pig e o Apache Hive - 157 mil rublos contra 177 e 166 mil, respectivamente. O conhecimento do Apache Hadoop / MapReduce permite ganhar uma média de 150 mil rublos.

Em termos de dependência de salários da linguagem de programação, não diferimos do mundo inteiro: os especialistas da Scala ganham mais do que o resto - uma média de 173 mil rublos. Eles são seguidos por entrevistados com conhecimento de Java - 158 mil e Python - 143 mil. Além disso, os salários de especialistas em Python são 4-5% mais altos do que aqueles que usam R (136 mil), o que é bastante consistente com a situação no mundo. .

Mais detalhes sobre o estado da esfera de ciência de dados na Rússia podem ser encontrados na versão completa do relatório com infográficos . Nosso estudo não afirma ser absolutamente representativo, pois distribuímos o link para a pesquisa nos canais em que uma parte bastante ativa da comunidade de ciência de dados é apresentada:

• nas comunidades Slack Open Data Science (ODS),
• enviado diretamente a empresas que possuem unidades de análise de dados,
• distribuídos aos participantes da conferência SmartData, distribuídos em grupos temáticos de usuários, etc.

No entanto, nossa análise fornece uma certa idéia do setor na Rússia.

Para aqueles que desejam realizar uma análise independente e tirar suas próprias conclusões, os dados iniciais estão disponíveis. Todas as respostas às perguntas em aberto foram excluídas para manter a confidencialidade.

Planejamos continuar monitorando as tendências no campo da ciência de dados e realizando pesquisas semelhantes. Se você quiser participar de nossas pesquisas futuras, assine a última página do nosso relatório . Teremos o maior prazer em vê-lo entre os nossos entrevistados.