Somente uma pessoa que não tem conexões externas com o mundo externo não ouviu falar sobre big data hoje. No Habré, o tópico de análise de Big Data e os tópicos relacionados são populares. Mas não especialistas que gostariam de se dedicar ao estudo de Big Data, nem sempre é claro quais são as perspectivas dessa área, onde a análise de Big Data pode ser aplicada e com que um bom analista pode contar. Vamos tentar descobrir.
Todos os anos, o volume de informações geradas por uma pessoa aumenta. Até 2020, o volume de dados armazenados aumentará para 40-44 zettabytes (1 ST ~ 1 bilhão de GB). Até 2025, até cerca de 400 zettabytes. Assim, gerenciar dados estruturados e não estruturados usando tecnologia moderna é uma área que está se tornando cada vez mais importante. Interessado em big data, empresas individuais e estados inteiros.
A propósito, foi no processo de discutir o boom da informação e os métodos de processamento de dados gerados por humanos que surgiu o termo Big Data. Acredita-se que o editor da revista Nature, Clifford Lynch, a tenha proposto pela primeira vez em 2008.
Desde então, o mercado de Big Data cresceu várias dezenas de por cento anualmente. E essa tendência, segundo especialistas, continuará. Assim, de acordo com a
Frost & Sullivan, em 2021 o mercado global total de análise de big data aumentará para US $ 67,2 bilhões.O crescimento anual será de cerca de 35,9%.
Por que o Big Data Analytics?
Permite identificar informações extremamente valiosas de conjuntos de dados estruturados ou não estruturados. Graças a isso, uma empresa, por exemplo, pode determinar tendências, prever indicadores de produção e otimizar suas próprias despesas. É claro que, para reduzir custos, as empresas estão prontas para apresentar as soluções mais recentes.
Tecnologias e métodos de análise usados para analisar Big Data:
- Mineração de dados;
- crowdsourcing;
- mistura e integração de dados;
- aprendizado de máquina;
- redes neurais artificiais;
- reconhecimento de padrões;
- análise preditiva;
- modelagem de simulação;
- análise espacial;
- análise estatística;
- visualização de dados analíticos.
Análise de Big Data no mundo
A análise de big data agora é usada por mais de 50% das empresas em todo o mundo. Apesar do fato de que em 2015 esse número era de apenas 17%. O Big Data é usado mais ativamente por empresas que trabalham na área de telecomunicações e serviços financeiros. Em seguida, vêm empresas especializadas em tecnologia da saúde. Uso mínimo da análise de Big Data em empresas educacionais: na maioria dos casos, representantes desse campo anunciaram sua intenção de usar a tecnologia em um futuro próximo.
Nos EUA, a análise de Big Data é usada de maneira mais ativa: mais de 55% das empresas de vários campos trabalham com essa tecnologia. Na Europa e na Ásia, a demanda por análises de big data não é muito menor - cerca de 53%.
E a Rússia?
Segundo analistas da IDC, a
Rússia é o maior mercado regional de análise de Big Data . O crescimento do mercado para essas soluções na Europa Central e Oriental é bastante ativo, a cada ano esse indicador aumenta 11%. Até 2022, alcançará quantitativamente US $ 5,4 bilhões.
De muitas maneiras, um desenvolvimento tão rápido do mercado é causado pelo crescimento dessa esfera na Rússia. Em 2018, a receita da venda de soluções relevantes na Federação Russa representou 40% do investimento total em tecnologias de processamento de Big Data em toda a região.
Na Federação Russa, empresas do setor bancário e público, do setor de telecomunicações e do setor gastam mais no processamento de Big Data.
O que o Big Data Analyst faz e quanto recebe na Rússia?
O Big Data Analyst é responsável por explorar grandes quantidades de informações, parcialmente estruturadas e não estruturadas. Para organizações bancárias, são transações, para operadoras, chamadas e tráfego e no varejo, visitas e compras de clientes. Como mencionado acima, a análise de Big Data revela as conexões entre vários fatores de um "histórico de informações brutas", por exemplo, um processo de produção ou uma reação química. Com base nos dados da análise, novas abordagens e soluções são desenvolvidas em várias áreas - da produção à medicina.
Habilidades necessárias à análise de Big Data:
- A capacidade de entender rapidamente os recursos na área para a qual a análise é realizada, de mergulhar nos aspectos da esfera desejada. Pode ser varejo, indústria de petróleo e gás, remédios etc.
- Conhecimento de métodos de análise estatística de dados, construção de modelos matemáticos (redes neurais, redes bayesianas, agrupamento, regressão, fatorial, análises de variância e correlação, etc.).
- Para poder extrair dados de diferentes fontes, converta-os para análise, faça o upload no banco de dados analítico.
- Domínio de SQL.
- Conhecimento de inglês em um nível suficiente para ler perfeitamente a documentação técnica.
- Conhecimento de Python (pelo menos o básico), Bash (é muito difícil ficar sem ele no processo de trabalho), além disso, é desejável conhecer o básico de Java e Scala (necessário para o uso ativo do Spark, uma das estruturas mais populares para trabalhar com big data).
- Capacidade de trabalhar com o Hadoop.
Bem, quanto o analista de Big Data recebe?
Os especialistas em Big Data estão em falta, a demanda excede a oferta. Isso ocorre porque os negócios chegam a um entendimento: para o desenvolvimento, novas tecnologias são necessárias e, para o desenvolvimento de tecnologias, são necessários especialistas.
Então, a Data Scientist e Data Analyst nos EUA
entraram nas 3 melhores profissões de 2017, de acordo com a agência de recrutamento Glassdoor. O salário médio desses profissionais na América começa em US $ 100 mil por ano.
Na Rússia, os especialistas em aprendizado de máquina recebem de 130 a 300 mil rublos por mês, analistas de big data - de 73 a 200 mil rublos por mês. Tudo depende da experiência e qualificações. Obviamente, há vagas com um salário mais baixo e há mais vagas. Demanda máxima para analistas de big data em Moscou e São Petersburgo. Não é de surpreender que Moscou represente cerca de 50% das vagas ativas (segundo hh.ru). Muito menos demanda está em Minsk e Kiev. Vale ressaltar que algumas vagas oferecem horário flexível e trabalho remoto. Mas, em geral, as empresas exigem especialistas que trabalham no escritório.
Com o tempo, podemos esperar um aumento na demanda por analistas de Big Data e representantes de especialidades relacionadas. Como mencionado acima, ninguém cancelou a falta de pessoal no campo da tecnologia. Mas, é claro, para se tornar um analista de Big Data, você precisa aprender e trabalhar, aprimorando as habilidades mencionadas acima e as adicionais. Uma das oportunidades para iniciar o caminho da análise de Big Data é
se inscrever em um curso da Geekbrains e tentar trabalhar com o big data.