Muitos autores estrangeiros concordam que a era do Big Data chegou ao fim. E, neste caso, o termo Big Data refere-se a tecnologias baseadas no Hadoop. Muitos autores podem até nomear com confiança a data em que o Big Data deixou este mundo e esta data é 06/05/2019.
O que aconteceu neste dia importante?
Nesse dia, a empresa MAPR prometeu suspender seu trabalho se não conseguir encontrar os fundos para continuar funcionando. Mais tarde, em agosto de 2019, o MAPR foi adquirido pela HP. Mas voltando a junho, não se pode deixar de notar a tragédia desse período para o mercado de Big Data. Este mês, as cotações das ações entraram em colapso com a CLOUDERA, empresa líder no mercado designado, que se fundiu com as HORTOWORKS cronicamente não lucrativas em janeiro daquele ano. O colapso foi muito significativo e chegou a 43%; no final, a capitalização da CLOUDERA caiu de 4,1 para 1,4 bilhões de dólares.
É impossível não dizer que rumores sobre o aumento da bolha no campo de tecnologias baseadas no Hadoop estão circulando desde dezembro de 2014, mas corajosamente duraram quase mais cinco anos. Esses rumores foram baseados no fracasso do Google, empresa em que a tecnologia Hadoop nasceu, desde sua invenção. Mas a tecnologia se enraizou durante a transição das empresas para as ferramentas de processamento baseadas na nuvem e o rápido desenvolvimento da inteligência artificial. Portanto, voltando, podemos dizer com confiança que o fim era esperado.
Assim, a era do Big Data chegou ao fim, mas, no processo de trabalhar com big data, as empresas perceberam todas as nuances do trabalho, os benefícios que o Big Data pode trazer para os negócios e também aprenderam como usar a inteligência artificial para extrair valor dos dados brutos.
O mais interessante é a questão do que substituirá essa tecnologia e como as tecnologias de análise continuarão se desenvolvendo.
Análise Aumentada
Durante os eventos descritos, as empresas que trabalham no campo da análise de dados não ficaram paradas. O que pode ser julgado a partir das informações sobre transações que ocorreram em 2019. Este ano, foi realizada a maior transação do mercado - a aquisição do Salesforce da plataforma analítica Tableau por 15,7 bilhões de dólares. Um acordo menor ocorreu entre o Google e o Looker. E, é claro, não se pode deixar de notar a aquisição pela Qlik - a grande data da plataforma Attunity.
Os líderes de mercado de BI e os especialistas do Gartner afirmam uma tremenda mudança nas abordagens de análise de dados; essa mudança destruirá completamente o mercado de BI e levará à substituição do BI pela IA. Nesse contexto, deve-se notar que a abreviatura AI não é "Inteligência artificial", mas "Inteligência aumentada". Vamos dar uma olhada no que está oculto por trás das palavras "Análise Aumentada".
A análise aumentada, bem como a realidade aumentada, é baseada em vários postulados gerais:
- a capacidade de se comunicar usando a PNL (Natural Language Processing), ou seja, na linguagem humana;
- o uso de inteligência artificial, isso significa que os dados serão pré-processados pela inteligência da máquina;
- e, é claro, as recomendações disponíveis para o usuário do sistema, que da mesma forma geraram inteligência artificial.
De acordo com os fabricantes de plataformas analíticas, seu uso estará disponível para usuários que não possuem habilidades especiais, como conhecimento de SQL ou uma linguagem de script semelhante, que não possuem treinamento estatístico ou matemático e que não possuem conhecimento no campo de idiomas populares especializados em processamento de dados e bibliotecas correspondentes. Essas pessoas, chamadas de Citizen Data Scientist, devem ter apenas qualificações comerciais excelentes. Sua tarefa é capturar insights de negócios a partir das dicas e previsões que a inteligência artificial lhes dará, e eles poderão refinar suas suposições usando a PNL.
Descrevendo o processo de usuários que trabalham com sistemas dessa classe, pode-se imaginar a seguinte figura. Uma pessoa que chega ao trabalho e inicia o aplicativo correspondente, além do conjunto usual de relatórios e painéis que podem ser analisados usando abordagens padrão (classificação, agrupamento, execução de operações aritméticas), vê algumas dicas e recomendações, algo como: “Para atingir o KPI em termos de quantidade vendas, você deve aplicar um desconto em produtos da categoria "Jardinagem" ". Além disso, uma pessoa pode entrar em contato com o messenger corporativo: Skype, Slack etc. Ele pode fazer perguntas ao robô, em texto ou voz: "Traga-me os cinco clientes mais rentáveis". Tendo recebido a resposta apropriada, ele deve tomar as melhores decisões com base em sua experiência nos negócios e trazer lucro para a empresa.
Se você der um passo atrás e examinar a composição das informações analisadas, e nesse estágio os produtos da classe de análise aumentada podem simplificar a vida das pessoas. Idealmente, supõe-se que o usuário precise apenas apontar o produto analítico para as fontes das informações desejadas, e o próprio programa cuidará da criação de um modelo de dados, várias tabelas e tarefas semelhantes.
Tudo isso deve, em primeiro lugar, garantir a "democratização" dos dados, ou seja, qualquer um pode analisar toda a gama de informações disponíveis para a empresa. O processo de tomada de decisão deve ser apoiado por métodos de análise estatística. O tempo de acesso aos dados deve ser mínimo, pois não é necessário gravar scripts e consultas SQL. E, é claro, será possível economizar com especialistas em ciência de dados altamente pagos.
Hipoteticamente, as tecnologias abrem perspectivas muito brilhantes para os negócios.
O que substitui o Big Data
Mas, na verdade, comecei meu artigo com Big Data. E não pude desenvolver esse tópico sem uma breve excursão às modernas ferramentas de BI, cuja base, muitas vezes, é o Big Data. O destino do big data agora é claramente uma conclusão precipitada, e essas são tecnologias em nuvem. Eu me concentrei em transações feitas com fornecedores de BI, a fim de demonstrar que agora todo sistema de análise possui armazenamento em nuvem e os serviços em nuvem têm BI como front-end.
Não se esqueça de pilares no campo de bancos de dados como ORACLE e Microsoft, é necessário observar a direção de negócios escolhida e essa nuvem. Todos os serviços oferecidos podem ser encontrados na nuvem, mas alguns serviços em nuvem não podem mais ser obtidos no local. Eles fizeram um trabalho significativo no uso de modelos de aprendizado de máquina, criaram bibliotecas disponíveis para os usuários, configuraram interfaces para a conveniência de trabalhar com modelos, desde sua seleção até a definição do horário de início.
Outra vantagem importante do uso de serviços em nuvem, que é expressa pelos fabricantes, é a presença de conjuntos de dados praticamente ilimitados sobre qualquer tópico para modelos de treinamento.
No entanto, surge a pergunta: quanto a tecnologia em nuvem se enraíza em nosso país?