Um ano sem Splunk - como uma empresa americana mudou o mercado de análise de dados de máquinas na Rússia e quem deixou para trás

Quase um ano atrás, Splunk morreu na Rússia. Este artigo é amplamente revisado. Trata-se dos dados da máquina, do nicho de mercado e do exemplo de substituição de importações que ocorreu sem slogans de alto perfil - simplesmente porque o mercado exigia. Exclusivamente - a versão do autor sobre o motivo pelo qual o Splunk deixou a Rússia, mas é possível que tudo estivesse completamente errado.

O que são dados da máquina?

Embora muitos de nós ouvimos o termo "Big Data" com muito mais frequência, falaremos sobre dados de máquinas, ou seja, dados gerados digitalmente a partir de uma ampla variedade de fontes. E não se trata de restringir o domínio, mas precisamente da precisão da definição.

Dados da máquina são quaisquer dados gerados por dispositivos digitais. Isso inclui logs de servidores corporativos e dispositivos de rede, dados de sensores de sistemas industriais e dispositivos de IoT, mensagens para email corporativo, atividade em um servidor Web, registros de funcionários que entram e saem de suas contas, transações financeiras digitais, chamadas ao suporte da empresa e muito, muito mais.

É importante que, entre mensagens puramente técnicas, os dados da máquina contenham uma enorme quantidade de informações que refletem os processos de negócios da organização - a interação da empresa com suas contrapartes e intermediários (bancos, empresas de seguros e serviços, autoridades reguladoras). Estatísticas da atividade dos funcionários na rede corporativa e durante o movimento físico em torno da empresa, o movimento de mercadorias no armazém, a demanda e a duração do serviço, etc. - tudo isso também são dados da máquina.

Em seguida, surge a idéia: analisar os dados da máquina para identificar os gargalos dos sistemas e negócios de TI, otimizar a qualidade do serviço ao cliente, encontrar vulnerabilidades na segurança das informações da empresa e traços de fraudadores.

A complexidade do uso de dados da máquina reside no fato de que eles são apresentados em um número incrível de formatos.

A ideia é verdadeira, mas difícil de implementar. A complexidade do uso de dados da máquina reside no fato de que eles são apresentados em um número incrível de formatos, e as ferramentas tradicionais de monitoramento e análise não são projetadas para uma variedade, velocidade de recebimento, volume ou variabilidade desses dados.

Iniciou com sistemas SIEM e inteligência de negócios e terminou com soluções Splunk.

Quando, há dez anos, começou o estudo da aplicabilidade dos dados da máquina, começaram a aparecer no mercado soluções de software para processamento e análise. Em um esforço para criar as melhores ferramentas de sua classe, os desenvolvedores começaram a restringir a área de assunto da análise de dados da máquina.

Então apareceu e alcançou um alto nível de maturidade no sistema SIEM (informações de segurança e gerenciamento de eventos). Estes são produtos de software no campo da segurança da informação (IS). Eles monitoram sistemas de informação em tempo real, coletam e analisam dados da máquina relacionados à segurança da informação. O escopo dos sistemas SIEM inclui servidores, dispositivos de rede, sensores, computadores e dispositivos móveis, ferramentas de segurança da informação, infraestrutura de sistemas e aplicativos.

Outro ramo da análise de dados de máquinas tornou-se sistemas de monitoramento de infraestrutura de TI. Terceiro - sistemas de inteligência de negócios (BI, Business intelligence), analisando processos de negócios com base em uma matriz de dados relacionados à atividade de negócios da empresa.

O que é bom - foi alcançado um sucesso significativo em cada um dos ramos listados da análise de dados de máquinas, e soluções e produtos decentes foram introduzidos no mercado. O que não é tão bom - a integração de sistemas heterogêneos para monitorar a infraestrutura de TI, registrar e prevenir incidentes de segurança da informação e analisar processos de negócios provou ser uma questão bastante complicada, às vezes remanescente de "atravessar um porco-espinho e uma cobra".

Quando esse problema foi reconhecido pelo mercado, vários fornecedores direcionaram os esforços de seus desenvolvedores para criar um sistema universal de análise de dados de máquinas. Ou seja, um sistema que sozinho seria capaz de responder tanto à pergunta do CIO - "Por que eu tenho uma carga tão desigual de servidores" e à pergunta do CEO - "Quais dos processos de negócios da empresa nos levam ao lucro e que levam à falência".

Em geral, o mercado concorda que a solução universal de maior sucesso para a análise de dados de máquinas foi proposta pela empresa americana Splunk.

Aconteceu que a solução universal de maior sucesso para analisar dados de máquinas foi proposta pela empresa americana Splunk. Embora a Splunk tenha concorrentes como IBM, BMC Software, Microsoft, Quest Software, além de opções para implementar análises na pilha ELK de código aberto. Mas foram as soluções da Splunk que se tornaram líderes de mercado. Splunk Enterprise - O produto com a mais ampla funcionalidade tornou-se o padrão de fato do setor para sistemas integrados de análise de dados de máquinas para grandes empresas.

O mercado aceitou os produtos Splunk, em primeiro lugar, por uma excelente combinação de facilidade de instalação, flexibilidade de configuração e uma variedade de ferramentas analíticas. Splunk tem seu próprio ecossistema chamado Splunkbase . Aqui, desenvolvedores e clientes da comunidade Splunk publicam vários complementos, complementos de tecnologia e aplicativos que resolvem tarefas diferentes. Por exemplo, você pode baixar aplicativos lá, um dos quais coleta logs de dispositivos Cisco e o segundo de dispositivos de rede de outro fabricante, etc. Essa interação é benéfica para desenvolvedores e clientes.


Visão geral da tela do Splunkbase. Fonte: Splunk


Os close-ups são exemplos de complementos e aplicativos no Splunkbase. O número de downloads é indicado como uma métrica de popularidade. Fonte: Splunk

Se você se aprofundar um pouco no ecossistema do Splunkbase, poderá esclarecer as diferenças - o aplicativo difere do complemento, pois o aplicativo possui uma interface gráfica. Estes são painéis visuais, painéis (mostradores), formulários, diagramas que permitem ver análises sobre uma pergunta endereçada ao sistema na interface gráfica. O usuário pode criar uma pesquisa e análise em uma variedade de parâmetros, investigando o máximo possível o intervalo de tempo dos eventos para identificar as causas do que aconteceu.

A história do Splunk na Rússia é brilhante, mas de curta duração

Um produto tão rico em funcionalidades como o Splunk não poderia passar a atenção do CIO de grandes empresas russas. De fato, quanto maior a empresa, mais difícil é gerenciar e identificar fatores que afetam o desempenho dos negócios, a estabilidade da infraestrutura de TI e das ferramentas de segurança da informação.


Apresentação geral da solução Splunk Enterprise ( https://www.volgablob.ru/en/solutions/splunk ). Fonte: VolgaBlob

O Splunk chegou à Rússia na virada de 2013 e começou a construir uma rede de afiliados de acordo com o esquema clássico - um distribuidor de licenças (RRC) e parceiros de implementação (VolgaBlob, TS Solution, Talmer). Considerando que o custo da licença do Splunk é bastante alto e o fornecedor se concentrava nos clientes de grandes empresas (e todos contam), o número de parceiros era pequeno.

O VolgaBlob foi um dos primeiros parceiros a começar a trabalhar com as soluções Splunk. Os 10 anos anteriores de experiência no desenvolvimento, personalização e implementação de ferramentas de segurança da informação foram úteis.

“Fomos um player maduro no mercado de segurança cibernética, mas o Splunk foi uma verdadeira descoberta (!) Para nós e uma nova perspectiva empolgante. Começamos a desenvolver nossa experiência no campo de análise de processos de negócios, inclusive na interface com o IS, construímos conjuntos de nossos conectores e aplicativos técnicos no ecossistema Splunk e oferecemos tudo isso dentro de casos específicos de usuários finais para empresas do nível federal ”, Alexander compartilha suas impressões . Skakunov , CEO da VolgaBlob.

Em 2018, em que o maior número de projetos baseados no Splunk Enterprise na Rússia foi concluído, o número de clientes que usavam o Splunk incluía marcas como Rosneft e SUEK, Sberbank e Tinkoff Bank, MTS, Moscow Exchange e Megafon. O ponto culminante dos eventos - Em 0 de outubro de 2018, a conferência Splunk Discovery Day Moscow 2018 foi impressionante em termos de número de participantes e nível de relatórios.Um salão completo e CIO de muitas empresas. Qual dos participantes poderia sugerir que, em apenas 3 meses, o mercado apresentasse um humor completamente diferente.


Foto da conferência do Splunk Discovery Day Moscow 2018. Fonte: avleonov.com

Em 19 de fevereiro de 2019, a Splunk anunciou uma saída de emergência do mercado russo inesperadamente para a nossa comunidade de TI. Os parceiros e clientes que ficaram perdidos só conseguiram ler o comunicado de imprensa indistinto no site do fornecedor . Nele, a retirada da Rússia foi vagamente explicada por "razões de investimento". Todas as tentativas dos parceiros de obter explicações mais inteligíveis foram inúteis.

Sensações desagradáveis ​​foram experimentadas não apenas pelos parceiros Splunk, mas também por clientes que subitamente desabilitaram o acesso a suas contas. Quando, após alguns dias, as paixões diminuíram um pouco ( veja detalhes em Habré ), a Splunk disse que os clientes com licenças válidas podem usar suas contas até que as licenças expirem, e os parceiros podem continuar a servi-las por seu próprio risco, mas sem a assistência da fornecedor.

A versão do autor sobre o Splunk deixar a Rússia, mas é possível que tudo estivesse errado

Nesta seção, teremos um anti-herói, existem até dois deles, e os dois da Splunk são Doug Merritt (CEO) e Carrie Palin (CMO, Diretora de Marketing).

As empresas públicas americanas têm uma seção maravilhosa do site onde são obrigadas a divulgar aos investidores a situação sobre seus negócios. Aqui você pode descobrir o seguinte: 19/02/2019, quando a Splunk (SPLK, NASDAQ) publicou um comunicado ao deixar a Rússia, foi o primeiro dia útil de Carrie Palin, CMO - eles a contrataram. Mas a decisão de deixar a Rússia provavelmente foi tomada um pouco antes. Provavelmente, houve consultas com ela, negociações antes do primeiro dia útil oficial e redução de custos para deixar a Rússia foi sua proposta de "novas idéias de marketing", como é habitual em entrevistas com os principais gerentes.

CEO, Doug Merritt, é possível que a ideia tenha sido aprovada e o então CFO (diretor financeiro) Splunk, que estava finalizando sua cadência naquele momento e deixando a empresa, aparentemente não se opôs (em maio de 2019 eles contrataram um novo CFO).

Quem investe no mercado dos EUA - a primeira coisa a fazer é analisar - como as ações da Splunk reagiram ao deixar o mercado russo? A resposta é não, neutra (veja o gráfico). O declínio subsequente das ações a partir de 1º de março de 2019 está associado à Cisco - uma informação privilegiada foi lançada que supostamente as vendeu e depois não as vendeu (e ainda não vendeu até agora).


Gráfico diário SPLK para a primavera de 2019. Fonte: Tradingview

O gráfico mostra que a razão oficialmente declarada para deixar a Rússia sobre "otimização para investidores" não era uma desculpa de 100%, mas pelo menos parcialmente verdadeira. Você pode entender a lógica deles - a curva de crescimento das ações naquela época era impressionante (e não há mérito no mercado russo nisso - o Fed acelerou o mercado de ações americano com liquidez). Ao mesmo tempo, em uma escala do Splunk, os negócios na Federação Russa eram visíveis apenas através de um microscópio (apesar de todos os esforços dos parceiros na Federação Russa), e havia muita confusão, e a qualquer momento você podia ficar sob a distribuição de sanções (o que no início de 2019 era um risco real).

Exemplo de produto de substituição para cuidados posteriores Splunk

Embora a Splunk não tenha um concorrente direto na forma de uma solução comercial em nosso mercado, os desenvolvedores russos tentaram criar um analógico que lhes convier com base nos projetos de código aberto da ELK. Isso foi feito principalmente em empresas de médio porte que não podiam comprar o Splunk. Mas a prática não foi generalizada, porque os produtos escritos por si são mantidos pelo entusiasmo de funcionários específicos e são abandonados depois que saem.

Existe uma versão comercial para o ELK, mas na Federação Russa ela é minimamente demandada e, em muitos aspectos, compete com o software livre.

ELK é uma abreviação de três projetos de código aberto Elasticsearch, Logstash e Kibana. Aqui, o Elasticsearch é pesquisa e análise, o Logstash é o processamento de dados de máquinas de várias fontes ao mesmo tempo e o Kibana é um projeto para criar ferramentas de visualização de resultados do Elasticsearch e Logstash. Embora inicialmente o ELK não visasse analisar os dados da máquina, logo começou a ser usado para processar logs com um registro de data e hora.

O autor não se compromete a contar sobre o destino de todas as empresas de TI na Rússia relacionadas à implementação do Splunk, mas há uma história reveladora - como os eventos de 2019 transformaram os negócios da VolgaBlob, parceira da Splunk, em negócios.

A Volgablob, assim como outros ex-parceiros da Splunk, tinha dois nichos de mercado após a saída do fornecedor. O primeiro é continuar a atender aos clientes com licenças existentes na plataforma Splunk (e entre elas existem empresas com licenças perpétuas), o segundo é oferecer aos clientes que desejam migrar para outra plataforma uma alternativa baseada em um produto de código aberto.

Como você sabe, qualquer crise não é apenas uma perda, mas também novas oportunidades. O VolgaBlob ficou em uma situação muito difícil, pois a introdução e a personalização dos casos de usuário do Splunk eram sua fonte significativa de pedidos e, é claro, receitas. Em vez de fechar os negócios ou ir para outros nichos, eles reagruparam a equipe, contrataram novos desenvolvedores e começaram a arrastar o desenvolvimento de aplicativos da plataforma Splunk para o ELK.

“Ao longo dos anos de presença do Splunk no mercado russo, criamos nosso próprio conjunto de aplicativos proprietário para o Splunk, que chamamos de Smart Monitor. São coletados os "recursos" mais exigidos pelos clientes russos. Quando o fornecedor saiu de repente, a sagacidade e o desejo de diversificar a escolha de uma plataforma para trabalhar com dados da máquina, que foi mostrada ao mesmo tempo, nos ajudaram ”, diz Alexander Skakunov.

Como se respondesse ao comentário de Habr sobre a aposentadoria do fornecedor "... Talvez haja artesãos que farão uma alternativa", o VolgaBlob conseguiu implementar em pouco tempo um conjunto de ferramentas analíticas Smart Monitor, anteriormente desenvolvidas para Splunk, mas agora na plataforma ELK. A nova solução é chamada de código aberto do Smart Monitor . Não existe um ecossistema de aplicativos de outros desenvolvedores independentes. Mas existem alguns módulos de coleta e análise de dados selecionados pelos casos atuais dos clientes existentes, ou seja, exigido no mercado russo.

Pela primeira vez, o Smart Monitor Open Source foi apresentado na conferência VB-Trend 2019: Plan> B , realizada em 13 de novembro de 2019 em Moscou. Em nome - o desejo de oferecer um produto de substituição e revelar cartões sobre um tópico que preocupa centenas de empresas na Rússia que usavam o Splunk anteriormente.

O autor não considera correto copiar materiais da conferência aqui. Os especialistas que trabalham na área de análise de dados de máquinas aprenderão mais sobre o produto Splunk substituto nas páginas da VB-Trend 2019. E todos os outros, incluindo o autor, podemos ficar felizes pelos desenvolvedores russos.