O Elasticsearch, Kibana e Logstash (ELK) são um excelente kit de ferramentas para coletar e visualizar grandes quantidades de dados.
Logs, revistas, eventos - tudo isso é muito fácil de montar, mapear e exibir em um único kit de ferramentas. O Logstash mapeia os dados, o Elasticsearch os armazena e o Kibana os exibe em gráficos.
Com todo o poder deste pacote, é claro, existem tarefas que não podem ser realizadas por meio dos recursos internos.
Por exemplo, o Kibana exibe perfeitamente os dados em uma única tabela (índice), mas, assim que combina índices diferentes em uma amostra, ele lança as mãos desamparadamente.
E a única maneira de resolver o problema nesse caso é descarregar os dados do Kibana e combiná-los em qualquer outra ferramenta, por exemplo, no Excel.
Um exemplo simples. Imagine que sua árvore de Natal (ELK) colete e armazene eventos Jira - para qualquer alteração em qualquer uma das tarefas do rastreador de tarefas.
Nesse caso, o índice Elasticsearch armazenará vários registros para uma tarefa:
Se você deseja criar uma programação de eventos do Jira mostrando a conversão de tarefas por estado, é improvável que, com o Kibana, você seja capaz de fazer isso. Devido às peculiaridades do noSQL, você precisará de todos os eventos de uma tarefa para "conduzir" em um registro do Elasticsearch.
É bastante difícil fazer isso sem envolver desenvolvedores e reescrever as configurações do Logstash.
A primeira coisa que vem à sua mente é descarregar dados do Kibana para alterá-los manualmente no Excel normal.
Mas a busca pelo botão de upload, para sua grande surpresa, falhará, especialmente se o Kibana for corporativo e tiver limitações no módulo Relatórios:
Então, o que acontece, existem dados, mas você não pode usá-los?
Na verdade, existe uma maneira secreta. Através do relatório da tabela padrão, tabela de dados.
Na guia "Visualizar", você pode criar muitos relatórios diferentes, mas apenas na tabela de dados existe um botão para fazer o upload de dados no formato csv.
Se você estiver trabalhando com o Kibana, provavelmente perceberá a Tabela de dados como um agregado, ou seja, uma tabela na qual você pode calcular o número total de algo, mas é impossível listar todos os registros. No entanto, isso não é totalmente verdade.
A tabela possui uma função maravilhosa - Contagem exclusiva (para contar o número de elementos exclusivos), que você pode usar para exibir a lista inteira de registros na tabela.
Clique em "+" na guia Visualizar, selecione "Tabela de dados" e especifique o índice do qual deseja descarregar. Nos parâmetros da tabela, especifique o agregado - "Contagem exclusiva" e logo abaixo do campo com um ID exclusivo.
Se você iniciar a recontagem, o Kibana exibirá o número de entradas exclusivas no índice.
Como transformar um número em uma lista de registros? Muito simples - usando o botão "Dividir linhas"
Clique nele e selecione "Termos" como um agregado (discriminação por valor do campo).
Este é um ponto chave: em "Campo", especifique um campo com um ID de registro exclusivo.
E eis que um número ao recontar uma mesa se transforma magicamente em uma mesa!
Aqui está, o momento da verdade.
O que você fez? Em poucas palavras, você disse ao Kibana que deseja contar o número de registros exclusivos e também indicou o agrupamento de registros por atributo, ou seja, pelos valores exclusivos do campo especificado.
Agora o Kibana conta separadamente o número de elementos em cada grupo. como os valores que você especificou um ID de registro exclusivo, o Kibana começou a contar o número de registros exclusivos agrupados por um ID exclusivo, ou seja, de fato, ao lado de cada linha da tabela, a métrica "Contagem Única" será igual a "1".
Você obteve o resultado desejado - exibiu todos os registros e calculou adicionalmente quantas linhas você tem no índice com o mesmo ID.
Agora, se as colunas da tabela não forem suficientes, adicione campos adicionais usando o botão "Adicionar subconjuntos" e, em seguida, "Dividir linhas".
Em todos os lugares, selecione "Termos" como agregado e especifique os nomes dos campos que você deseja adicionar à tabela.
Feito. Você recebeu um upload completo do índice.
Tudo o que falta fazer é salvar a visualização e clicar no botão "Exportar Raw" ou "Exportar formatado".
O Raw descarrega tudo o que está bruto e o Formatted reformata os dados de acordo com o código de idioma definido no Kibana.
Só isso.
Como você pode ver, o upload do Kibana para uma pessoa simples que não esteja familiarizada com a programação ainda é possível, embora a solução não esteja na superfície.
Espero que esse pequeno truque facilite minha vida a alguém e me dê a oportunidade de analisar rapidamente os dados sem envolver desenvolvedores nos downloads.
Se minha experiência ajudou você, ficarei feliz em ver seu comentário neste artigo.