Elasticsearch, Kibana y Logstash (ELK) son un excelente kit de herramientas para recopilar y visualizar grandes cantidades de datos.
Registros, revistas, eventos: todo esto es bastante fácil de armar, mapear y mostrar en un solo conjunto de herramientas. Logstash asigna datos, Elasticsearch los almacena y Kibana los muestra en gráficos.
Con todo el poder de este paquete, por supuesto, hay tareas que no se pueden realizar a través de las funciones integradas.
Por ejemplo, Kibana muestra perfectamente los datos dentro de una sola tabla (índice), pero tan pronto como se trata de combinar diferentes índices en una muestra, arroja sus manos sin poder hacer nada.
Y la única forma de resolver el problema en este caso es descargar los datos de Kibana y combinarlos en cualquier otra herramienta, por ejemplo, en Excel.
Un simple ejemplo. Imagine que su árbol de Navidad (ELK) recolecta y almacena eventos de Jira, para cualquier cambio en cualquiera de las tareas del rastreador de tareas.
En este caso, el índice Elasticsearch almacenará varios registros para una tarea:
Si desea crear un programa de eventos de Jira que muestre la conversión de tareas por estado, entonces con Kibana es poco probable que pueda hacer esto. Debido a las peculiaridades de noSQL, necesitará todos los eventos de una tarea para "conducir" en un registro Elasticsearch.
Es bastante difícil hacer esto sin involucrar a los desarrolladores y reescribir las configuraciones de Logstash.
Lo primero que se te ocurre es descargar datos de Kibana para retorcerlos manualmente en Excel normal.
Pero la búsqueda del botón de carga, para su gran sorpresa, fallará, especialmente si Kibana es corporativa y tiene limitaciones en el módulo de Informes:
Entonces, ¿qué sucede, hay datos, pero no puedes usarlos?
En realidad hay una forma secreta. A través de la tabla estándar informe Tabla de datos.
En la pestaña "Visualizar", puede crear muchos informes diferentes, pero solo en la Tabla de datos hay un botón para cargar datos en formato csv.
Si está trabajando con Kibana, entonces probablemente perciba la Tabla de datos como un agregado, es decir una tabla en la que puede calcular el número total de algo, pero es imposible enumerar todos los registros. Sin embargo, esto no es del todo cierto.
La tabla tiene una función maravillosa: Recuento único (para contar el número de elementos únicos), que puede usar para mostrar la lista completa de registros en la tabla.
Haga clic en "+" en la pestaña Visualizar, seleccione "Tabla de datos" y especifique el índice del que desea descargar. En la tabla, los parámetros especifican el agregado: "Recuento único" y justo debajo del campo con una ID única.
Si comienza el recuento, Kibana mostrará el número de entradas únicas en el índice.
¿Cómo convertir un número en una lista de registros? Muy simple: usar el botón "Dividir filas"
Haga clic en él y seleccione "Términos" como un agregado (desglose por valor de campo).
Este es un punto clave: en "Campo", especifique un campo con un ID de registro único.
Y, he aquí, ¡un número al contar una mesa mágicamente se convierte en una mesa!
Aquí está, el momento de la verdad.
Que has hecho En pocas palabras, le dijo a Kibana que desea contar el número de registros únicos y también indicó la agrupación de registros por atributo, es decir, por los valores únicos del campo que especificó.
Ahora Kibana cuenta por separado el número de elementos en cada grupo. como valores que especificó un ID de registro único, Kibana comenzó a contar el número de registros únicos agrupados por un ID único, es decir de hecho, al lado de cada fila de la tabla, la métrica "Recuento único" será igual a "1".
Obtuvo el resultado deseado: visualizó todos los registros y además calculó cuántas filas tiene en el índice con la misma ID.
Ahora, si las columnas en la tabla no son suficientes, agregue campos adicionales usando el botón "Agregar subcapas" y luego "Filas divididas".
En todas partes, seleccione "Términos" como el agregado y especifique los nombres de los campos que desea agregar a la tabla.
Listo Recibiste una carga completa del índice.
Todo lo que queda por hacer es guardar la visualización y hacer clic en el botón "Exportar sin formato" o "Exportar con formato".
Raw descarga todo sin formato, y Formatted formatea los datos de acuerdo con la configuración regional establecida en Kibana.
Eso es todo.
Como puede ver, aún es posible cargar desde Kibana a una persona simple que no esté familiarizada con la programación, aunque la solución no se encuentra en la superficie.
Espero que este pequeño truco me facilite la vida a alguien y me brinde la oportunidad de analizar rápidamente los datos sin involucrar a los desarrolladores en las descargas.
Si mi experiencia te ha ayudado, estaré encantado de ver tu comentario sobre este artículo.