Wo ist sein Knopf ?! Wie kann eine einfache Person Daten aus Kibana und Elasticsearch entladen und die Entwickler nicht belasten?

Elasticsearch, Kibana und Logstash (ELK) sind ein hervorragendes Toolkit zum Sammeln und Visualisieren großer Datenmengen.

Protokolle, Magazine, Ereignisse - all dies lässt sich ganz einfach in einem einzigen Toolkit zusammenstellen, zuordnen und anzeigen. Logstash ordnet Daten zu, Elasticsearch speichert sie und Kibana zeigt sie in Diagrammen an.

Bei aller Leistung dieses Bundles gibt es natürlich Aufgaben, die mit den integrierten Funktionen nicht realisiert werden können.

Zum Beispiel zeigt Kibana Daten perfekt in einer einzelnen Tabelle (Index) an, aber sobald es darum geht, verschiedene Indizes zu einer Stichprobe zu kombinieren, wirft es hilflos die Hände hoch.

Die einzige Möglichkeit, das Problem in diesem Fall zu lösen, besteht darin, die Daten aus Kibana zu entladen und in einem anderen Tool, beispielsweise in Excel, zu kombinieren.

Ein einfaches Beispiel. Stellen Sie sich vor, Ihr Weihnachtsbaum (ELK) sammelt und speichert Jira-Ereignisse - für jede Änderung einer der Aufgaben des Task-Trackers.

In diesem Fall speichert der Elasticsearch-Index mehrere Datensätze für eine Aufgabe:



Wenn Sie einen Jira-Ereignisplan erstellen möchten, der die Konvertierung von Aufgaben nach Status anzeigt, ist es unwahrscheinlich, dass Sie dies mit Kibana tun können. Aufgrund der Besonderheiten von noSQL benötigen Sie alle Ereignisse einer Aufgabe, um in einen Elasticsearch-Datensatz zu „fahren“.

Es ist ziemlich schwierig, dies zu tun, ohne Entwickler einzubeziehen und Logstash-Konfigurationen neu zu schreiben.

Das erste, was Ihnen in den Sinn kommt, ist das Entladen von Daten aus Kibana, um sie manuell in normalem Excel zu verdrehen.

Zu Ihrer großen Überraschung schlägt die Suche nach dem Upload-Button jedoch fehl, insbesondere wenn Kibana ein Unternehmen ist und Einschränkungen im Berichtsmodul aufweist:



Was passiert also, es gibt Daten, die Sie jedoch nicht verwenden können?
Es gibt tatsächlich einen geheimen Weg. Über die Standardtabelle Bericht Datentabelle.

Auf der Registerkarte "Visualisieren" können Sie viele verschiedene Berichte erstellen. Nur in der Datentabelle befindet sich eine Schaltfläche zum Hochladen von Daten im CSV-Format.



Wenn Sie mit Kibana arbeiten, nehmen Sie die Datentabelle wahrscheinlich als Aggregat wahr, d. H. Eine Tabelle, in der Sie die Gesamtzahl von etwas berechnen können, aber es ist unmöglich, alle Datensätze aufzulisten. Dies ist jedoch nicht ganz richtig.

Die Tabelle hat eine wunderbare Funktion - Unique Count (um die Anzahl der eindeutigen Elemente zu zählen), mit der Sie die gesamte Liste der Datensätze in der Tabelle anzeigen können.

Klicken Sie auf der Registerkarte "Visualisieren" auf "+", wählen Sie "Datentabelle" und geben Sie den Index an, aus dem Sie entladen möchten. Geben Sie in den Tabellenparametern das Aggregat "Unique Count" und direkt unter dem Feld mit einer eindeutigen ID an.



Wenn Sie die Nachzählung starten, zeigt Kibana die Anzahl der eindeutigen Einträge im Index an.
Wie verwandle ich eine Nummer in eine Liste von Datensätzen? Sehr einfach - mit der Schaltfläche „Zeilen teilen“
Klicken Sie darauf und wählen Sie "Begriffe" als Aggregat (Aufschlüsselung nach Feldwert).
Dies ist ein wichtiger Punkt: Geben Sie unter „Feld“ ein Feld mit einer eindeutigen Datensatz-ID an.

Und siehe da, eine Zahl, wenn man einen Tisch erzählt, verwandelt sich auf magische Weise in einen Tisch!
Hier ist es, der Moment der Wahrheit.

Was hast du getan Kurz gesagt, Sie haben Kibana mitgeteilt, dass Sie die Anzahl der eindeutigen Datensätze zählen möchten, und die Gruppierung der Datensätze nach Attributen angegeben, nämlich nach den eindeutigen Werten des von Ihnen angegebenen Felds.

Jetzt zählt Kibana die Anzahl der Elemente in jeder Gruppe separat. Als Werte, für die Sie eine eindeutige Datensatz-ID angegeben haben, begann Kibana, die Anzahl der eindeutigen Datensätze zu zählen, die nach einer eindeutigen ID gruppiert sind, d. h. Tatsächlich ist neben jeder Zeile der Tabelle die Metrik "Unique Count" gleich "1".

Sie haben das gewünschte Ergebnis erhalten - alle Datensätze angezeigt und zusätzlich berechnet, wie viele Zeilen Sie im Index mit derselben ID haben.



Wenn die Spalten in der Tabelle nicht ausreichen, fügen Sie zusätzliche Felder hinzu, indem Sie auf die Schaltfläche "Unter-Buckets hinzufügen" und dann auf "Zeilen teilen" klicken.



Wählen Sie überall "Begriffe" als Aggregat aus und geben Sie die Namen der Felder an, die Sie der Tabelle hinzufügen möchten.



Fertig. Sie haben einen vollständigen Upload des Index erhalten.
Sie müssen lediglich die Visualisierung speichern und auf die Schaltfläche „Raw exportieren“ oder „Formatiert exportieren“ klicken.



Raw entlädt alles Raw und formatiert formatiert die Daten entsprechend dem in Kibana festgelegten Gebietsschema neu.
Das ist alles.

Wie Sie sehen können, ist das Hochladen von Kibana zu einer einfachen Person, die mit der Programmierung nicht vertraut ist, weiterhin möglich, obwohl die Lösung nicht auf der Oberfläche liegt.

Ich hoffe, dieser kleine Trick erleichtert jemandem das Leben und gibt mir die Möglichkeit, die Daten schnell zu analysieren, ohne Entwickler in die Downloads einzubeziehen.

Wenn meine Erfahrung Ihnen geholfen hat, freue ich mich über Ihren Kommentar zu diesem Artikel.