ClickHouse-Datenbank für Menschen oder Alien-Technologie

Alexey Lizunov, Leiter des Kompetenzzentrums für Remote-Service-Kanäle der Direktion für Informationstechnologien des ICD



Als Alternative zum ELK-Stack (ElasticSearch, Logstash, Kibana) untersuchen wir die Verwendung der ClickHouse-Datenbank als Data Warehouse für Protokolle.

In diesem Artikel möchten wir über unsere Erfahrungen mit der ClickHouse-Datenbank und über vorläufige Ergebnisse des Pilotbetriebs sprechen. Es sollte sofort angemerkt werden, dass die Ergebnisse beeindruckend waren.




Als nächstes werden wir detaillierter beschreiben, wie unser System konfiguriert ist und aus welchen Komponenten es besteht. Aber jetzt möchte ich ein wenig über diese Datenbank als Ganzes sprechen und warum Sie darauf achten sollten. Die ClickHouse-Datenbank ist eine leistungsstarke analytische Spaltendatenbank von Yandex. Es wird in Yandex-Diensten verwendet und ist zunächst das Haupt-Data-Warehouse für Yandex.Metrica. Das Open-Source-System ist kostenlos. Aus Sicht des Entwicklers war ich immer daran interessiert, wie sie es implementiert haben, weil es fantastisch große Datenmengen gibt. Und die metrische Benutzeroberfläche selbst ist sehr flexibel und schnell. Bei der ersten Bekanntschaft mit dieser Datenbank der Eindruck: „Nun, endlich! Gemacht "für Menschen"! Beginnend mit dem Installationsprozess und endend mit dem Senden von Anforderungen. "

Diese Datenbank hat eine sehr niedrige Eintragsschwelle. Selbst ein durchschnittlicher erfahrener Entwickler kann diese Datenbank in wenigen Minuten installieren und verwenden. Alles funktioniert klar. Selbst Linux-Neulinge können die Installation schnell durchführen und einfache Vorgänge ausführen. Früher, als das Wort Big Data, Hadoop, Google BigTable, HDFS, der übliche Entwickler die Idee hatte, dass es sich um Terabyte, Petabyte handelte, dass einige Übermenschen an den Einstellungen und der Entwicklung für diese Systeme beteiligt waren, kamen wir mit dem Aufkommen der ClickHouse-Datenbank Ein einfaches, verständliches Werkzeug, mit dem Sie den bisher unerreichbaren Aufgabenbereich lösen können. Nur ein ziemlich durchschnittliches Auto und fünf Minuten zu installieren. Das heißt, wir haben eine Datenbank wie zum Beispiel MySql, aber nur zum Speichern von Milliarden von Datensätzen! Eine Art SQL-Supervisor. Es ist, als würden Menschen Waffen von Außerirdischen gegeben.

Über unser Protokollsammelsystem

Zum Sammeln von Informationen werden IIS-Protokolldateien von Webanwendungen eines Standardformats verwendet (wir analysieren auch Anwendungsprotokolle, aber das Hauptziel in der Phase des Pilotbetriebs mit uns ist das Sammeln von IIS-Protokollen).

Aus verschiedenen Gründen konnten wir den ELK-Stack nicht vollständig aufgeben und verwenden weiterhin die Komponenten LogStash und Filebeat, die sich bewährt haben und recht zuverlässig und vorhersehbar funktionieren.

Das allgemeine Protokollierungsschema ist in der folgenden Abbildung dargestellt:



Eine Funktion zum Schreiben von Daten in die ClickHouse-Datenbank ist das seltene (einmal pro Sekunde) Einfügen von Datensätzen in großen Stapeln. Dies ist anscheinend der „problematischste“ Teil, auf den Sie stoßen, wenn Sie zum ersten Mal mit der ClickHouse-Datenbank arbeiten: Das Schema ist etwas kompliziert.
Das LogStash-Plugin hat hier sehr geholfen, da es Daten direkt in ClickHouse einfügt. Diese Komponente wird auf demselben Server wie die Datenbank selbst bereitgestellt. Im Allgemeinen wird daher nicht empfohlen, dies zu tun, sondern aus praktischer Sicht, um keine separaten Server zu erstellen, während diese auf demselben Server bereitgestellt werden. Wir haben keine Fehler oder Ressourcenkonflikte mit der Datenbank festgestellt. Zusätzlich sollte beachtet werden, dass das Plugin im Fehlerfall einen Retray-Mechanismus hat. Und im Fehlerfall schreibt das Plugin ein Datenpaket auf die Festplatte, das nicht eingefügt werden konnte (das Dateiformat ist praktisch: Nach der Bearbeitung können Sie das korrigierte Paket einfach mit dem Clickhouse-Client einfügen).

Die vollständige Liste der im Schema verwendeten Software ist in der Tabelle dargestellt:


Die Serverkonfiguration mit der ClickHouse-Datenbank ist in der folgenden Tabelle dargestellt:

Wie Sie sehen können, ist dies eine normale Workstation.

Die Tabelle zum Speichern von Protokollen ist wie folgt aufgebaut:


Wir verwenden Standardwerte für die Partitionierung (nach Monaten) und die Granularität des Index. Alle Felder entsprechen praktisch IIS-Protokolleinträgen zum Registrieren von http-Anforderungen. Separate separate Felder zum Speichern von utm-Tags (sie werden beim Einfügen in die Tabelle aus dem Feld für die Abfragezeichenfolge analysiert).

Außerdem werden in der Tabelle mehrere Systemfelder zum Speichern von Informationen zu Systemen, Komponenten und Servern hinzugefügt. In der folgenden Tabelle finden Sie eine Beschreibung dieser Felder. In einer Tabelle speichern wir Protokolle für mehrere Systeme.


Auf diese Weise können Sie Grafiken in Grafana effektiv erstellen. Zeigen Sie beispielsweise Anforderungen vom Frontend eines bestimmten Systems an. Dies ähnelt dem Site-Zähler in Yandex.Metrica.

Hier finden Sie einige Statistiken zur Nutzung der Datenbank für zwei Monate.

Beschreibung der verwendeten Komponenten

FileBeat. Datei Protokollübertragung

Diese Komponente überwacht Änderungen in den Protokolldateien auf der Festplatte und überträgt Informationen an LogStash. Es wird auf allen Servern installiert, auf denen Protokolldateien geschrieben werden (normalerweise IIS). Es funktioniert im Endmodus (d. H. Überträgt nur hinzugefügte Datensätze in eine Datei). Sie können jedoch separat die gesamte Dateiübertragung konfigurieren. Dies ist nützlich, wenn Sie Daten aus früheren Monaten herunterladen müssen. Legen Sie einfach die Protokolldatei in einen Ordner und er wird sie vollständig lesen.

Wenn der Dienst beendet wird, werden die Daten nicht mehr weiter in den Speicher übertragen.

Eine Beispielkonfiguration lautet wie folgt:

LogStash Protokollsammler

Diese Komponente dient zum Empfangen von Protokolleinträgen von FileBeat (oder über die RabbitMQ-Warteschlange), zum Parsen und Einfügen von Bundles in die ClickHouse-Datenbank.

Zum Einfügen in ClickHouse wird das Plugin Logstash-output-clickhouse verwendet. Das Logstash-Plugin verfügt über einen Mechanismus zum Abrufen von Anforderungen. Bei einem regelmäßigen Herunterfahren ist es jedoch besser, den Dienst selbst zu stoppen. Wenn Sie anhalten, sammeln sich Nachrichten in der RabbitMQ-Warteschlange an. Wenn Sie also längere Zeit anhalten, ist es besser, Filebeats auf Servern zu stoppen. In einem Schema, in dem RabbitMQ nicht verwendet wird (im lokalen Netzwerk sendet Filebeat Protokolle direkt an Logstash), funktionieren Filebeats recht akzeptabel und sicher, sodass für sie die Unzugänglichkeit der Ausgabe keine Konsequenzen hat.

Eine Beispielkonfiguration lautet wie folgt:

ClickHouse. Protokollspeicher

Protokolle für alle Systeme werden in einer Tabelle gespeichert (siehe Anfang des Artikels). Es dient zum Speichern von Informationen zu Anforderungen: Alle Parameter sind für verschiedene Formate ähnlich, z. B. IIS-Protokolle, Apache- und Nginx-Protokolle. Für Anwendungsprotokolle, in denen beispielsweise Fehler, Informationsmeldungen und Warnungen aufgezeichnet werden, wird eine separate Tabelle mit der entsprechenden Struktur bereitgestellt (jetzt in der Entwurfsphase).

Beim Entwerfen einer Tabelle ist es sehr wichtig, den Primärschlüssel zu bestimmen (nach dem die Daten während der Speicherung sortiert werden). Der Grad der Datenkomprimierung und die Abfragegeschwindigkeit hängen davon ab. In unserem Beispiel ist der Schlüssel
ORDER BY (fld_app_name, fld_app_module, logdatetime)
Das heißt, durch den Namen des Systems, den Namen der Systemkomponente und das Datum des Ereignisses. Das ursprüngliche Datum der Veranstaltung stand an erster Stelle. Nachdem es an den letzten Ort verschoben wurde, begannen die Abfragen etwa zweimal schneller zu arbeiten. Zum Ändern des Primärschlüssels müssen Sie die Tabelle neu erstellen und die Daten neu laden, damit ClickHouse die Daten auf der Festplatte neu sortiert. Dies ist eine schwierige Operation, daher ist es ratsam, im Voraus zu überlegen, was im Sortierschlüssel enthalten sein soll.

Es sollte auch beachtet werden, dass relativ in neueren Versionen der Datentyp LowCardinality aufgetreten ist. Bei Verwendung wird die Größe der komprimierten Daten für Felder mit geringer Kardinalität (wenige Optionen) stark reduziert.

Jetzt wird Version 19.6 verwendet, und wir planen, die Version auf den neuesten Stand zu bringen. Dazu gehörten beispielsweise wunderbare Funktionen wie Adaptive Granularity, Überspringen von Indizes und der DoubleDelta-Codec.

Standardmäßig wird die Protokollstufe der Ablaufverfolgung während der Konfiguration festgelegt. Protokolle werden gedreht und archiviert, aber auf ein Gigabyte erweitert. Wenn dies nicht erforderlich ist, können Sie die Warnstufe festlegen. Die Größe des Protokolls nimmt dann stark ab. Die Protokollierungseinstellungen werden in der Datei config.xml festgelegt:

 <!-- Possible levels: https://github.com/pocoproject/poco/blob/develop/Foundation/include/Poco/Logger. h#L105 --> <level>warning</level> 

LogStash FileBeat-Protokollrouter zur RabbitMQ-Warteschlange

Diese Komponente wird verwendet, um von FileBeat kommende Protokolle an die RabbitMQ-Warteschlange weiterzuleiten. Es gibt zwei Punkte:

1. Leider verfügt FileBeat nicht über ein Ausgabe-Plugin zum direkten Schreiben in RabbitMQ. Und eine solche Funktionalität ist nach dem ish auf ihrem Github nicht für die Implementierung geplant. Es gibt ein Plugin für Kafka, aber aus irgendeinem Grund können wir es zu Hause nicht verwenden.
2. Es gibt Anforderungen für das Sammeln von Protokollen in der DMZ. Basierend darauf müssen die Protokolle zuerst zur Warteschlange hinzugefügt werden, und dann liest LogStash von außen die Einträge aus der Warteschlange.

Daher müssen Sie genau für den Fall des Serverstandorts in der DMZ ein derart etwas kompliziertes Schema verwenden. Eine Beispielkonfiguration lautet wie folgt:

RabbitMQ. Nachrichtenwarteschlange

Diese Komponente wird verwendet, um Protokolleinträge in der DMZ zu puffern. Die Aufnahme erfolgt über eine Reihe von Filebeat → LogStash. Das Lesen erfolgt von außerhalb der DMZ über LogStash. Beim Betrieb über RabboitMQ werden ungefähr 4.000 Nachrichten pro Sekunde verarbeitet.

Das Nachrichtenrouting wird gemäß dem Namen des Systems konfiguriert, d. H. Basierend auf FileBeat-Konfigurationsdaten. Alle Nachrichten fallen in eine Warteschlange. Wenn der Warteschlangendienst aus irgendeinem Grund gestoppt wird, führt dies nicht zum Verlust von Nachrichten: FileBeats empfängt Verbindungsfehler und setzt das temporäre Senden aus. Und LogStash, das aus der Warteschlange liest, empfängt auch Netzwerkfehler und wartet, bis die Verbindung wieder aufgenommen wird. Die Daten werden in diesem Fall natürlich nicht mehr in die Datenbank geschrieben.

Die folgenden Anweisungen werden zum Erstellen und Konfigurieren von Warteschlangen verwendet:

 sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare exchange --vhost=/ name=monitor.direct type=direct sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin declare queue --vhost=/ name=web_log durable=true sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site1.domain.ru" sudo /usr/local/bin/rabbitmqadmin/rabbitmqadmin --vhost="/" declare binding source="monitor.direct" destination_type="queue" destination="web_log" routing_key="site2.domain.ru" 

Grafana Dashboards

Diese Komponente wird zur Visualisierung von Überwachungsdaten verwendet. In diesem Fall müssen Sie die ClickHouse-Datenquelle für das Grafana 4.6+ Plugin installieren. Wir mussten es ein wenig optimieren, um die Effizienz der Verarbeitung von SQL-Filtern in einem Dashboard zu erhöhen.

Zum Beispiel verwenden wir Variablen, und wenn sie nicht im Filterfeld festgelegt sind, möchten wir, dass keine Bedingung in der WHERE-Form generiert wird (uriStem = `` AND uriStem! = ''). In diesem Fall liest ClickHouse die uriStem-Spalte. Im Allgemeinen haben wir verschiedene Optionen ausprobiert und schließlich das Plugin (Makro $ valueIfEmpty) so korrigiert, dass bei einem leeren Wert 1 zurückgegeben wird, ohne die Spalte selbst zu erwähnen.

Und jetzt können Sie diese Abfrage für das Diagramm verwenden

 $columns(response, count(*) c) from $table where $adhoc and $valueIfEmpty($fld_app_name, 1, fld_app_name = '$fld_app_name') and $valueIfEmpty($fld_app_module, 1, fld_app_module = '$fld_app_module') and $valueIfEmpty($fld_server_name, 1, fld_server_name = '$fld_server_name') and $valueIfEmpty($uriStem, 1, uriStem like '%$uriStem%') and $valueIfEmpty($clientRealIP, 1, clientRealIP = '$clientRealIP') 

Dies wird in eine solche SQL konvertiert (beachten Sie, dass leere uriStem-Felder in nur 1 konvertiert wurden).

 SELECT t, groupArray((response, c)) AS groupArr FROM ( SELECT (intDiv(toUInt32(logdatetime), 60) * 60) * 1000 AS t, response, count(*) AS c FROM default.log_web WHERE (logdate >= toDate(1565061982)) AND (logdatetime >= toDateTime(1565061982)) AND 1 AND (fld_app_name = 'site1.domain.ru') AND (fld_app_module = 'web') AND 1 AND 1 AND 1 GROUP BY t, response ORDER BY t ASC, response ASC ) GROUP BY t ORDER BY t ASC 

Fazit

Das Erscheinen der ClickHouse-Datenbank ist zu einem Meilenstein auf dem Markt geworden. Es war kaum vorstellbar, dass wir sofort kostenlos mit einem leistungsstarken und praktischen Tool für die Arbeit mit Big Data ausgestattet waren. Mit zunehmenden Anforderungen (z. B. Sharding und Replikation auf mehrere Server) wird das Schema natürlich komplexer. Aber auf den ersten Blick ist die Arbeit mit dieser Datenbank sehr schön. Es ist ersichtlich, dass das Produkt "für Menschen" hergestellt wird.

Im Vergleich zu ElasticSearch reduzieren sich die Kosten für das Speichern und Verarbeiten von Protokollen nach vorläufigen Schätzungen von fünf auf das Zehnfache. Mit anderen Worten, wenn wir für die aktuelle Datenmenge einen Cluster aus mehreren Computern konfigurieren müssten, benötigen wir bei Verwendung von ClickHouse nur einen Computer mit geringem Stromverbrauch. Ja, ElasticSearch verfügt natürlich auch über Mechanismen zum Komprimieren von Daten auf der Festplatte und andere Funktionen, die den Ressourcenverbrauch erheblich reduzieren können. Im Vergleich zu ClickHouse ist dies jedoch kostspielig.

Ohne spezielle Optimierungen funktioniert das Laden von Daten und das Abrufen von Daten aus der Datenbank in den Standardeinstellungen mit erstaunlicher Geschwindigkeit. Bisher haben wir ein paar Daten (ungefähr 200 Millionen Datensätze), aber der Server selbst ist schwach. In Zukunft können wir dieses Tool für andere Zwecke verwenden, die nicht mit der Speicherung von Protokollen zusammenhängen. Zum Beispiel für End-to-End-Analysen im Bereich Sicherheit, maschinelles Lernen.

Am Ende ein wenig über die Vor- und Nachteile.

Nachteile

1. Herunterladen von Datensätzen in großen Paketen. Dies ist einerseits eine Funktion, aber Sie müssen immer noch zusätzliche Komponenten verwenden, um Datensätze zu puffern. Diese Aufgabe ist nicht immer einfach, aber dennoch lösbar. Und ich möchte das Schema vereinfachen.
2. Einige exotische Funktionen oder neue Funktionen werden häufig in neuen Versionen verwendet. Dies wirft Bedenken auf und verringert den Wunsch nach einem Upgrade auf eine neue Version. Beispielsweise ist die Kafka-Tabellen-Engine eine sehr nützliche Funktion, mit der Sie Ereignisse aus Kafka direkt lesen können, ohne dass Verbraucher implementiert werden müssen. Gemessen an der Anzahl der Probleme auf dem Github sind wir jedoch immer noch vorsichtig, diesen Motor in der Produktion einzusetzen. Wenn Sie jedoch keine scharfen Bewegungen zur Seite ausführen und die Grundfunktionalität verwenden, funktioniert dies stabil.

Vorteile

1. Es verlangsamt sich nicht.
2. Niedrige Eintrittsschwelle.
3. Open Source
4. Es ist kostenlos.
5. Skaliert gut (Out-of-Box-Sharding / Replikation)
6. Es ist in dem vom Ministerium für Kommunikation empfohlenen Register russischer Software enthalten.
7. Das Vorhandensein offizieller Unterstützung von Yandex.