Heute werden wir über Agenten (Spediteure) sprechen, die Daten auf
Splunk hochladen. In dem Artikel werden wir kurz darüber sprechen, was es ist, welche Typen es gibt, was der Unterschied zwischen ihnen ist und in welchen Situationen es besser ist, den einen oder anderen Spediteur zu verwenden.
Das korrekte Laden von Daten ist das problematischste Problem in jedem Datensystem. Die Datenübertragung kann auf verschiedene Arten erfolgen, am häufigsten werden jedoch Spediteure eingesetzt.
Splunk Forwarder hat mehrere Vorteile:
- Beschriften von Metadaten (Quelle, Quelltyp und Host)
- Benutzerdefinierte Pufferung
- Datenkomprimierung
- SSL
- Verwenden aller verfügbaren Netzwerkports
Nachdem Sie entschieden haben, dass Sie Daten mithilfe von Weiterleitungen weiterleiten, stellt sich die folgende Frage: Welche Weiterleitung ist am besten zu verwenden?
Es gibt
zwei Arten von Spediteuren :
- Universal Forwarder , der nur die Komponenten enthält, die für die Datenübertragung erforderlich sind.
- Heavy Forwarder , ein vollwertiges Splunk-Unternehmen, das neben der Datenübertragung auch indizieren, Suchanfragen durchführen und Daten ändern kann.
Universeller Spediteur
Universal Forwarder bietet gegenüber Heavy Forwarder mehrere Vorteile. Daher wird häufig empfohlen, es zu verwenden, wenn keine besonderen Voraussetzungen für die Verwendung von Heavy Forwarder bestehen, auf die wir später noch eingehen werden.
Der bemerkenswerteste Vorteil ist, dass Universal Forwarder deutlich weniger Hardwareressourcen verwendet als andere Splunk-Softwareprodukte. Es lädt weniger CPU, benötigt weniger Speicher und benötigt weniger Speicherplatz. Es ist auch skalierbarer als andere Splunk-Produkte, da Sie mehr als tausend Instanzen installieren können, die die Netzwerk- und Hostleistung nicht wesentlich beeinträchtigen.
Ein weiterer Vorteil ist die Verfügbarkeit für die Installation auf vielen verschiedenen Plattformen. Es kann nicht nur unter Windows, Linux und Mac OS wie Splunk Enterprise installiert werden, sondern auch unter Solaris, FreeBSD und AIX.
Universal Forwarder ist als separates Installationspaket erhältlich und enthält nur die erforderlichen Komponenten, um Daten an andere Instanzen der Splunk-Plattform zu senden. Obwohl es keine Weboberfläche gibt, kann es durch Bearbeiten von Konfigurationsdateien angepasst, verwaltet und skaliert werden.
Um eine bessere Leistung zu erzielen, weist Universal Forwarder mehrere Einschränkungen auf:
- Indizierung und Suchabfragen können nicht lokal durchgeführt werden.
- Sie können keine Warnungen einrichten.
- Sie können den eingehenden Datenstrom vor der Indizierung nur analysieren, wenn es sich um strukturierte Daten handelt.
- Beinhaltet Python nicht.
Informationen zum Installieren und Konfigurieren von Universal Forwarder finden Sie
hier .
Schwerer Spediteur
Obwohl Universal Forwarder die bevorzugte Methode zum Senden von Daten ist, benötigen Sie möglicherweise Heavy Forwarder, wenn Sie die Daten vor dem Senden analysieren oder ändern müssen, oder wenn Sie anhand ihres Inhalts steuern müssen, wohin die Daten gehen.
Einer der Hauptvorteile von Heavy Forwarder besteht darin, dass unerwünschte Ereignisse selbst in unstrukturierten Daten herausgefiltert werden können, wodurch das Indexierungsvolumen verringert wird und die Größe der Lizenz davon abhängt.
Es ist zu beachten, dass die Verwendung von Heavy Forwarder den Netzwerkverkehr, die CPU- und Speichernutzung erhöht. Dies liegt an der Tatsache, dass Heavy Forwarder die analysierten Daten nicht nur mit Rohereignissen, sondern mit allen Feldern, die während der Indizierung hervorgehoben werden, und zusätzlichen Metadaten über das Netzwerk sendet.
Um die Leistung von Heavy und Universal Forwarder zu vergleichen, wurde ein Test durchgeführt.
Die Testdatei hatte 367.463.625 Ereignisse.
| Netzwerkverkehr (GB) | Durchschnittliche Bitrate (kbps) | Durchschnittliche Indizierungsgeschwindigkeit
(kbps) | Dauer (Sek.) |
|---|
| Schwerer Spediteur | 38.4 | 1922 | 5139 | 20998 |
| Universeller Spediteur | 6.4 | 1015 | 17466 | 6662 |
Versuchsergebnisse
Bei Verwendung von Universal Forwarder:
- Die über das Netzwerk gesendete Datenmenge war sechsmal geringer.
- Das pro Sekunde indizierte Datenvolumen war etwa dreimal höher
- Die Gesamtdauer des Datenladens war dreimal schneller
Empfehlungen
Verwenden Sie
Heavy Forwarder nur, wenn:
- Es ist möglich, einen wesentlichen Teil der Daten durch eine vorläufige Analyse unstrukturierter Ereignisse zu filtern
- Es gibt spezielle Anforderungen an die Benutzeroberfläche oder das Add-On , z. B. DBconnect, Checkpoint, Cisco IPS
- Komplexes (nach Ereignisinhalt) Datenrouting
In anderen Fällen ist es besser,
Universal Forwarder zu verwenden.
Wenn Sie Splunk noch nicht ausprobiert haben, ist es Zeit zu beginnen. Die kostenlose Version mit bis zu 500 MB pro Tag
steht allen zur Verfügung. Und wenn Sie Fragen oder Probleme mit Splunk haben, können Sie diese
uns stellen , und wir helfen Ihnen weiter.
Wir sind der offizielle
Premier Splunk-Partner .
