Wie bestimmen Sie das Volumen Ihrer Protokolle?

Guten Tag!

Heute werden wir eine allgemeine Frage betrachten, mit der jeder, der Protokolle verarbeitet oder tun wird, konfrontiert ist und nun verschiedene Lösungen für die Verarbeitung und Speicherung in Betracht zieht. Welches Protokollvolumen pro Tag / Woche / Monat erhalten wir von verschiedenen Systemen und welche Speicherressourcen sollten wir verwenden?
Es ist ziemlich schwer zu sagen, aber wir werden versuchen, Ihnen dabei zu helfen, die geschätzten Mengen basierend auf unseren Erfahrungen grob herauszufinden.

Unsere Bewertungsmethode basiert auf der Verwendung statistischer Informationen über die Anzahl der Protokolle in verschiedenen Quellen. Alle unten angegebenen Werte sind Durchschnittswerte der Ergebnisse der Arbeit an verschiedenen Protokollsammlungsprojekten.

Nehmen Sie zum Beispiel einige gängige Quellen:

• Windows-Ereignisprotokolle
• Windows-Domäne
• Cisco ASA
• Cisco ESA
• Cisco IPS
• Cisco IOS
• Palo Alt
• * nix-syslog
• MSExchange-Mail

Protokollsammlung

Zuvor haben wir die durchschnittliche Anzahl von Bytes in einem Ereignis in jeder Quelle gemessen. Dann haben wir die ungefähre Anzahl von Ereignissen pro Tag berechnet, die auf eine Quelle fallen, und berechnet, wie viele Protokolle in GB von jeder Quelle von einem Gerät gesammelt werden.

WinEventlog
~ Byte im Ereignis = 1150
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 25 000
GB / Tag (Ziel) = 1150 * 25 000/1024 ^ 3 ≤ 0,03

Windows-Domäne
~ Byte im Ereignis = 1150
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 250 000
GB / Tag (Ziel) = 1150 * 250 000/1024 ^ 3 ≤ 0,3

Cisco ASA
~ Ereignisbyte = 240
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 1 600 000
GB / Tag (Ziel) = 240 * 1 600 000/1024 ^ 3 ≤ 0,35

Cisco ESA
~ Byte im Ereignis = 100
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 200 000
GB / Tag (Ziel) = 100 * 200 000/1024 ^ 3 ≤ 0,02

Cisco IPS
~ Byte im Ereignis = 1200
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 500 000
GB / Tag (Ziel) = 1200 * 500 000/1024 ^ 3 ≤ 0,6

Cisco IOS
~ Byte im Ereignis = 150
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 20 000
GB / Tag (Ziel) = 150 * 20 000/1024 ^ 3 ≤ 0,003

Palo Alt
~ Byte im Ereignis = 400
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 500 000
GB / Tag (Ziel) = 400 * 500 000/1024 ^ 3 ≤ 0,2

* nix-syslog
~ Byte im Ereignis = 100
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 50 000
GB / Tag (Ziel) = 100 * 50 000/1024 ^ 3 ≤ 0,005

MSExchange-Mail
~ Byte im Ereignis = 300
Mi. Anzahl der Ereignisse pro Tag (Ziel) = 100 000
GB / Tag (Ziel) = 300 * 100 000/1024 ^ 3 ≤ 0,03

Um das Volumen aller Protokolle zu bestimmen, muss außerdem festgelegt werden, von wie vielen Geräten Informationen gesammelt und gespeichert werden sollen. Stellen Sie sich zum Beispiel den Fall vor, dass 30 Geräte WinEventLog generieren, jeweils 1 Gerät - Windows-Domäne, Cisco ESA, Cisco IPS, Palo Alto.

1150 * 25 000 * 30 + 1150 * 250 000 + 100 * 200 000 + 1200 * 500 000 + 400 * 500 000 = 1 970 000 Bytes / Tag = 1,8347 Gb / Tag ≈ 12,4 Gb / Woche ≈ 55 Gb / Monat

Bei Verwendung dieser Berechnungsmethode kann natürlich ein erheblicher Fehler auftreten, da die Anzahl der Protokolle pro Tag von vielen Faktoren abhängt, zum Beispiel:

• Anzahl der Benutzer und ihre Rollen
• Audit Services enthalten
• Erforderlicher Schweregrad
• Und vieles mehr

Ein wesentliches Plus dieser Methode ist, dass bei Statistiken die ungefähre Anzahl der Protokolle auch auf einer Serviette berechnet werden kann. Minus ist ein möglicher großer Fehler. Wenn signifikante Abweichungen nicht akzeptabel sind, können Sie den Download von Daten aus allen Quellen auf das Testsystem konfigurieren. Splunk stellt beispielsweise eine Testlizenz mit ausreichenden Ressourcen zum Testen einer großen Anzahl von Quellen bereit. Diese Methode liefert ein genaues Ergebnis, aber die Bereitstellung von Testsystemen erfordert Zeit, Arbeit und technische Ressourcen.

Datenspeicherung

Wir gehen kurz auf eine andere Frage zum Thema Protokolle ein: Wie viel Ressourcen werden benötigt, um sie zu speichern?

Um diese Frage zu beantworten, müssen Sie zunächst verstehen, in welcher Form Ihr Protokollverarbeitungstool Daten speichert. Beispielsweise speichert ELK zusammen mit den Protokollen auch Informationen zu den ausgewählten Feldern, wodurch das Volumen eines Ereignisses bis zu dreimal erhöht werden kann, und Splunk speichert Daten einfach in Rohform, komprimiert sie zusätzlich und Metadaten werden getrennt von Ereignissen gespeichert.

Dann müssen Sie verstehen, welchen Zeitraum historischer Daten Sie speichern müssen, die "Temperatur" der Daten, RAID usw. Einen praktischen Taschenrechner finden Sie unter diesem Link .

Fazit

Eines der aktuellen Probleme, aufgrund dessen wir das Thema Protokollvolumen angesprochen haben, ist, dass die Splunk-Lizenz von der Menge der indizierten Daten pro Tag abhängt. Wenn Sie Splunk für die Verarbeitung Ihrer Protokolle verwenden möchten, können Sie nach Berechnung des ungefähren Volumens die Kosten für die erforderliche Lizenz schätzen. Den Lizenzrechner finden Sie hier .

Wie bewerten Sie das Volumen Ihrer Protokolle? Teilen Sie Ihre Erfahrungen, Tools und interessanten Fälle in den Kommentaren mit.