Comment déterminer le volume de vos logs?

Bon après-midi

Aujourd'hui, nous allons considérer une question commune à laquelle est confrontée toute personne qui traite des journaux ou qui va le faire et envisage maintenant diverses solutions de traitement et de stockage. Quel volume de journaux par jour / semaine / mois recevrons-nous de divers systèmes et quelles ressources de stockage devrions-nous utiliser?
C'est assez difficile à dire avec certitude, mais nous essaierons de vous aider à déterminer approximativement les volumes estimés en fonction de notre expérience.

Notre méthode d'évaluation est basée sur l'utilisation d'informations statistiques sur le nombre de journaux dans diverses sources, toutes les valeurs qui seront données ci-dessous sont les valeurs moyennes des résultats des travaux sur divers projets de collecte de journaux.

Par exemple, prenez quelques sources courantes:

• Journaux des événements Windows
• Domaine Windows
• Cisco ASA
• Cisco ESA
• Cisco IPS
• Cisco IOS
• Palo alto
• * nix-syslog
• Courrier MSExchange

Collecte de journaux

Auparavant, nous mesurions le nombre moyen d'octets dans un événement dans chaque source. Ensuite, nous avons calculé le nombre approximatif d'événements par jour qui tombent sur une source et avons calculé le nombre de journaux en Go qui seront collectés à partir de chaque source à partir d'un appareil.

WinEventlog
~ octet dans l'événement = 1150
Mer. Nombre d'événements par jour (dest.) = 25 000
Go / jour (dest.) = 1150 * 25 000/1024 ^ 3 ≈ 0,03

Domaine Windows
~ octet dans l'événement = 1150
Mer. Nombre d'événements par jour (dest.) = 250 000
Go / jour (dest.) = 1150 * 250 000/1024 ^ 3 ≈ 0,3

Cisco ASA
~ octet d'événement = 240
Mer. Nombre d'événements par jour (dest.) = 1 600 000
Go / jour (dest.) = 240 * 1 600 000/1024 ^ 3 ≈ 0,35

Cisco ESA
~ octet dans l'événement = 100
Mer. Nombre d'événements par jour (dest.) = 200 000
Go / jour (dest.) = 100 * 200 000/1024 ^ 3 ≈ 0,02

Cisco IPS
~ octet dans l'événement = 1200
Mer. Nombre d'événements par jour (dest.) = 500 000
Go / jour (dest.) = 1200 * 500 000/1024 ^ 3 ≈ 0,6

Cisco IOS
~ octet dans l'événement = 150
Mer. Nombre d'événements par jour (dest.) = 20 000
Go / jour (dest.) = 150 * 20 000/1024 ^ 3 ≈ 0,003

Palo alto
~ octet dans l'événement = 400
Mer. Nombre d'événements par jour (dest.) = 500 000
Go / jour (dest.) = 400 * 500 000/1024 ^ 3 ≈ 0,2

* nix-syslog
~ octet dans l'événement = 100
Mer. Nombre d'événements par jour (dest.) = 50 000
Go / jour (dest.) = 100 * 50 000/1024 ^ 3 ≈ 0,005

Courrier MSExchange
~ octet dans l'événement = 300
Mer. Nombre d'événements par jour (dest.) = 100 000
Go / jour (dest.) = 300 * 100 000/1024 ^ 3 ≈ 0,03

De plus, afin de déterminer le volume de tous les journaux, il est nécessaire de déterminer le nombre d'appareils à partir desquels nous voulons collecter et stocker des informations. Par exemple, considérons le cas si nous avons 30 appareils générant WinEventLog, 1 appareil chacun - domaine Windows, Cisco ESA, Cisco IPS, Palo Alto.

1150 * 25 000 * 30 + 1150 * 250 000 + 100 * 200 000 + 1200 * 500 000 + 400 * 500 000 = 1 970 000 octets / jour = 1,8347 Go / jour ≈ 12,4 Go / semaine ≈ 55 Go / mois

Bien sûr, lors de l'utilisation de cette méthode de calcul, une erreur importante peut se produire, car le nombre de journaux par jour dépend de nombreux facteurs, par exemple:

• Nombre d'utilisateurs et leurs rôles
• Services d'audit inclus
• Niveau de gravité requis
• Et bien plus

Un avantage significatif de cette méthode est que s'il existe des statistiques, la quantité approximative de journaux peut être calculée même sur une serviette. Le moins est une grande erreur possible. Si des écarts importants sont inacceptables, vous pouvez configurer le téléchargement des données de toutes les sources vers le système de test, par exemple, Splunk fournit une licence d'essai avec des ressources suffisantes pour tester un grand nombre de sources. Cette méthode donne un résultat précis, mais le déploiement de tout système de test nécessitera du temps, du travail et des ressources techniques.

Stockage de données

Nous abordons brièvement une autre question sur le thème des journaux: combien de ressources seront nécessaires pour les stocker.

Pour répondre à cette question, vous devez tout d'abord comprendre sous quelle forme votre outil de traitement des journaux stocke les données. Par exemple, ELK , avec les journaux, stocke également des informations sur les champs sélectionnés, ce qui peut augmenter le volume d'un événement jusqu'à 3 fois, et Splunk stocke les données simplement sous forme brute, en les compressant en outre, et les métadonnées sont stockées séparément des événements.

Ensuite, vous devez comprendre quelle période de données historiques vous devez stocker, la "température" des données, RAID, etc. Une calculatrice pratique se trouve sur ce lien .

Conclusion

L'un des problèmes d'actualité, à cause duquel nous avons abordé le sujet du volume de journal, est que la licence Splunk dépend de la quantité de données indexées par jour. Si vous souhaitez utiliser Splunk pour traiter vos journaux, après avoir calculé le volume approximatif, vous pouvez estimer le coût de la licence nécessaire. Le calculateur de licence se trouve ici .

Comment évaluez-vous le volume de vos logs? Partagez vos expériences, outils, cas intéressants dans les commentaires.