¿Cómo determinar el volumen de sus registros?

Buenas tardes

Hoy consideraremos una pregunta común que todos los que procesan registros o van a hacer se enfrentan y ahora están considerando varias soluciones para el procesamiento y el almacenamiento. ¿Qué volumen de registros por día / semana / mes recibiremos de varios sistemas y qué recursos de almacenamiento debemos usar?
Es bastante difícil decirlo con certeza, pero trataremos de ayudarlo a calcular aproximadamente los volúmenes estimados en función de nuestra experiencia.

Nuestro método de estimación se basa en el uso de información estadística sobre el número de registros en varias fuentes, todos los valores que se darán a continuación son los valores promedio de los resultados del trabajo en varios proyectos de recolección de registros.

Por ejemplo, tome algunas fuentes comunes:

• Registros de eventos de Windows
• Dominio de Windows
• Cisco ASA
• Cisco ESA
• Cisco IPS
• Cisco IOS
• Palo alto
• * nix-syslog
• Correo MSExchange

Colección de registro

Anteriormente, medimos el número promedio de bytes en un evento en cada fuente. Luego calculamos la cantidad aproximada de eventos por día que caen en una fuente y calculamos cuántos registros en GB se recopilarán de cada fuente desde un dispositivo.

WinEventlog
~ byte en evento = 1150
Mié Número de eventos por día (dest.) = 25 000
GB / día (dest.) = 1150 * 25 000/1024 ^ 3 ≈ 0.03

Dominio de Windows
~ byte en evento = 1150
Mié Número de eventos por día (dest.) = 250 000
GB / día (dest.) = 1150 * 250 000/1024 ^ 3 ≈ 0.3

Cisco ASA
~ byte de evento = 240
Mié Número de eventos por día (dest.) = 1 600 000
GB / día (dest.) = 240 * 1 600 000/1024 ^ 3 ≈ 0.35

Cisco ESA
~ byte en evento = 100
Mié Número de eventos por día (dest.) = 200 000
GB / día (dest.) = 100 * 200 000/1024 ^ 3 ≈ 0.02

Cisco IPS
~ byte en evento = 1200
Mié Número de eventos por día (dest.) = 500 000
GB / día (dest.) = 1200 * 500 000/1024 ^ 3 ≈ 0.6

Cisco IOS
~ byte en evento = 150
Mié Número de eventos por día (dest.) = 20 000
GB / día (dest.) = 150 * 20 000/1024 ^ 3 ≈ 0.003

Palo alto
~ byte en evento = 400
Mié Número de eventos por día (dest.) = 500 000
GB / día (dest.) = 400 * 500 000/1024 ^ 3 ≈ 0.2

* nix-syslog
~ byte en evento = 100
Mié Número de eventos por día (dest.) = 50 000
GB / día (dest.) = 100 * 50 000/1024 ^ 3 ≈ 0.005

Correo MSExchange
~ byte en evento = 300
Mié Número de eventos por día (dest.) = 100 000
GB / día (dest.) = 300 * 100 000/1024 ^ 3 ≈ 0.03

Además, para determinar el volumen de todos los registros, es necesario determinar de cuántos dispositivos queremos recopilar y almacenar información. Por ejemplo, considere el caso si tenemos 30 dispositivos que generan WinEventLog, 1 dispositivo cada uno: dominio de Windows, Cisco ESA, Cisco IPS, Palo Alto.

1150 * 25 000 * 30 + 1150 * 250 000 + 100 * 200 000 + 1200 * 500 000 + 400 * 500 000 = 1 970 000 bytes / día = 1.8347 GB / día ≈ 12.4 GB / semana ≈ 55 GB / mes

Por supuesto, cuando se usa este método de cálculo, puede ocurrir un error significativo, ya que la cantidad de registros por día depende de muchos factores, por ejemplo:

• Número de usuarios y sus roles.
• Servicios de auditoría incluidos
• Nivel de gravedad requerido
• Y mucho mas

Una ventaja significativa de este método es que si hay estadísticas, la cantidad aproximada de registros se puede calcular incluso en una servilleta. Menos es un posible gran error. Si las desviaciones significativas son inaceptables, puede configurar la descarga de datos de todas las fuentes al sistema de prueba, por ejemplo, Splunk proporciona una licencia de prueba con recursos suficientes para probar una gran cantidad de fuentes. Este método proporciona un resultado preciso, pero la implementación de cualquier sistema de prueba requerirá tiempo, mano de obra y recursos técnicos.

Almacenamiento de datos

Tocamos brevemente otra pregunta sobre el tema de los registros: cuántos recursos se necesitarán para almacenarlos.

Para responder a esta pregunta, en primer lugar, debe comprender de qué forma su herramienta de procesamiento de registros almacena datos. Por ejemplo, ELK , junto con los registros, también almacena información sobre los campos seleccionados, lo que puede aumentar el volumen de un evento hasta 3 veces, y Splunk almacena los datos simplemente en forma cruda, comprimiéndolos adicionalmente, y los metadatos se almacenan por separado de los eventos.

Luego, debe comprender qué período de datos históricos necesita almacenar, la "temperatura" de los datos, RAID, etc. Puede encontrar una calculadora conveniente en este enlace .

Conclusión

Uno de los temas de actualidad, por lo que tocamos el tema del volumen de registro, es que la licencia de Splunk depende de la cantidad de datos indexados por día. Si desea utilizar Splunk para procesar sus registros, luego de calcular el volumen aproximado, puede estimar el costo de la licencia necesaria. La calculadora de licencias se puede encontrar aquí .

¿Cómo evalúa el volumen de sus registros? Comparta sus experiencias, herramientas, casos interesantes en los comentarios.