Como determinar o volume dos seus logs?

Boa tarde

Hoje, consideraremos uma pergunta comum que todo mundo que processa logs ou faz, está enfrentando e agora está considerando várias soluções para processamento e armazenamento. Que volume de logs por dia / semana / mês receberemos de vários sistemas e quais recursos de armazenamento devemos usar?
É muito difícil dizer com certeza, mas tentaremos ajudá-lo a descobrir os volumes estimados com base em nossa experiência.

Nosso método de avaliação é baseado no uso de informações estatísticas sobre o número de logs em várias fontes, todos os valores que serão fornecidos abaixo são os valores médios dos resultados do trabalho em vários projetos de coleta de logs.

Por exemplo, considere algumas fontes comuns:

• Logs de Eventos do Windows
• Domínio do Windows
• Cisco ASA
• Cisco ESA
• Cisco IPS
• Cisco IOS
• Palo alto
• * nix-syslog
• Correio do MSExchange

Coleção de logs

Anteriormente, medimos o número médio de bytes em um evento em cada fonte. Em seguida, calculamos o número aproximado de eventos por dia que se enquadram em uma fonte e calculamos quantos logs em GB serão coletados de cada fonte em um dispositivo.

WinEventlog
~ byte no evento = 1150
Qua Número de eventos por dia (destino) = 25 000
GB / dia (destino) = 1150 * 25 000/1024 ^ 3 ≈ 0,03

Domínio do Windows
~ byte no evento = 1150
Qua Número de eventos por dia (destino) = 250 000
GB / dia (destino) = 1150 * 250 000/1024 ^ 3 ≈ 0,3

Cisco ASA
~ evento byte = 240
Qua Número de eventos por dia (destino) = 1 600 000
GB / dia (destino) = 240 * 1 600 000/1024 ^ 3 ≈ 0,35

Cisco ESA
~ byte no evento = 100
Qua Número de eventos por dia (destino) = 200 000
GB / dia (destino) = 100 * 200 000/1024 ^ 3 ≈ 0,02

Cisco IPS
~ byte no evento = 1200
Qua Número de eventos por dia (destino) = 500 000
GB / dia (destino) = 1200 * 500 000/1024 ^ 3 ≈ 0,6

Cisco IOS
~ byte no evento = 150
Qua Número de eventos por dia (destino) = 20 000
GB / dia (destino) = 150 * 20 000/1024 ^ 3 ≈ 0,003

Palo alto
~ byte no evento = 400
Qua Número de eventos por dia (destino) = 500 000
GB / dia (destino) = 400 * 500 000/1024 ^ 3 ~ 0,2

* nix-syslog
~ byte no evento = 100
Qua Número de eventos por dia (destino) = 50 000
GB / dia (destino) = 100 * 50 000/1024 ^ 3 ≈ 0,005

Correio do MSExchange
~ byte no evento = 300
Qua Número de eventos por dia (destino) = 100 000
GB / dia (destino) = 300 * 100 000/1024 ^ 3 ≈ 0,03

Além disso, para determinar o volume de todos os logs, é necessário determinar de quantos dispositivos queremos coletar e armazenar informações. Por exemplo, considere o caso se tivermos 30 dispositivos gerando WinEventLog, 1 dispositivo cada - Domínio Windows, Cisco ESA, Cisco IPS, Palo Alto.

1150 * 25 000 * 30 + 1150 * 250 000 + 100 * 200 000 + 1200 * 500 000 + 400 * 500 000 = 1 970 000 bytes / dia = 1,8347 Gb / dia ≈ 12,4 Gb / semana ≈ 55 Gb / mês

Obviamente, ao usar esse método de cálculo, um erro significativo pode ocorrer, pois o número de logs por dia depende de muitos fatores, por exemplo:

• Número de usuários e suas funções
• Serviços de auditoria incluídos
• Nível de Gravidade Necessário
• E muito mais

Uma vantagem significativa desse método é que, se houver estatísticas, a quantidade aproximada de logs poderá ser calculada mesmo em um guardanapo. Menos é um possível erro grande. Se desvios significativos forem inaceitáveis, você poderá configurar o download de dados de todas as fontes para o sistema de teste, por exemplo, o Splunk fornece uma licença de avaliação com recursos suficientes para testar um grande número de fontes. Este método fornece um resultado preciso, mas a implantação de qualquer sistema de teste exigirá tempo, mão de obra e recursos técnicos.

Armazenamento de dados

Discutimos brevemente outra questão sobre o tópico de logs: quantos recursos serão necessários para armazená-los.

Para responder a essa pergunta, primeiro de tudo, você precisa entender de que forma sua ferramenta de processamento de log armazena dados. Por exemplo, o ELK , juntamente com os logs, também armazena informações sobre os campos selecionados, o que pode aumentar o volume de um evento em até 3 vezes, e o Splunk armazena dados simplesmente em formato bruto, compactando-os adicionalmente e os metadados são armazenados separadamente dos eventos.

Então, você precisa entender qual período de dados históricos você precisa armazenar, a "temperatura" dos dados, RAID, etc. Uma calculadora conveniente pode ser encontrada neste link .

Conclusão

Uma das questões principais, por causa da qual abordamos o tópico volume de log, é que a licença do Splunk depende da quantidade de dados indexados por dia. Se você quiser usar o Splunk para processar seus logs, depois de calcular o volume aproximado, poderá estimar o custo da licença necessária. A calculadora de licença pode ser encontrada aqui .

Como você avalia o volume de seus logs? Compartilhe suas experiências, ferramentas, casos interessantes nos comentários.