下午好
今天，我们将考虑一个共同的问题，每个处理日志或将要处理的日志都将面临，并正在考虑各种处理和存储解决方案。 我们将从各种系统每天/每周/每月收到多少日志，应该使用什么存储资源？
很难肯定地说，但是我们会根据您的经验来帮助您大致估算出估计的数量。
我们的评估方法基于对各种来源中的原木数量的统计信息的使用，下面给出的所有值都是各个原木收集项目的工作结果的平均值。
例如，采用一些常见的来源：
- Windows事件日志
- Windows域
- 思科ASA
- 思科ESA
- 思科IPS
- 思科IOS
- 帕洛阿尔托
- * nix-syslog
- MSExchange邮件
日志收集
以前，我们测量了每个源中一个事件中的平均字节数。 然后，我们计算了每天发生在一个源上的大概事件数，并计算了从一个设备从每个源收集多少GB的日志。
WinEventlog〜事件中的字节= 1150
周三 每天（目的地）的事件数= 25 000
GB /天（目标）= 1150 * 25 000/1024 ^ 3≈0.03
Windows域〜事件中的字节= 1150
周三 每天（目的地）的事件数= 250000
GB /天（目标）= 1150 * 250 000/1024 ^ 3≈0.3
思科ASA〜事件字节= 240
周三 每天（目的地）的事件数= 1 600 000
GB /天（目的地）= 240 * 16000000/1024 ^ 3≈0.35
思科ESA〜事件中的字节= 100
周三 每天（目的地）的事件数= 200000
GB /天（目的地）= 100 * 200 000/1024 ^ 3≈0.02
思科IPS〜事件中的字节= 1200
周三 每天（目的地）的事件数= 500 000
GB /天（目的地）= 1200 * 500 000/1024 ^ 3≈0.6
思科IOS〜事件中的字节= 150
周三 每天（目的地）的事件数= 20000
GB /天（目的地）= 150 * 20 000/1024 ^ 3≈0.003
帕洛阿尔托〜事件中的字节= 400
周三 每天（目的地）的事件数= 500 000
GB /天（目的地）= 400 * 500 000/1024 ^ 3≈0.2
* nix-syslog〜事件中的字节= 100
周三 每天的事件数（目的地）= 50,000
GB /天（目的地）= 100 * 50 000/1024 ^ 3≈0.005
MSExchange邮件〜事件中的字节= 300
周三 每天（目的地）的事件数= 100 000
GB /天（目的地）= 300 * 100000/1024 ^ 3≈0.03
此外，为了确定所有日志的数量，有必要确定我们要从多少设备收集和存储信息。 例如，考虑以下情况：如果我们有30台设备生成WinEventLog，每台设备1个-Windows域，Cisco ESA，Cisco IPS，Palo Alto。
1150 * 25 000 * 30 + 1150 * 250 000 + 100 * 200000 + 1200 * 500 000 + 400 * 500 000 =
197万字节/天=
1.8347 GB /天≈12.4 GB /周 ≈55 GB /月当然，使用这种计算方法时，可能会发生重大错误，因为每天的日志数量取决于许多因素，例如：
- 用户数量及其角色
- 包括审计服务
- 要求的严重等级
- 还有更多
该方法的一个重要优点是，如果有统计数据，则即使在餐巾纸上也可以计算出大约的原木量。 减号可能是大错误。 如果无法接受重大差异，则可以配置将数据从所有来源下载到测试系统的功能，例如，
Splunk提供了具有足够资源的试用许可证，可以测试大量来源。 这种方法可以得出准确的结果，但是任何测试系统的部署都将需要时间，劳动力和技术资源。
资料储存
我们简要地谈了关于日志主题的另一个问题：存储日志需要多少资源。
要回答这个问题，首先，您需要了解日志处理工具以什么形式存储数据。 例如，
ELK与日志一起还存储有关选定字段的信息，这可以将一个事件的数量增加多达3倍，而Splunk则仅以原始格式存储数据，另外对其进行压缩，并且元数据与事件分开存储。
然后，您需要了解需要存储什么时期的历史数据，数据的
“温度” ，RAID等。 在此
链接中可以找到一个方便的计算器。
结论
由于涉及到日志量这一主题，因此是一个热门话题，即Splunk许可证取决于每天的索引数据量。 如果要使用Splunk处理日志，则在计算了大概的数量之后，您可以估算必要许可证的成本。 许可证计算器可在
此处找到。
您如何评估日志量？ 在评论中分享您的经验，工具和有趣的案例。