最近，一个客户要求我们实施磁盘容量计费系统。 任务是合并来自不同供应商的70多个磁盘阵列，SAN交换机和VMware ESX主机的信息。 然后需要对数据进行系统化，分析和显示在仪表板上，并提供各种报告，例如，有关所有或单独获取的阵列中磁盘空间的可用和已占用量的信息。
我们决定使用运营分析系统Splunk实施该项目。
为什么会散弹？
Splunk在可视化其收集的数据方面功能强大。 它允许您创建交互式报告-仪表板-实时更新。 我们显示了有关其总磁盘空间的信息，并立即显示了所有具有按不同过滤器（例如容量）排序的阵列。 通过单击阵列，我们立即获得有关所有连接的信息。 在单独的面板中，您可以输入虚拟机的名称，并查看虚拟机所在的ESX主机，从哪个阵列接收数据和其他参数。
我认为，到目前为止，Splunk还没有类似的产品可以与任何存储系统兼容。 几年前，付费的CommandCentral出现了，但是它没有必要的灵活性，它不知道如何生成任意报告（在报告的第一个版本中根本没有报告）并且具有la脚的可视化。 通常，这不是用于盘点的工具，而是用于监视和控制系统状态的工具。 为了完成客户设定的任务，必须将其精修很长时间且昂贵。
同时，Splunk具有令人印象深刻的信息显示功能：图形可以自由地排列在彼此之间，可以在单个窗口模式下监视所有系统的状态，从而简化了维护。 对于其他所有内容-对于我们的任务，我们使用了免费版本。
你干了什么
到目前为止，我们的团队还没有使用Splunk的经验。 幸运的是，该系统友好且直观，可以使用常规帮助或在搜索引擎中轻松找到新出现的问题的解决方案。
Splunk已构建了我们需要的许多工具。 例如，系统允许您通过所谓的“查找”（目录）来组合来自任何字段的不同来源的数据。 因此，在一个表中，ESX主机显示为IP，在另一个表中显示为DNS名称。 最初，我们想创建一个自制的Lookup并使用nslookup实用程序来选择DNS记录和收集表，但是事实证明Splunk的目录可以按IP比较DNS，反之亦然。 此内置的Lookup不必进行配置，它本身从系统设置中提取有关DNS服务器的数据，无论是Windows还是Linux都无关紧要，并且DNS记录上的数据始终是最新的。
用Splunk实现的有趣场景之一是系统中的变更控制（RFC）。 例如，RFC管理器从工程师那里收到服务SAN交换机之一的请求。 他将交换机名称输入Splunk，并查看连接了哪些存储，以及哪些服务器从这些存储接收数据。 同时，经理可以看到工程师编写的工作计划，并可以评估在维护期间禁用此开关将如何影响阵列和服务器的性能。
我们设置有关将所有交换机和阵列连接到Splunk的每日信息。 客户对此更新率感到满意。 他已经有了一个监视工具Stor2RRD，但是他不知道如何组合来自不同来源的数据并使之可视化。 因此，我们在Splunk中配置了数据采集系统，如下所示：
- 我们从Stor2RRD接收有关存储的信息；
- 从交换机，我们接收有关SAN的信息；
- 通过使用PowerCLI脚本的vCenter，我们从ESX主机收集数据。
接收到的数据将自动合并为一个表格，以任何必要的报告的形式进行处理和显示。
你要打什么？
Splunk是一个功能强大的系统，但是有些任务无法立即解决，要解决某些问题，我们需要对VMware有深入的了解。
例如，客户将直接分配的RDM磁盘和虚拟虚拟数据存储都用于虚拟机。 这两种类型的驱动器需要以不同的方式处理。 最初，我们自己解决了问题，但随后遇到了虚拟机同时接收RAW磁盘和虚拟磁盘的情况。 原来，我们从vCenter中获取了错误的Path字段，并且指向RAW磁盘阵列的链接也错误。 该方案适用于普通数据存储，但不适用于RAW磁盘。 对于它们，您需要使用RAW Disk ID磁盘属性，其中包含disk属性。 我不得不求助于VMware专家，他们重做了脚本，以便它可以通过RAW Disk ID计算出正确的阵列。
另外，我们没有立即学习如何最佳地使用PowerCLI脚本，后来不得不进一步开发算法。 最初，这些脚本处理来自数千个虚拟机的数据长达三个小时！ 改进后，脚本的持续时间减少到40分钟。
结果如何？
由于没有使用Splunk的经验，我们在其基础上迅速实现了一个用于盘容量统计的系统，该系统从众多来源接收信息，对其进行合并并提供各种方便直观的图形。 如果您以前没有选择或创建过这样的系统，那么Splunk是此角色的理想人选。 它工作迅速，易于灵活配置，并且不需要任何专业知识即可解决绝大多数任务。
Jet信息系统设计计算中心的系统架构小组负责人Vladislav Semenov