Veeam备份和复制负载测试

在2018年春季，Selectel通过Veeam®Backup＆Replication™（以下简称VBR）为VMware Cloud启动了备份服务。 我们深入研究了该项目，计划并执行了以下工作清单：

• 探索Veeam产品文档和最佳实践
• 设计服务提供商级别的VBR体系结构
• 部署VBR基础架构
• 测试解决方案，确定最佳设置和操作模式
• 在工业（商业）运营中启动解决方案

事实证明-没有白费。 服务稳定，客户可以备份其虚拟机，并且我们有一定的专业知识要共享。

在本文中，我们要讨论两种最受欢迎​​的备份代理操作模式的VBR负载测试的结果，同时考虑到并行任务数量的变化。

在这里您可以看到：

• 用于测试的Selectel生产基础架构的说明
• 各种传输模式下的备份代理（备份代理）的功能
• 测试程序说明和VBR组件的实施设置
• 定量指标，它们的比较和结论

测试基础架构配置

源基础架构

作为测试VBR性能的平台，制作了一个基于VMware的公共云的生产集群之一。

• 该群集中主机的硬件配置：
• 英特尔®至强®金牌处理器6140
• 英特尔®DC NVMe P4600和P3520
• 每个主机4个10GbE端口

该集群基于以下解决方案：

• 物理网络-Brocade VDX交换机上的以太网工厂，Leaf-Spine架构（10GbE端口-连接主机，到Spine的40GbE上行链路）
• 虚拟化环境-VMwarevSphere®6.5
• VM存储-VMware vSAN™6.6（全闪存vSAN群集）
• 网络虚拟化-VMwareNSX®6.4

测试平台的性能绰绰有余，这是毫无疑问的。 当然，为了获得高速性能，所有这些都应该正确配置，但是由于这是生产型产品，拥有活跃且满意的客户，因此您可以确保一切都很好。

Selectel与基于VMware的Cloud一起在VBR平台上启动了一项备份服务 。 客户会收到一个自助式Web门户，可以在其中从VDC（虚拟数据中心）备份和还原vApp和VM。

客户端可以使用与vCloudDirector®（vCD）相同的权限访问此门户（Veeam®Enterprise Manager自助服务门户）。 由于Veeam®Backup企业管理器（EM）和vCD的集成，这是可能的，而每个客户端在连接到EM时，都受其VDC的资源限制，它将看不到其他VM。

客户端不需要部署自己的VBR和关联的备份基础结构，这意味着计算和网络资源，存储，Veeam和MS许可证以及管理的成本。 它长，昂贵且复杂。 Selectel提供了VBR作为BaaS（即服务即备份）服务的基本功能：即时，简单，方便，经济。

为了提供此服务，Selectel部署了一个VBR提供程序基础结构，该基础结构涵盖了VMware云客户端的所有vSphere和VDC群集，包括进行此测试的群集。 因此，测试结果将使我们能够判断客户备份虚拟机的最大速度。

测试虚拟机

为了测试备份性能，在vSphere群集中以以下配置部署了6个相同的VM：

• 操作系统Windows Server 2016、2个vCPU，4GB RAM
• 200GB虚拟磁盘

磁盘快满了-193GB。 除了OS文件之外，还在其上创建了一个文件夹，其中包含各种OS和DBMS的发行版，容量为60GB（唯一数据）。 在同一驱动器上，创建了该文件夹的3个副本-总计180GB的非系统数据。

这些虚拟机上未安装任何应用程序，只有“干净”操作系统和“冷”数据。 没有启动任何负载，无论是计算还是网络。 对于此测试，这不是必需的。

在vSphere群集中启用了DRS，因此可以在VMware ESXi™主机之间自动最佳地分布测试VM，以实现负载平衡。

备份代理

具有备份代理的VM直接部署在上述vSphere群集（源基础架构，以下称为vSphere群集）中，这是在虚拟设备模式下进行测试的必要条件。

虚拟机配置：

• 8个vCPU
• 8GB RAM
• 40GB虚拟磁盘
• 10GbE vNIC vmxnet3
• 操作系统Windows Server 2016

VBR级别的备份代理的参数“最大并发任务数”设置为6。这意味着备份代理可以同时（并行）处理多达6个备份任务。 一个任务是备份一个虚拟VM磁盘。

备份库

充当VBR备份库的物理服务器充当备份存储的前端。 服务器配置：

• CPU E5-1650v3
• 32GB RAM
• 2个10GbE端口

存储后端-具有NVMe缓存的CephFS集群。

备份存储库和Ceph节点通过10GbE网络进行通信，它们各自通过两个端口连接到交换机。

Ceph群集配置的详细描述超出了本文的范围。 请注意，出于可靠性和容错性的考虑，其上的数据存储在三个副本中。 群集的性能并不令人满意，并且存在一定的余量，测试结果表明，在所有这些群集中，备份存储都不是瓶颈。

在VBR级别上，备份存储库的参数“限制最大并发任务”设置为6。这意味着备份存储库可以同时（并行）处理多达6个备份任务。

备用网络

上述基础架构的物理网络受到10 Gbit / s带宽的限制，交换机和10GbE端口无处不在。 这不仅适用于vSAN，而且适用于ESXi主机的管理接口。

为了在VMware NSX级别托管备份代理，已创建了一个专用子网及其自己的逻辑交换机。 为了与物理和路由连接，已部署了X尺寸的NSX-edge。

展望未来，根据测试结果，很明显，网络可以承受高达8 Gb / s的负载。 这是一个非常稳定的带宽，在此阶段就足够了，如有必要，可以增加它。

组件交互图

备份代理和测试VM部署在同一VMware vSAN群集中。 在启动备份作业（备份作业）之后，根据所选的传输模式，下面将讨论其功能，即备份代理：

• 通过vSAN（HotAdd）或控制网络（NBD）从备份VM检索数据
• 将已处理的数据传输到为此目的分配的子网上的备份存储库中

备份代理传输模式

备份代理是VBR基础结构的一个组件，可直接执行备份作业处理。 它从VM中提取数据，对其进行处理（压缩，重复数据删除，加密），然后将其发送到存储库，在此存储到备份文件中。

备份代理使您可以在三种传输模式下工作：

• 直接存储访问
• 虚拟设备
• 联播网

基于VMware Selectel的云使用vSAN作为存储，在此配置中，不支持直接存储访问，因此不考虑此模式，也未经测试。 剩下的两种模式在我们的每个vSphere群集上都可以很好地工作，让我们更详细地介绍它们。

虚拟设备模式（HotAdd）

将备份代理部署为VM时，建议使用虚拟设备模式。 部署了备份代理的ESXi主机必须有权访问存储备份VM的vSphere群集的所有数据存储。 该模式的本质是，代理将装载备份VM（VMware SCSI HotAdd）的磁盘，并从磁盘中获取数据，就好像它是自己的一样。 数据提取是通过存储网络上的数据存储进行的。

在我们的情况下，备份代理VM必须位于我们要备份的vSAN群集的ESXi主机之一上。 数据提取通过vSAN进行。 因此，要在虚拟设备模式下工作，必须在每个vSAN群集中至少部署一个备份代理。 扩展一对备份代理（例如，在管理群集中），然后用它们备份所有vSAN群集都会失败。

优点	缺点
通常，快速比NBD快得多，尤其是在完全备份或增量较大的情况下。 只有直接存储访问的速度会较差。	每个磁盘将磁盘（HotAdd）安装到代理的操作最多可能需要2分钟。 通过小块数据的增量备份，NBD可以更快。
处置存储网络。 不加载管理界面和管理程序。	代理VM消耗部分主机资源。 有时删除快照可能会出现问题。

网络模式（NBD）

它是最简单，最通用的模式，适用于物理和虚拟备份代理。 与前两种模式不同，数据提取不会在存储网络上进行。 备份代理通过连接到运行它们的ESXi主机的管理接口来获取VM数据。

这种方法具有以下缺点：

• ESXi管理接口通常不会挂在最快的上行链路上，通常这是1GbE
• 即使管理接口将具有10GbE端口，ESXi也不会放弃整个代理频段代理-它人为地对其进行限制，并且仅分配部分接口带宽用于备份

优点	缺点
简单而通用。 代理可以是物理的也可以是虚拟的。	通常，它比HotAdd慢得多，尤其是在大备份量和少量并行任务上。
快速启动，安装驱动器没有延迟。 快照没问题。	在管理界面和管理程序上创建负载（较小）。

同时，许多消息来源声称NBD在1GbE时非常慢，但在10GbE时可能会非常快。 我们一定会检查一下。

测试程序

在上述基础架构上，有必要备份测试虚拟机并记录以下指标：

• CPU负载，％
• 内存消耗，GB
• 网络负载，Gbps
• 备份性能，MB /秒
• 备用时间，mm：ss

指标应固定为一个测试虚拟机的备份以及两个，四个和六个测试虚拟机的并行备份。

应记录虚拟设备和网络备份代理操作模式的指示符。 每次应执行完整备份时，不进行增量备份。

因此，有必要创建4个备份作业：

• 对于一台测试VM
• 对于两个测试VM
• 对于四个测试VM
• 对于六个测试VM

作为测试的一部分，您必须：

1. 以一种模式顺序运行所有任务
2. 删除创建的备份，以便没有增量
3. 重复在第二种模式下运行，每次固定指示器

在每个任务的设置中，您必须手动选择准备进行测试的备份代理，因为它不是通用VBR基础结构中唯一的备份代理，并且默认情况下会自动选择该代理。

默认备份代理模式也会自动选择。 因此，在备份代理设置中，在每次运行之前，请手动设置所需的传输模式。

最有趣的指标是平均速度或备份性能。 在VBR控制台的作业结果中可以看到它。 它还将显示备份运行时。

另外，您需要在每个测试中评估备份代理上的负载。 可以使用来宾操作系统工具（Windows 2016）和VMware级别监视CPU，内存和网络拥塞。

在备份代理和备份存储库上，最大同时任务数的参数设置为6。这意味着在测试过程中，将并行处理每个任务中的所有VM，它们中的任何一个都不会在队列中等待，因此性能将达到最高。

Veeam®建议并行任务的数量不应超过代理和存储库上的处理器核心数量。 存储库中建议的RAM量为每个内核2 GB，总计12 GB。 基础结构配置显示已遵循所有建议。

虚拟设备模式下的备份速度和负载（热添加）

备份1台虚拟机

备份2虚拟机

备份4个虚拟机

备份6虚拟机

备份速度和网络模式负载（NBD）

备份1台虚拟机

备份2虚拟机

备份4个虚拟机

备份6虚拟机

虚拟设备（HotAdd）和网络模式（NBD）中的性能和负载比较

虚拟机数量	速度-HotAdd，MB /秒	速度-NBD，MB / s	HotAdd / NBD
1个	709	192	3.69
2	816	269	3.03
4	885年	446	1.98
6	888	517	1.72

虚拟机数量	CPU负载-HotAdd，％	CPU负载-NBD，％	HotAdd / NBD
1个	55-95	18-24	3.06-3.96
2	70-100	25-33	2.8-3.03
4	100	45-55	1.82-2.22
6	100	50-70	1.43-2

虚拟机数量	RAM下载-HotAdd，GB	RAM加载-NBD，GB	HotAdd / NBD
1个	2-2,2	1.9-2.1	1.05
2	2.3-2.5	2.2-2.4	1,04-1,05
4	3-3.5	2.8-3.5	1-1.07
6	4-4,2	3,5-4	1.14-1.05

虚拟机数量	网络下载-HotAdd，Gb /秒	网络下载-NBD，Gb /秒	HotAdd / NBD
1个	4.7-6.4	1.2-1.8	3.56-3.92
2	5-7.7	1.5-2.5	3.08-3.33
4	5-8,2	2.8-4.5	1.79-1.82
6	5-8,2	3,5-5	1.43-1.64

测试结果

通过测试获得的备份性能指标明确证实了以下事实：虚拟设备模式的速度明显优于网络模式，特别是在少量并行任务中。

让我提醒您，两种模式的测试都是在同一平台上完全相同的条件下运行的。 网络带宽也相同-代理在NBD模式下通过其收集数据的控制接口发出10 Gbit / s的速度，就像用于HotAdd模式的vSAN网络一样，我们没有设置任何带宽限制。

显然，ESXi确实降低了Veeam®的速度，并仅在网络模式下为其提供了一部分带宽，因此备份速度有所不同。 但是，随着线程数量的增加（同时执行备份任务），网络模式显着减少了积压。

我们看到，在虚拟设备模式下，已经在4个VM上，备份代理位于处理器上，它不能更快​​地工作，对于6个VM，备份速度没有太大变化。 同时，此模式下1-2个VM的备份速度略微落后，即使在线程数量较少的情况下，也最大程度地利用了备份代理和平台的功能。

相反，在网络模式下，随着同时执行任务的数量增加，生产率显着提高。 同时，即使在6个线程上，备份代理处理器上的负载也明显低于HotAdd模式下的负载，其负载不超过70％。

备份代理的内存消耗很小，并且在两种模式下大约相同。

备份代理网络上的负载与备份速度相关，超出备份速度约10-17％。 显然，代理服务器从VM源中获取数据的速度比其上传到存储库中的速度要快一些，因为需要对其进行处理。

观察图片中的行Load和作业执行的结果很有趣。 它显示了备份基础架构的各个元素上的负载级别：源，代理，网络，存储库。

在虚拟设备模式下，我们看到备份性能取决于代理服务器和网络，它们的负载始终大致相同。 源和存储库不是瓶颈。

在网络模式下，即使对于单个流，瓶颈始终是源。 可以看出，基础架构的其余部分可以提供更多功能，但是ESXi无法提供它们。

总结

测试证实，在实际研究的传输模式下，备用代理的行为与理论所建议的完全相同。

Veeam®软件已被证明非常值得：

• 在HotAdd模式下，所有基础结构功能都得到了有效和完全的利用。
• 在NBD模式下，性能预计会更适中，但这不是Veeam®问题，而是ESXi网络堆栈的功能

我们获得了真实的性能和负载指标，这对于选择最佳操作模式和随后的系统扩展非常有用。

目前，我们对现有的备份性能非常满意，我们了解如何在需要时适当地提高它。