Teste de carga de replicação e backup da Veeam

Na primavera de 2018, a Selectel lançou um serviço de backup para o VMware Cloud através do Veeam® Backup & Replication ™ (doravante denominado VBR). Abordamos o projeto minuciosamente, planejamos e executamos a seguinte lista de trabalhos:

• Explorando a documentação e as práticas recomendadas do produto Veeam
• Projetando uma arquitetura VBR no nível do provedor de serviços
• Implantar a infraestrutura VBR
• Testando a solução, determinando as configurações e modos operacionais ideais
• Lançamento da solução em operação industrial (comercial)

Como se viu - não em vão. O serviço é estável, os clientes podem fazer backup de suas máquinas virtuais e temos um certo conhecimento que queremos compartilhar.

Neste artigo, queremos falar sobre os resultados do teste de carga de VBR para os dois modos operacionais de proxy de backup mais populares, levando em consideração a variação no número de tarefas paralelas.

Aqui você pode ver:

• Descrição da infraestrutura de produção Selectel usada para teste
• Recursos do proxy de backup (proxy de backup) em vários modos de transporte
• Descrição do programa de teste e configurações dos componentes VBR para sua implementação
• Indicadores quantitativos, sua comparação e conclusões

Configuração da infraestrutura de teste

Infraestrutura de origem

Como plataforma para testar o desempenho do VBR, foi criado um dos clusters de produção da nuvem pública baseada no VMware .

• A configuração de hardware dos hosts neste cluster:
• Processadores Intel® Xeon® Gold 6140
• Intel® DC NVMe P4600 e P3520
• 4 portas de 10 GbE por host

O cluster é baseado nas seguintes soluções:

• Rede física - Fábrica de Ethernet nos comutadores Brocade VDX, arquitetura Leaf-Spine (portas 10GbE - conectando hosts, uplinks de 40GbE ao Spine)
• Ambiente de virtualização - VMware vSphere® 6.5
• Armazenamento da VM - VMware vSAN ™ 6.6 (Cluster vSAN totalmente em Flash)
• Virtualização de rede - VMware NSX® 6.4

O desempenho da plataforma de teste é mais que suficiente e não está em dúvida. Obviamente, para um desempenho de alta velocidade, tudo isso deve ser configurado corretamente, mas, como se trata de produção, com clientes animados e satisfeitos, você pode ter certeza de que tudo está bem nesse aspecto.

Juntamente com a nuvem baseada em VMware, a Selectel lançou um serviço para backup na plataforma VBR. Os clientes recebem um portal da web de autoatendimento onde podem fazer backup e restaurar vApp e VMs do seu VDC (data center virtual).

Os clientes têm acesso a este portal (portal de autoatendimento Veeam® Enterprise Manager) com os mesmos direitos que o vCloud Director® (vCD). Isso é possível devido à integração do Veeam® Backup Enterprise Manager (EM) e do vCD, enquanto cada cliente, quando conectado ao EM, é limitado pelos recursos de seu VDC, não verá outras VMs.

O cliente não precisa implantar sua própria VBR e a infraestrutura de backup associada, o que implica o custo dos recursos de computação e de rede, armazenamento, licenças Veeam e MS e administração. É longo, caro e complicado. A Selectel fornece os recursos básicos do VBR como um serviço BaaS (Backup como serviço): instantaneamente, de forma simples, conveniente e econômica.

Para fornecer esse serviço, a Selectel implantou uma infraestrutura de provedor VBR cobrindo todos os clusters vSphere e VDC de clientes em nuvem VMware, incluindo o cluster no qual esse teste foi realizado. Assim, os resultados do teste nos permitirão avaliar a velocidade máxima com a qual os clientes podem fazer backup de suas VMs.

VMs de teste

Para testar o desempenho do backup, 6 VMs idênticas foram implantadas no cluster vSphere na seguinte configuração:

• SO Windows Server 2016, 2 vCPU, 4 GB de RAM
• 200 GB vDisk

O disco está quase cheio - 193GB. Além dos arquivos do SO, foi criada uma pasta com distribuições de vários SO e DBMSs com capacidade de 60 GB (dados exclusivos). Na mesma unidade, foram criadas 3 cópias desta pasta - um total de 180 GB de dados não pertencentes ao sistema.

Nenhum aplicativo foi instalado nessas VMs, apenas um SO "limpo" e dados "frios". Nenhuma carga, computacional ou de rede, iniciada. Para este teste, isso não foi necessário.

O DRS é ativado no cluster vSphere, para que as VMs de teste sejam automaticamente distribuídas de maneira ideal entre os hosts VMware ESXi ™ para balanceamento de carga.

Proxy de backup

Uma VM com proxy de backup é implementada diretamente no cluster do vSphere descrito acima (a infraestrutura de origem, a seguir denominada cluster do vSphere), essa é uma condição necessária para testar no modo de dispositivo virtual.

Configuração da VM:

• 8 vCPU
• 8GB RAM
• VDisk de 40 GB
• VNIC de 10GbE vmxnet3
• Sistema operacional Windows Server 2016

O parâmetro "Máximo de tarefas simultâneas" para o proxy de backup no nível VBR é definido como 6. Isso significa que o proxy de backup pode processar simultaneamente (em paralelo) até 6 tarefas de backup. Uma tarefa é um backup de um disco virtual da VM.

Repositório de backup

O servidor físico que atua como um repositório de backup do VBR atua como um frontend do armazenamento de backup. Configuração do servidor:

• CPU E5-1650v3
• 32GB RAM
• 2 portas 10GbE

Back-end de armazenamento - Cluster CephFS com cache NVMe.

O repositório de backup e os nós Ceph se comunicam por uma rede de 10 GbE, cada um deles conectado aos comutadores por duas portas.

Uma descrição detalhada da configuração do cluster Ceph está além do escopo deste artigo. Observe que, para confiabilidade e tolerância a falhas, os dados são armazenados em três cópias. O desempenho do cluster não é satisfatório e apresenta uma margem, os resultados do teste mostraram que em nenhum deles o armazenamento de backup era um gargalo.

O parâmetro "Limitar o máximo de tarefas simultâneas" para o repositório de backup no nível VBR é definido como 6. Isso significa que o repositório de backup poderá processar simultaneamente (até 6) tarefas de backup.

Rede de backup

A rede física da infraestrutura descrita acima é limitada por uma largura de banda de 10 Gbit / s, switches e portas de 10GbE são usados ​​em todos os lugares. Isso ocorre não apenas no vSAN, mas também nas interfaces de gerenciamento dos hosts ESXi.

Para hospedar um proxy de backup no nível do VMware NSX, uma sub-rede dedicada foi criada com seu próprio comutador lógico. Para sua conectividade com a física e o roteamento, o NSX-edge, um tamanho X-grande, foi implantado.

Olhando para o futuro, de acordo com os resultados do teste, fica claro que a rede pode suportar uma carga de até 8 Gb / s. Essa é uma largura de banda muito sólida, que é suficiente nesse estágio, se necessário, pode ser aumentada.

Diagrama de interação do componente

Proxies de backup e VMs de teste são implantados no mesmo cluster VMware vSAN. Depois de iniciar a tarefa de backup (tarefa de backup), dependendo do modo de transporte selecionado, cujos recursos são discutidos abaixo, um proxy de backup:

• Recupera dados de VMs de backup via vSAN (HotAdd) ou rede de controle (NBD)
• Transfere dados processados ​​para o repositório de backup na sub-rede alocada para essa finalidade

Modos de transporte de proxy de backup

O proxy de backup é um componente da infraestrutura VBR que executa diretamente o processamento da tarefa de backup. Ele extrai dados da VM, os processa (compacta, deduplica, criptografa) e os envia para o repositório, onde são salvos nos arquivos de backup.

O proxy de backup permite trabalhar em três modos de transporte:

• Acesso direto ao armazenamento
• Dispositivo virtual
• Rede

A nuvem baseada no VMware Selectel usa o vSAN como armazenamento. Nesta configuração, o acesso direto ao armazenamento não é suportado; portanto, este modo não é considerado e não foi testado. Os dois modos restantes funcionam maravilhosamente em cada um dos nossos clusters do vSphere. Vamos nos aprofundar neles com mais detalhes.

Modo de dispositivo virtual (HotAdd)

Dispositivo virtual é o modo recomendado ao implantar proxies de backup como VMs. Os hosts ESXi nos quais os proxies de backup são implantados devem ter acesso a todo o armazenamento de dados do cluster vSphere que armazena as VMs de backup. A essência do modo é que o proxy monta os discos da VM de backup (VMware SCSI HotAdd) e extrai dados deles como se fossem seus. A extração de dados ocorre com o Datastore em uma rede de armazenamento.

No nosso caso, a VM do proxy de backup deve estar localizada em um dos hosts ESXi do cluster vSAN, para o qual fazemos backup. A extração de dados ocorre via vSAN. Portanto, para trabalhar no modo de dispositivo virtual, pelo menos um proxy de backup deve ser implantado em cada cluster vSAN. Expanda um par de proxies de backup (por exemplo, em um cluster de gerenciamento) e faça backup de todos os clusters vSAN com eles falhará.

Prós	Contras
Rápido, via de regra, é muito mais rápido que o NBD, especialmente no caso de um backup completo ou de grandes incrementos. Somente o acesso direto ao armazenamento pode ter velocidade inferior.	A operação de montagem de discos (HotAdd) em um proxy pode levar até 2 minutos por disco. Com backups incrementais de pequenos blocos de dados, o NBD pode ser mais rápido.
Descarta a rede de armazenamento. Não carrega a interface de gerenciamento e o hypervisor.	A VM de proxy consome parte dos recursos do host. Às vezes, pode haver problemas com a remoção de instantâneos.

Modo de rede (NBD)

É o modo mais simples e universal, adequado para proxies de backup físico e virtual. A extração de dados, diferentemente dos dois modos anteriores, não ocorre na rede de armazenamento. Um proxy de backup obtém dados da VM conectando-se à interface de gerenciamento dos hosts ESXi nos quais eles estão executando.

Essa abordagem tem as seguintes desvantagens:

• Geralmente, as interfaces de gerenciamento ESXi não dependem dos uplinks mais rápidos, como regra, é 1GbE
• Mesmo que a interface de gerenciamento tenha portas de 10 GbE, o ESXi não abrirá mão de todo o proxy da banda proxy - limita-o artificialmente e aloca apenas uma parte da largura de banda da interface para backups

Prós	Contras
Simples e versátil. Os proxies podem ser físicos e virtuais.	Como regra, é muito mais lento que o HotAdd, especialmente em grandes volumes de backup e em um pequeno número de tarefas paralelas.
Início rápido, sem demora na montagem das unidades. Não há problema com os instantâneos.	Cria uma carga (pequena) na interface de gerenciamento e no hipervisor.

Ao mesmo tempo, muitas fontes afirmam que o NBD é muito lento em 1GbE, mas em 10GbE pode ser bastante rápido. Definitivamente vamos verificar isso.

Programa de teste

Na infraestrutura descrita acima, é necessário fazer backup de VMs de teste e registrar os seguintes indicadores:

• Carga da CPU,%
• Consumo de RAM, GB
• Carga de rede, Gbps
• Desempenho de backup, MB / s
• Tempo de backup, mm: ss

Os indicadores devem ser corrigidos para backup de uma VM de teste e backup paralelo de duas, quatro e seis VMs de teste.

Os indicadores devem ser registrados para os modos operacionais de dispositivo virtual e proxy de backup de rede. Sempre que um backup completo deve ser executado, não há incrementos.

Portanto, é necessário criar 4 tarefas de backup:

• Para uma VM de teste
• Para duas VMs de teste
• Para quatro VMs de teste
• Para seis VMs de teste

Como parte do teste, é necessário:

1. Execute sequencialmente todas as tarefas em um modo
2. Exclua os backups criados para que não haja incrementos
3. A repetição é executada no segundo modo, sempre que os indicadores são fixados

Nas configurações de cada tarefa, você deve selecionar manualmente um proxy de backup preparado para teste, pois não é o único na infraestrutura geral de VBR e, por padrão, o proxy é selecionado automaticamente.

O modo de proxy de backup padrão também é selecionado automaticamente. Portanto, nas configurações do proxy de backup, antes de cada execução, defina manualmente o modo de transporte desejado.

O indicador mais interessante é a velocidade média ou o desempenho do backup. Isso pode ser visto nos resultados do trabalho no console do VBR. Também mostrará o tempo de execução do backup.

Além disso, você precisa avaliar a carga no proxy de backup em cada um dos testes. CPU, memória e congestionamento de rede podem ser monitorados usando as ferramentas do SO convidado (Windows 2016) e no nível do VMware.

No proxy de backup e nos repositórios de backup, o parâmetro para o número máximo de tarefas simultâneas é definido como 6. Isso significa que durante o teste, todas as VMs em cada tarefa serão processadas em paralelo, nenhuma delas aguardará na fila, o desempenho será máximo.

A Veeam® recomenda que o número de tarefas paralelas não exceda o número de núcleos de processador em proxies e repositórios. A quantidade recomendada de RAM no repositório é de 2 GB por núcleo, total de 12 GB. A configuração da infraestrutura mostra que todas as recomendações são seguidas.

Velocidade e carregamento de backup no modo de dispositivo virtual (Hot Add)

Backup de 1 VM

VM de backup 2

Backup 4 VM

Backup 6 VM

Velocidade de backup e carga no modo de rede (NBD)

Backup de 1 VM

VM de backup 2

Backup 4 VM

Backup 6 VM

Comparação de desempenho e carga no dispositivo virtual (HotAdd) e no modo de rede (NBD)

Contagem de VM	Velocidade - HotAdd, MB / s	Velocidade - NBD, MB / s	HotAdd / NBD
1	709	192	3,69
2	816	269	3.03
4	885	446	1,98
6	888	517	1,72

Contagem de VM	Carga da CPU - HotAdd,%	Carga da CPU - NBD,%	HotAdd / NBD
1	55-95	18-24	3.06-3.96
2	70-100	25-33	2.8-3.03
4	100	45-55	1,82-2,22
6	100	50-70	1,43-2

Contagem de VM	Download de RAM - HotAdd, GB	Carregamento de RAM - NBD, GB	HotAdd / NBD
1	2-2,2	1.9-2.1	1.05
2	2.3-2.5	2.2-2.4	1,04-1,05
4	3-3,5	2,8-3,5	1-1,07
6	4-4,2	3,5-4	1.14-1.05

Contagem de VM	Download de rede - HotAdd, Gb / s	Download de rede - NBD, Gb / s	HotAdd / NBD
1	4.7-6.4	1.2-1.8	3,56-3,92
2	5-7,7	1.5-2.5	3.08-3.33
4	5-8,2	2,8-4,5	1,79-1,82
6	5-8,2	3,5-5	1,43-1,64

Resultados do teste

Os indicadores de desempenho de backup obtidos como resultado de testes confirmam inequivocamente o fato de que o modo do dispositivo virtual é significativamente superior em velocidade em comparação com o modo de rede, especialmente em um pequeno número de tarefas paralelas.

Deixe-me lembrá-lo de que os testes para os dois modos foram executados sob condições absolutamente idênticas na mesma plataforma. A largura de banda da rede também era a mesma - as interfaces de controle através das quais o proxy coleta dados no modo NBD fornecem 10 Gbit / s, como a rede vSAN no modo HotAdd, não estabelecemos limites de largura de banda.

Obviamente, o ESXi realmente desacelera o Veeam® e fornece apenas parte da banda no modo Rede, daí as diferenças na velocidade do backup. No entanto, com o aumento do número de threads - tarefas de backup simultâneas - o modo Rede reduz significativamente a lista de pendências.

Vemos que, no modo de dispositivo virtual, já em 4 VMs, o proxy de backup fica no processador, não pode funcionar mais rápido; para 6 VMs, a velocidade do backup não mudou muito. Ao mesmo tempo, a velocidade de backup de 1-2 VMs nesse modo está um pouco atrasada, os recursos de proxies e plataformas de backup são usados ​​ao máximo, mesmo em um pequeno número de threads.

No modo Rede, pelo contrário, há um aumento significativo na produtividade com um aumento no número de tarefas simultâneas. Ao mesmo tempo, a carga no processador proxy de backup é significativamente menor que no modo HotAdd, mesmo em 6 threads, não excede 70%.

O consumo de memória do proxy de backup é pequeno e aproximadamente o mesmo nos dois modos.

A carga na rede proxy de backup está correlacionada com a velocidade do backup, excedendo-a em ~ 10-17%. Aparentemente, o proxy leva os dados das fontes da VM um pouco mais rápido do que carrega no repositório, porque eles precisam ser processados.

É interessante observar a linha Carregar nas figuras com os resultados da execução do trabalho. Ele mostra o nível de carga em vários elementos da infraestrutura de backup: origem, proxy, rede, repositório.

No modo Dispositivo virtual, vemos que o desempenho do backup está no proxy e na rede, eles sempre têm aproximadamente a mesma carga. A fonte e o repositório não são um gargalo.

No modo Rede, o gargalo é sempre a fonte, mesmo para um único fluxo. Pode-se ver que o restante da infraestrutura pode oferecer mais, mas o ESXi não fornece.

Sumário

Os testes confirmaram que, na prática, o proxy de backup nos modos de transporte estudados se comporta exatamente como a teoria sugere.

O software Veeam® provou ser muito valioso:

• No modo HotAdd, todos os recursos de infraestrutura foram efetivamente e completamente utilizados.
• No modo NBD, espera-se que o desempenho seja mais modesto, mas esse não é um problema do Veeam®, mas um recurso da pilha de rede ESXi

Temos indicadores reais de desempenho e carga, o que é muito útil para escolher o melhor modo de operação e subsequente dimensionamento do sistema.

No momento, estamos bastante satisfeitos com o desempenho de backup existente, entendemos como aumentá-lo adequadamente quando essa necessidade surgir.