Testen der Veeam-Sicherungs- und Replikationslast

Im Frühjahr 2018 startete Selectel über Veeam® Backup & Replication ™ (im Folgenden: VBR) einen Sicherungsdienst für VMware Cloud . Wir haben uns gründlich mit dem Projekt befasst, die folgende Liste von Arbeiten geplant und durchgeführt:

• Erkundung der Veeam-Produktdokumentation und Best Practices
• Entwerfen einer VBR-Architektur auf Service Provider-Ebene
• Stellen Sie die VBR-Infrastruktur bereit
• Testen der Lösung, Bestimmen der optimalen Einstellungen und Betriebsmodi
• Einführung der Lösung im industriellen (kommerziellen) Betrieb

Wie sich herausstellte - nicht umsonst. Der Service ist stabil, Kunden können ihre virtuellen Maschinen sichern und wir verfügen über ein bestimmtes Fachwissen, das wir teilen möchten.

In diesem Artikel möchten wir über die Ergebnisse von VBR-Lasttests für die beiden beliebtesten Backup-Proxy-Betriebsmodi sprechen, wobei die unterschiedliche Anzahl paralleler Tasks berücksichtigt wird.

Hier können Sie sehen:

• Beschreibung der zum Testen verwendeten Selectel-Produktionsinfrastruktur
• Funktionen des Backup-Proxys (Backup-Proxy) in verschiedenen Transportmodi
• Beschreibung des Testprogramms und Einstellungen der VBR-Komponenten für deren Implementierung
• Quantitative Indikatoren, deren Vergleich und Schlussfolgerungen

Testen Sie die Infrastrukturkonfiguration

Quellinfrastruktur

Als Plattform zum Testen der Leistung von VBR wurde einer der auf VMware basierenden Produktionscluster der öffentlichen Cloud erstellt .

• Die Hardwarekonfiguration der Hosts in diesem Cluster:
• Intel® Xeon® Gold Prozessoren 6140
• Intel® DC NVMe P4600 und P3520
• 4 10-GbE-Ports pro Host

Der Cluster basiert auf folgenden Lösungen:

• Physisches Netzwerk - Ethernet-Factory auf Brocade VDX-Switches, Leaf-Spine-Architektur (10-GbE-Ports - Hosts verbinden, 40-GbE-Uplinks zu Spine)
• Virtualisierungsumgebung - VMware vSphere® 6.5
• VM-Speicher - VMware vSAN ™ 6.6 (All-Flash vSAN-Cluster)
• Netzwerkvirtualisierung - VMware NSX® 6.4

Die Leistung der Testplattform ist mehr als ausreichend und steht außer Zweifel. Für eine Hochgeschwindigkeitsleistung sollte dies natürlich alles richtig konfiguriert sein, aber da es sich um eine Produktion mit lebhaften und zufriedenen Kunden handelt, können Sie sicher sein, dass diesbezüglich alles in Ordnung ist.

Zusammen mit der VMware-basierten Cloud hat Selectel einen Dienst für die Sicherung auf der VBR-Plattform gestartet. Kunden erhalten ein Self-Service-Webportal, auf dem sie vApp und VMs von ihrem VDC (virtuelles Rechenzentrum) sichern und wiederherstellen können.

Kunden haben Zugriff auf dieses Portal (Veeam® Enterprise Manager Self-Service-Portal) mit denselben Rechten wie vCloud Director® (vCD). Dies ist aufgrund der Integration von Veeam® Backup Enterprise Manager (EM) und vCD möglich. Während jeder Client, wenn er mit EM verbunden ist, durch die Ressourcen seines VDC begrenzt ist, werden keine anderen VMs angezeigt.

Der Client muss kein eigenes VBR und die zugehörige Sicherungsinfrastruktur bereitstellen, was die Kosten für Computer- und Netzwerkressourcen, Speicher, Veeam- und MS-Lizenzen sowie Verwaltung impliziert. Es ist lang, teuer und kompliziert. Selectel bietet die grundlegenden Funktionen von VBR als BaaS-Dienst (Backup-as-a-Service): sofort, einfach, bequem und wirtschaftlich.

Um diesen Service bereitzustellen, stellte Selectel eine VBR-Provider-Infrastruktur bereit, die alle vSphere- und VDC-Cluster von VMware-Cloud-Clients abdeckt, einschließlich des Clusters, in dem dieser Test durchgeführt wurde. Anhand der Testergebnisse können wir daher die maximale Geschwindigkeit beurteilen, mit der Kunden ihre VMs sichern können.

Testen Sie VMs

Um die Sicherungsleistung zu testen, wurden 6 identische VMs in der folgenden Konfiguration im vSphere-Cluster bereitgestellt:

• Betriebssystem Windows Server 2016, 2 vCPU, 4 GB RAM
• 200 GB vDisk

Die Festplatte ist fast voll - 193 GB. Zusätzlich zu den Betriebssystemdateien wurde ein Ordner mit Distributionen verschiedener Betriebssysteme und DBMS mit einer Kapazität von 60 GB erstellt (eindeutige Daten). Auf demselben Laufwerk wurden 3 Kopien dieses Ordners erstellt - insgesamt 180 GB Nicht-Systemdaten.

Auf diesen VMs wurden keine Anwendungen installiert, nur ein "sauberes" Betriebssystem und "kalte" Daten. Keine Last, Computer oder Netzwerk, gestartet. Für diesen Test war dies nicht erforderlich.

DRS ist im vSphere-Cluster aktiviert, sodass Test-VMs für den Lastenausgleich automatisch optimal auf VMware ESXi ™ -Hosts verteilt werden.

Backup-Proxy

Eine VM mit Backup-Proxy wird direkt in dem oben beschriebenen vSphere-Cluster (der Quellinfrastruktur, im Folgenden als vSphere-Cluster bezeichnet) bereitgestellt. Dies ist eine notwendige Bedingung für das Testen im Virtual Appliance-Modus.

VM-Konfiguration:

• 8 vCPU
• 8 GB RAM
• 40 GB vDisk
• 10 GbE vNIC vmxnet3
• Betriebssystem Windows Server 2016

Der Parameter "Max. Gleichzeitige Aufgaben" für den Sicherungs-Proxy auf VBR-Ebene ist auf 6 festgelegt. Dies bedeutet, dass der Sicherungs-Proxy gleichzeitig (parallel) bis zu 6 Sicherungsaufgaben verarbeiten kann. Eine Aufgabe ist die Sicherung einer virtuellen VM-Festplatte.

Backup-Repository

Der physische Server, der als Backup-Repository von VBR fungiert, fungiert als Frontend des Backup-Speichers. Serverkonfiguration:

• CPU E5-1650v3
• 32 GB RAM
• 2 10-GbE-Ports

Speicher-Backend - CephFS-Cluster mit NVMe-Cache.

Das Backup-Repository und die Ceph-Knoten kommunizieren über ein 10-GbE-Netzwerk. Jeder von ihnen ist über zwei Ports mit den Switches verbunden.

Eine detaillierte Beschreibung der Ceph-Cluster-Konfiguration würde den Rahmen dieses Artikels sprengen. Beachten Sie, dass die Daten aus Gründen der Zuverlässigkeit und Fehlertoleranz in drei Kopien gespeichert werden. Die Leistung des Clusters ist nicht zufriedenstellend und mit einem gewissen Abstand versehen. Die Testergebnisse zeigten, dass in keinem von ihnen der Sicherungsspeicher ein Engpass war.

Der Parameter "Maximale Anzahl gleichzeitiger Aufgaben begrenzen" für das Sicherungsrepository auf VBR-Ebene ist auf 6 festgelegt. Dies bedeutet, dass das Sicherungsrepository gleichzeitig (bis zu 6) Sicherungsaufgaben verarbeiten kann.

Backup-Netzwerk

Das physische Netzwerk der oben beschriebenen Infrastruktur ist durch eine Bandbreite von 10 Gbit / s begrenzt, Switches und 10 GbE-Ports werden überall verwendet. Dies gilt nicht nur für vSAN, sondern auch für Verwaltungsschnittstellen von ESXi-Hosts.

Um einen Backup-Proxy auf VMware NSX-Ebene zu hosten, wurde ein dediziertes Subnetz mit einem eigenen logischen Switch erstellt. Für die Konnektivität mit Physik und Routing wird der X-Large NSX-Edge bereitgestellt.

Mit Blick auf die Zukunft ist den Testergebnissen klar, dass das Netzwerk einer Last von bis zu 8 Gbit / s standhalten kann. Dies ist eine sehr solide Bandbreite, die zu diesem Zeitpunkt ausreicht und bei Bedarf erhöht werden kann.

Komponenteninteraktionsdiagramm

Backup-Proxys und Test-VMs werden im selben VMware vSAN-Cluster bereitgestellt. Nach dem Starten des Sicherungsjobs (Sicherungsjob) wird abhängig vom ausgewählten Transportmodus, dessen Funktionen unten erläutert werden, ein Sicherungsproxy erstellt:

• Ruft Daten von Sicherungs-VMs über vSAN (HotAdd) oder Steuerungsnetzwerk (NBD) ab.
• Überträgt verarbeitete Daten an das Backup-Repository des dafür zugewiesenen Subnetzes

Backup-Proxy-Transportmodi

Der Backup-Proxy ist eine Komponente der VBR-Infrastruktur, die die Verarbeitung von Backup-Jobs direkt durchführt. Es extrahiert Daten aus der VM, verarbeitet sie (komprimiert, dedupliziert, verschlüsselt) und sendet sie an das Repository, wo sie in Sicherungsdateien gespeichert werden.

Mit dem Backup-Proxy können Sie in drei Transportmodi arbeiten:

• Direkter Speicherzugriff
• Virtuelle Appliance
• Netzwerk

Die VMware Selectel-basierte Cloud verwendet vSAN als Speicher. In dieser Konfiguration wird der direkte Speicherzugriff nicht unterstützt. Daher wird dieser Modus nicht berücksichtigt und wurde nicht getestet. Die verbleibenden zwei Modi funktionieren wunderbar in jedem unserer vSphere-Cluster. Lassen Sie uns näher darauf eingehen.

Virtueller Appliance-Modus (HotAdd)

Die virtuelle Appliance ist der empfohlene Modus, wenn Sicherungsproxys als VMs bereitgestellt werden. ESXi-Hosts, auf denen Sicherungsproxys bereitgestellt werden, müssen Zugriff auf alle Datenspeicher des vSphere-Clusters haben, in dem die Sicherungs-VMs gespeichert sind. Der Kern des Modus besteht darin, dass der Proxy die Festplatten der Sicherungs-VM (VMware SCSI HotAdd) bereitstellt und Daten von ihnen entnimmt, als wären es eigene. Die Datenextraktion erfolgt mit dem Datenspeicher über ein Speichernetzwerk.

In unserem Fall muss sich die Backup-Proxy-VM auf einem der ESXi-Hosts des vSAN-Clusters befinden, den wir sichern. Die Datenextraktion erfolgt über vSAN. Um im Virtual Appliance-Modus zu arbeiten, muss in jedem vSAN-Cluster mindestens ein Backup-Proxy bereitgestellt werden. Erweitern Sie ein Paar Sicherungsproxys (z. B. in einem Verwaltungscluster), und die Sicherung aller vSAN-Cluster mit ihnen schlägt fehl.

Vorteile	Nachteile
Schnell ist in der Regel viel schneller als NBD, insbesondere bei einer vollständigen Sicherung oder großen Schritten. Nur der direkte Speicherzugriff kann eine geringere Geschwindigkeit aufweisen.	Das Mounten von Festplatten (HotAdd) an einen Proxy kann pro Festplatte bis zu 2 Minuten dauern. Mit inkrementellen Sicherungen kleiner Datenblöcke kann NBD schneller sein.
Entsorgt das Speichernetzwerk. Lädt nicht die Verwaltungsschnittstelle und den Hypervisor.	Die Proxy-VM belegt einen Teil der Hostressourcen. Manchmal kann es Probleme beim Entfernen von Schnappschüssen geben.

Netzwerkmodus (NBD)

Dies ist der einfachste und universellste Modus, der sowohl für physische als auch für virtuelle Backup-Proxys geeignet ist. Die Datenextraktion erfolgt im Gegensatz zu den beiden vorherigen Modi nicht über das Speichernetzwerk. Ein Backup-Proxy nimmt VM-Daten auf, indem er eine Verbindung zur Verwaltungsschnittstelle der ESXi-Hosts herstellt, auf denen sie ausgeführt werden.

Dieser Ansatz hat die folgenden Nachteile:

• Häufig hängen ESXi-Verwaltungsschnittstellen nicht an den schnellsten Uplinks. In der Regel ist dies 1 GbE
• Selbst wenn die Verwaltungsschnittstelle über 10-GbE-Ports verfügt, gibt ESXi nicht den gesamten Proxy-Band-Proxy auf - es begrenzt ihn künstlich und weist nur einen Teil der Schnittstellenbandbreite für Sicherungen zu

Vorteile	Nachteile
Einfach und vielseitig. Proxies können physisch und virtuell sein.	In der Regel ist es viel langsamer als HotAdd, insbesondere bei großen Sicherungsvolumes und einer kleinen Anzahl paralleler Aufgaben.
Schnellstart, keine Verzögerung bei der Montage von Laufwerken. Kein Problem mit Schnappschüssen.	Erstellt eine Last (klein) auf der Verwaltungsoberfläche und dem Hypervisor.

Gleichzeitig behaupten viele Quellen, dass NBD bei 1 GbE sehr langsam ist, aber bei 10 GbE kann es ziemlich schnell sein. Wir werden dies auf jeden Fall überprüfen.

Testprogramm

In der oben beschriebenen Infrastruktur müssen Test-VMs gesichert und die folgenden Indikatoren aufgezeichnet werden:

• CPU-Auslastung,%
• RAM-Verbrauch, GB
• Netzwerklast, Gbit / s
• Sicherungsleistung, MB / s
• Sicherungszeit, mm: ss

Die Indikatoren sollten für die Sicherung einer Test-VM und für die parallele Sicherung von zwei, vier und sechs Test-VMs festgelegt werden.

Anzeigen sollten für die Betriebsmodi Virtual Appliance und Network Backup Proxy aufgezeichnet werden. Jedes Mal, wenn eine vollständige Sicherung durchgeführt werden soll, werden keine Inkremente durchgeführt.

Daher müssen 4 Sicherungsjobs erstellt werden:

• Für eine Test-VM
• Für zwei Test-VMs
• Für vier Test-VMs
• Für sechs Test-VMs

Im Rahmen der Prüfung ist Folgendes erforderlich:

1. Führen Sie nacheinander alle Aufgaben in einem Modus aus
2. Löschen Sie erstellte Sicherungen, damit es keine Inkremente gibt
3. Wiederholen Sie die Läufe im zweiten Modus, jedes Mal, wenn Anzeigen angezeigt werden

In den Einstellungen jeder Aufgabe müssen Sie manuell einen zum Testen vorbereiteten Sicherungsproxy auswählen, da dies nicht der einzige in der allgemeinen VBR-Infrastruktur ist und der Proxy standardmäßig automatisch ausgewählt wird.

Der Standard-Backup-Proxy-Modus wird ebenfalls automatisch ausgewählt. Stellen Sie daher in den Backup-Proxy-Einstellungen vor jedem Lauf den gewünschten Transportmodus manuell ein.

Der interessanteste Indikator ist die durchschnittliche Geschwindigkeit oder Sicherungsleistung. Dies ist in den Ergebnissen des Jobs in der VBR-Konsole zu sehen. Außerdem wird die Sicherungslaufzeit angezeigt.

Darüber hinaus müssen Sie die Belastung des Sicherungs-Proxys in jedem der Tests bewerten. CPU-, Speicher- und Netzwerküberlastung können mithilfe der Gastbetriebssystem-Tools (Windows 2016) und auf VMware-Ebene überwacht werden.

Auf dem Backup-Proxy und den Backup-Repositorys ist der Parameter für die maximale Anzahl gleichzeitiger Tasks auf 6 festgelegt. Dies bedeutet, dass während des Tests alle VMs in jeder Task parallel verarbeitet werden und keiner von ihnen in der Warteschlange wartet. Die Leistung ist maximal.

Veeam® empfiehlt, dass die Anzahl der parallelen Tasks die Anzahl der Prozessorkerne auf Proxys und Repositorys nicht überschreitet. Die empfohlene RAM-Größe im Repository beträgt 2 GB pro Kern, insgesamt 12 GB. Die Infrastrukturkonfiguration zeigt, dass alle Empfehlungen befolgt werden.

Sicherungsgeschwindigkeit und Laden im Virtual Appliance-Modus (Hot Add)

1 VM sichern

Backup 2 VM

Backup 4 VM

Backup 6 VM

Sicherungsgeschwindigkeit und Last im Netzwerkmodus (NBD)

1 VM sichern

Backup 2 VM

Backup 4 VM

Backup 6 VM

Leistungs- und Lastvergleich in der virtuellen Appliance (HotAdd) und im Netzwerkmodus (NBD)

VM-Anzahl	Geschwindigkeit - HotAdd, MB / s	Geschwindigkeit - NBD, MB / s	HotAdd / NBD
1	709	192	3.69
2	816	269	3.03
4	885	446	1,98
6	888	517	1,72

VM-Anzahl	CPU-Auslastung - HotAdd,%	CPU-Auslastung - NBD,%	HotAdd / NBD
1	55-95	18-24	3,06-3,96
2	70-100	25-33	2.8-3.03
4	100	45-55	1,82-2,22
6	100	50-70	1.43-2

VM-Anzahl	RAM-Download - HotAdd, GB	RAM laden - NBD, GB	HotAdd / NBD
1	2-2,2	1.9-2.1	1.05
2	2.3-2.5	2.2-2.4	1,04-1,05
4	3-3.5	2.8-3.5	1-1.07
6	4-4,2	3,5-4	1.14-1.05

VM-Anzahl	Netzwerk-Download - HotAdd, GB / s	Netzwerk-Download - NBD, Gb / s	HotAdd / NBD
1	4.7-6.4	1.2-1.8	3,56-3,92
2	5-7.7	1,5-2,5	3,08-3,33
4	5-8,2	2.8-4.5	1,79-1,82
6	5-8,2	3,5-5	1.43-1.64

Testergebnisse

Die Sicherungsleistungsindikatoren, die als Ergebnis von Tests erhalten wurden, bestätigen eindeutig, dass der Virtual Appliance-Modus im Vergleich zum Netzwerkmodus eine deutlich höhere Geschwindigkeit aufweist, insbesondere bei einer kleinen Anzahl paralleler Aufgaben.

Ich möchte Sie daran erinnern, dass die Tests für beide Modi unter absolut identischen Bedingungen auf derselben Plattform durchgeführt wurden. Die Netzwerkbandbreite war ebenfalls dieselbe - die Steuerschnittstellen, über die der Proxy Daten im NBD-Modus sammelt, geben 10 Gbit / s aus, wie das vSAN-Netzwerk für den HotAdd-Modus. Wir haben keine Bandbreitenbeschränkungen festgelegt.

Offensichtlich verlangsamt ESXi Veeam® wirklich und gibt ihm im Netzwerkmodus nur einen Teil des Bandes, daher die Unterschiede in der Sicherungsgeschwindigkeit. Mit der Zunahme der Anzahl der Threads - gleichzeitige Sicherungsaufgaben - reduziert der Netzwerkmodus den Rückstand erheblich.

Wir sehen, dass im Virtual Appliance-Modus, bereits auf 4 VMs, der Backup-Proxy auf dem Prozessor ruht und nicht schneller arbeiten kann. Bei 6 VMs hat sich die Backup-Geschwindigkeit nicht wesentlich geändert. Gleichzeitig liegt die Sicherungsgeschwindigkeit von 1-2 VMs in diesem Modus leicht zurück, und die Funktionen von Sicherungsproxys und -plattformen werden selbst bei einer kleinen Anzahl von Threads maximal genutzt.

Im Netzwerkmodus hingegen steigt die Produktivität erheblich, und die Anzahl der gleichzeitigen Aufgaben steigt. Gleichzeitig ist die Belastung des Backup-Proxy-Prozessors erheblich geringer als im HotAdd-Modus, selbst bei 6 Threads beträgt sie nicht mehr als 70%.

Der Speicherverbrauch des Backup-Proxys ist gering und in beiden Modi ungefähr gleich.

Die Belastung des Backup-Proxy-Netzwerks korreliert mit der Backup-Geschwindigkeit und übersteigt diese um ~ 10-17%. Anscheinend nimmt der Proxy die Daten aus den VM-Quellen etwas schneller als beim Hochladen in das Repository, da sie verarbeitet werden müssen.

Es ist interessant, die Linienlast in den Bildern mit den Ergebnissen der Ausführung des Jobs zu beobachten. Es zeigt die Auslastung verschiedener Elemente der Sicherungsinfrastruktur: Quelle, Proxy, Netzwerk, Repository.

Im Virtual Appliance-Modus sehen wir, dass die Sicherungsleistung auf dem Proxy und dem Netzwerk liegt. Sie sind immer ungefähr gleich hoch. Die Quelle und das Repository sind kein Engpass.

Im Netzwerkmodus ist der Engpass immer die Quelle, auch für einen einzelnen Stream. Es ist ersichtlich, dass der Rest der Infrastruktur mehr geben kann, ESXi jedoch nicht.

Zusammenfassung

Tests haben bestätigt, dass sich der Backup-Proxy in den untersuchten Transportmodi in der Praxis genau so verhält, wie es die Theorie vorschlägt.

Die Veeam®-Software hat sich als sehr wertvoll erwiesen:

• Im HotAdd-Modus wurden alle Infrastrukturfunktionen effektiv und vollständig genutzt.
• Im NBD-Modus wird eine geringere Leistung erwartet. Dies ist jedoch kein Veeam®-Problem, sondern eine Funktion des ESXi-Netzwerkstapels

Wir haben echte Leistungs- und Lastindikatoren, die sehr nützlich sind, um den optimalen Betriebsmodus und die anschließende Skalierung des Systems auszuwählen.

Im Moment sind wir sehr zufrieden mit der vorhandenen Backup-Leistung. Wir wissen, wie man sie richtig erhöht, wenn ein solcher Bedarf entsteht.