So komprimieren Sie bis zu 90% der Speicherung von Sicherungen im Objektspeicher

Unsere türkischen Kunden haben uns gebeten, das Backup für das Rechenzentrum korrekt zu konfigurieren. Wir machen ähnliche Projekte in Russland, aber hier ging es mehr darum zu erforschen, wie es am besten geht.

Gegeben: Es gibt einen lokalen S3-Speicher, Veritas NetBackup, das neue erweiterte Funktionen zum Verschieben von Daten in Objektspeicher mit Deduplizierungsunterstützung erworben hat, und es gibt ein Problem mit dem freien Speicherplatz in diesem lokalen Speicher.

Ziel: alles so zu gestalten, dass der Backup-Speicherprozess schnell und kostengünstig ist.

Zuvor waren in S3 alles nur Dateien, und dies waren vollständige Besetzungen kritischer Rechenzentrumsmaschinen. Das ist nicht so, dass es sehr optimiert ist, aber am Anfang hat alles funktioniert. Jetzt ist es Zeit, es herauszufinden und es richtig zu machen.

Auf dem Bild, worauf wir gekommen sind:



Wie Sie sehen können, wurde die erste Sicherung langsam durchgeführt (70 Mbit / s), und nachfolgende Sicherungen derselben Systeme waren viel schneller.

Eigentlich noch ein bisschen mehr Details darüber, welche Features da sind.

Was ist das Problem

Kunden möchten so oft wie möglich sichern und so billig wie möglich speichern. Es ist billig, sie am besten im Objektspeicher vom Typ S3 zu speichern, da sie zum Preis der Wartung pro Megabyte am günstigsten sind, von wo aus Sie sie in angemessener Zeit zurücksetzen können. Wenn es viele Backups gibt, wird es nicht sehr billig, da der größte Teil des Speichers von Kopien derselben Daten belegt wird. Bei HaaS türkischer Kollegen kann die Lagerung um ca. 80-90% verdichtet werden. Es ist klar, dass dies speziell für ihre Besonderheiten gilt, aber ich würde definitiv mit mindestens 50% des Dedups rechnen.

Um das Problem zu lösen, haben die Hauptanbieter lange Zeit Gateways für Amazon S3 erstellt. Alle ihre Methoden sind mit lokalem S3 kompatibel, wenn sie die Amazon-API unterstützen. Im türkischen Rechenzentrum erfolgt die Sicherung sowohl in unserem S3 als auch im T-III „Compressor“ in Russland, da sich ein solches Arbeitsschema bei uns als gut erwiesen hat.

Und unser S3 ist voll kompatibel mit Sicherungsmethoden in Amazon S3. Das heißt, mit allen Sicherungswerkzeugen, die diese Methoden unterstützen, können Sie alles sofort in einen solchen Speicher kopieren.

Veritas NetBackup hat eine CloudCatalyst-Funktion erstellt:



Das heißt, zwischen den Computern, die gesichert werden müssen, und dem Gateway befindet sich ein Linux-Zwischenserver, über den der Sicherungsverkehr von den CPC-Agenten geleitet wird und die Deduplizierung im laufenden Betrieb erfolgt, bevor sie an S3 übertragen werden. Wenn es früher 30 Backups mit jeweils 20 GB und Komprimierung gab, sind sie jetzt (aufgrund der Ähnlichkeit der Maschinen) um 90% kleiner geworden. Die Deduplizierungs-Engine wird genauso verwendet wie bei der Speicherung auf normalen Festplatten mit Netbackup.

Folgendes passiert vor dem Staging-Server:



Wir haben getestet und sind zu dem Schluss gekommen, dass dies bei der Implementierung in unseren Rechenzentren Platz in S3-Speichern für uns und für Kunden spart. Als Eigentümer von kommerziellen Rechenzentren berechnen wir natürlich das belegte Volumen, aber es ist auch für uns sehr profitabel - weil wir anfangen, an skalierbareren Stellen in der Software zu verdienen und nicht an der Vermietung von Eisen. Nun, das ist eine Reduzierung der internen Kosten.


Mit dem Beschleuniger können Sie den Datenverkehr von Agenten reduzieren, weil Es werden nur Datenänderungen übertragen, dh selbst vollständige Sicherungen werden nicht vollständig übertragen, da der Medienserver nachfolgende vollständige Sicherungen aus inkrementellen Sicherungen sammelt.

Der Zwischenserver verfügt über ein eigenes Repository, in das er einen "Cache" mit Daten schreibt und die Basis für die Deduplizierung enthält.

In voller Architektur sieht es so aus:

1. Der Master-Server verwaltet die Konfiguration, Aktualisierungen und mehr und befindet sich in der Cloud.
2. Der Medienserver (Intermediate * Nix-Computer) sollte sich in Bezug auf die Netzwerkverfügbarkeit am nächsten an den redundanten Systemen befinden. Hier werden Backups von allen redundanten Maschinen dedupliziert.
3. Auf den redundanten Computern befinden sich Agenten, die im Allgemeinen nur das an den Medienserver senden, was sich nicht in seinem Speicher befindet.

Alles beginnt mit einem vollständigen Scan - dies ist ein vollwertiges vollständiges Backup. Zu diesem Zeitpunkt nimmt der Medienserver alles, dedupliziert es und überträgt es an S3. Die Geschwindigkeit zum Medienserver ist gering - höher. Die Hauptbeschränkung ist die Verarbeitungsleistung des Servers.

Die folgenden Sicherungen sind aus Sicht aller Systeme vollständig, in Wirklichkeit handelt es sich jedoch um synthetische vollständige Sicherungen. Das heißt, die eigentliche Übertragung und Aufzeichnung auf den Medienserver sind nur die Datenblöcke, die zuvor in VM-Sicherungen noch nicht gesehen wurden. Und die Übertragung und Aufzeichnung an S3 sind nur die Datenblöcke, deren Hash nicht in der Deduplizierungsdatenbank des Medienservers enthalten ist. Wenn in einfacheren Worten - dass es vorher keine VMs in einer Sicherung gab.

Beim Wiederherstellen fordert der Medienserver die erforderlichen deduplizierten Objekte von S3 an, rehydriert sie und leitet sie an die CPC-Agenten weiter, d. H. Es ist erforderlich, das Verkehrsaufkommen während der Wiederherstellung zu berücksichtigen, das dem tatsächlichen Datenvolumen entspricht, das wiederhergestellt wird.

So sieht es aus:




Die Integrität der Daten wird durch den Schutz von S3 selbst sichergestellt - es besteht eine gute Redundanz zum Schutz vor Hardwarefehlern wie einer toten Festplattenspindel.

Der Medienserver benötigt 4 Terabyte Cache - dies ist die Empfehlung von Veritas für die Mindestgröße. Besser mehr, aber genau das haben wir getan.

Zusammenfassung

Wenn ein Partner 20 GB in unseren S3 geworfen hat, haben wir 60 GB gespeichert, da wir eine dreimalige Georeservierung von Daten bereitstellen. Jetzt ist der Verkehr viel geringer, was sowohl für den Kanal als auch für das Laden des Speichers gut ist.

In diesem Fall werden die Routen über das "große Internet" hinaus geschlossen. Sie können jedoch den Datenverkehr über VPN L2 über das Internet leiten. Es ist jedoch besser, den Medienserver auf den Eingang des Anbieters einzustellen.

Wenn Sie sich für diese Funktionen in unseren russischen Rechenzentren interessieren oder Fragen zu Ihrer Implementierung haben, wenden Sie sich an die Kommentare oder an ekorotkikh@croc.ru.