So wählen Sie die Aufbewahrung, ohne sich in den Fuß zu schießen

Einführung

Es ist Zeit, Speicher zu kaufen. Welchen nehmen, wen hören? Anbieter A spricht über Anbieter B, und es gibt auch einen Integrator C, der das Gegenteil spricht und Anbieter D berät. In dieser Situation wird auch ein erfahrener Speicherarchitekt vorgehen, insbesondere mit allen neuen Anbietern und dem heutigen Sicherheitsdatenblatt und der Hyperkonvergenz.

Also, wie findest du das heraus und bist nicht dumm? Wir ( AntonVirtual Anton Zhbankov und korp Evgeny Elizarov) werden versuchen, dies auf Russisch in Weiß zu erzählen.
Der Artikel hat vieles gemeinsam und ist in der Tat eine Erweiterung des „ Entwurfs eines virtualisierten Rechenzentrums “ in Bezug auf die Auswahl der Datenspeichersysteme und einen Überblick über die Speichertechnologie. Wir betrachten kurz die allgemeine Theorie, empfehlen jedoch, dass Sie sich mit diesem Artikel vertraut machen.

Warum

Oft können Sie die Situation beobachten, wenn eine neue Person in ein Forum oder in einen speziellen Chatraum kommt, z. B. in Speicherdiskussionen, und die Frage stellt: „Hier werden mir zwei Speicheroptionen angeboten - ABC SuperStorage S600 und XYZ HyperOcean 666v4. Was empfehlen Sie?“

Und jemand beginnt zu messen, welche Merkmale der Implementierung von beängstigenden und unverständlichen Chips, die für eine unvorbereitete Person überhaupt ein chinesischer Buchstabe sind.

Der Schlüssel und die allererste Frage, die Sie sich stellen müssen, bevor Sie Spezifikationen in kommerziellen Angeboten vergleichen, lautet WARUM? Warum ist diese Speicherung notwendig?



Die Antwort wird unerwartet sein und sehr im Stil von Tony Robbins - Daten zu speichern. Vielen Dank, Kapitän! Trotzdem gehen wir manchmal so weit in den Vergleich von Details, dass wir vergessen, warum wir das alles überhaupt tun.

Die Aufgabe eines Datenspeichersystems besteht also darin, Daten mit einer bestimmten Leistung zu speichern und Zugriff darauf zu gewähren. Wir werden mit den Daten beginnen.

Daten

Datentyp

Welche Art von Daten planen wir zu speichern? Ein sehr wichtiges Problem, das viele Speichersysteme sogar aus der Betrachtung löschen kann. Beispielsweise ist geplant, Videos und Fotos zu speichern. Sie können sofort Systeme löschen, die für den wahlfreien Zugriff durch einen kleinen Block ausgelegt sind, oder Systeme mit proprietären Chips in Komprimierung / Deduplizierung. Es können nur hervorragende Systeme sein, wir wollen nichts schlechtes sagen. In diesem Fall werden ihre Stärken jedoch entweder im Gegenteil schwach (Videos und Fotos werden nicht komprimiert) oder erhöhen einfach die Systemkosten erheblich.

Wenn umgekehrt die beabsichtigte Verwendung ein geladenes Transaktions-DBMS ist, sind hervorragende Multimedia-Streaming-Systeme, die Gigabyte pro Sekunde liefern können, eine schlechte Wahl.

Datenvolumen

Wie viele Daten planen wir zu speichern? Die Quantität wächst immer zu Qualität, dies sollte niemals vergessen werden, insbesondere in unserer Zeit des exponentiellen Wachstums des Datenvolumens. Systeme der Petabyte-Klasse sind keine Seltenheit mehr. Je mehr Petabyte an Volumen vorhanden sind, desto spezifischer wird das System, desto weniger vertraut ist die Funktionalität von Systemen mit wahlfreiem Zugriff auf kleine und mittlere Volumes. Trite, weil nur die Zugriffsstatistiktabellen nach Blöcken größer werden als der verfügbare RAM auf den Controllern. Ganz zu schweigen von Kompression / Reißen. Angenommen, wir möchten den Komprimierungsalgorithmus auf einen leistungsstärkeren umstellen und 20 Petabyte Daten herausdrücken. Wie lange wird es dauern: ein halbes Jahr, ein Jahr?

Warum sollten Sie sich dagegen mit einem Garten beschäftigen, wenn Sie 500 GB Daten speichern und verarbeiten müssen? Nur 500. Haushalts-SSDs (niedrige DWPD) dieser Größe kosten überhaupt nichts. Warum eine Fibre Channel-Fabrik bauen und ein externes High-End-Speichersystem zum Preis einer gusseisernen Brücke kaufen?

Wie viel Prozent der gesamten heißen Daten? Wie ungleichmäßig ist die Datenlast? Hier kann Tiered Storage-Technologie oder Flash-Cache wirklich helfen, wenn die Menge der heißen Daten im Vergleich zur Gesamtzahl gering ist. Oder umgekehrt, mit einer gleichmäßigen Belastung über das gesamte Volumen, die häufig in Streaming-Systemen (Videoüberwachung, einige Analysesysteme) zu finden ist, geben solche Technologien nichts und erhöhen nur die Kosten / Komplexität des Systems.

IP

Die Rückseite der Daten ist ein Informationssystem, das diese Daten verwendet. IP hat eine Reihe von Anforderungen, die Daten erben. Weitere Informationen zu IP finden Sie unter „Entwerfen eines virtualisierten Rechenzentrums“.

Failover- / Verfügbarkeitsanforderungen

Die Anforderungen an Fehlertoleranz / Verfügbarkeit von Daten werden vom IS unter Verwendung dieser Daten geerbt und in drei Zahlen ausgedrückt: RPO , RTO , Verfügbarkeit .

Verfügbarkeit - eine Freigabe für einen bestimmten Zeitraum, in der Daten für die Arbeit mit ihnen verfügbar sind. Es wird normalerweise in der Menge 9 ausgedrückt. Beispielsweise bedeuten zwei Neunen pro Jahr, dass die Verfügbarkeit 99% beträgt, oder andernfalls sind 95 Stunden Unzugänglichkeit pro Jahr zulässig. Drei Neunen - 9,5 Stunden pro Jahr.

RPO / RTO - Dies sind keine zusammenfassenden Indikatoren, sondern für jeden Vorfall (Unfall) im Gegensatz zur Verfügbarkeit.

RPO - Die Datenmenge, die während des Unfalls verloren gegangen ist (in Stunden). Wenn Sie beispielsweise einmal am Tag sichern, ist RPO = 24 Stunden. Das heißt, Im Falle eines Unfalls und eines vollständigen Speicherverlusts können Daten von bis zu 24 Stunden (ab dem Zeitpunkt der Sicherung) verloren gehen. Basierend auf dem für den IS angegebenen RPO wird beispielsweise der Sicherungszeitplan geschrieben. Anhand des RPO können Sie auch nachvollziehen, wie viel synchrone / asynchrone Datenreplikation erforderlich ist.

RTO - Zeitpunkt der Wiederherstellung des Dienstes (Datenzugriff) nach einem Unfall. Anhand des festgelegten RTO-Werts können wir verstehen, ob ein Metro-Cluster benötigt wird oder eine unidirektionale Replikation ausreicht. Benötige ich auch eine High-End-Speicherklasse mit mehreren Controllern?

Leistungsanforderungen

Trotz der Tatsache, dass dies eine sehr offensichtliche Frage ist, ergeben sich die meisten Schwierigkeiten damit. Abhängig davon, ob Sie bereits über eine Infrastruktur verfügen oder nicht, werden Möglichkeiten zum Sammeln der erforderlichen Statistiken erstellt.

Sie haben bereits ein Speichersystem und suchen nach einem Ersatz dafür oder möchten ein anderes zur Erweiterung erwerben. Hier ist alles einfach. Sie verstehen, welche Services Sie bereits haben und welche Sie in naher Zukunft implementieren möchten. Basierend auf den aktuellen Diensten haben Sie die Möglichkeit, Leistungsstatistiken zu sammeln. Entscheiden Sie sich für die aktuelle Anzahl der IOPS und die aktuellen Verzögerungen - was sind diese Indikatoren und gibt es genug für Ihre Aufgaben? Dies kann sowohl auf dem Datenspeichersystem selbst als auch auf Seiten der damit verbundenen Hosts erfolgen.

Darüber hinaus müssen Sie nicht nur die aktuelle Last, sondern auch einige Zeit (ein Monat ist besser) beobachten. Sehen Sie, was die maximalen Spitzenwerte am Tag sind, welche Art von Last das Backup erzeugt usw. Wenn Ihr Speicher oder Ihre Software dafür keinen vollständigen Satz dieser Daten liefert, können Sie das kostenlose RRDtool verwenden, das mit den meisten gängigen Speichern und Switches zusammenarbeitet und Ihnen detaillierte Leistungsstatistiken liefert. Es lohnt sich auch, die Last auf den Hosts zu betrachten, die mit diesem Speichersystem arbeiten, auf bestimmten virtuellen Maschinen oder was genau auf diesem Host für Sie funktioniert.



Es sollte separat beachtet werden, dass, wenn die Verzögerungen auf dem Volume und dem Datenspeicher auf diesem Volume sehr unterschiedlich sind - Sie sollten auf Ihr SAN-Netzwerk achten, es ist wahrscheinlich, dass es Probleme damit gibt, und bevor Sie ein neues System erwerben, sollten Sie sich mit diesem Problem befassen , weil die Wahrscheinlichkeit einer Leistungssteigerung des aktuellen Systems sehr hoch ist.

Sie bauen die Infrastruktur von Grund auf neu auf oder kaufen ein System für einen neuen Dienst, dessen Auslastung Sie nicht kennen. Es gibt verschiedene Möglichkeiten: Kommunizieren Sie mit Kollegen über spezielle Ressourcen, um die Last herauszufinden und vorherzusagen, und wenden Sie sich an einen Integrator, der Erfahrung mit der Implementierung solcher Dienste hat und der die Last für Sie berechnen kann. Die dritte Option (normalerweise die schwierigste, insbesondere bei selbst geschriebenen oder seltenen Anwendungen) besteht darin, die Leistungsanforderungen der Systementwickler herauszufinden.

Und aus Sicht der praktischen Anwendung ist die richtige Option ein Pilot für aktuelle Geräte oder Geräte, die von einem Anbieter / Integrator zum Testen bereitgestellt werden.

Besondere Anforderungen

Besondere Anforderungen - all dies fällt nicht unter die Anforderungen an Leistung, Fehlertoleranz und Funktionalität für die direkte Verarbeitung und Bereitstellung von Daten.

Eine der einfachsten speziellen Anforderungen an ein Datenspeichersystem sind „entfremdete Speichermedien“. Und sofort wird klar, dass dieses Datenspeichersystem eine Bandbibliothek oder nur ein Bandlaufwerk enthalten sollte, auf dem die Sicherung zurückgesetzt wird. Dann unterschreibt eine speziell ausgebildete Person das Band und trägt es stolz in einem speziellen Safe.
Ein weiteres Beispiel für besondere Anforderungen ist eine geschützte stoßfeste Leistung.

Wo

Die zweite Hauptkomponente bei der Auswahl des einen oder anderen Speichersystems sind Informationen darüber, wo sich dieses Speichersystem befindet. Ausgehend von geografischen oder klimatischen Bedingungen und endend mit dem Personal.

Kunde

Für wen ist diese Lagerung geplant? Die Frage hat folgende Gründe:

Regierungskunde / Werbung.
Ein gewerblicher Kunde unterliegt keinen Einschränkungen und ist nicht einmal zur Durchführung von Ausschreibungen verpflichtet, es sei denn, dies entspricht seinen eigenen internen Vorschriften.

Der Staatskunde ist eine andere Sache. 44 Bundesgesetz und andere Freuden mit Ausschreibungen und TK, die angefochten werden können.

Kunde sanktioniert
Nun, hier ist die Frage sehr einfach - die Auswahl ist nur durch die Angebote begrenzt, die für diesen Kunden verfügbar sind.

Interne Vorschriften / zugelassene Anbieter / Modelle
Die Frage ist auch sehr einfach, aber wir müssen uns daran erinnern.

Wo physisch

In diesem Teil betrachten wir alle Probleme mit der Geographie, den Kommunikationskanälen und dem Raumklima.

Das Personal

Wer wird mit diesem Speicher arbeiten? Dies ist nicht weniger wichtig als das, was SHD direkt tun kann.
Egal wie vielversprechend, cool und wunderbar das Speichersystem von Anbieter A ist, es macht wahrscheinlich wenig Sinn, es auszudrücken, wenn die Mitarbeiter nur mit Anbieter B zusammenarbeiten können, und es gibt keine Pläne für weitere Einkäufe und eine fortlaufende Zusammenarbeit mit A.

Die Kehrseite der Frage ist natürlich, wie zugänglich geschultes Personal direkt im Unternehmen und möglicherweise auf dem Arbeitsmarkt an diesem geografischen Standort ist. Für Regionen kann die Wahl von Speichersystemen mit einfachen Schnittstellen oder die Möglichkeit einer zentralen Fernverwaltung von erheblichem Sinn sein. Andernfalls kann es irgendwann schmerzhaft schmerzhaft werden. Das Internet ist voller Geschichten, als ein neuer Mitarbeiter, der gestrige Student, eine Konfiguration entwickelte, mit der das gesamte Büro getötet wurde.

Die Umwelt

Eine wichtige Frage ist natürlich, in welcher Umgebung dieser Speicher funktioniert.

• Was ist mit Strom / Kühlung?
• Welche Verbindung
• Wo wird es montiert?
• Usw.

Oft werden diese Themen als selbstverständlich angesehen und nicht besonders angesprochen, aber manchmal können sie genau das Gegenteil bewirken.

Was

Verkäufer

Heute (Mitte 2019) kann der russische Speichermarkt in bedingte 5 Kategorien unterteilt werden:

1. Top-Division - Ausgezeichnete Unternehmen mit einem breiten Spektrum von den einfachsten Festplattenregalen bis hin zu Hi-End (HPE, DellEMC, Hitachi, NetApp, IBM / Lenovo)
2. Die zweite Division sind Unternehmen mit einer begrenzten Aufstellung, Nischenanbieter, seriöse SDS-Anbieter oder aufstrebende Newcomer (Fujitsu, Datacore, Infinidat, Huawei, Pure usw.).
3. Die dritte Abteilung - Nischenlösungen im Rang von Low-End, billiges Sicherheitsdatenblatt, bewährte Verfahren für Ceph und andere offene Projekte (Infortrend, Starwind usw.)
4. SOHO-Segment - kleine und ultrakleine Speichersysteme zu Hause / im kleinen Büro (Synology, QNAP usw.)
5. Import-ersetzte Lagersysteme - dazu gehören sowohl das Eisen der ersten Abteilung mit geklebten Etiketten als auch die seltenen Vertreter der zweiten (RAIDIX, geben wir ihnen einen Fortschritt in der zweiten), aber meistens ist dies die dritte Abteilung (Aerodisk, Baum, Depo usw.)

Die Aufteilung ist eher willkürlich und bedeutet überhaupt nicht, dass das dritte oder SOHO-Segment schlecht ist und nicht verwendet werden kann. In bestimmten Projekten mit einem klar definierten Datensatz und Lastprofil können sie sehr gut funktionieren und die erste Abteilung in Bezug auf das Preis-Leistungs-Verhältnis weit übertreffen. Es ist wichtig, zuerst die Aufgaben, Wachstumsaussichten und erforderlichen Funktionen zu bestimmen - und dann wird Synology Ihnen treu dienen und Ihr Haar wird weich und seidig.

Einer der wichtigen Faktoren bei der Auswahl eines Anbieters ist die aktuelle Umgebung. Wie viele und welche Speichersysteme haben Sie bereits, mit welchen Speichersystemen können Ingenieure arbeiten? Benötigen Sie einen anderen Anbieter, einen anderen Ansprechpartner, werden Sie die gesamte Last schrittweise von Anbieter A auf Anbieter B migrieren?

Es ist nicht notwendig, Entitäten zu produzieren, die über das Notwendige hinausgehen.

iSCSI / FC / Datei

In Bezug auf Zugangsprotokolle besteht unter Ingenieuren kein Konsens, und Streitigkeiten ähneln eher theologischen als technischen Diskussionen. Im Allgemeinen können jedoch die folgenden Punkte beachtet werden:

FCoE ist eher tot als lebendig.

FC gegen iSCSI . Einer der Hauptvorteile von FC im Jahr 2019 gegenüber IP-Speicher, einer dedizierten Fabrik für den Datenzugriff, wird durch ein dediziertes IP-Netzwerk ausgeglichen. FC hat keine globalen Vorteile gegenüber IP-Netzwerken und IP kann verwendet werden, um Speichersysteme jeder Laststufe zu erstellen, bis hin zu Systemen für schwere DBMS für ABS einer großen Bank. Auf der anderen Seite wird der Tod von FC seit mehreren Jahren prophezeit, aber etwas stört dies ständig. Beispielsweise entwickeln heute einige Akteure auf dem Speichermarkt aktiv den NVMEoF-Standard. Ob er das Schicksal von FCoE teilt - die Zeit wird es zeigen.

Der Dateizugriff verdient ebenfalls keine Beachtung. NFS / CIFS funktionieren in produktiven Umgebungen gut und haben bei ordnungsgemäßem Design nicht mehr Beschwerden als Blockprotokolle.

Hybrid / All Flash Array

Es gibt zwei Arten klassischer Speichersysteme:

1. AFA (All Flash Array) - Systeme, die für die Verwendung von SSD optimiert sind.
2. Hybrid - Damit können Sie sowohl HDD als auch SSD oder eine Kombination aus beiden verwenden.

Ihr Hauptunterschied sind die unterstützten Speichereffizienztechnologien und das maximale Leistungsniveau (hohe IOPS und niedrige Latenzen). Sowohl diese als auch andere Systeme (in den meisten Modellen ohne Berücksichtigung des Low-End-Segments) können sowohl Blockgeräte als auch Dateigeräte betreiben. Die unterstützte Funktionalität und die jüngeren Modelle hängen auch von der Systemebene ab, sie wird meistens auf ein Mindestniveau reduziert. Sie sollten dies berücksichtigen, wenn Sie die Eigenschaften eines bestimmten Modells und nicht nur die Fähigkeiten der gesamten Linie als Ganzes untersuchen. Natürlich hängen seine technischen Eigenschaften auch von der Ebene des Systems ab, wie z. B. dem Prozessor, der Speichermenge, dem Cache, der Anzahl und den Arten von Ports usw. Aus Sicht des Managements unterscheiden sich AFA von Hybrid- (Festplatten-) Systemen nur in der Implementierung von Mechanismen für die Arbeit mit SSD-Laufwerken. Selbst wenn Sie SSD in einem Hybridsystem verwenden, bedeutet dies nicht, dass Sie ein Leistungsniveau auf AFA-Systemebene erzielen können . In den meisten Fällen sind Inline-Mechanismen für eine effiziente Speicherung auf Hybridsystemen deaktiviert, und ihre Einbeziehung führt zu einem Leistungsverlust.

Spezielle Lagerung

Neben der allgemeinen Speicherung, die sich hauptsächlich auf die betriebliche Datenverarbeitung konzentriert, gibt es spezielle Speichersysteme mit Schlüsselprinzipien, die sich grundlegend von den üblichen unterscheiden (geringe Latenz, viele IOPS):

Medien

Diese Systeme sind für die Speicherung und Verarbeitung großer Mediendateien ausgelegt. Acc. Die Verzögerung wird praktisch unwichtig, und die Fähigkeit, Daten in einem breiten Band in vielen parallelen Strömen zu senden und zu empfangen, tritt in den Vordergrund.

Deduplizieren von Speicher für Backups.

Da sich Backups in ihrer Freundlichkeit unterscheiden, was unter normalen Umständen selten vorkommt (die durchschnittliche Sicherung unterscheidet sich von gestern um 1-2%), packt diese Systemklasse die auf ihnen aufgezeichneten Daten äußerst effizient auf eine relativ kleine Anzahl physischer Medien. In einigen Fällen können die Datenkomprimierungsverhältnisse beispielsweise 200 zu 1 erreichen.

Objektspeicherung

Diese Speichersysteme verfügen nicht über die üblichen Volumes mit Blockzugriff und Dateiball und ähneln vor allem einer riesigen Datenbank. Der Zugriff auf ein in einem solchen System gespeichertes Objekt erfolgt über eine eindeutige Kennung oder über Metadaten (z. B. alle Objekte im JPEG-Format mit dem Erstellungsdatum zwischen XX-XX-XXXX und YY-YY-YYYY).

Compliance-System .

Nicht so oft in Russland heute zu finden, aber es ist erwähnenswert. Der Zweck dieser Speichersysteme ist die garantierte Speicherung von Daten zur Einhaltung von Sicherheitsrichtlinien oder behördlichen Anforderungen. In einigen Systemen (z. B. EMC Centera) wurde die Funktion zum Verhindern des Löschens von Daten implementiert. Sobald der Schlüssel gedreht wird und das System in diesen Modus wechselt, können weder der Administrator noch andere Personen die bereits aufgezeichneten Daten physisch löschen.

Proprietäre Technologie

Flash-Cache

Flash-Cache ist der gebräuchliche Name für alle proprietären Technologien zur Verwendung von Flash-Speicher als Cache der zweiten Ebene. Bei Verwendung des Flash-Cache wird der Speicher normalerweise so berechnet, dass er eine konstante Last von Magnetplatten liefert, während der Spitzen-Cache die Spitzenlast bedient.

Es ist erforderlich, das Lastprofil und den Lokalisierungsgrad von Aufrufen von Speichervolumenblöcken zu verstehen.Der Flash-Cache ist eine Technologie für Lasten mit hoher Lokalisierung von Anforderungen und praktisch nicht für gleichmäßig geladene Volumes (z. B. für Analysesysteme) geeignet.

Auf dem Markt sind zwei Flash-Cache-Implementierungen erhältlich:

• Schreibgeschützt. In diesem Fall werden nur gelesene Daten zwischengespeichert, und das Schreiben erfolgt direkt auf die Festplatten. Einige Hersteller wie NetApp glauben, dass das Schreiben in ihr Speichersystem optimal ist und der Cache nicht hilft.
• Lesen / Schreiben. Nicht nur Lesen, sondern auch Schreiben wird zwischengespeichert, wodurch Sie den Stream puffern und die Auswirkungen der RAID-Strafe verringern können. Dadurch können Sie die Gesamtleistung für die Speicherung ohne einen solchen optimalen Schreibmechanismus steigern.

Tiering

Multilevel-Speicher (Tearing) ist eine Technologie zum Kombinieren von Ebenen in einem einzigen Festplattenpool mit unterschiedlicher Leistung, z. B. SSD und HDD. Im Falle einer ausgeprägten Ungleichmäßigkeit beim Zugriff auf Datenblöcke kann das System die Datenblöcke automatisch ausgleichen, indem die geladenen auf ein Hochleistungsniveau und die kalten auf ein langsameres Niveau verschoben werden.

Hybridsysteme der unteren und mittleren Klasse verwenden mehrstufigen Speicher, bei dem Daten nach einem Zeitplan zwischen Ebenen verschoben werden. Gleichzeitig beträgt die Größe der gestuften Speicherblöcke der besten Modelle 256 MB. Diese Funktionen erlauben es uns nicht, die Multilevel-Speichertechnologie als eine Technologie zur Steigerung der Produktivität zu betrachten, wie dies von vielen fälschlicherweise in Betracht gezogen wird. Multilevel-Speicher in Systemen der unteren und mittleren Klasse ist eine Technologie zur Optimierung der Speicherkosten für Systeme mit ausgeprägter Lastungleichmäßigkeit.

Schnappschuss

Unabhängig davon, wie viel wir über die Zuverlässigkeit des Speichers sprechen, gibt es viele Möglichkeiten, Daten zu verlieren, die nicht von Hardwareproblemen abhängen. Es kann sich um Viren, Hacker oder andere versehentliche Löschungen / Beschädigungen von Daten handeln. Aus diesem Grund ist das Sichern produktiver Daten ein wesentlicher Bestandteil der Arbeit des Ingenieurs.

Ein Snapshot ist ein Snapshot eines Volumes zu einem bestimmten Zeitpunkt. Bei der Arbeit mit den meisten Systemen wie Virtualisierung, Datenbanken usw. Wir müssen einen Snapshot erstellen, von dem wir die Daten in eine Sicherungskopie kopieren, während unsere IPs sicher mit diesem Volume weiterarbeiten können. Aber es lohnt sich, sich daran zu erinnern - nicht alle Schnappschüsse sind gleichermaßen nützlich. Verschiedene Anbieter haben unterschiedliche Ansätze zum Erstellen von Snapshots, die sich auf ihre Architektur beziehen.

CoW (Copy-On-Write). Wenn Sie versuchen, einen Datenblock zu schreiben, wird sein ursprünglicher Inhalt in einen speziellen Bereich kopiert. Danach ist die Aufzeichnung normal. Dies verhindert eine Beschädigung der Daten im Snapshot. Natürlich verursachen all diese "parasitären" Datenmanipulationen eine zusätzliche Belastung des Speichersystems. Aus diesem Grund empfehlen Anbieter mit einer ähnlichen Implementierung nicht, mehr als ein Dutzend Snapshots zu verwenden, und verwenden sie überhaupt nicht auf hoch geladenen Volumes.

RoW (Redirect-on-Write). In diesem Fall wird das ursprüngliche Volume auf natürliche Weise eingefroren. Wenn Sie versuchen, einen Datenblock zu schreiben, schreibt das Speichersystem Daten in einen speziellen Bereich im freien Speicherplatz und ändert die Position dieses Blocks in der Metadatentabelle. Auf diese Weise können Sie die Anzahl der Umschreibvorgänge reduzieren, wodurch letztendlich der Leistungsabfall beseitigt und Einschränkungen für Snapshots und deren Anzahl aufgehoben werden.

Es gibt auch zwei Arten von Schnappschüssen in Bezug auf Anwendungen:

Anwendungskonsistent . Zum Zeitpunkt der Erstellung des Snapshots ruft das Speichersystem einen Agenten im Betriebssystem des Verbrauchers ab, wodurch die Festplatten-Caches zwangsweise vom Speicher auf die Festplatte geleert werden und diese Anwendung erzwungen wird. In diesem Fall sind die Daten beim Wiederherstellen aus einem Snapshot konsistent.

Absturz konsistent. In diesem Fall passiert nichts dergleichen und der Snapshot wird so wie er ist erstellt. Bei der Wiederherstellung nach einem solchen Schnappschuss ist das Bild identisch, als ob die Stromversorgung plötzlich ausgeschaltet worden wäre und möglicherweise Daten verloren gehen, die in den Caches hängen geblieben sind und die Festplatte nicht erreicht haben. Solche Snapshots sind einfacher zu implementieren und verursachen keine Leistungseinbußen in Anwendungen, sind jedoch weniger zuverlässig.

Warum werden auf Speichersystemen Snapshots benötigt?

• Agentenloses Backup direkt aus dem Speicher
• Erstellen von Testumgebungen basierend auf realen Daten
• Im Fall der Dateispeicherung können VDI-Umgebungen mithilfe von Speicher-Snapshots anstelle des Hypervisors erstellt werden.
• Sicherstellen niedriger RPOs durch Erstellen geplanter Snapshots mit einer Frequenz, die deutlich über der Sicherungsfrequenz liegt

Klonen

Klonen eines Volumes - funktioniert nach einem ähnlichen Prinzip wie Snapshots, dient jedoch nicht nur zum Lesen von Daten, sondern auch zum vollständigen Arbeiten mit ihnen. Wir können eine exakte Kopie unseres Volumes mit allen Daten darauf erhalten, ohne eine physische Kopie zu erstellen, was Platz spart. In der Regel wird das Klonen von Volumes entweder in Test & Dev verwendet oder wenn Sie die Funktionalität einiger Updates auf Ihrem IS überprüfen möchten. Durch das Klonen können Sie dies so schnell und wirtschaftlich wie möglich in Bezug auf die Festplattenressourcen tun Es werden nur geänderte Datenblöcke geschrieben.

Replikation / Journaling

Die Replikation ist ein Mechanismus zum Erstellen einer Kopie von Daten auf einem anderen physischen Speichersystem. Normalerweise gibt es für jeden Anbieter eine proprietäre Technologie, die nur innerhalb seiner eigenen Linie funktioniert. Es gibt jedoch auch Lösungen von Drittanbietern, einschließlich solcher, die auf Hypervisor-Ebene arbeiten, wie z. B. VMware vSphere Replication.

Die Funktionalität der proprietären Technologien und ihre Benutzerfreundlichkeit sind den universellen Technologien in der Regel weit überlegen. Sie sind jedoch nicht anwendbar, wenn Sie beispielsweise ein Replikat von NetApp zu HP MSA erstellen müssen.

Die Replikation ist in zwei Unterarten unterteilt:

Synchron . Bei der synchronen Replikation wird der Schreibvorgang sofort an das zweite Speichersystem gesendet und die Ausführung wird erst bestätigt, wenn das Remote-Speichersystem dies bestätigt. Aus diesem Grund nimmt die Zugriffsverzögerung zu, wir haben jedoch eine exakte Spiegelkopie der Daten. Das heißt,RPO = 0 für den Fall des Verlusts des Primärspeichers.

Asynchron . Schreibvorgänge werden nur auf dem Hauptspeichersystem ausgeführt und sofort bestätigt, wobei sie sich gleichzeitig im Puffer für die Paketübertragung an das entfernte Speichersystem ansammeln. Diese Art der Replikation ist für weniger wertvolle Daten relevant, entweder für Kanäle mit geringer Bandbreite oder mit hoher Verzögerung (typisch für Entfernungen über 100 km). Jeweils RPO = Paketsendefrequenz.

Es gibt häufig einen Protokollierungsmechanismus mit ReplikationFestplattenoperationen. In diesem Fall wird ein spezieller Bereich für die Protokollierung zugewiesen und Aufzeichnungsvorgänge mit einer bestimmten Zeittiefe oder begrenzt durch das Protokollvolumen werden gespeichert. Für bestimmte proprietäre Technologien wie EMC RecoverPoint gibt es eine Integration in die Systemsoftware, mit der Sie bestimmte Lesezeichen an einen bestimmten Journaleintrag binden können. Dank dessen ist es möglich, den Status des Volumes (oder das Erstellen eines Klons) nicht nur am 23. April 11 Stunden 59 Sekunden 13 Millisekunden, sondern zum Zeitpunkt vor „DROP ALL TABLES; COMMIT. "

Metro-Cluster

Metro Cluster ist eine Technologie, mit der Sie eine bidirektionale synchrone Replikation zwischen zwei Speichersystemen erstellen können, sodass dieses Paar von der Seite wie ein Speichersystem aussieht. Es wird verwendet, um Cluster mit geografisch beabstandeten Schultern in U-Bahn-Entfernungen (weniger als 100 km) zu erstellen.

Anhand eines Beispiels in einer Virtualisierungsumgebung können Sie mit einem Metro-Cluster einen Datenspeicher mit virtuellen Maschinen erstellen, der direkt von zwei Rechenzentren aus aufgezeichnet werden kann. In diesem Fall wird auf Hypervisor-Ebene ein Cluster erstellt, der aus Hosts in verschiedenen physischen Rechenzentren besteht, die mit diesem Datenspeicher verbunden sind. Damit können Sie Folgendes tun:

• . , , . RTO = (15 VMware) + .
• Disaster avoidance , -, . 1, , , 2 .

Bei der Speichervirtualisierung werden technisch gesehen Volumes von einem anderen Speichersystem als Datenträger verwendet. Ein virtualisiertes Speichersystem kann einfach ein fremdes Volume als eigenes an den Verbraucher senden und es gleichzeitig auf ein anderes Speichersystem spiegeln oder sogar RAID aus externen Volumes erstellen.
Die klassischen Vertreter in der Speichervirtualisierungsklasse sind EMC VPLEX und IBM SVC. Natürlich Speicher mit Virtualisierung - NetApp, Hitachi, IBM / Lenovo Storwize.

Warum brauchst du es vielleicht?

• Redundanz auf Speicherebene. Zwischen den Volumes wird ein Spiegel erstellt, wobei sich die eine Hälfte auf HP 3Par und die andere auf NetApp befindet. Ein Virtualizer von EMC.
• . , 3Par, , Dell. 3Par, VPLEX . , . Dell, 3Par .
• .

/

Komprimierung und Deduplizierung sind Technologien, mit denen Sie Speicherplatz auf Ihrem Speicher sparen können. Es ist sofort erwähnenswert, dass bei weitem nicht alle Daten im Prinzip komprimiert und / oder dedupliziert werden, während einige Datentypen besser komprimiert und dedupliziert werden und andere umgekehrt.

Es gibt zwei Arten der Komprimierung und Deduplizierung :

Inline - Datenblöcke werden komprimiert und dedupliziert, bevor diese Daten auf die Festplatte geschrieben werden. Das System berechnet also nur den Hash des Blocks und vergleicht ihn gemäß der Tabelle mit den vorhandenen. Erstens ist dies schneller als nur das Schreiben auf die Festplatte, und zweitens verbrauchen wir keinen zusätzlichen Speicherplatz.

Post- wenn diese Vorgänge bereits an den aufgezeichneten Daten ausgeführt werden, die sich auf den Datenträgern befinden. Dementsprechend werden die Daten zuerst auf die Festplatte geschrieben, und erst dann wird der Hash berechnet und die zusätzlichen Blöcke werden entfernt und die Festplattenressourcen werden freigegeben.

Es ist erwähnenswert, dass die meisten Anbieter beide Typen verwenden, wodurch Sie diese Prozesse optimieren und dadurch ihre Effizienz steigern können. Die meisten Speicheranbieter verfügen über Dienstprogramme, mit denen Sie Ihre Datensätze analysieren können. Diese Dienstprogramme arbeiten nach der gleichen Logik, die im Speichersystem implementiert ist. Daher stimmt der geschätzte Wirkungsgrad überein. Vergessen Sie auch nicht, dass viele Anbieter Effizienzgarantieprogramme haben, die ein Niveau versprechen, das nicht niedriger ist als für einen bestimmten (oder alle) Datentyp angegeben. Und vernachlässigen Sie dieses Programm nicht, denn durch die Berechnung des Systems für Ihre Aufgaben unter Berücksichtigung des Effizienzkoeffizienten eines bestimmten Systems können Sie Volumen sparen. Es ist auch zu bedenken, dass diese Programme für AFA-Systeme entwickelt wurden, aber dank des Kaufs eines kleineren Volumens von SSDsIm Vergleich zu Festplatten in klassischen Systemen werden dadurch die Kosten gesenkt. Wenn Sie nicht mit den Kosten eines Festplattensystems vergleichen, kommt dies den Kosten ziemlich nahe.

Modell

Und hier kommen wir zur richtigen Frage.

„Hier werden mir zwei Speicheroptionen angeboten - ABC SuperStorage S600 und XYZ HyperOcean 666v4. Was empfehlen Sie?

Hier werden zwei Optionen für die Speicherung angeboten - ABC SuperStorage S600 und XYZ HyperOcean 666v4. Was raten Sie?

Ziellast gemischte virtuelle VMware-Maschinen mit Produktiv- / Test- / Entwicklungsschleifen. Test = produktiv. Jeweils 150 TB mit einer Spitzenleistung von 80.000 IOPS 8-KB-Block 50% Direktzugriff 80/20 Lese- / Schreibzugriff. 300 TB für die Entwicklung, es gibt genug 50.000 IOPS, 80 zufällige, 80 Einträge.

Es wird erwartet, dass es in einem U-Bahn-Cluster RPO = 15 Minuten RTO = 1 Stunde produktiv ist, Entwicklung in asynchroner Replikation RPO = 3 Stunden, ein Test an einem Standort.

Es wird 50 TB DBMS geben, es wäre schön, wenn sie sich anmelden würden.

Wir haben überall Dell-Server, alte Hitachi-Speichersysteme, die kaum zu bewältigen sind. Wir planen, 50% der Last in Bezug auf Volumen und Leistung zu erhöhen. “

Wie sie sagen, enthält eine korrekt formulierte Frage 80% der Antwort.

Weitere Informationen

Was Sie laut Autoren zusätzlich lesen sollten

Bücher

• Olifer und Olifer "Computernetzwerke". Das Buch wird dazu beitragen, die Funktionsweise des Datenübertragungsmediums für IP / Ethernet-Speichersysteme zu systematisieren und möglicherweise besser zu verstehen.
• "EMC Information Storage and Management". Ein großartiges Buch über die Grundlagen der Aufbewahrung, warum, wie und warum.

Foren und Chats

• Speicherdiskussionen
• Russischer Diskussionsclub Nutanix / IT
• VMware User Group Russland
• Russische Backup-Benutzergruppe

Allgemeine Empfehlungen

Preise

In Bezug auf die Preise - im Allgemeinen, wenn sie auf Speicherpreise stoßen, handelt es sich normalerweise um einen Listenpreis, von dem jeder Kunde einen individuellen Rabatt erhält. Die Rabattgröße besteht aus einer Vielzahl von Parametern, sodass es einfach unmöglich ist, vorherzusagen, welchen Endpreis Ihr Unternehmen ohne eine Anfrage an den Händler erhalten wird. Gleichzeitig tauchten in jüngster Zeit Low-End-Modelle in gewöhnlichen Computergeschäften auf, wie zum Beispiel nix.ru oder xcom-shop.ru . In ihnen können Sie das System, an dem Sie interessiert sind, wie alle Computerkomponenten sofort zum Festpreis erwerben.

Ich möchte jedoch sofort darauf hinweisen, dass ein direkter Vergleich von TB / $ nicht zutrifft. Wenn Sie sich diesem Standpunkt nähern, ist der einfachste JBOD + -Server die billigste Lösung, die nicht die Flexibilität oder Zuverlässigkeit bietet, die ein vollwertiges Speichersystem mit zwei Controllern bietet. Dies bedeutet überhaupt nicht, dass JBOD ekelhaft und schmutzig ist. Sie müssen nur noch einmal ganz klar verstehen, wie und für welche Zwecke Sie diese Lösung verwenden werden. Sie können oft hören, dass es in JBOD nichts zu brechen gibt, es gibt eine Rückwandplatine. Backplains können auch auch fehlgeschlagen. Alles bricht länger oder später zusammen.

Insgesamt

Der Vergleich von Systemen ist nicht nur nach Preis oder Produktivität, sondern auch nach der Gesamtheit aller Indikatoren erforderlich.

Kaufen Sie eine Festplatte nur, wenn Sie sicher sind, dass Sie eine Festplatte benötigen. Bei geringer Auslastung und inkompressiblen Datentypen lohnt es sich im umgekehrten Fall, auf die SSD-Programme zur Gewährleistung der Speichereffizienz zu achten, die die meisten Anbieter derzeit haben (und die auch in Russland wirklich funktionieren), aber alles hängt von den Anwendungen und Daten ab, die verfügbar sein werden befindet sich auf diesem Speicher.

Jagen Sie nicht nach Billigkeit. Manchmal sind darunter viele unangenehme Momente verborgen, von denen Jewgeni Elizarow in seinen Artikeln über Infortrend beschrieben hat . Und dass diese Billigkeit am Ende auf Ihre Seite kommen kann. Vergessen Sie nicht - "Geiz zahlt sich zweimal aus."