Erfahrung mit Starwind VSAN und EMC ScaleIO (VxFlexOS) + Spickzettel für Mini Enterprise Storage (1 Teil)

Manchmal ist es erforderlich, einen fehlertoleranten Speicher für kleine Speichervolumes mit bis zu 20 TB zu organisieren, jedoch mit Enterprise-Funktionen - All-Flash, SSD-Cache, MPIO, HA (Activ-Activ) und all dies zu einem günstigen Preis. Vorgefertigte Hardwarelösungen mit diesen Funktionen beginnen bei Hunderten von Terabyte und Preisen von 8 oder mehr Zeichen in Rubel. Mit einem kleinen Budget von 6-7 Zeichen im Fluss. und die Notwendigkeit eines kleinen und schnellen (aber zuverlässigen) Speichers, seit 2009 wurden zwei Versionen von Speichersystemen getestet und in den kommerziellen Betrieb gebracht (Das Gemeinsame an diesen Systemen ist, dass es sich um hochzuverlässige Systeme ohne einen einzigen Fehlerpunkt handelt + Sie können sie vor dem Kauf berühren oder „darauf verzichten“ (KOSTENLOS)).

Wer an dieser Erfahrung interessiert ist, wird im Folgenden beschrieben:

1. Erfahrung mit StarWind Virtual SAN (VSAN) -Software .
2. So erstellen Sie kleinen Enterprise-Speicher.
3. IOPS-Übertaktungsverlauf (Übung).
4. Spickzettel für die Bereitstellung und den Betrieb von Speichersystemen EMC ScaleIO (VxFlexOS) (mangels technischer Unterstützung durch die Spezialisten von „NOT Linux-Guru“) 1 Teil.

1. Betriebserfahrung StarWind Virtual SAN (VSAN) -Software

StarWind Virtual SAN (VSAN) - in der Activ-Activ-Lösung (synchrone Replikation auf 3 Servern), in Betrieb von 2009 bis 2016 in verschiedenen Editionen (Starwind ISCSI SAN HA-3) basierend auf Servern mit Hardware-RAID-Arrays.

Vorteile :

• Einfach und schnell, nicht einmal von einem Fachmann installiert;
• MPIO über iSCSI-Ethernet;
• HA (Activ-Activ);
• Auf neuen (Garantie-) Servern (mit neuen Festplatten) können Sie vergessen, den Speicher mehrere Jahre lang aufrechtzuerhalten (Benutzer werden nicht einmal den Ausfall von zwei von drei Servern bemerken).
• RAM- und SSD-Cache-Volumes;
• Schnelle schnelle Synchronisierung bei kleineren Netzwerkausfällen.

Nachteile :

• Bisher gab es nur eine Version für die Windows-Plattform.
• Bei einem langfristigen Betrieb (mehr als 3 Jahre) ist es schwierig, ein Laufwerk zu finden, das ein ausgefallenes Laufwerk (außer Produktion) ersetzt, um ein RAID-Array zu reparieren (bei heterogenen Festplatten können Array-Fehler auftreten).
• Erhöhung der Anzahl der Netzwerkschnittstellen und der von ihnen belegten PCI-Steckplätze (zusätzlich für Synchronisation, Netzwerkkarten, Switches);
• Bei Verwendung von LSFS - „Journaling File System“ - längeres Herunterfahren des Systems, was sich nachteilig auswirken kann, wenn die USV beim Ausschalten der Stromversorgung ausgelöst wird.
• Eine sehr lange Zeit der vollständigen Synchronisation mit einem großen Volumen.

Möglicherweise bereits behobene Probleme (zuvor während des Betriebs in unserem Rechenzentrum aufgetreten):

• Wenn das RAID-Array zusammenbricht, bleibt der Server über den Synchronisations- und Datenkanal sichtbar, aber die Festplatte im Windows-Server ist offline, das Starwind-Protokoll wird aufgeblasen und der Serverspeicher wird infolge des Einfrierens des Servers verbraucht. Mögliche Behandlung: Zuweisung einer Steuerdatei und Entfernen nicht kritischer Nachrichten aus den Protokolleinstellungen.
• Wenn die Switch- oder Netzwerkschnittstelle ausfällt, ist die Auswahl des Host-Servers nicht eindeutig (manchmal konnte das System nicht verstehen, mit wem synchronisiert werden soll).

Nützliche Neuigkeiten (noch nicht getestet):
Mit StarWind Virtual SAN für vSphere (hyperkonvergente Lösung) können Sie die VMware-Virtualisierung in einen Cluster einbetten, ohne eine Bindung an Windows-Server (basierend auf virtuellen Linux-Maschinen) herzustellen.

Zusammenfassung : Eine fehlertolerante Lösung, wenn am Ende der Garantie ein normales Hardware-Server-Austauschprogramm vorhanden ist und technischer Support von StarWindSoftWare verfügbar ist.

2. So erstellen Sie kleinen Enterprise-Speicher

Problemstellung:

Erstellen Sie ein ausfallsicheres Datenspeichernetzwerk mit kleinem Volumen und insgesamt 4 TB bis 20 TB, das mittelfristig einen garantierten Betrieb ohne erhebliche zusätzliche finanzielle Kosten gewährleistet.

• Das System muss fehlertolerant sein (übertragen Sie ruhig den Ausfall von mindestens einem Switch, einem Server, Festplatten und Netzwerkkarten im Server).
• Maximale Nutzung aller Ressourcen der verfügbaren Hardware-Serverflotte (3-10 Jahre alte Server und Switches).
• Stellen Sie die Funktion von Volumes verschiedener Ebenen sicher: All-Flash- und HDD + SSD-Cache.

Ausgangsdaten:

• begrenztes Budget;
• Erzeugungsanlagen vor 3-10 Jahren;
• Spezialisten - Nicht Linux-Guru.

Berechnung der Eigenschaften

Um Leistungsengpässe bei der Verwendung von SSD-Festplatten zu vermeiden, die durch etwas aus der Gerätekette abgeschnitten werden: Netzwerkkarten, RAID-Controller (HBA), Expander (Korb), Festplatten.

Zum Zeitpunkt der Erstellung ist es erforderlich, basierend auf den erforderlichen Eigenschaften eine bestimmte Gerätekonfiguration bereitzustellen.

Natürlich können Sie eine Konfiguration mit SSD-Caching-SAS-Festplatte in 1-Gbit / s-Netzwerken und 3-G-Controllern ausführen, aber das Ergebnis ist 3-7-mal schlechter als in 6-Gbit-RAID- und 10-Gbit / s-Netzwerken (durch Tests überprüft).
Die VxFlexOS-Optimierungsanweisungen beschreiben einfache Anweisungen zum Berechnen der erforderlichen Bandbreite basierend auf den SSD-450 MB / C- und HDD-100 MB / C-Schätzungen für die sequentielle Aufzeichnung (z. B. wenn der Server neu ausgeglichen und neu erstellt wird).


Zum Beispiel:

• (SSD-Cache + 3 HDD) erhalten wir ((450 * 1) + (3 * 100)) * 8/1000 = 6 GB
• (ALL FLASH SSD) + (SSD-Cache + 3 HDD) ((450 * 2) + (3 * 100)) * 8/1000 = 9,6 GB

Um die Netzwerkbandbreite durch IOPS (Standardlast auf Datenbankservern und geladenen virtuellen Servern) zu bestimmen, gibt es eine indikative Tabelle von StariWindSoftware


Endgültige Konfiguration :

• Speichersoftware, die Festplatten möglicherweise nicht zu RAID-Arrays kombiniert, sondern sie in Form separater Festplatten in den Speicher überträgt (damit es nach einem bestimmten Zeitraum keine Probleme gibt, Festplatten auszutauschen, wenn sie ausfallen, sondern sie einfach nach Kapazität auswählen);
• Generierungsserver von Prozessoren e55xx-x56xx und höher, mit Bussen von PCI-Express v 2.0 und höher, Raid (HBA) 6G-12G-Controllern mit Speicher, Erweiterungskörbe für 6-16 Festplatten;
• SMB 10G Layer 2-Switches (JUMBO FRAME, LACP).

Lösungsmethode

Derzeit wurden keine Budgetoptionen für einen „Small Enterprise Enterprise Storage“ mit einem kleinen Volumen mit den oben genannten Anforderungen gefunden.

Wir haben auf Softwarelösungen verzichtet, mit denen Sie Enterprise Storage nutzen können, mit der Option, vorhandene Server zu verwenden, die in diesem Fall das Recht haben, an Altersschwäche zu sterben, ohne den Speicher zu beeinträchtigen.

• Ceph - nicht genug Linux-Spezialisten;
• EMC ScaleIO - für ein paar Jahre technischen Support - können Sie mit vorhandenen Mitarbeitern auskommen.
• (Wie sich herausstellte, können die Kenntnisse in Linux minimal sein, mehr dazu später im Spickzettel).

3. Geschichte des IOPS-Übertaktens (Budgetpraxis)

Um das Lesen und Schreiben in Speichersystemen zu beschleunigen, wurden die folgenden SSD-Geräte verwendet:

3.1. Controller mit SSD-Caching-Funktionen.

Im Jahr 2010 wurden RAID-Controller mit Adaptec 5445 SSD-Caching-Funktionen mit einer MaxIQ- Festplatte angezeigt (für ein greifbares Ergebnis mussten mindestens 10% der MaxIQ-Festplatte des Volumens des zwischengespeicherten Volumes vorhanden sein). Das Ergebnis ist jedoch nur unwesentlich * an sich selbst getestet.
Später gab es Controller, die eine beliebige SSD-Festplatte zum Zwischenspeichern verwenden können, sowohl die Adaptec Q-Serie als auch LSI CacheCade (die Lizenzierung ist dort jedoch separat).

3.2. Software-Caching mithilfe von Festplatten wie Intel DC S3700 , das vom Controller und Expander von HP-, IBM- und FUJI-Serverservern (die meisten Server erkennen sie erfolgreich, teuer für All-Flash, aber für 10% im SSD-Cache ist es tolerierbar, sie nicht freizugeben) erkannt wird Partner von IBM, HP, FUJI und nur Intel). * Aber jetzt gibt es billigere kompatible Optionen (siehe Abschnitt 3.5.);

3.3. Das Software-Caching mit dem PCIe-M.2-Adapter Synology M.2 M2D18 SSD wird überprüft. Es funktioniert auf normalen Servern (nicht nur in Synology). Es ist nützlich, wenn der RAID-Controller und der Warenkorb keine SSDs anzeigen, die der Hersteller in kompatiblen nicht angegeben hat (n HP D2700)? *;

3.4. Seagate EXOS Hybridantriebe 600 Gbit Seagate Exos 10E2400 (ST600MM0099) {SAS 12 Gbit / s, 10000 U / min, 256 Mbit, 2,5 "}, * von HP-, IBM- und FUJI-Servern erkannt (Alternative zu Version 3.1.-3.3.);

3.5. SSD-Laufwerke mit einer großen Ressource und einem vergleichbaren Preis wie SAS der Enterprise-Klasse,
Entscheidender Micron 5200 MAX MTFDDAK480TDN-1AT1ZABYY, * von HP-, IBM- und FUJI-Servern anerkannt
(eine Alternative zum Ersetzen von Festplatten durch Festplatten, die mit Abschnitt 3.4 kompatibel und mit alten SAS-Servern kompatibel sind: SAS2.5 "600 GB AL14SEB060N TOSHIBA * Festplatte *,
C10K1800 0B31229 HGST, ST600MM0099 SEAGATE). Ermöglicht einem Budget den Wechsel von HDD + SSD zu All-Flash-Volumes.

4. Spickzettel für die Bereitstellung und den Betrieb des Speichers EMC ScaleIO (VxFlexOS) 1 Teil

EMC ScaleIO-Speicher (VxFlexOS)

Nachdem ich die Lösung vor dem Kauf getestet hatte, kam ich zu dem Schluss, dass für die normale Funktionsweise des Systems mehr als 3 Knoten erforderlich sind (Failover ist bei 3 instabil). Nehmen Sie beispielsweise eine Konfiguration von 8 Servern (es überlebt den sequentiellen Ausfall von 4 Servern, ohne Volumes zu verlieren).

Hardware-Teil :

FUJI CX2550M1 (E5-2xxx) - 3 Stck. (VmWare VSphere + ScaleIO-Servervirtualisierungskerncluster SDC-Client und SDS-Server);
Server der Generation +5 HP G6 (G7) oder IBM M3 (e55xx-x56xx) - ScaleIO SDS-Server;
+ 2 NetGear XS712T-100NES-Switches

Beim Ausführen des Speichers im RFCache-Modus konnte ich mit Iometer auf 44 KB übertakten



Speicherkonfiguration:

12 TB Rohölkapazität (Mindestlizenz zu dem Zeitpunkt, als es noch als Software verkauft wurde)



8 SDS-Server 28 Laufwerke



RAM-Cache lesen 14 GB



Lesen Sie Flash cashe 1,27 TB (RFCashe)



In der Zwischenversion, in der nur 3 2x10Gb-Server über Netzwerkkarten verfügen, in den verbleibenden 2 x1Gb.


Es ist deutlich zu sehen, dass selbst bei SSD-Caching mit 1 GB anstelle von 10 GB bei identischen Medien dreimal oder öfter die SDS-Bandbreite verloren geht.

Ohne Zwischenspeicherung, wenn Sie nach diesen "Standards" dann mit 28 Festplatten,
wir erhalten 28X140 = 3920 IOPS, d.h. Um 44.000 IOPS zu erhalten, benötigen Sie elfmal so viele Festplatten. Es ist wirtschaftlich rentabler für kleine Volumenanforderungen, nicht die Anzahl der Festplatten zu erhöhen, sondern den SSD-Cache.

Auf die Frage, warum solche Geschwindigkeiten bei geringem Volumen auftreten, werde ich gleich antworten!

Es gibt so kleine Organisationen (wie unsere), in denen eine große Anzahl elektronischer Dokumente in der Software für eine lange Zeit verarbeitet wird (jede Registrierung steuert, um die Software selbst bei diesem übertakteten Speicher bis zu 1 Stunde zu senden). Alle anderen Optionen wurden bereits zuvor angewendet (Erhöhung auf RM-RAM, CPU i5, SSD, 1 GB-NET). Selbst die Verwendung von nur SSD + SAS-Bundles im Speicher (bisher ohne ALL-Flash) ermöglichte es, die meisten Ressourcen von Virtualisierungsservern zu nutzen und geladene VMs auf ScaleIO zu übertragen - die Belastung der FUJI CX400M1-Prozessoren wurde verdoppelt (zuvor wurde der Speicher zurückgehalten).