Eine moderne IT-Infrastruktur ist ohne den Einsatz von Virtualisierungssystemen nicht mehr denkbar. Und die Virtualisierung zeigt ihre Fähigkeiten bei Verwendung eines zentralen Datenspeichersystems am besten. Neben dieser wichtigen Rolle gibt es noch andere Aufgaben, bei denen Speicherplatz erforderlich sein kann: große Videoüberwachungsprojekte, Speichern großer Datenmengen, Arbeiten mit Medien und mehr.
Unter den derzeit auf dem Markt befindlichen Speichersystemen möchten wir Sie auf die Speichersysteme des taiwanesischen Herstellers Qsan Technology XCubeSAN aufmerksam machen.

QSAN als unabhängiges Unternehmen trat 2008 auf. Zunächst war das QSAN-Team mit der Entwicklung und OEM-Produktion von RAID-Controllern für verschiedene Speicherhersteller beschäftigt. Wenig später, nachdem Gigabyte die Unterstützung von Giganten unter den Herstellern von ODMs wie Compal und Gigabyte erhalten hatte (ja, Gigabyte produziert nicht nur Motherboards und Grafikkarten, die allen bekannt sind, sondern auch viele Dinge aus dem Enterprise-Sektor), wechselte es zur Produktion eigener Speichersysteme. Der Hersteller ist seit seiner Gründung (d. H. Seit fast 9 Jahren) in Russland präsent und hat sich von einem unbekannten Anbieter zu einem Anbieter von Lösungen entwickelt, die erfolgreich mit den sogenannten Tier-1-Marken konkurrieren können.
QSAN XCubeSAN ist also die neueste Speichergeneration und kombiniert die maximal mögliche Anzahl von Technologien. Das Hauptmotto des Herstellers besteht darin, kleinen und mittleren Unternehmen Enterprise-Funktionen zur Verfügung zu stellen. Die Hauptsache, auf die Sie sofort achten sollten, ist die vollständig offizielle Herstellerunterstützung für Laufwerke von Drittanbietern. Daher wird Ihnen bei der Auswahl eines Festplattensubsystems niemand die Hände binden (und die Taschen auf der Suche nach Banknoten verdrehen). Natürlich sollten Sie sofort reservieren, dass die Einhaltung des Kompatibilitätsblatts im Enterprise-Segment das ist, was als "Muss" bezeichnet wird. Andernfalls können während des Betriebs sehr unangenehme Probleme auftreten.
Unabhängig davon ist anzumerken, dass im Zusammenhang mit der Verwendung von Festplatten von Drittanbietern der Aufbau von SSD-basiertem Speicher (und sogar von All Flash Storage) immer beliebter wird. Wenn die Preise für einige Arten von Markenfestplatten immer noch nahe am „im Laden gekauften“ liegen, ist es für SSDs selbst bei großen Projektrabatten unrealistisch, den Preis näher an HGST oder Intel heranzuführen. Dies bedeutet, dass All Flash auf Basis von QSAN im Vergleich zu Tier 1-Marken einfach nicht erschwinglich ist.
Speicherhardwarekomponenten
Die QSAN XCubeSAN-Linie besteht aus drei Serien mit Indizes für die Modelle XS1200 , XS3200 und XS5200 . Sie unterscheiden sich in der Art des Prozessors (Pentium / Xeon, 2-4-8 Kerne), was sich wiederum auf die Spitzenleistung auswirkt. Ansonsten sind Hardware und Software völlig identisch. Daher werden wir uns in der Überprüfung nicht auf ein bestimmtes Modell konzentrieren, weil Die Informationen gelten im Wesentlichen für alle (natürlich mit einigen Änderungen).
Es stehen 4 Arten von Fällen zur Verfügung:
- 2U 12 Bay LFF
- 3U 16 Bay LFF
- 4U 24 Bay LFF
- 2U 26 Bay SFF
Alle Modelle mit LFF-Festplatten (3,5 ") unterstützen die Installation von Festplatten / SSD-Formfaktor SFF (2,5") ohne zusätzliche Optionen.

26 Festplatten in einem 2U-Gehäuse
Die ersten drei Gebäudetypen werden wahrscheinlich niemanden überraschen. Der Fall 2U26 ist derzeit jedoch ein sehr interessanter Formfaktor. Eine derart hohe Scheibendichte wird durch die Ausdünnung des Schlittens für Scheiben sowie durch eine spezielle Anordnung von Versteifungen des Körpers des Speichersystems erreicht. Derzeit hat keiner der Hersteller solche Lösungen: Eine typische Anzahl von Einschüben für 2U beträgt 24-25. Ein oder zwei zusätzliche Laufwerksschächte sind überhaupt nicht überflüssig, da Sie so flexibler an das Problem des Aufbaus von RAID-Gruppen herangehen und keine Ersatzkosten sparen können.

Universal-Skid mit Scheibe
Weitere - interne Komponenten: Netzteile, Kühlmodule, Steuerungen. Alle sind aus Gründen der Fehlertoleranz dupliziert. Und natürlich unterstützen sie einen Hot-Swap. Nein, natürlich können Sie Speicher mit einem Controller bestellen. Die gesamte fortschrittliche Welt ist jedoch längst zu dem Schluss gekommen, dass die Überzahlung eines zweiten Controllers die Sicherheit des Kunden und den kontinuierlichen Zugriff auf Dienste im Speichersystem bedeutet.

Rückwand
Der Controller basiert auf dem Intel Xeon / Pentium D-1500-Prozessor, der speziell für den Einsatz in eingebetteten Lösungen entwickelt wurde. Als RAM wird DDR4-Speicher mit obligatorischer ECC-Unterstützung verwendet. Hierfür befinden sich 4 Anschlüsse auf der Platine (2 für das jüngere Modell). Der Zweikanalmodus wird mit einer maximalen Kapazität von bis zu 128 GB (32 GB für das jüngere Modell) unterstützt. Es gibt ein SATA DOM-Modul, auf dem das Betriebssystem installiert ist.

Controller, Draufsicht
Für die Kommunikation mit der Außenwelt stehen zwei 10-GbE-iSCSI-RJ-45-Ports (abwärtskompatibel mit 1 GbE), ein dedizierter Steuerport sowie zwei miniSAS HD-Ports zum Anschließen von Erweiterungsregalen über die SAS 12G-Schnittstelle zur Verfügung. Darüber hinaus gibt es Anschlüsse zum Verbinden der Konsole und der USV über COM- oder USB-Anschlüsse.

Controller, Rückansicht
Neben der integrierten Schnittstelle gibt es zwei Steckplätze für Erweiterungskarten: PCI-E x8 Gen3 und PCI-E x4 Gen2. Eine Vielzahl von Host-Connector-Optionen wird unterstützt:
- 4x 16 Gb FC (SFP +)
- 2x 16 Gb FC (SFP +)
- 2x 10 GB iSCSI (10 GBASE-T)
- 4x 10 Gb iSCSI (SFP +)
- 4x 1 GB iSCSI (1 GBASE-T)

Erweiterungskarten
Sie können Schnittstellen auf beliebige Weise kombinieren, einschließlich der Kombination von Fibre Channel und iSCSI innerhalb desselben Systems. Die einzige Einschränkung besteht darin, dass die Portkonfiguration in beiden Controllern identisch sein muss. In der maximalen Konfiguration können in einem Speichersystem mit zwei Controllern bis zu 16 FC 16G-Ports oder bis zu 20 10G iSCSI-Ports vorhanden sein. Das Messen der Maximalwerte ist natürlich eine undankbare Aufgabe, aber aus Sicht der Praxis kann eine große Anzahl von Schnittstellen nicht nur die Leistung in einer Reihe von Szenarien verbessern, sondern auch die Verwendung teurer Fibre Channel- oder 10-Gbit-Ethernet-Switches innerhalb von 6 bis 10 Servern aufgeben.
Um den Controller-Cache vor einem plötzlichen Stromausfall zu schützen, wird ein Cache-to-Flash-Modul verwendet, das aus einer Batterie oder einem Kondensator und einer SSD mit PCI-E M.2-Schnittstelle besteht. Die Verwendung eines so schnellen Laufwerks ist erforderlich, um Zeit zum Kopieren des Cache-Inhalts zu haben, während der Akku den Controller unterstützt. Der gesamte Vorgang dauert nicht länger als 2 Minuten, auch wenn die Cache-Größe maximal 128 GB beträgt. Gleichzeitig reicht die Akkukapazität für 3-4 solcher Zyklen aus, dh Sie können auch bei wiederholten Stromausfällen ruhig bleiben. Wir möchten auch darauf hinweisen, dass Sie zur Wartung des Ca-to-Flash-Moduls nicht die Stromversorgung und noch weniger den Controller entfernen müssen. Das Modul verfügt über eine Hot-Swap-Funktion und ist über die Rückseite zugänglich.
Um die Festplattenkapazität zu erweitern, können Sie XCubeDAS-Regale anschließen, die in denselben Fällen wie die Speichersysteme selbst verfügbar sind: 2U12, 3U16, 4U24, 2U26. Darüber hinaus gibt es keine Einschränkung für die Konfiguration des "Kopfes" und der Regale, Sie können sie in beliebiger Kombination kombinieren. Die maximale Anzahl von Regalen darf jedoch 10 nicht überschreiten, was in den meisten Fällen mehr als ausreichend ist, da die Anzahl der Festplatten in einem einzelnen System 286 erreichen kann.
Übrigens verfügt QSAN bereits beim Anschluss von Erweiterungsregalen an Speichersysteme über eigenes Know-how in Bezug auf die Gewährleistung der Fehlertoleranz. Wie alle anderen Anbieter ist das Regal physisch mit zwei SAS-Kabeln mit dem "Kopf" verbunden. Logischerweise sieht jeder Speichercontroller beide Shelf-Controller, auch über einen Nachbarn, über den internen Bus. Infolgedessen arbeitet das System im Falle eines Ausfalls des Speichercontrollers und des JBOD-Controllers weiter (hier ist natürlich ein wichtiger Hinweis, dass in dieser Situation niemand die Kabel zwischen den Komponenten herausgezogen hat).

Speicherkonnektivität und ErweiterungsregaleWir sind uns einig, dass das Auftreten eines solchen Vorfalls unwahrscheinlich ist, aber wenn es zusätzlichen Schutz gibt (für den niemand Geld verlangt), ist die Arbeit mit einer solchen Lösung irgendwie ruhiger.
Da wir das Thema Know-how angesprochen haben, wird es nicht unangebracht sein, die Unterstützung der Wake-on-SAS-Technologie zu erwähnen, dank derer es möglich ist, die Leistung von Erweiterungsregalen über SAS-Kabel zu steuern. Es kann erforderlich sein, Erweiterungsregale zusammen mit dem „Kopf“ in der richtigen Reihenfolge im automatischen Modus ein- und auszuschalten. Das Herunterfahren des Speichers ist natürlich nicht sehr verbreitet. In einem solchen Moment ist es jedoch nicht überflüssig, die Aktionen des Administrators seitens der Systemautomatisierung zu steuern. In der Tat kann das Trennen eines Regals vor dem „Kopf“ zum Zusammenbruch einer RAID-Gruppe führen, wenn diese Gruppe auf mehrere Einheiten verteilt ist.
Zusammenfassend können wir daraus schließen, dass die Hardwarekomponente von QSAN XCubeSAN in der Lage ist, völlig unterschiedliche Lösungen zu erstellen (von den einfachsten und kostengünstigsten bis zu sehr fortschrittlichen), sich in alle SAN-Netzwerke (einschließlich heterogener Netzwerke) integrieren lässt und die Verwendung von Festplatten und Festplatten ermöglicht SSDs von Drittanbietern.
Funktionen der Softwarekomponente der Speicherung
Basis ist ein Linux-ähnliches Betriebssystem eigenen Designs - SANOS ist bereits die 4. Version. Die Verwaltung erfolgt über einen Browser. Die Benutzeroberfläche wird in mehreren Sprachen dargestellt, einschließlich Russisch. Die Standardprotokolle http und https werden mit der Möglichkeit unterstützt, die Portnummern für mehr Sicherheit zu ändern. Die Schnittstelle erfordert keine Installation von Java, Flash und anderen Tools von Drittanbietern. Sie können auch über das ssh-Protokoll steuern (allerdings mit einer leicht verkürzten Funktionalität).
Die Benutzeroberfläche ist ein vertikales Menü mit Grundfunktionen und ein Anzeigebereich, der den Hauptteil des Bildschirms einnimmt. Die Gewöhnung an Navigation und Steuerung dauert einige Minuten, da alles intuitiv klar ist. Wenn Sie jemals mit einem Speichersystem eines Herstellers gearbeitet haben, können Sie dies problemlos herausfinden. In der Benutzeroberfläche finden Sie gegebenenfalls erläuternde Tipps zu bestimmten Parameterwerten. Natürlich ist eine Dokumentation vorhanden, die Sie vor dem Betrieb kennenlernen müssen.

Verwaltungsschnittstelle. Auch zur Überprüfung verfügbar .
Ein wichtiges Merkmal des QSAN XCubeSAN-Speicherverwaltungskonzepts sind die minimalen Einschränkungen der verwendeten Konfigurationen und die maximalen Einstellungen für diese. Hier wird Ihnen beispielsweise niemand vordefinierte Festplattenkonfigurationen auferlegen. Für die meisten Schlüsselfunktionen gibt es zahlreiche Möglichkeiten zur Anpassung und nicht nur zum Ein- und Ausschalten. Daher ist die Einschränkung bei der Erstellung von Konfigurationen eher Ihr gesunder Menschenverstand als Software.
Bei der Wartung des Systems während des Betriebs muss der Administrator über Probleme mit Speichersystemen informiert werden. QSAN XCubeSAN kann diese Informationen per E-Mail senden, Nachrichten an den Syslog-Server senden und einen SNMP-Trap ausgeben. Darüber hinaus finden Sie den aktuellen Status in WebGUI: Detaillierte Überwachung der Hardwaresensoren, aktuelle Leistung des gesamten Systems, einzelne Festplatten, Volumes und E / A-Ports.


Überwachung
Separat möchten wir die Funktion der Integration von Speichersystemen in unterbrechungsfreie Stromversorgungen erwähnen. Es unterstützt die Kommunikation mit der USV über COM- und USB-Anschlüsse sowie über Ethernet. Das Ergebnis dieser Verbindung ist die Möglichkeit, den Speicher auf Befehl der USV auszuschalten. In den meisten Fällen reicht es bei einem plötzlichen Stromausfall aus, die Server ordnungsgemäß herunterzufahren, und das Speichersystem kann einfach von der Stromversorgung getrennt werden. Wenn Sie jedoch den Notabschaltvorgang gemäß allen Regeln organisieren, ist eine solche Integration von Speicher und USV sehr nützlich, da Damit können Sie die gesamte Infrastruktur einschließlich des Speichersystems korrekt ausschalten.
Da es sich um mögliche Vorfälle mit Geräten handelt, ist die derzeitige Tendenz der meisten Anbieter, ein automatisches System zum Senden von Informationen über den Status von Geräten an Cloud-Dienste einzuführen, um diese Informationen in Big Data zu analysieren und mögliche Fehler vorherzusagen, nicht zu übersehen. Der Dienst ist sicherlich nützlich, aber in unserem Land stößt er auf heftigen Widerstand von Benutzern, die solche Daten nicht mit jemandem von außerhalb teilen möchten. Dies kann verschiedene Gründe haben: Sicherheitsrichtlinien am Einsatzort, Befürchtung, dass vertrauliche Informationen gesendet werden, oder die Gebühr für einen solchen Dienst. Teilweise aus diesem Grund bietet QSAN keinen Dienst zum automatischen Sammeln von Daten über den Status seiner Speichersysteme an. Für eine effektive Diagnose von Speichersystemen verfügt es stattdessen über einen erweiterten Protokollierungsmodus für alle internen Prozesse. Daher reicht es für den Administrator aus, eine Debug-Info-Datei an den technischen Support zu senden, damit die Ingenieure die Ursache des Problems so genau wie möglich ermitteln können.
Das Firmware-Update wird "unterwegs" durchgeführt, ohne das System anzuhalten. Für moderne Speichersysteme ist dies bereits der De-facto-Standard, der jedoch nicht ignoriert werden kann.
Der Speicherplatz in QSAN XCubeSAN basiert auf dem mittlerweile beliebten Poolkonzept. Physische Festplatten werden zu RAID-Gruppen zusammengefasst, die wiederum Pools bilden. Die Popularität von Pools beruht auf der Tatsache, dass sie im Gegensatz zu klassischen RAID-Gruppen eine Art Add-In in Form einer Virtualisierung des Speicherplatzes darstellen und es Ihnen ermöglichen, eine Reihe von Vorgängen in Bezug auf Daten äußerst schmerzlos auszuführen. Und zuallererst ist es eine Routine wie die Erweiterung des Speicherplatzes. Das Hinzufügen neuer Festplatten zu einer RAID-Gruppe war schon immer ein sehr riskantes Unterfangen, da während der RAID-Neuerstellung keine RAID-Algorithmen Datenschutz bieten. Darüber hinaus ist der Wiederherstellungsprozess sehr langsam (abhängig von der Menge und Art der Festplatten, die mehrere Tage oder sogar Wochen erreichen können). Die Festplatten sind derzeit einer erhöhten Last ausgesetzt, was den Ausfall einer dieser Festplatten nur beschleunigen kann. Wenn eine Festplatte ausfällt, werden daher alle in der Gruppe befindlichen Daten in Vergessenheit geraten. Das Wiederherstellen von einer Sicherungskopie und das Auffüllen irgendwie geänderter Daten ab dem Zeitpunkt der Erstellung der Sicherung werden Administratoren nicht für die Ausführung von Vorgängen zur Erweiterung des Arrays begeistern.
Im Gegensatz dazu ist bei der Verwendung von Pools alles recht einfach. Mit dem Befehl zur Poolerweiterung werden eine oder mehrere RAID-Gruppen erstellt und mit vorhandenen Gruppen verknüpft. Dadurch hat der Administrator Zugriff auf den gesamten Gemeinschaftsraum, obwohl dieser aus mehreren Teilen besteht. Es wird empfohlen, den vorhandenen Pool mit Gruppen auf derselben Ebene wie der ursprüngliche zu erweitern, um maximale Leistung zu erzielen. Bei Bedarf können Sie jedoch in einen Pool "kleben", z. B. RAID5- und RAID6-Gruppen. Denken Sie daran, dass in diesem Fall die Leistung auf die langsamste Verbindung beschränkt ist.
Innerhalb eines einzelnen Pools können Sie nicht nur Gruppen mit unterschiedlichen RAID-Levels, sondern auch verschiedene Festplattentypen kombinieren. Darüber hinaus kann das Speichersystem Daten entsprechend der Anforderung dieser Daten automatisch zwischen Datenträgern verschieben. Diese Funktion zum Verschieben von Daten wird als Tiering bezeichnet . In einem Aufreißbecken können bis zu drei Ebenen vorhanden sein:
- SSDs - die höchste, schnellste Ebene, die am häufigsten verwendeten ("heißen") Daten
- SAS 10K- und 15K-Schnelllaufwerke - Mittelstufe
- Langsame und geräumige 7,2-KB-Laufwerke - niedrigere, am wenigsten genutzte ("kalte") Daten
Für einen zerrissenen Pool können Sie flexibel einen Zeitplan festlegen, wann und mit welcher Priorität Daten migriert werden sollen (mindestens jede Stunde). Ein vernünftiger Wert bewegt sich jedoch 1-2 Mal am Tag, so dass er keinen starken Einfluss auf die aktuellen Aufgaben hat und gleichzeitig unter dem Gesichtspunkt der Endproduktivität wirksam ist. Es ist wichtig, dass alle diese Einstellungen im laufenden Betrieb geändert werden können.
Für Volumes, die im Aufreißpool erstellt wurden, können Sie die Anfangsposition sowie die Richtung angeben, in die die Daten verschoben werden sollen. Detaillierte Statistiken sind für alle Volumes verfügbar: Was wurde wohin verschoben?
Neben dem Zerreißen ist das SSD-Caching eine weitere Möglichkeit, die Leistung zu verbessern. In diesem Fall werden die angeforderten Daten häufig auf dedizierte SSDs kopiert. Wir möchten sofort darauf aufmerksam machen, dass im QSAN-SSD-Speichercache nicht nur Lesevorgänge, sondern auch Schreibvorgänge funktionieren. Der Cache selbst befindet sich physisch auf dedizierten SSDs, die nicht für die Datenspeicherung verfügbar sind. Der Cache kann mehrere SSDs enthalten (einschließlich unterschiedlicher Größen), die alle zusammen verwendet werden. Wenn ein Schreibcache verwendet wird, muss die Anzahl der SSDs ein Vielfaches von zwei sein. Dies ist notwendig, um Daten zu schützen (Spiegelung), weil Bei einem Ausfall einer der SSDs ist es wichtig, den Inhalt des Caches, der noch nicht auf die Festplatten geschrieben wurde, nicht zu verlieren. Wenn der schreibgeschützte Cache verwendet wird, muss er nicht geschützt werden, da Es enthält nur eine Kopie der Daten auf den Datenträgern.

Cache-Leistungsstatistik
Im Gegensatz zu Produkten anderer Anbieter, bei denen die SSD-Cache-Funktion nur über eine Einstellung zum Aktivieren / Deaktivieren verfügt, stellt diese Funktionalität in QSAN XCubeSAN überhaupt keine „Black Box“ dar. Für alle Volumes, die zwischengespeichert werden müssen, wird ein „Verhaltensprofil“ ausgewählt, nach dem die Daten zwischengespeichert werden. Es gibt mehrere vordefinierte Profile (Datenbank, Dateiserver, Webserver) sowie die Möglichkeit, ein neues Profil speziell für Ihre Aufgaben zu erstellen. Dazu müssen Sie angeben, welche Blöcke zwischengespeichert werden sollen, und auch die Anzahl der Lese- / Schreibanforderungen angeben, nach denen der Block in den Cache kopiert wird. Aufgrund dieser Flexibilität bei den Einstellungen dieser Option können QSAN XCubeSAN-Speichersysteme bei einer Reihe von Benutzeraufgaben bessere Ergebnisse hinsichtlich der Leistung erzielen als Speichersysteme anderer Hersteller.

SSD-Cache-Einstellungen
, , . QSAN , , . copy-on-write. 15 . Microsoft VSS . .
, . – . , – , – . . – 15 . . , QSAN. iSCSI. , . / . , traffic shaping. : , --, --. , (disaster recovery) .
, . – SSD . « » - . , . , Qsan SSD. , , , , .
XCubeSAN – QSAN, . , , QoS, VMware SRM. . XCubeSAN , IT .
QSAN XCubeSAN, .
, - . - RAID . . Enterprise , , - . , , , «», . , . All Flash.
«» , , SSD. , . , StorageReview, QSAN XCubeSAN. 24 Toshiba PX04SV SAS 3.0 SSD. SSD , , , XCubeSAN.
26 : XS1200 XS5200. , , ( , ).
, . .
Standbeschreibung:
4-Knoten-Cluster basierend auf Dell PowerEdge R740xd-Servern
- 8 Intel Xeon Gold 6130-CPU für 269 GHz in einem Cluster (zwei auf einem Knoten, 2,1 GHz, 16 Kerne, 22 MB Cache)
- 1 TB RAM (256 GB pro Knoten, 16 GB x 16 DDR4, 128 GB auf der CPU)
- 4 x Emulex 16GB dual-port FC HBA
- 4 x Mellanox ConnectX-4 rNDC 25GbE dual-port NIC
2 RAID10 12 . . ~5TB.
VDBench Oracle, SQL Oracle, VDI .
:
- 4K Random Read: 100% Read, 128 threads, 0-120% iorate
- 4K Random Write: 100% Write, 64 threads, 0-120% iorate
- 64K Sequential Read: 100% Read, 16 threads, 0-120% iorate
- 64K Sequential Write: 100% Write, 8 threads, 0-120% iorate
- Synthetic Database: SQL and Oracle
- VDI Full Clone and Linked Clone Traces
















QSAN XCubeSAN . , 400K IOPS@4K 270K IOPS@4K latency, 2. « », latency, 450K/300K IOPS /. , , All Flash Array, .
, ( 1.5 ), latency ( , ). , 200K IOPS latency.
. : , , .. Enterprise , , Tier 1, .
Qsan 9x5 NBD 3- . . . , , 5 .
, . - .
Zusammenfassend möchte ich feststellen, dass sich das Produkt als sehr interessant herausstellte und die erforderlichen Hardware- und Softwarekomponenten tatsächlich verwendet wurden. Die Leistung ist auf einem ziemlich hohen Niveau. Der technische Support erfüllt die Erwartungen an die Arbeit mit Enterprise-Produkten.