Testen der Adaptec RAID Cache-Technologie

Lösungen für die Arbeit mit RAID-Arrays von Festplatten werden seit sehr langer Zeit verwendet. Im Allgemeinen bleiben sie in vielen Bereichen weiterhin beliebt, in denen ein relativ kostengünstiges, fehlertolerantes Array mit hohem Volumen erforderlich ist. Angesichts der Größe moderner Festplatten, ihrer Geschwindigkeit und aus anderen Gründen sind Arrays von RAID6 (oder RAID60, wenn es viele Festplatten gibt) das größte praktische Interesse. Diese Art von Arrays hat jedoch eine geringe Leistung bei zufälligen Schreibvorgängen und es ist nicht einfach, etwas damit zu tun.

In diesem Fall sprechen wir natürlich über die Geschwindigkeit des "Rohvolumens". Im wirklichen Leben das Dateisystem, das Betriebssystem, die Anwendungen und alles, was dazu hinzugefügt wird. Tatsächlich ist also nicht alles so schlecht. Es gibt jedoch auch Hardware- und Softwaremethoden zur Steigerung der Produktivität, die von diesen Subsystemen unabhängig sind. Wir sprechen von Caching-Technologien, wenn einem Array von Festplatten ein wesentlich schnelleres Flash-Speicherlaufwerk hinzugefügt wird.

Insbesondere in Adaptec RAID-Controllern wird diese Technologie als maxCache bezeichnet und ihre Version 3.0 ist in den Modellen ASR-8885Q und ASR-81605ZQ implementiert. Bei der Verwendung müssen mehrere Funktionen berücksichtigt werden: Es ist nur ein maxCache-Volume pro Controller zulässig, das maximale Volume des maxCache-Volumes beträgt 1 TB. Damit das Schreib-Caching funktioniert, muss das maxCache-Volume selbst fehlertolerant konfiguriert sein (z. B. ein Spiegel). Gleichzeitig kann der Benutzer für jedes logische Volume unabhängig festlegen, wie genau er mit maxCache arbeiten soll - zum Lesen und / oder Schreiben und in welchem ​​Modus.
Zum Testen verwendeten wir einen Server, der auf einem Supermicro X10SLM-F-Motherboard, einem Intel Xeon E3-1225 v3-Prozessor (4C / 8T, 3,2 GHz) und 32 GB RAM unter Debian 9 basiert.



Der getestete ASR-81605ZQ-Controller verfügt über eine Speicherschutzeinheit und bei der Arbeit mit einem Array von Festplatten über aktive Lese- und Schreibcaches. Denken Sie daran, dass der interne Speicher dieses Modells 1 GB beträgt. Ein RAID6-Array mit einem 256-KB-Block wurde aus sechs Seagate ST10000NM0086-SATA-Festplatten mit einer Kapazität von 10 TB erstellt. Das Gesamtvolumen des Volumens betrug etwa 36 TB.

Zwei Gerätepaare fungierten als SSDs für das maxCache-Volume: zwei Samsung 850 EVO 1-TB-SATA-Schnittstelle der zweiten Generation der zweiten Generation und zwei 400-GB-SAS-Schnittstelle Seagate 1200 SSD (ST400FM0053), aus der RAID1-Arrays erstellt wurden. Natürlich kann das erste Modell bereits als veraltet und nicht nur moralisch angesehen werden. Aber um das Budgetszenario zu veranschaulichen, wird es reichen. Die zweite Kategorie passt formal besser in die Kategorie „Unternehmen“, ist aber auch schwer als modern zu betrachten. In den Einstellungen des maxCache-Arrays selbst gibt es nur die Option Flush and Fetch Rate, die auf dem Standardwert (Medium) blieb. Es gibt keine Möglichkeit, eine Priorität für Vorgänge oder Datenträger auszuwählen. Beachten Sie, dass sich die Laufwerke nicht in einem neuen Zustand befanden und TRIM in dieser Konfiguration nicht verwendet wird.

Nach dem Erstellen des maxCache-Volumes müssen Sie die Parameter für die Verwendung in den Eigenschaften des logischen Volumes aktivieren. Insgesamt gibt es drei Optionen: Lese-Cache aktivieren, Schreib-Cache aktivieren und Schreib-Cache-Typ.

Das Dienstprogramm fio wurde als Testwerkzeug verwendet, und der Satz von Skripten enthielt sequentielle und zufällige Operationen mit einer unterschiedlichen Anzahl von Threads. Es ist erwähnenswert, dass die Untersuchung der Leistung von Produkten mit Caching-Technologien der synthetischen Technologie schwer als die beste Option zu erkennen ist. Es ist besser, die Auswirkungen auf reale Aufgaben angemessen zu bewerten, da die synthetische Last in gewissem Maße der Idee des Caching widerspricht. Darüber hinaus betrachten wir in diesem Fall Operationen auf niedriger Ebene, und tatsächlich befasst sich der Benutzer normalerweise mit Dateien, und wie oben erwähnt, sind das Dateisystem des Volumes, das Betriebssystem und die Software selbst in die Arbeit mit ihnen einbezogen. Es handelt sich also um Kunststoffe, die aufgrund ihrer Einfachheit und Wiederholbarkeit attraktiv sind und für sich genommen keinen Sinn ergeben, sondern hauptsächlich für den Vergleich von „wie es war und wie es wurde“ in Szenarien, die für das Zwischenspeichern von Algorithmen schwierig sind, und für eine ziemlich grobe Abschätzung des Effekts.

Lassen Sie uns zuerst sehen, wozu unser Array allein in der Lage ist. Denken Sie daran, dass bei sequentiellen Operationen die Geschwindigkeit in MB / s und Verzögerungen (auf einer logarithmischen Skala) interessant sind und bei zufälligen Operationen auch IOPS und Verzögerungen interessant sind.



Die Geschwindigkeit von Stream-Operationen mit einem Array dieser Konfiguration liegt bei 900 MB / s. Gleichzeitig überschreiten Verzögerungen auch bei einer großen Anzahl von Threads nicht 70 ms.



Bei Festplatten sind zufällige Vorgänge die schwierigste Last, wie aus den Ergebnissen hervorgeht. Wenn Sie den Latenzschwellenwert auf 100 ms einstellen, können Sie beim Lesen ungefähr 1100 IOPS erhalten, und im Datensatz kann das Array unabhängig von der Last ungefähr 300 IOPS liefern. Beachten Sie, dass Sie mit einem RAID60-Array von 36 Festplatten auf demselben Controller dank der Konfiguration von drei Blöcken mit 12 Festplatten interessantere Zahlen erhalten können. Auf diese Weise können Sie beim zufälligen Lesen und Schreiben eine Rotation hinzufügen und die Geschwindigkeit auf 3500 bzw. 1200 IOPS erhöhen (in dieser Konfiguration gab es ziemlich alte SAS-Festplatten von HGST mit 2 TB). Die negative Seite dieser Option sind die zusätzlichen Volumenkosten, da nicht zwei Festplatten pro Volumen "verloren" gehen, sondern zwei pro Gruppe.

Ohne Caching sieht unser Array also traurig genug für zufällige Operationen aus. Dies ist natürlich die „rohe“ Geschwindigkeit des Volumes, und Programme laden selten ausschließlich zufällig (denken Sie daran, dass wir hier noch ein Array zum Speichern großer Dateien haben, nicht die Datenbank).



Mal sehen, wie SSDs in dieser Situation helfen können. In den Tests werden vier verfügbare Konfigurationsoptionen verwendet - nur Lesen, Lesen und Schreiben Durchschreiben, Lesen und Schreiben Zurückschreiben, Lesen und Schreiben Sofortiges Zurückschreiben:

• WB - Rückschreiben aktiviert. maxCache speichert die Daten auf der SSD und schreibt sie auf die Festplatten zurück, wenn die Leistung kaum oder gar nicht beeinträchtigt wird. Dies ist die Standardrichtlinie.
• INSTWB - Sofortiges Zurückschreiben aktiviert. Zusätzlich zur Standardrichtlinie erstellt maxCache im laufenden Betrieb schmutzige Seiten für Vollstreifen-Schreibvorgänge, wenn auf der SSD Platz vorhanden ist und die Anzahl der schmutzigen Seiten unter dem Schwellenwert liegt.
• WT - Durchschreiben aktiviert. Ähnlich wie beim sofortigen Zurückschreiben werden jedoch Schreibvorgänge mit vollem Streifen sowohl in den Cache als auch auf die Festplatte übertragen, und es werden keine schmutzigen Seiten im laufenden Betrieb erstellt.

Beginnen wir mit SATA-Laufwerken, die ziemlich groß sind. Die Diagramme sind diesmal getrennt - Geschwindigkeit und Verzögerungen für jedes der vier Testszenarien.



Bei sequentiellen Lesevorgängen zeigt das Array stabile Ergebnisse unabhängig von der Art des verwendeten Caches, was zu erwarten ist. Gleichzeitig unterscheiden sie sich kaum von einem Array ohne Cache - alle 900 MB / s und Verzögerungen von etwa 70 ms.



Beim sequentiellen Schreiben gibt es zwei Gruppen - nur zum Lesen und mit Write Back zeigen sie Ergebnisse ähnlich einem Array ohne Cache - etwa 900 MB / s und bis zu 100 ms, und Write Through und Instant Write Back können nicht mehr als 100 MB / s und mit deutlich größeren Werten herausziehen Verzögerungen.



Denken Sie daran, dass beim Lesen des Festplattenarrays maximal etwa 1100 IOPS angezeigt wurden, aber an dieser Grenze begannen die Verzögerungen bereits 100 ms zu überschreiten. Mit dem SATA-SSD-Caching können Sie etwas bessere Ergebnisse erzielen - etwa 1.500 IOPS und mit den gleichen Verzögerungen.



Bei zufälligen Aufzeichnungsvorgängen sehen wir den größten Effekt - eine zweieinhalbfache Erhöhung der Indikatoren bei gleichzeitiger Erhöhung der Tragfähigkeit. Bei Verwendung des Caches können Verzögerungen von bis zu 100 ms mit zwei- bis dreimal so vielen Threads auftreten.

Die allgemeine Schlussfolgerung zu dieser Konfiguration lautet: Sie stört das sequentielle Lesen nicht, stört in einigen Konfigurationen das sequentielle Schreiben nicht, fügt bei zufälligen Lesevorgängen etwa 35% hinzu und erhöht die Leistung bei zufälligen Schreibvorgängen ein paar Mal.

Schauen wir uns nun eine Variante des Caching-Volumes des zweiten Paares von SSD-Laufwerken an. Beachten Sie, dass sie in unserem Fall deutlich weniger Volumen, eine 12-Gbit / s-SAS-Schnittstelle und höhere Geschwindigkeitseigenschaften (vom Hersteller angegeben) hatten.



Beim sequentiellen Lesen unterscheiden sich die Ergebnisse nicht von den zuvor angegebenen, was durchaus zu erwarten ist.



Bei der sequentiellen Aufnahme haben wir jetzt drei Gruppen - die Konfiguration mit Write Through-Schreibcache bleibt zurück, etwa Instant Write Back zeigt ungefähr die Hälfte der maximalen Geschwindigkeit und nur Write Back unterscheidet sich nicht von einem Array ohne Cache. Die gleiche Situation mit der Wartezeit.



Beim zufälligen Lesen erwies sich Instant Write Back mit 2500 IOPS als das Beste, während der Rest der Konfigurationen nur bis zu 1800 IOPS umfassen kann. Beachten Sie, dass alle Optionen mit Schreib-Caching deutlich schneller sind als ein "sauberes" Array. Gleichzeitig überschreitet die Wartezeit auch bei einer großen Anzahl von Threads nicht 100 ms.



Bei zufälligen Lesevorgängen wird Instant Write Back erneut angezeigt und zeigt fast 2.000 IOPS an. Die zweite Gruppe enthält die Konfigurationen Write Through und Write Back mit 1000 IOPS.

Der letzte Teilnehmer, der den Cache nicht für Schreibvorgänge verwendet, zeigt ungefähr 300 IOPS sowie nur eine Reihe von Festplatten an.

Die vielleicht interessanteste Option für dieses Cache-Volume ist Instant Write Back. Es stimmt, es ist langsamer beim Streaming von Lesevorgängen. Möglicherweise kann dies mithilfe der RAID10-Konfiguration für das maxCache-Volume behoben werden, es kostet jedoch bereits vier Felder im Speichergehäuse.

Im Allgemeinen können wir sagen, dass die Verwendung der maxCache-Technologie wirklich nützlich sein kann, um die Leistung von Arrays von Festplatten zu steigern, insbesondere wenn die Last viele zufällige Vorgänge enthält. Es ist jedoch immer noch nicht in Betracht zu ziehen, dass dies genauso effektiv ist wie das Ersetzen der Festplatte durch eine SSD in einem Desktop-Computer oder einer Workstation.

Der größte Effekt, der in den Tests festgestellt wurde, ist eine Erhöhung der Geschwindigkeit zufälliger Operationen um das 2-3-fache. Natürlich wurden nicht die schnellsten SSDs verwendet, was sich in einigen Tests deutlich widerspiegelte (z. B. sequentielle Aufzeichnung im Durchschreibemodus). Darüber hinaus möchte ich noch einmal darauf hinweisen, dass die Wahl der Caching-Konfiguration die Ergebnisse erheblich beeinflusst. Da das Ändern von Einstellungen "on the fly" ohne Datenverlust möglich ist, lohnt es sich, alle Optionen für Ihre Aufgaben selbst zu überprüfen und die beste Option auszuwählen.