Das System reduziert die Energiekosten um die Hälfte.
/ Foto Andy Melton CC BY-SAWarum brauchen wir eine neue Architektur?
Laut Data Center Dynamics werden elektronische Geräte bis 2030 40% der auf dem Planeten erzeugten Energie verbrauchen. Etwa 20% dieses Volumens entfallen auf den IT-Sektor und Rechenzentren. Laut europäischen Analysten "verbrauchen" Rechenzentren bereits 1,4% des gesamten Stroms. Diese
Zahl wird voraussichtlich bis 2020 auf 5% steigen .
Ein wesentlicher Teil des vom SSD-Speicher verbrauchten Stroms. Zwischen 2012 und 2017 stieg der Anteil der Solid-State-Laufwerke in Rechenzentren
von 8 auf 22% . Obwohl SSDs ein Drittel weniger Strom verbrauchen (
PDF, S. 13 ) als HDDs, bleiben die Stromrechnungen im Rechenzentrum hoch.
Um den Stromverbrauch von Solid-State-Laufwerken im Rechenzentrum zu senken, haben Ingenieure vom MIT eine neue Architektur für SSD-Speicher entwickelt. Es heißt LightStore und ermöglicht es Ihnen, Laufwerke unter Umgehung von Speicherservern direkt mit dem Netzwerk von Rechenzentren zu verbinden. Laut
den Autoren wird das System die Energiekosten um die Hälfte reduzieren.
Wie funktioniert es?
LightStore ist ein Flash-Speicher mit Schlüsselwerten, in dem Benutzeranforderungen für Laufwerke als Schlüssel angezeigt werden. Anschließend werden sie an den Server gesendet, der die mit diesem Schlüssel verknüpften Daten ausgibt.
Das System
enthält einen integrierten energieeffizienten Prozessor, DRAM und NAND-Speicher. Es wird von einem Controller und einer speziellen Software gesteuert. Der Controller ist für die Arbeit mit NAND-Arrays verantwortlich, und die Software ist für die Verarbeitung von KV-Anforderungen und das Speichern von Schlüsselpaaren verantwortlich. Die Softwarearchitektur basiert auf dem
LSM-Baum , der in vielen modernen DBMS verwendet wird.
Das Architekturdiagramm kann wie folgt dargestellt werden:
Das Diagramm zeigt die Grundkomponenten von LightStore. Ein Knotencluster arbeitet mit Schlüssel-Wert-Paaren. Anwendungsserver stellen über Adapter eine Verbindung zum System her. Sie konvertieren Clientanforderungen (z. B. fread () von der POSIX-API) in KV-Anforderungen. Außerdem verfügt die Architektur über separate Adapter für
YCSB , Block (basierend auf dem BUSE-Modul) und Dateispeicher.
Bei der Verteilung von Anforderungen verwendet der Adapter
konsistentes Hashing . Es wird auf Systemen wie Redis oder Swift verwendet. Mit dem KV-Anforderungsschlüssel generiert der Adapter einen Hash-Schlüssel, dessen Wert den Zielknoten bestimmt.
Die Kapazität des LightStore-Clusters wird linear skaliert. Verbinden Sie einfach zusätzliche Knoten mit dem Netzwerk. In einigen Fällen müssen Sie möglicherweise neue Switches kaufen. Die Entwickler stellten jedoch jedem Knoten zusätzliche Steckplätze zum Verbinden von NAND-Chips zur Verfügung.
Architektonisches Potenzial
Laut MIT-Ingenieuren verfügt die LightStore-basierte Lösung über eine Bandbreite von 620 Mbit / s für 10-Gigabit-Ethernet. Ein Knoten verbraucht 10 Watt anstelle der üblichen 20 Watt (in SSD-Systemen, die heute von Rechenzentren verwendet werden). Darüber hinaus nimmt die Ausrüstung die Hälfte des Platzes ein.
Jetzt schließen Entwickler einige Punkte ab. Beispielsweise kann LightStore nicht mit Bereichsabfragen und kleinen Abfragen arbeiten. Diese Funktionen werden in Zukunft hinzugefügt, da LightStore LSM-Bäume verwendet. Außerdem verfügt das System noch über einen begrenzten Satz von Adaptern - YCSB- und Blockadapter werden unterstützt. In Zukunft kann LightStore SQL-Abfragen usw. verarbeiten.
Andere Entwicklungen
Im Sommer 2018 stellte Marvell, ein Speicherunternehmen, eine neue Reihe von AI-basierten SSD-Controllern vor. Entwickler haben NVIDIA Deep Learning-Beschleuniger in Standard-Controllern für Rechenzentren und Client-Anwendungen implementiert. Als Ergebnis haben sie eine eigenständige Architektur erstellt, die weniger Strom verbraucht als klassische SSD-Controller. Das Unternehmen hofft, dass das System in den Bereichen Peripherie-Computing, Big-Data-Analyse und IoT Anwendung findet.
Kürzlich aktualisierte Reihe von Laufwerken Western Digital Blue. Im April präsentierten Entwickler eine Lösung - WD Blue SSD basierend auf der SanDisk-Technologie, die WD vor einem Jahr erworben hat. Die aktualisierten WD Blue SSDs bieten verbesserte Leistung und Energieeffizienz. Die Architektur basiert auf der
NVMe- Spezifikation, die den Zugriff auf SSDs ermöglicht, die über PCI Express verbunden sind.
Diese Spezifikation verbessert die Leistung von SSDs bei einer großen Anzahl gleichzeitiger Anforderungen und beschleunigt den Datenzugriff. Darüber hinaus können Sie mit NVMe die SSD-Schnittstelle standardisieren - Hardwarehersteller müssen keine
Ressourcen mehr für die Entwicklung eindeutiger Treiber, Konnektoren und Formfaktoren aufwenden.
Perspektiven
Der Markt für SSDs für Rechenzentren tendiert dazu, die Architektur zu vereinfachen, den Betrieb von Speicherkomponenten zu automatisieren und die Energieeffizienz zu erhöhen. Die Entwicklung von Ingenieuren vom MIT löst das letzte Problem. Die Autoren
erwarten, dass LightStore zum Industriestandard für die SSD-Speicherung im Rechenzentrum wird. Und wir können davon ausgehen, dass in Zukunft neue, noch effizientere Architekturen auf ihrer Basis erscheinen werden.
Einige Materialien aus dem First Corporate IaaS Blog: