Le système réduira de moitié les coûts énergétiques.
/ photo Andy Melton CC BY-SAPourquoi avons-nous besoin d'une nouvelle architecture
Selon Data Center Dynamics , d'ici 2030, les appareils électroniques consommeront 40% de toute l'énergie générée sur la planète. Environ 20% de ce volume sera dans le secteur informatique et les centres de données. Selon des analystes européens, les centres de données "consomment" déjà 1,4% de toute l'électricité. Ce
chiffre devrait atteindre 5% d'ici 2020 .
Une partie importante de l'énergie consommée par le stockage SSD. Entre 2012 et 2017, la part des disques SSD dans les centres de données est
passée de 8 à 22% . Bien que les SSD consomment un tiers moins d'énergie (
PDF, p. 13 ) que les disques durs, à l'échelle du centre de données, les factures d'électricité restent élevées.
Pour réduire la consommation d'énergie des disques SSD dans le centre de données, les ingénieurs du MIT ont développé une nouvelle architecture pour le stockage SSD. Il s'appelle LightStore et vous permet de connecter des disques directement au réseau de centres de données, en contournant les serveurs de stockage. Selon
les auteurs, le système réduira de moitié les coûts énergétiques.
Comment ça marche
LightStore est un stockage flash à valeur-clé dans lequel les demandes des utilisateurs pour les lecteurs sont affichées sous forme de clés. Ils sont ensuite envoyés au serveur, qui émet les données associées à cette clé.
Le système
contient un processeur écoénergétique intégré, une mémoire DRAM et NAND. Il est contrôlé par un contrôleur et un logiciel spécial. Le contrôleur est responsable du travail avec les baies NAND, et le logiciel est responsable du traitement des demandes KV et du stockage des paires de clés. L'architecture logicielle est basée sur l'
arborescence LSM , qui est utilisée dans de nombreux SGBD modernes.
Le diagramme d'architecture peut être représenté comme suit:
Le diagramme montre les composants de base de LightStore. Un cluster de nœuds fonctionne avec des paires clé-valeur. Les serveurs d'applications se connectent au système à l'aide d'adaptateurs. Ils convertissent les demandes des clients (par exemple fread () de l'API POSIX) en demandes KV. De plus, l'architecture dispose d'adaptateurs distincts pour
YCSB , bloc (basé sur le module BUSE) et stockages de fichiers.
Lors de la distribution des demandes, l'adaptateur utilise
un hachage cohérent . Il est utilisé sur des systèmes comme Redis ou Swift. À l'aide de la clé de demande KV, l'adaptateur génère une clé de hachage, dont la valeur détermine le nœud cible.
La capacité du cluster LightStore évolue de manière linéaire - il suffit de connecter des nœuds supplémentaires au réseau. Dans certains cas, vous devrez peut-être acheter de nouveaux commutateurs. Cependant, les développeurs ont fourni à chaque nœud des emplacements supplémentaires pour la connexion des puces NAND.
Potentiel architectural
Les ingénieurs du MIT affirment que la solution basée sur LightStore a une bande passante de 620 Mbps pour 10 Gigabit Ethernet. Un nœud consomme 10 watts au lieu des 20 watts habituels (dans les systèmes SSD utilisés par les centres de données aujourd'hui). De plus, l'équipement occupe la moitié de l'espace.
Maintenant, les développeurs finalisent certains points. Par exemple, LightStore n'est pas en mesure de travailler avec des requêtes de plage et de petites requêtes. Ces fonctionnalités seront ajoutées à l'avenir, car LightStore utilise des arbres LSM. En outre, le système dispose toujours d'un ensemble limité d'adaptateurs - les adaptateurs YCSB et de bloc sont pris en charge. À l'avenir, LightStore sera en mesure de traiter les requêtes SQL, etc.
Autres développements
À l'été 2018, Marvell, une entreprise de stockage, a présenté une nouvelle gamme de contrôleurs SSD basés sur l'IA. Les développeurs ont implémenté des accélérateurs d'apprentissage en profondeur NVIDIA dans des contrôleurs standard pour les centres de données et les applications clientes. En conséquence, ils ont créé une architecture autonome qui consomme moins d'énergie que les contrôleurs SSD classiques. La société espère que le système trouvera une application dans l'informatique périphérique, l'analyse de Big Data et l'IoT.
Gamme de disques récemment mise à jour Western Digital Blue. En avril, les développeurs ont présenté une solution - WD Blue SSD basée sur la technologie SanDisk, que WD a acquise il y a un an. Les disques SSD WD Blue mis à jour présentent des performances et une efficacité énergétique améliorées. L'architecture est basée sur la spécification
NVMe , qui permet d'accéder aux SSD connectés via PCI Express.
Cette spécification améliore les performances des SSD avec un grand nombre de demandes simultanées et accélère l'accès aux données. De plus, NVMe vous permet de standardiser l'interface SSD - les fabricants de matériel n'ont
plus à consacrer de ressources au développement de pilotes, connecteurs et facteurs de forme uniques.
Perspectives
Le marché des SSD pour centres de données s'oriente vers une simplification de l'architecture, une automatisation du fonctionnement des composants de stockage et une augmentation de l'efficacité énergétique. Le développement d'ingénieurs du MIT résout le dernier problème. Les auteurs
s'attendent à
ce que LightStore devienne la norme de l'industrie pour le stockage SSD dans le centre de données. Et nous pouvons supposer qu'à l'avenir de nouvelles architectures encore plus efficaces apparaîtront sur sa base.
Quelques éléments du premier blog d'entreprise IaaS: