El sistema reducirá los costos de energía a la mitad.
/ foto Andy Melton CC BY-SA¿Por qué necesitamos una nueva arquitectura?
Según Data Center Dynamics , para 2030 los dispositivos electrónicos consumirán el 40% de toda la energía generada en el planeta. Alrededor del 20% de este volumen estará en el sector de TI y centros de datos. Según analistas europeos, los centros de datos ya están "tomando" el 1,4% de toda la electricidad. Se
espera que esta
cifra aumente al 5% para 2020 .
Una parte importante de la energía consumida por el almacenamiento SSD. Entre 2012 y 2017, la proporción de unidades de estado sólido en los centros de datos
aumentó del 8 al 22% . Aunque los SSD consumen un tercio menos de energía (
PDF, p. 13 ) que los HDD, en una escala de centro de datos, las facturas de electricidad siguen siendo grandes.
Para reducir el consumo de energía de las unidades de estado sólido en el centro de datos, los ingenieros del MIT han desarrollado una nueva arquitectura para el almacenamiento SSD. Se llama LightStore y le permite conectar unidades directamente a la red de centros de datos, sin pasar por los servidores de almacenamiento. Según
los autores, el sistema reducirá los costos de energía a la mitad.
Como funciona
LightStore es un almacenamiento flash de valor clave en el que las solicitudes de los usuarios de unidades se muestran como claves. Luego se envían al servidor, que emite los datos asociados con esta clave.
El sistema
contiene un procesador de eficiencia energética integrado, DRAM y memoria NAND. Está controlado por un controlador y un software especial. El controlador es responsable de trabajar con matrices NAND, y el software es responsable de procesar las solicitudes de KV y almacenar pares de claves. La arquitectura del software se basa en el
árbol LSM , que se utiliza en muchos DBMS modernos.
El diagrama de arquitectura se puede representar de la siguiente manera:
El diagrama muestra los componentes básicos de LightStore. Un grupo de nodos funciona con pares clave-valor. Los servidores de aplicaciones se conectan al sistema mediante adaptadores. Convierten las solicitudes de los clientes (por ejemplo, fread () de la API POSIX) en solicitudes KV. Además, la arquitectura tiene adaptadores separados para
YCSB , bloque (basado en el módulo BUSE) y almacenamientos de archivos.
Al distribuir solicitudes, el adaptador utiliza
hashing coherente . Se utiliza en sistemas como Redis o Swift. Usando la clave de solicitud KV, el adaptador genera una clave hash, cuyo valor determina el nodo de destino.
La capacidad del clúster LightStore se escala linealmente: solo conecte nodos adicionales a la red. En algunos casos, es posible que deba comprar nuevos conmutadores. Sin embargo, los desarrolladores proporcionaron a cada nodo ranuras adicionales para conectar chips NAND.
Potencial arquitectónico
Los ingenieros del MIT dicen que la solución basada en LightStore tiene un ancho de banda de 620 Mbps para 10 Gigabit Ethernet. Un nodo consume 10 vatios en lugar de los 20 vatios habituales (en los sistemas SSD utilizados hoy por los centros de datos). Además, el equipo ocupa la mitad del espacio.
Ahora los desarrolladores están finalizando algunos puntos. Por ejemplo, LightStore no puede trabajar con consultas de rango y consultas pequeñas. Estas características se agregarán en el futuro, ya que LightStore usa árboles LSM. Además, el sistema todavía tiene un conjunto limitado de adaptadores: se admiten YCSB y adaptadores de bloque. En el futuro, LightStore podrá procesar consultas SQL, etc.
Otros desarrollos
En el verano de 2018, Marvell, una empresa de almacenamiento, presentó una nueva línea de controladores SSD basados en inteligencia artificial. Los desarrolladores han implementado aceleradores de aprendizaje profundo de NVIDIA en controladores estándar para centros de datos y aplicaciones cliente. Como resultado, crearon una arquitectura independiente que consume menos energía que los controladores SSD clásicos. La compañía espera que el sistema encuentre aplicaciones en informática periférica, análisis de big data e IoT.
Línea de unidades recientemente actualizada Western Digital Blue. En abril, los desarrolladores presentaron una solución: WD Blue SSD basada en la tecnología SanDisk, que WD adquirió hace un año. Los SSD WD Blue actualizados cuentan con un rendimiento mejorado y eficiencia energética. La arquitectura se basa en la especificación
NVMe , que proporciona acceso a los SSD conectados a través de PCI Express.
Esta especificación mejora el rendimiento de los SSD con una gran cantidad de solicitudes concurrentes y acelera el acceso a los datos. Además, NVMe le permite estandarizar la interfaz SSD: los fabricantes de hardware ya
no tienen que gastar recursos en el desarrollo de controladores, conectores y factores de forma únicos.
Perspectivas
El mercado de SSD para centros de datos se está moviendo hacia la simplificación de la arquitectura, automatizando la operación de los componentes de almacenamiento y aumentando la eficiencia energética. El desarrollo de ingenieros del MIT resuelve el último problema. Los autores
esperan que LightStore se convierta en el estándar de la industria para el almacenamiento SSD en el centro de datos. Y podemos suponer que en el futuro aparecerán nuevas arquitecturas aún más eficientes sobre su base.
Algunos materiales del primer blog corporativo de IaaS: