O sistema reduzirá os custos de energia pela metade.
/ foto Andy Melton CC BY-SAPor que precisamos de uma nova arquitetura
Segundo o Data Center Dynamics , até 2030 os dispositivos eletrônicos consumirão 40% de toda a energia gerada no planeta. Cerca de 20% desse volume estará no setor de TI e em data centers. Segundo analistas europeus, os data centers já estão "absorvendo" 1,4% de toda a eletricidade.
Espera-se que esse
número suba para 5% até 2020 .
Uma parte significativa da energia consumida pelo armazenamento SSD. No período de 2012 a 2017, a participação de unidades de estado sólido nos data centers
aumentou de 8 para 22% . Embora os SSDs consumam um terço a menos de energia (
PDF, p. 13 ) do que os HDDs, em uma escala de data center, as contas de eletricidade permanecem grandes.
Para reduzir o consumo de energia de unidades de estado sólido no data center, os engenheiros do MIT desenvolveram uma nova arquitetura para armazenamento SSD. Chama-se LightStore e permite conectar unidades diretamente à rede de data centers, ignorando os servidores de armazenamento. Segundo
os autores, o sistema reduzirá os custos de energia pela metade.
Como isso funciona
LightStore é um armazenamento flash de valor-chave no qual as solicitações de unidades de usuários são exibidas como chaves. Em seguida, eles são enviados para o servidor, que emite os dados associados a essa chave.
O sistema
contém um processador integrado de baixo consumo de energia, DRAM e memória NAND. É controlado por um controlador e software especial. O controlador é responsável por trabalhar com matrizes NAND e o software é responsável por processar solicitações KV e armazenar pares de chaves. A arquitetura do software é baseada na
árvore LSM , usada em muitos DBMSs modernos.
O diagrama da arquitetura pode ser representado da seguinte maneira:
O diagrama mostra os componentes básicos do LightStore. Um cluster de nós trabalha com pares de valores-chave. Os servidores de aplicativos se conectam ao sistema usando adaptadores. Eles convertem solicitações de clientes (por exemplo, fread () da API POSIX) em solicitações KV. Além disso, a arquitetura possui adaptadores separados para
YCSB , bloco (com base no módulo
BUSE ) e armazenamento de arquivos.
Ao distribuir pedidos, o adaptador usa
hash consistente . É usado em sistemas como Redis ou Swift. Usando a chave de solicitação KV, o adaptador gera uma chave de hash, cujo valor determina o nó de destino.
A capacidade do cluster LightStore é dimensionada linearmente - basta conectar nós adicionais à rede. Em alguns casos, pode ser necessário comprar novos comutadores. No entanto, os desenvolvedores forneceram a cada nó slots adicionais para conectar chips NAND.
Potencial arquitetônico
Os engenheiros do MIT dizem que a solução baseada na LightStore tem uma largura de banda de 620 Mbps para 10 Gigabit Ethernet. Um nó consome 10 watts em vez dos 20 watts usuais (nos sistemas SSD usados pelos data centers atualmente). Além disso, o equipamento ocupa metade do espaço.
Agora, os desenvolvedores estão finalizando alguns pontos. Por exemplo, o LightStore não pode trabalhar com consultas de intervalo e consultas pequenas. Esses recursos serão adicionados no futuro, pois o LightStore usa árvores LSM. Além disso, o sistema ainda possui um conjunto limitado de adaptadores - os adaptadores YCSB e de bloco são suportados. No futuro, o LightStore poderá processar consultas SQL, etc.
Outros desenvolvimentos
No verão de 2018, a Marvell, uma empresa de armazenamento, lançou uma nova linha de controladores SSD baseados em IA. Os desenvolvedores implementaram aceleradores de aprendizado profundo da NVIDIA em controladores padrão para data centers e aplicativos clientes. Como resultado, eles criaram uma arquitetura autônoma que consome menos energia do que os controladores SSD clássicos. A empresa espera que o sistema encontre aplicações em computação periférica, análise de big data e IoT.
Linha de drives recentemente atualizada Western Digital Blue. Em abril, os desenvolvedores apresentaram uma solução - o WD Blue SSD baseado na tecnologia SanDisk, que a WD adquiriu há um ano. Os SSDs WD Blue atualizados apresentam desempenho aprimorado e eficiência energética. A arquitetura é baseada na especificação
NVMe , que fornece acesso aos SSDs conectados via PCI Express.
Essa especificação melhora o desempenho dos SSDs com um grande número de solicitações simultâneas e acelera o acesso aos dados. Além disso, o NVMe permite padronizar a interface SSD - os fabricantes de hardware não
precisam mais gastar recursos no desenvolvimento de drivers, conectores e fatores de forma exclusivos.
Perspectivas
O mercado de SSDs para data centers está avançando no sentido de simplificar a arquitetura, automatizar a operação de componentes de armazenamento e aumentar a eficiência energética. O desenvolvimento de engenheiros do MIT resolve o último problema. Os autores
esperam que o LightStore se torne o padrão do setor para armazenamento de SSD no data center. E podemos assumir que, no futuro, novas arquiteturas ainda mais eficientes aparecerão em sua base.
Alguns materiais do primeiro blog corporativo de IaaS: