[Supercomputação 2019]. Armazenamento em várias nuvens como um aplicativo para novas unidades Kingston DC1000M

Imagine que você está iniciando um negócio médico inovador - uma seleção individual de medicamentos com base em uma análise do genoma humano. Cada paciente possui 3 bilhões de pares de genes e um servidor típico em processadores x86 levará vários dias para calcular. Você sabe que pode acelerar o processo em um servidor com um processador FPGA que paralelize os cálculos em milhares de threads. Ele calculará o genoma em cerca de uma hora. Esses servidores podem ser alugados no Amazon Web Services (AWS). Mas aqui está a má sorte - o cliente na pessoa do hospital é categoricamente contra a colocação de dados genéticos na nuvem do fornecedor. Como ser A Kingston e a startup baseada na nuvem apresentaram a arquitetura Private MultiCloud Storage (PMCS) na Supercomputing 2019 para enfrentar esse desafio.

Três condições para computação de alto desempenho

O cálculo do genoma humano não é a única tarefa no campo da computação de alto desempenho (HPC, High Performance Computing). Os cientistas calculam campos físicos, engenheiros - detalhes de aeronaves, financiadores - modelos econômicos e, juntos, analisam big data, constroem redes neurais e fazem muitos outros cálculos complexos.

Três condições para o HPC são um tremendo poder de computação, capacidade muito alta e armazenamento rápido e alta largura de banda da rede. Portanto, a prática padrão de executar cálculos de LDC é no próprio data center da empresa (no local) ou no provedor na nuvem.

Mas nem todas as empresas têm seus próprios datacenters, e quem quer que os perca com frequência para os datacenters comerciais em termos de eficiência de recursos (despesas de capital são necessárias para a compra e atualização de hardware e software, pagamento para pessoal altamente qualificado etc.) . Os provedores de nuvem, pelo contrário, oferecem recursos de TI de acordo com o modelo de despesas operacionais conforme o uso, ou seja, o aluguel é cobrado apenas pelo tempo de uso. Quando os cálculos são feitos, os servidores da conta podem ser excluídos e, assim, salvar os orçamentos de TI. Porém, se houver uma proibição legislativa ou corporativa de transferir dados para o provedor, a computação HPC na nuvem não estará disponível.

Armazenamento MultiCloud Privado

A arquitetura do Private MultiCloud Storage foi projetada para fornecer acesso aos serviços em nuvem, deixando fisicamente os dados em si no site da empresa ou em um compartimento seguro separado do data center no serviço de colocation. Em essência, é um modelo de computação distribuída centrada em dados em que os servidores em nuvem trabalham com sistemas de armazenamento remoto a partir de uma nuvem privada. Assim, usando o mesmo data warehouse local, você pode trabalhar com serviços em nuvem dos maiores provedores: AWS, MS Azure, Google Cloud Platform, etc.

Mostrando um exemplo de implementação do PMCS na Supercomputing-2019, a Kingston apresentou uma amostra do sistema de armazenamento de dados de alto desempenho (DCS) com base nos SSDs DC1000M, e uma das startups baseadas na nuvem é o software de gerenciamento StorOne S1 para armazenamento definido por software e canais de comunicação dedicados com os principais provedores de nuvem .

Deve-se observar que o PMCS, como modelo de trabalho da computação em nuvem com armazenamento privado, foi projetado para o mercado norte-americano com a conectividade de rede desenvolvida entre os data centers, com suporte na infraestrutura da AT&T e Equinix. Portanto, o ping entre o sistema de armazenamento na colocação em qualquer nó do Equinix Cloud Exchange e a nuvem da AWS é inferior a 1 milissegundo (fonte: ITProToday ).

Na demonstração da arquitetura PMCS mostrada na exposição, o sistema de armazenamento DC1000M NVMe foi colocado e as máquinas virtuais fizeram ping entre si nas nuvens da AWS, MS Azure e Google Cloud Platform. O aplicativo cliente-servidor trabalhou remotamente com o sistema de armazenamento Kingston e os servidores HP DL380 no datacenter e através da infraestrutura dos canais de comunicação da Equinix ganhou acesso às plataformas em nuvem dos principais fornecedores mencionados acima.



Slide da apresentação do Private MultiCloud Storage em Supercomputing-2019. Fonte: Kingston

O software semelhante para gerenciar a arquitetura de um armazenamento privado em várias nuvens é oferecido por diferentes empresas. Os termos para essa arquitetura também podem parecer diferentes - Armazenamento MultiCloud Privado ou Armazenamento Privado para Nuvem.

"Os supercomputadores modernos rodam em uma série de aplicativos de HPC que estão na vanguarda de tudo, desde a exploração de petróleo e gás a previsões meteorológicas, mercados financeiros e desenvolvimento de novas tecnologias", disse Keat Shimmenti, gerente de governança corporativa para SSDs da Kingston. "Esses aplicativos HPC exigem uma correspondência muito melhor entre desempenho do processador e velocidade de E / S". Temos orgulho em falar sobre como as soluções da Kingston ajudam a inovar na computação, fornecendo o desempenho necessário nos ambientes e aplicativos de computação mais extremos do mundo. ”

Drive DC1000M e um exemplo de sistema de armazenamento baseado nele

O DC1000M U.2 NVMe SSD foi desenvolvido pela Kingston para data centers e foi projetado especificamente para trabalhos intensivos com dados e HPC, como aplicativos para inteligência artificial (IA) e aprendizado de máquina (ML).



Unidade NVMe de 3,84 TB DC1000M U.2. Fonte: Kingston

As unidades DC1000M U.2 são construídas com base na memória Intel 3D NAND de 96 camadas, controlada pelo controlador Silicon Motion SM2270 (PCIe 3.0 e NVMe 3.0). O Silicon Motion SM2270 é um controlador corporativo NVMe de 16 canais com interface PCIe 3.0 x8, barramento de dados DRAM duplo de 32 bits e três processadores duplos ARM Cortex R5.

Diferentes tamanhos de DC1000M são oferecidos para lançamento: de 0,96 a 7,68 TB (os mais populares são considerados 3,84 e 7,68 TB). O desempenho da unidade é estimado em 800 mil IOPS.



Sistema de armazenamento com 10x DC1000M U.2 NVMe 7,68 TB. Fonte: Kingston

Como exemplo do sistema de armazenamento para aplicativos HPC, a Kingston apresentou uma solução de montagem em rack com 10 unidades DC1000M U.2 NVMe, cada uma com capacidade de 7,68 TB, na Supercomputing-2019. O sistema de armazenamento é baseado na plataforma de fator de forma 1U da SB122A-PH, AIC. Processadores: 2x CPU Intel Xeon E5-2660, DRAM Kingston de 128 GB (8x16 GB) DDR4-2400 (Número da peça: KSM24RS4 / 16HAI). Como o sistema operacional, o Ubuntu 18.04.3 LTS, o kernel Linux 5.0.0-31 está instalado. O teste gfio v3.13 (testador de E / S flexível) mostrou desempenho de leitura de 5,8 milhões de IOPS com uma taxa de transferência de 23,8 Gb / s.

O sistema de armazenamento apresentado mostrou características impressionantes no parâmetro de leitura estável de 5,8 milhões de IOPS (operações de E / S por segundo). São duas ordens de magnitude mais rápidas que os SSDs para sistemas de mercado de massa. Essa velocidade de leitura é necessária para aplicativos HPC executados em processadores especializados.

HPC de armazenamento em nuvem privada na Rússia

A tarefa de executar computação de alto desempenho com o provedor, mas salvar fisicamente os dados no local, também é relevante para as empresas russas. Outro caso comum nos negócios domésticos é quando, ao usar serviços de nuvem estrangeiros, os dados devem estar localizados na Federação Russa. Nos pediram para comentar sobre essas situações em nome do provedor de nuvem Selectel como parceiro de longa data da Kingston.

“Na Rússia, você também pode construir uma arquitetura semelhante, com serviço em russo e todos os documentos de relatórios para contabilidade de clientes. Se uma empresa precisar executar computação de alto desempenho usando sistemas de armazenamento local, nós da Selectel alugamos servidores com vários tipos de processadores, incluindo FPGA , GPU ou CPUs com vários núcleos. Além disso, organizaremos a colocação de um canal óptico dedicado entre o escritório do cliente e nosso data center por meio de parceiros ”, comenta Alexander Tugov, diretor de desenvolvimento de serviços da Selectel. - Um cliente também pode colocar seu armazenamento em uma colocação na sala de máquinas com um modo de acesso especial e executar aplicativos em nossos servidores e nas nuvens dos fornecedores globais AWS, MS Azure, Google Cloud. É claro que, no último caso, o atraso do sinal será maior do que se o armazenamento do cliente estivesse nos EUA, mas uma conexão de banda larga em nuvem múltipla seria fornecida. ”

No próximo artigo, falaremos sobre outra solução Kingston, apresentada na exposição Supercomputing-2019 (Denver, Colorado, EUA) e destinada a aplicativos de aprendizado de máquina e análise de big data usando processadores gráficos. Esta é a tecnologia GPUDirect Storage, que fornece transferência direta de dados entre o armazenamento NVMe e a memória do processador GPU. Além disso, explicaremos como conseguimos obter uma velocidade de leitura de dados de 5,8 milhões de IOPS no armazenamento montado em rack em discos NVMe.

Para obter mais informações sobre os produtos da Kingston Technology, visite o site da empresa .