[Supercomputación 2019]. Almacenamiento en múltiples nubes como una aplicación para los nuevos discos Kingston DC1000M

Imagine que está comenzando un negocio médico innovador: una selección individual de medicamentos basada en un análisis del genoma humano. Cada paciente tiene 3 mil millones de pares de genes, y un servidor típico en procesadores x86 tardará varios días en calcularse. Usted sabe que puede acelerar el proceso en un servidor con un procesador FPGA que paraleliza los cálculos en miles de subprocesos. Calculará el genoma en aproximadamente una hora. Estos servidores se pueden alquilar en Amazon Web Services (AWS). Pero aquí está la mala suerte: el cliente representado por el hospital está categóricamente en contra de colocar datos genéticos en la nube del proveedor. Como ser Kingston y la startup basada en la nube mostraron la arquitectura Private MultiCloud Storage (PMCS) en Supercomputing 2019 para abordar este desafío.

Tres condiciones para la informática de alto rendimiento

El cálculo del genoma humano no es la única tarea en el campo de la informática de alto rendimiento (HPC, High Performance Computing). Los científicos calculan los campos físicos, los ingenieros, los detalles de las aeronaves, los financieros, los modelos económicos, y todos analizan los grandes datos, crean redes neuronales y hacen muchos otros cálculos complejos.

Tres condiciones para HPC son una tremenda potencia informática, una capacidad muy alta y un almacenamiento rápido, y un ancho de banda de red elevado. Por lo tanto, la práctica estándar de realizar cálculos de LDC es en el propio centro de datos de la compañía (local) o en el proveedor en la nube.

Pero no todas las empresas tienen sus propios centros de datos, y quien lo tiene a menudo pierde ante los centros de datos comerciales en términos de eficiencia de recursos (se requieren gastos de capital para la compra y actualización de hardware y software, pago por personal altamente calificado, etc.) . Los proveedores de la nube, por el contrario, ofrecen recursos de TI de acuerdo con el modelo de gastos operativos de pago por uso, es decir, el alquiler se cobra solo por el tiempo de uso. Cuando se realizan los cálculos, los servidores de la cuenta se pueden eliminar y, por lo tanto, ahorrar presupuestos de TI. Pero si existe una prohibición legislativa o corporativa de transferir datos al proveedor, la informática HPC en la nube no está disponible.

Almacenamiento privado de MultiCloud

La arquitectura de Private MultiCloud Storage está diseñada para proporcionar acceso a servicios en la nube al dejar físicamente los datos en el sitio de la empresa o en un compartimento seguro separado del centro de datos utilizando el servicio de colocación. En esencia, es un modelo de computación distribuida centrada en datos donde los servidores en la nube trabajan con sistemas de almacenamiento remoto desde una nube privada. En consecuencia, utilizando el mismo almacén de datos local, puede trabajar con servicios en la nube de los proveedores más grandes: AWS, MS Azure, Google Cloud Platform, etc.

Mostrando un ejemplo de implementación de PMCS en Supercomputing-2019, Kingston introdujo un sistema de almacenamiento de alto rendimiento (DCS) basado en SSD DC1000M, y una de las nuevas empresas basadas en la nube es el software de administración StorOne S1 para almacenamiento definido por software y canales de comunicación dedicados con los principales proveedores de la nube. .

Cabe señalar que PMCS como modelo de trabajo de computación en la nube con almacenamiento privado está diseñado para el mercado norteamericano con la conectividad de red desarrollada entre centros de datos, que es compatible con la infraestructura de AT&T y Equinix. Por lo tanto, el ping entre el sistema de almacenamiento en la colocación en cualquier nodo Equinix Cloud Exchange y la nube de AWS es inferior a 1 milisegundo (fuente: ITProToday ).

En la demostración de la arquitectura PMCS mostrada en la exposición, el sistema de almacenamiento DC1000M NVMe se colocó y las máquinas virtuales se pinzaron entre sí en las nubes AWS, MS Azure, Google Cloud Platform. La aplicación cliente-servidor trabajó de forma remota con el sistema de almacenamiento Kingston y los servidores HP DL380 en el centro de datos y, a través de la infraestructura de los canales de comunicación, Equinix obtuvo acceso a las plataformas en la nube de los principales proveedores mencionados anteriormente.



Diapositiva de la presentación de Private MultiCloud Storage en Supercomputing-2019. Fuente: Kingston

Diferentes compañías ofrecen un software similar para administrar la arquitectura de un almacenamiento privado en múltiples nubes. Los términos para esta arquitectura también pueden sonar de manera diferente: almacenamiento privado de MultiCloud o almacenamiento privado para la nube.

"Las supercomputadoras modernas se ejecutan en una gran cantidad de aplicaciones HPC que están a la vanguardia de todo, desde la exploración de petróleo y gas hasta pronósticos meteorológicos, mercados financieros y el desarrollo de nuevas tecnologías", dijo Keat Shimmenti, Gerente de Gobierno Corporativo para SSD en Kingston. "Estas aplicaciones HPC requieren una mejor correspondencia entre el rendimiento del procesador y la velocidad de E / S". Nos enorgullece hablar sobre cómo las soluciones de Kingston ayudan a los avances en informática, ofreciendo el rendimiento que necesita en los entornos y aplicaciones informáticos más extremos del mundo ".

Drive DC1000M y un ejemplo de un sistema de almacenamiento basado en él

El DC1000M U.2 NVMe SSD está diseñado por Kingston para centros de datos y está específicamente diseñado para un trabajo intensivo con datos y HPC, como aplicaciones para inteligencia artificial (AI) y aprendizaje automático (ML).



Unidad NVMe 3.84TB DC1000M U.2. Fuente: Kingston

Las unidades DC1000M U.2 se basan en la memoria Intel 3D NAND de 96 capas controlada por el controlador Silicon Motion SM2270 (PCIe 3.0 y NVMe 3.0). Silicon Motion SM2270 es un controlador corporativo NVMe de 16 canales con interfaz PCIe 3.0 x8, bus de datos DRAM dual de 32 bits y tres procesadores duales ARM Cortex R5.

Se ofrecen DC1000M de varios tamaños para su lanzamiento: de 0,96 a 7,68 TB (los más populares se consideran 3,84 y 7,68 TB). El rendimiento de la unidad se estima en 800 mil IOPS.



Sistema de almacenamiento con 10x DC1000M U.2 NVMe 7.68 TB. Fuente: Kingston

Como ejemplo del sistema de almacenamiento para aplicaciones HPC, Kingston presentó una solución de montaje en bastidor con 10 unidades DC1000M U.2 NVMe, cada una con una capacidad de 7,68 TB, en Supercomputing-2019. El sistema de almacenamiento se basa en SB122A-PH, la plataforma de factor de forma 1U de AIC. Procesadores: 2x Intel Xeon CPU E5-2660, Kingston DRAM 128 GB (8x16 GB) DDR4-2400 (Número de pieza: KSM24RS4 / 16HAI). Como sistema operativo, Ubuntu 18.04.3 LTS, Linux kernel ver 5.0.0-31 están instalados. La prueba gfio v3.13 (comprobador de E / S flexible) mostró un rendimiento de lectura de 5.8 millones de IOPS con un rendimiento de 23.8 Gb / s.

El sistema de almacenamiento presentado mostró características impresionantes en el parámetro de lectura estable de 5.8 millones de IOPS (operaciones de entrada-salida por segundo). Esto es dos órdenes de magnitud más rápido que los SSD para sistemas de mercado masivo. Esta velocidad de lectura es necesaria para las aplicaciones HPC que se ejecutan en procesadores especializados.

Private Cloud Storage HPC en Rusia

La tarea de realizar computación de alto rendimiento con el proveedor, pero guardar físicamente los datos en las instalaciones, también es relevante para las empresas rusas. Otro caso común en las empresas nacionales es cuando, cuando se utilizan servicios en la nube extranjeros, los datos deben ubicarse en el territorio de la Federación de Rusia. Se nos pidió que comentáramos estas situaciones en nombre del proveedor de la nube Selectel como socio de Kingston desde hace mucho tiempo.

“En Rusia, puede construir una arquitectura similar, además, con servicio en ruso y todos los documentos de informes para la contabilidad del cliente. Si una empresa necesita realizar cómputo de alto rendimiento utilizando almacenamiento local, nosotros en Selectel alquilamos servidores con varios tipos de procesadores, incluidos FPGA , GPU o CPU multinúcleo. Además, organizaremos la instalación de un canal óptico dedicado entre la oficina del cliente y nuestro centro de datos a través de socios ", comenta Alexander Tugov, Director de Desarrollo de Servicios Selectel. - Un cliente también puede colocar su almacenamiento en una ubicación en la sala de máquinas con un modo de acceso especial y ejecutar aplicaciones tanto en nuestros servidores como en las nubes de los proveedores globales AWS, MS Azure, Google Cloud. Por supuesto, la demora de la señal en este último caso será mayor que si el almacenamiento del cliente estuviera en los EE. UU., Pero se proporcionaría una conexión de banda ancha multi-nube ".

En el próximo artículo, hablaremos sobre otra solución de Kingston, que se presentó en la exposición Supercomputing-2019 (Denver, Colorado, EE. UU.) Y está destinada a aplicaciones de aprendizaje automático y análisis de grandes datos utilizando procesadores gráficos. Esta es la tecnología GPUDirect Storage, que proporciona transferencia de datos directa entre el almacenamiento NVMe y la memoria del procesador GPU. Además, explicaremos cómo logramos alcanzar una velocidad de lectura de datos de 5.8 millones de IOPS en almacenamiento montado en bastidor en discos NVMe.

Para obtener más información sobre los productos de Kingston Technology, visite el sitio web de la compañía .