[Supercalcul 2019]. Stockage multicloud en tant qu'application pour les nouveaux disques Kingston DC1000M

Imaginez que vous démarrez une entreprise médicale innovante - une sélection individuelle de médicaments basée sur une analyse du génome humain. Chaque patient possède 3 milliards de paires de gènes, et un serveur typique sur des processeurs x86 prendra plusieurs jours à calculer. Vous savez que vous pouvez accélérer le processus sur un serveur avec un processeur FPGA qui parallélise les calculs sur des milliers de threads. Il calculera le génome dans environ une heure. Ces serveurs peuvent être loués sur Amazon Web Services (AWS). Mais voici la malchance - le client en personne de l'hôpital est catégoriquement contre le placement de données génétiques dans le cloud du fournisseur. Comment être Kingston et la startup basée sur le cloud ont présenté l'architecture de stockage MultiCloud privé (PMCS) à Supercomputing 2019 pour relever ce défi.

Trois conditions pour un calcul haute performance

Le calcul du génome humain n'est pas la seule tâche dans le domaine du calcul haute performance (HPC, High Performance Computing). Les scientifiques calculent les champs physiques, les ingénieurs - les détails des avions, les financiers - les modèles économiques, et tous ensemble ils analysent les mégadonnées, construisent des réseaux de neurones et effectuent de nombreux autres calculs complexes.

Trois conditions pour HPC sont une puissance de calcul énorme, un stockage très vaste et rapide et une bande passante réseau élevée. Par conséquent, la pratique standard d'effectuer des calculs LDC se trouve dans le propre centre de données de l'entreprise (sur site) ou chez le fournisseur dans le cloud.

Mais toutes les entreprises ne disposent pas de leurs propres centres de données, et ceux qui les ont perdent souvent face aux centres de données commerciaux en termes d'efficacité des ressources (des dépenses en capital sont nécessaires pour l'achat et la mise à jour du matériel et des logiciels, le paiement de personnel hautement qualifié, etc.) . Les fournisseurs de cloud, au contraire, offrent des ressources informatiques selon le modèle de dépenses d'exploitation Pay-as-you-go, c'est-à-dire le loyer est facturé uniquement pour le temps d'utilisation. Une fois les calculs effectués, les serveurs du compte peuvent être supprimés et ainsi économiser les budgets informatiques. Mais s'il existe une interdiction législative ou d'entreprise de transférer des données au fournisseur, l'informatique HPC dans le cloud n'est pas disponible.

Stockage MultiCloud privé

L'architecture de Private MultiCloud Storage est conçue pour fournir un accès aux services cloud en laissant physiquement les données elles-mêmes sur le site de l'entreprise ou dans un compartiment sécurisé séparé du centre de données à l'aide du service de colocation. Il s'agit essentiellement d'un modèle informatique distribué centré sur les données où les serveurs cloud fonctionnent avec des systèmes de stockage à distance à partir d'un cloud privé. En conséquence, en utilisant le même entrepôt de données local, vous pouvez travailler avec les services cloud des plus grands fournisseurs: AWS, MS Azure, Google Cloud Platform, etc.

Montrant un exemple d'implémentation PMCS à Supercomputing-2019, Kingston a présenté un système de stockage haute performance (DCS) basé sur les SSD DC1000M, et l'une des startups basées sur le cloud est le logiciel de gestion StorOne S1 pour le stockage défini par logiciel et les canaux de communication dédiés avec les principaux fournisseurs de cloud .

Il convient de noter que le PMCS en tant que modèle opérationnel de cloud computing avec stockage privé est conçu pour le marché nord-américain avec la connectivité réseau développée entre les centres de données, qui est prise en charge sur les infrastructures AT&T et Equinix. Ainsi, le ping entre le système de stockage au niveau de la colocalisation dans n'importe quel nœud Equinix Cloud Exchange et le cloud AWS est inférieur à 1 milliseconde (source: ITProToday ).

Lors de la démonstration de l'architecture PMCS présentée lors de l'exposition, le système de stockage DC1000M NVMe a été colocalisé et les machines virtuelles se sont pinguées dans les nuages ​​AWS, MS Azure et Google Cloud Platform. L'application client-serveur fonctionnait à distance avec le système de stockage Kingston et les serveurs HP DL380 du centre de données et grâce à l'infrastructure des canaux de communication, Equinix a eu accès aux plates-formes cloud des principaux fournisseurs susmentionnés.



Diapositive de la présentation de Private MultiCloud Storage au Supercomputing-2019. Source: Kingston

Le logiciel similaire de gestion de l'architecture d'un stockage multi-cloud privé est proposé par différentes sociétés. Les termes de cette architecture peuvent également sonner différemment: stockage multi-cloud privé ou stockage privé pour le cloud.

«Les superordinateurs modernes fonctionnent sur une multitude d'applications HPC qui sont à la pointe de tout, de l'exploration pétrolière et gazière aux prévisions météorologiques, aux marchés financiers et au développement de nouvelles technologies», a déclaré Keat Shimmenti, directeur de la gouvernance d'entreprise pour les SSD à Kingston. «Ces applications HPC nécessitent une bien meilleure adéquation entre les performances du processeur et la vitesse d'E / S.» Nous sommes fiers de parler de la façon dont les solutions de Kingston contribuent aux percées informatiques, en fournissant les performances dont vous avez besoin dans les environnements et applications informatiques les plus extrêmes du monde. »

Drive DC1000M et un exemple de système de stockage basé sur celui-ci

Le SSD NV1e DC1000M U.2 est conçu par Kingston pour les centres de données et est spécialement conçu pour les travaux intensifs avec les données et le HPC, tels que les applications pour l'intelligence artificielle (AI) et l'apprentissage automatique (ML).



3.84 To DC1000M U.2 NVMe drive. Source: Kingston

Les disques DC1000M U.2 sont construits sur la base d'une mémoire Intel NAND 3D à 96 couches contrôlée par le contrôleur Silicon Motion SM2270 (PCIe 3.0 et NVMe 3.0). Silicon Motion SM2270 est un contrôleur d'entreprise NVMe 16 canaux avec interface PCIe 3.0 x8, double bus de données DRAM 32 bits et trois processeurs doubles ARM Cortex R5.

Différentes tailles de DC1000M sont proposées pour la sortie: de 0,96 à 7,68 To (les plus populaires sont considérées comme 3,84 et 7,68 To). Les performances du disque sont estimées à 800 000 IOPS.



Système de stockage avec 10x DC1000M U.2 NVMe 7,68 To. Source: Kingston

À titre d'exemple du système de stockage pour les applications HPC, Kingston a dévoilé une solution de montage en rack avec 10 disques DC1000M U.2 NVMe, chacun d'une capacité de 7,68 To, lors du Supercomputing-2019. Le système de stockage est basé sur SB122A-PH, la plate-forme à facteur de forme 1U d'AIC. Processeurs: 2 processeurs Intel Xeon E5-2660, Kingston DRAM 128 Go (8x16 Go) DDR4-2400 (référence: KSM24RS4 / 16HAI). En tant qu'OS, Ubuntu 18.04.3 LTS, noyau Linux ver 5.0.0-31 sont installés. Le test gfio v3.13 (testeur d'E / S flexibles) a montré des performances de lecture de 5,8 millions d'IOPS avec un débit de 23,8 Gb / s.

Le système de stockage présenté a montré des caractéristiques impressionnantes dans le paramètre de lecture stable de 5,8 millions d'IOPS (opérations d'entrée-sortie par seconde). C'est deux fois plus rapide que les SSD pour les systèmes grand public. Cette vitesse de lecture est nécessaire pour les applications HPC exécutées sur des processeurs spécialisés.

Stockage cloud privé HPC en Russie

La tâche d'effectuer un calcul haute performance avec le fournisseur, mais d'enregistrer physiquement les données sur site, est également pertinente pour les entreprises russes. Un autre cas courant dans les entreprises nationales est celui où, lors de l'utilisation de services cloud étrangers, les données doivent être situées sur le territoire de la Fédération de Russie. On nous a demandé de commenter ces situations au nom du fournisseur de cloud Selectel en tant que partenaire de longue date de Kingston.

«En Russie, vous pouvez en outre construire une architecture similaire, avec un service en russe et tous les documents de reporting pour la comptabilité client. Si une entreprise doit effectuer un calcul haute performance à l'aide de systèmes de stockage sur site, chez Selectel, nous louons des serveurs avec différents types de processeurs, y compris FPGA , GPU ou processeurs multicœurs. De plus, nous organiserons la mise en place d'un canal optique dédié entre le bureau du client et notre centre de données via des partenaires », commente Alexander Tugov, directeur du développement des services de Selectel. - Un client peut également placer son stockage sur une colocation dans la salle des machines avec un mode d'accès spécial et exécuter des applications à la fois sur nos serveurs et dans les clouds des fournisseurs mondiaux AWS, MS Azure, Google Cloud. Bien sûr, le retard du signal dans ce dernier cas sera plus élevé que si le stockage du client était aux États-Unis, mais une connexion multicloud à large bande serait fournie. »

Dans le prochain article, nous parlerons d'une autre solution Kingston, qui a été présentée à l'exposition Supercomputing-2019 (Denver, Colorado, USA) et est destinée aux applications d'apprentissage automatique et à l'analyse de mégadonnées utilisant des processeurs graphiques. Il s'agit de la technologie de stockage GPUDirect, qui permet un transfert direct des données entre le stockage NVMe et la mémoire du processeur GPU. De plus, nous expliquerons comment nous avons réussi à atteindre une vitesse de lecture des données de 5,8 millions d'IOPS dans le stockage en rack sur des disques NVMe.

Pour plus d'informations sur les produits Kingston Technology, visitez le site Web de l'entreprise .