[Supercomputing 2019]。 多云存储作为新金士顿DC1000M驱动器的应用程序

想象您正在开始一项创新的医疗业务-基于对人类基因组分析的个性化选择药物。 每个患者都有30亿对基因,而在x86处理器上的典型服务器将需要几天的时间进行计算。 您知道您可以使用FPGA处理器加快服务器上的处理速度,该FPGA处理器可以并行处理数千个线程中的计算。 他将在大约一个小时内计算出基因组。 可以在Amazon Web Services(AWS)租用这些服务器。 但这是不幸的事情-医院里的客户绝对反对将遗传数据放置在提供商的云中。 如何成为 金士顿和这家基于云的初创公司在Supercomputing 2019上展示了私有多云存储(PMCS)架构,以应对这一挑战。



高性能计算的三个条件


人类基因组的计算并不是高性能计算(HPC,High Performance Computing)领域的唯一任务。 科学家计算物理场,工程师-飞机的详细信息,金融家-经济模型,并共同分析大数据,建立神经网络并进行许多其他复杂的计算。

HPC的三个条件是强大的计算能力,超高容量和快速存储以及高网络带宽。 因此,执行LDC计算的标准做法是在公司自己的数据中心(本地)中或在云中的提供商处。

但是并非所有公司都拥有自己的数据中心,就资源效率而言,拥有数据中心的人往往会败给商业数据中心(购买和更新硬件和软件,向高素质人员付款等都需要资本支出) 。 相反,云提供商根据即付即用的运营费用模型(即 租金仅在使用时收取。 计算完成后,可以删除帐户中的服务器,从而节省IT预算。 但是,如果立法或公司禁止将数据传输到提供商,则云中的HPC计算将不可用。

私有多云存储


专用MultiCloud Storage的体系结构旨在通过将数据本身物理保留在企业站点上或托管在数据中心的单独安全隔间中,从而提供对云服务的访问。 从本质上讲,它是一种以数据为中心的分布式计算模型,其中云服务器与私有云中的远程存储系统一起工作。 因此,使用相同的本地数据仓库,您可以使用最大的提供商的云服务:AWS,MS Azure,Google Cloud Platform等。

金士顿展示了Supercomputing-2019上PMCS实施的示例,介绍了基于DC1000M SSD的高性能存储系统(DCS),基于云的初创公司之一是StorOne S1管理软件,用于软件定义的存储和与主要云提供商的专用通信渠道。

应当指出,PMCS作为具有私有存储的云计算的工作模型,是针对北美市场而设计的,其数据中心之间的网络连接发达,AT&T和Equinix基础设施均支持该连接。 因此,任何Equinix Cloud Exchange节点中的托管服务器上的存储系统与AWS云之间的ping小于1毫秒(来源: ITProToday )。

在展会上展示的PMCS架构的演示中,并置了DC1000M NVMe存储系统,并且虚拟机在AWS,MS Azure,Google Cloud Platform云中相互ping通。 客户端-服务器应用程序可与金士顿存储系统和数据中心中的HP DL380服务器进行远程协作,并通过通信渠道的基础设施Equinix获得了对上述主要提供商的云平台的访问权限。



幻灯片来自Supercomputing-2019的私有MultiCloud存储演示。 资料来源:金斯敦

不同公司提供了用于管理私有多云存储的体系结构的类似软件。 该体系结构的术语听起来也有所不同-私有MultiCloud存储或私有云存储。

金士顿固态硬盘企业治理经理Keat Shimmenti说:“现代超级计算机运行在许多HPC应用程序上,从石油和天然气勘探到天气预报,金融市场和新技术开发,这些应用程序都处于最前沿。” “这些HPC应用程序要求处理器性能和I / O速度之间更好的匹配。” 我们很自豪地谈论金士顿的解决方案如何帮助计算领域取得突破,并在全球最极端的计算环境和应用程序中提供您所需的性能。”

驱动器DC1000M和基于它的存储系统示例


DC1000M U.2 NVMe SSD是由金士顿(Kingston)为数据中心设计的,专门用于密集型数据和HPC应用程序,例如人工智能(AI)和机器学习(ML)应用程序。



3.84TB DC1000M U.2 NVMe驱动器 资料来源:金斯敦

DC1000M U.2驱动器基于由Silicon Motion SM2270控制器(PCIe 3.0和NVMe 3.0)控制的96层Intel 3D NAND存储器构建。 Silicon Motion SM2270是具有PCIe 3.0 x8接口,双32位DRAM数据总线和三个A​​RM Cortex R5双处理器的16通道NVMe公司控制器。

提供各种大小的DC1000M发行版本:从0.96到7.68 TB(最受欢迎的是3.84和7.68 TB)。 驱动器性能估计为80万IOPS。



具有10个DC1000M U.2 NVMe 7.68 TB的存储系统。 资料来源:金斯敦

作为适用于HPC应用的存储系统的示例,金士顿在Supercomputing-2019上推出了一个机架式解决方案,其中包含10个DC1000M U.2 NVMe驱动器,每个驱动器容量为7.68 TB。 该存储系统基于AIC的1U尺寸平台SB122A-PH。 处理器:2个Intel Xeon CPU E5-2660,Kingston DRAM 128 GB(8x16 GB)DDR4-2400(部件号:KSM24RS4 / 16HAI)。 作为操作系统,已安装Ubuntu 18.04.3 LTS,Linux内核版本5.0.0-31。 gfio v3.13测试(Flexible I / O测试仪)显示了580万IOPS的读取性能,吞吐量为23.8 Gb / s。

提出的存储系统在580万IOPS(每秒I / O操作)的稳定读取参数上显示出令人印象深刻的特性。 这比大众市场系统的SSD快两个数量级。 在专用处理器上运行的HPC应用程序需要这种读取速度。

俄罗斯的私有云存储HPC


与供应商一起执行高性能计算但物理上将数据本地保存的任务也与俄罗斯公司有关。 国内业务中的另一个常见情况是,当使用国外云服务时,数据应位于俄罗斯联邦的领土上。 我们被要求代表金斯敦的长期合作伙伴Selectel云提供商就这些情况发表评论。

“此外,在俄罗斯,您可以构建类似的体系结构,并提供俄语服务以及所有用于客户会计的报告文档。 如果公司需要使用本地存储系统执行高性能计算,那么Selectel会租用带有各种处理器的服务器,包括FPGAGPU或多核CPU。 此外,我们将通过合作伙伴安排在客户办公室和我们的数据中心之间铺设专用的光通道,” Selectel服务开发总监Alexander Tugov说道。 -客户还可以使用特殊访问模式将其存储放置在机房中的同一位置,并在我们的服务器上以及在全球提供商AWS,MS Azure,Google Cloud的云中运行应用程序。 当然,在后一种情况下的信号延迟将比如果客户的存储在美国的情况下要高,但是将提供宽带多云连接。”

在下一篇文章中,我们将讨论另一种金士顿解决方案,该解决方案在Supercomputing-2019(美国科罗拉多州丹佛)上展出,旨在用于使用GPU的机器学习应用程序和大数据分析。 这是GPUDirect Storage技术,可在NVMe存储和GPU处理器内存之间提供直接数据传输。 此外,我们还将说明如何在NVMe磁盘上的机架式存储中实现580万IOPS的数据读取速度。

有关金士顿技术产品的更多信息,请访问公司的网站

Source: https://habr.com/ru/post/zh-CN479052/


All Articles