存储中的存储类内存-如果您需要更快的话

图片不代表公司的立场,而是作者的个人见解,不一定与本文的主题有关,阿们 您可能还记得,NRE长期以来一直在新型数据仓库(当然是The Machine )和优化对存储的访问(我们在Gen-Z联盟成员资格)这一主题上进行投资。

这项运动的目的是加快客户应用程序的工作。 此外,这一运动是多层次的:尽管正在打造The Machine计算系统的全新体系结构(所谓的以内存为中心的体系结构),但我们知道我们现在需要加快速度。 让我们看看今天可以做什么,明天将在HPE上看到什么。 提示-我们将以Intel Optane的形式在存储类内存(SCM)上使用智能且成本相对较低的缓存来讨论3PAR和Nimble存储的强劲增长。

首先,我们确定了所研究问题的边界。 在本文中,我们对具有自己特性的高性能计算不感兴趣,对仅需要服务器内快速存储的任务也没有兴趣。 一般而言,后者无疑也是Intel Optane和SCM的主题,但此类任务通常是特定的,很难屈服于虚拟化以及相应的整合。 我们将讨论与外部3PAR,Nimble或MSA类存储系统相适应的任务和应用程序(尽管我们也不会涉及MSA)。

因此,如何提高与外部存储系统上的数据一起使用的虚拟化应用程序的性能:
  • 看看是什么阻碍了应用程序的发展。 也许根本不在于存储,而在于处理器的预期,处理数据的内部逻辑,次优的书面请求。
  • 如果在等待数据(IO)方面延迟较大,则应首先检查是否满足配置应用程序OS驱动程序捆绑包(SCSI,HBA等)的所有建议。
  • 在SAN(以太网,FC)中可能就是这种情况;
  • 也许它仍然在存储系统中。 存放在哪里? 在控制器硬件(与缓存有什么关系,什么是处理器负载),控制器操作系统和驱动程序,数据总线,磁盘...

可能的思路:哦,可以肯定-车轮! 其他一切都很复杂,我不想碰,但我们会尝试使用磁盘。 我们拥有的是混合动力-那么,那么我们需要全闪存。 我们已经有了全闪存吗? 还有什么更好的呢? 我们会观看知名品牌的广告:

图片

一切都清楚了,我们使用“ NVMe磁盘”进行存储。 等等, 多少钱 ? 而且您需要购买新的存储系统,我现在不能升级吗? 好吧,你必须...

图片

但是还有其他可能吗? NRE相信,这不仅是可能的,而且是必要的。 这就是为什么:

图片

事实上,目前市场上大多数NVMe SSD都是相同类型的介质NAND闪存,它们不是通过串行连接SCSI(SAS)协议而是通过新的NVMe协议连接到控制器的。 新协议无疑是很漂亮的,下面是一些事实:

  • 64,000个队列可用,每个队列有64,000个线程-屋顶上方的IOPS
  • 控制器直接连接到CPU-降低CPU负载
  • 每个处理器内核直接看到每个SSD-低延迟


通过完全替换从应用程序到磁盘的SCSI协议,可以显着减少访问延迟。 但是营销人员今天能为我们提供什么? “ NVMe磁盘。” 即 到存储控制器本身的整个链保持不变-SCSI。 然后,控制器只需在NVMe中重新包装SCSI,即可与连接的NAND SSD进行通信。

上图的结果是延迟中的最小增益。 尽管峰值IOPS的增加确实非常明显。 传统比喻:您需要一辆可以在5秒内快速加速超车的汽车,还是在理想条件下可以在10分钟内加速至300 km / h的汽车? 两种选择都不错,但更多情况下它们选择第一个。

现实情况是,对于实际应用而言,NVMe NAND带来的收益今天几乎不那么明显,而且我们认为,与SAS SSD相比,价格和可用容量的损失根本不值得。

HPE所提供的不仅仅是将SAS的“最后一英里”替换为NVMe,而是使用了通过NVMe连接的全新Intel Optane驱动器作为3PAR和Nimble存储控制器中的读取缓存。

图片

(照片中的测速计和管理员都称为Felix,但区别很大!)

为什么我们决定采用这种方式:

  • 因此我们可以为客户提供已购买的存储系统的更新(特别是3PAR 9450、20450、20850和Nimble AF60和AF80-所有顶级全闪存)
    图片
  • 通过这种非常简单的方式(通过向每个控制器添加板上装有Optane的扩展卡),我们可以将最大延迟降低约15倍,将平均延迟降低30-40%(IOPS也在增长,很好)。 最重要的是,延迟不会从营销“ 0.2毫秒开始”跳变! 广告是无限的(营销不是我们的营销,我只是引用),但是它变得更加稳定:
    图片

    (基于内部HPE测试的延迟值)
  • 更具体地说,可以从您最喜欢的Oracle减少阵列延迟中得到什么,例如:根据我们的内部测试,IO等待平均减少了37%,SQL选择加快了27%。
  • 为什么缓存读而不写? 因为在3PAR和Nimble中,多年以来,DRAM一直被用作写缓存(Nimble中的非易失性NVRAM)。 反过来,它比NVMe设备快几倍,直到Gen-Z或类似的新协议问世为止。 即 记录对于通过NVMe加速不是必需的。
  • 为什么选择英特尔傲腾? 因为这是最新的介质类型,所以尽管在密度方面它仍落后于NAND,但响应速度却快了一个数量级。 此外,Optane具有几乎无限的重写资源。 通常,对于已加载的系统,Optane上的交易成本比NAND NVMe上的交易成本低得多。 缓存是一个从各个方面都非常负载的层。 较热的数据会从较慢的一层复制到它(因此需要资源),如果在控制器的NVRAM缓存中找不到数据(因此需要快速响应,则从中读取数据),因此超出NVRAM缓存看起来并不像去大型超市那样并参观房屋附近的商店)。
  • 为什么不将NVMe磁盘放在最后? 一定要放! 例如,Nimble机箱允许您现在安装此类磁盘(背板已准备就绪),只有我们不为Nimble出售此类磁盘,因为它还早。 现在,SCM高速缓存使相对几分钱的性能有了多种提高。 因此,让我们在NVMe NAND仍然更便宜,NVMe协议本身仍在发展(多路径仅在2018年3月才在标准中出现,并且仍远远落后于SCSI稳定性)的情况下使用它,并且通常来说,从应用程序到磁盘的NVMe生态系统仍然存在未开发的产品(NVMe上的面料去了幼儿园,制造商争论它的外观,驱动程序具有最小的功能,以至于当一切稳定下来时它们不会覆盖太多)。
  • 也因为我们真的很喜欢缓存所有内容。 这是有关Nimble的示例:


图片

是的,顺便说一下,您是否熟悉HPE InfoSight ? 使用此工具,您总是知道在哪里寻找延迟。 例如,像这样:

图片

(如果发现延迟,请联系我们的信仰。)

现在可以总结一下:如果您是3PAR 9000或20,000的骄傲拥有者,那么您现在就可以订购基于Intel Optane的3PAR 3D Cache。 如果您仔细观察Nimble All-flash阵列,请采取以下措施,因为 它是将来保护投资的可靠基础。 现在就开始使用SAS NAND SSD,稍后再插入基于SCM的全闪存Turbo缓存,然后将驱动器更改为NVMe。

3PAR和Nimble SCM缓存

供参考:

Source: https://habr.com/ru/post/zh-CN432306/


All Articles