Geekly articles weekly

使用SNIA方法测试NVMe设备的软件RAID阵列



几个月前，在进行下一个项目时，我们研究实验室的人员研究了NVMe磁盘和软件解决方案，以便找到组装软件阵列的最佳选择。

令人惊讶的是，测试结果令人沮丧-NVMe磁盘的巨大速度潜力根本与现有软件产品的演示性能无关。

我们的开发人员不喜欢它。 于是他们决定编写自己的产品……营销人员随后高兴地提出了一个产品RAIDIX ERA。

如今，有十几家公司生产适用于NVMe驱动器的服务器。 支持和开发该技术的产品市场具有巨大的潜力。 在G2M分析报告中，给出了令人信服的数据，这些数据说服了这种数据传输协议将在不久的将来占主导地位。


G2M报告中的图表

当前，英特尔是NVMe组件生产的领导者之一。 我们在他们的设备上进行了测试，以评估现有软件产品管理这种“创新”硬件的功能。

我们与合作伙伴Promobit（BITBLAZE商标下的服务器和数据存储系统制造商）一起组织了英特尔NVMe驱动器和用于管理此类设备的通用软件的测试。 根据SNIA方法进行测试。

在本文中，我们将分享在测试英特尔NVMe硬件系统，来自MDRAID的软件阵列，基于ZFS RAIDZ2的Zvol以及我们的新开发产品期间获得的数字。

硬件配置


作为测试平台的基础，我们采用了服务器系统Intel Server System R2224WFTZS。 它具有2个用于安装Intel Xeon可扩展处理器的插槽和12个内存通道（总共24个DIMM）DDR 4，频率最高为2666 MHz。

有关服务器平台的更多信息，请访问制造商的网站 。

通过3个背板F2U8X25S3PHS连接的所有NVMe驱动器。

系统中总共有12个NVMe驱动器INTEL SSDPD2MD800G4，固件为CVEK6256004E1P0BGN。

服务器平台配备了两个启用了超线程功能的英特尔®至强®金牌6130 CPU @ 2.10GHz处理器，从而允许从每个内核启动两个线程。 因此，在输出处，我们接收了64个计算线程。

测试准备


本文中的所有测试均根据SNIA SSS PTSe v 1.1方法论的规范进行。 其中，为了获得稳定和诚实的结果，对存储进行了初步准备。

SNIA允许用户设置线程数和队列深度的参数，因此我们设置64/32，在32个内核上具有64个计算线程。

为了使系统达到稳定的指标水平并排除随机值，每轮进行了16轮测试。

在开始测试之前，我们已对系统进行了初步准备：

  1. 在CentOS 7.4上安装内核版本4.11。
  2. 关闭C状态和P状态。
  3. 运行tuned-adm实用程序并设置延迟性能概要文件。

每个产品和项目的测试分以下几个阶段进行：

根据SNIA规范准备设备（取决于负载类型，与负载类型无关）。

  1. IOps测试以4k，8k，16k，32k，64k，128k，1m的块为单位，具有读/写组合的变化0 / 100、5 / 95、35 / 65、50 / 50、65 / 35、95 / 5、100 / 0 。
  2. 4k，8k，16k块的延迟测试，读/写组合的变化为0 / 100、65 / 35和100/0。 线程数和队列深度为1-1。 结果记录为平均和最大延迟。
  3. 在8个团队的64行中使用128k和1M块进行吞吐量测试。

我们首先测试硬件平台的性能，延迟和吞吐量。 这使我们能够评估拟议设备的潜力，并与应用软件解决方案的功能进行比较。

测试1.硬件测试


首先，我们决定查看一个Intel DCM D3700 NVMe驱动器的功能。
在规范中，制造商声明以下性能参数：
随机读取（100％跨度）450,000 IOPS
随机写入（100％跨度）88000 IOPS

测试1.1一个NVMe驱动器。 IOPS测试


表格形式的效果结果（IOps）。 读/写混合％。
块大小R0％/ W100％R5％/ W95％R35％/ W65％R50％/ W50％R65％/ W35％R95％/ W5％R100％/ W0％
4k84017.891393.8117271.6133059.4175086.8281131.2390969.2
8k42602.645735.858980.267321.4101357.2171316.8216551.4
16k21618.822834.829703.633821.252552.689731.2108347
32k10929.411322147871681126577.647185.250670.8
64k5494.45671.67342.68285.813130.22388427249.2
128k2748.42805.23617.84295.26506.611997.613631
1m351.6354.8451.2684.8830.21574.41702.8

图形形式的性能结果（IOps）。 读/写混合％。



在这个阶段，我们得到的结果还不能完全达到工厂的水平。 很有可能是NUMA（多处理器系统中使用的计算机内存实现方案，当对内存的访问时间由内存相对于处理器的位置确定时）发挥了作用，但目前我们不会关注它。

测试1.2一个NVMe驱动器。 延迟测试


表格形式的平均响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k0.027190.0721340.099402
8k0.0298640.0930920.121582
16k0.0467260.1370160.16405

图形形式的平均响应时间 （毫秒）。 读/写混合％。



表格形式的最大响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k6.98564.71471.5098
8k7.00044.31181.4086
16k7.00684.64451.1064

图形形式的最大响应时间 （毫秒）。 读/写混合％。



测试1.3吞吐量


最后一步是评估吞吐量。 以下是以下指标：
1MB顺序记录-634 MBps。
1MB顺序读取-1707 MBps。
128Kb顺序记录-620 MBps。
128Kb顺序读取-1704 MBps。

处理了一个驱动器之后，我们继续评估由12个驱动器组成的整个平台。

在12个驱动器中测试1.4系统。 IOPS测试


在这里，为了节省时间而做出了一个坚决的决定，并且仅在使用4k块时才显示结果，这是迄今为止最常见的指示性性能评估方案。

表格形式的效果结果（IOps）。 读/写混合％。
块大小R0％/ W100％R5％/ W95％R35％/ W65％R50％/ W50％R65％/ W35％R95％/ W5％R100％/ W0％
4k1363078.6156234519441052047612217647634413114202364

图形形式的性能结果（IOps）。 读/写混合％。



在12个驱动器中测试1.5系统。 带宽测试


1MB顺序记录-8612 MBps。
1MB顺序读取-20481 MBps。
128Kb顺序记录-7500 MBps。
128Kb顺序读取-20400 MBps。

我们将在文章结尾再次查看获得的硬件性能指标，并将其与在其上测试的软件数量进行比较。

测试2：测试MDRAID


当我们谈论软件阵列时，首先想到MDRAID。 回想一下，这是Linux的基本软件RAID，它是免费分发的。

让我们看看MDRAID如何处理带有RAID 0阵列级别的建议的12磁盘系统，我们都知道在12个驱动器上构建RAID 0需要特别的勇气，但是现在我们需要这个阵列级别来展示此解决方案的最大功能。

测试2.1 MDRAID。 RAID0。IOPS测试


表格形式的效果结果（IOps）。 读/写混合％。
块大小R0％/ W100％R5％/ W95％R35％/ W65％R50％/ W50％R65％/ W35％R95％/ W5％R100％/ W0％
4k10103961049306.61312401.41459698.61932776.82692752.82963943.6
8k513627.8527230.4678140771887.81146340.61894547.82526853.2
16k261087.4263638.8343679.2392655.2613912.81034843.21288299.6
32k131198.6130947.4170846.6216039.4309028.2527920.6644774.6
64k65083.465099.285257.2131005.6154839.8268425322739
128k32550.232718.243378.666999.878935.8136869.8161015.4
1m38023718.43233.43467.235466150.88193.2

图形形式的性能结果（IOps）。 读/写混合％。



测试2.2 MDRAID。 RAID0。延迟测试


表格形式的平均响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k0.030150.0675410.102942
8k0.032810.0821320.126008
16k0.0500580.1142780.170798

图形形式的平均响应时间 （毫秒）。 读/写混合％。



表格形式的最大响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k6.70423.72570.8568
8k6.59182.26010.9004
16k6.34662.77412.5678

图形形式的最大响应时间 （毫秒）。 读/写混合％。



测试2.3 MDRAID。 RAID0。带宽测试


1MB顺序写入-7820 MBPS。
1MB顺序读取-20418 MBPS。
128Kb顺序写入-7622 MBPS。
128Kb顺序读取-20,380 MBPS。

测试2.4 MDRAID。 RAID 6. IOPS测试


现在让我们看一下该系统在RAID级别6上的功能。

阵列创建选项
mdadm --create --verbose --chunk 16K / dev / md0 --level = 6 --raid-devices = 12 / dev / nvme0n1 / dev / nvme1n1 / dev / nvme2n1 / dev / nvme3n1 / dev / nvme4n1 / dev / nvme5n1 / dev / nvme8n1 / dev / nvme9n1 / dev / nvme10n1 / dev / nvme11n1 / dev / nvme6n1 / dev / nvme7n1

阵列的总体积为7450.87 GiB。

我们在RAID阵列的初步初始化后开始测试。

表格形式的效果结果（IOps）。 读/写混合％。
块大小R0％/ W100％R5％/ W95％R35％/ W65％R50％/ W50％R65％/ W35％R95％/ W5％R100％/ W0％
4k39907.64284961609.878167.6108594.6641950.41902561.6
8k19474.420701.630316.439737.857051.6394072.21875791.4
16k10371.410979.21602220992.829955.6225157.41267495.6
32k8505.68824.81289616657.823823173261.8596857.8
64k5679.459318576.211137.215906.4109469.6320874.6
128k3976.84170.25974.27716.61099668124.4160453.2
1m768.8811.21177.815152149.64880.45499

图形形式的性能结果（IOps）。 读/写混合％。



测试2.5 MDRAID。 RAID 6.延迟测试


表格形式的平均响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k0.1937020.1455650.10558
8k0.2665820.1866180.127142
16k0.4262940.2816670.169504

图形形式的平均响应时间 （毫秒）。 读/写混合％。



表格形式的最大响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k6.13064.54164.2322
8k6.24744.51973.5898
16k5.40745.58614.1404

图形形式的最大响应时间 （毫秒）。 读/写混合％。



值得注意的是，此处的MDRAID显示了非常好的延迟水平。

测试2.6 MDRAID。 RAID 6.带宽测试


1MB顺序写入-890 MBPS。
1MB顺序读取-18800 MBPS。
128Kb顺序写入-870 MBPS。
128Kb顺序读取-10400 MBPS。

测试3. Zvol over ZFS RAIDZ2


ZFS具有内置的RAID创建功能和内置的卷管理器，该管理器创建虚拟块设备，许多存储制造商都在使用它。 我们还将通过创建具有RAIDZ2保护的池（类似于RAID 6）并在其之上创建虚拟块卷来利用这些功能。

版本0.79（ZFS）已编译。 阵列和卷创建选项：
ashift = 12 /压缩-关闭/重复-关闭/ recordsize = 1M / atime =关闭/缓存文件=无/类型RAID = RAIDZ2

ZFS在新创建的池中显示出非常好的结果。 但是，如果反复配音，性能会大大降低。

SNIA方法很好，因为它允许您在重复覆盖类似文件系统（基于ZFS的文件系统）后看到真实结果。

测试3.1 ZVOL（ZFS）。 RAIDZ2。 IOps测试


表格形式的效果结果（IOps）。 读/写混合％。
块大小R0％/ W100％R5％/ W95％R35％/ W65％R50％/ W50％R65％/ W35％R95％/ W5％R100％/ W0％
4k15719.615147.214190.215592.417965.644832.276314.8
8k15536​​.214929.415140.81655117898.844553.476187.4
16k16696.615937.215982.61735018546.244895.475549.4
32k11859.6109159698.210235.41126526741.838167.2
64k74446440.26313.26578.27465.614145.819099
128k4425.43785.64059.83859.44246.47143.410052.6
1m772730.2779.6784824.4995.81514.2

图形形式的性能结果（IOps）。 读/写混合％。



绩效数字完全令人印象深刻。 同时，纯zvol（重写之前）给出的结果要好得多（高出5-6倍）。 在这里，测试表明，在第一次复制后，性能会下降。

测试3.2 ZVOL（ZFS）。 RAIDZ2。 延迟测试


表格形式的平均响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k0.3328240.2552250.218354
8k0.32990.2590130.225514
16k0.1397380.1804670.233332

图形形式的平均响应时间 （毫秒）。 读/写混合％。



表格形式的最大响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k90.5569.971884.4018
8k91.621486.6109104.7368
16k108.219286.2194105.658

图形形式的最大响应时间 （毫秒）。 读/写混合％。



测试3.3 ZVOL（ZFS）。 RAIDZ2。 带宽测试


1MB顺序写入-1150 MBPS。
1MB顺序读取-5500 MBPS。
128Kb顺序写入-1100 MBPS。
128Kb顺序读取-5300 MBPS。

测试4：RAIDIX ERA


现在让我们看一下我们新产品RAIDIX ERA的测试。
我们创建了RAID6。 条带大小：16kb。 初始化完成后，运行测试。

表格形式的效果结果（IOps）。 读/写混合％。
块大小R0％/ W100％R5％/ W95％R35％/ W65％R50％/ W50％R65％/ W35％R95％/ W5％R100％/ W0％
4k354887363830486865.6619349.4921403.62202384.84073187.8
8k180914.8185371249927.2320438.8520188.41413096.42510729
16k92115.896327.2130661.2169247.4275446.6763307.41278465
32k59994.261765.283512.8116562.2167028.8420216.4640418.8
64k27660.428229.838687.656603.876976214958.8299137.8
128k14475.81473020674.230358.840259109258.2160141.8
1m2892.83031.84032.86331.67514.81587119078

图形形式的性能结果（IOps）。 读/写混合％。



测试4.2 RAIDIX ERA。 RAID 6.延迟测试


表格形式的平均响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k0.163340.1363970.10958
8k0.2070560.1633250.132586
16k0.3137740.2257670.182928

图形形式的平均响应时间 （毫秒）。 读/写混合％。



表格形式的最大响应时间 （毫秒）。 读/写混合％。
块大小R0％/ W100％R65％/ W35％R100％/ W0％
4k5.3713.42443.5438
8k5.2433.74153.5414
16k7.6284.28914.0562

图形形式的最大响应时间 （毫秒）。 读/写混合％。



延迟类似于MDRAID产生的延迟。 但是为了得出更准确的结论，应该对更严重的负载下的延迟进行估计。

测试4.3 RAIDIX ERA。 RAID 6.带宽测试


1MB顺序写入-8160 MBPS。
1MB顺序读取-19700 MBPS。
128Kb顺序写入-6200 MBPS。
128Kb顺序读取-19700 MBPS。

结论


作为测试的结果，有必要将从软件解决方案获得的数字与硬件平台提供给我们的数字进行比较。

为了分析随机负载的性能，我们将比较使用4k块时RAID 6（RAIDZ2）的速度。
MD RAID 6RAIDZ2RAIDIX时代RAID 6硬体
4k R100％/ W0％19025617631440731874,494,142
4k R65％/ W35％108594179659214031823432
4k R0％/ W100％3990715719354887958054



为了分析串行负载的性能，我们将看一下具有128k块的RAID 6（RAIDZ2）。 在线程之间，我们使用了10GB的空间来消除缓存命中并显示实际性能。
MD RAID 6RAIDZ2RAIDIX时代RAID 6硬体
读取128k seq1040053001970020,400
128k seq写870110062007500



结果如何？


用于NVMe设备的流行且价格合理的软件RAID阵列无法显示出硬件潜力所固有的性能。

在这里，非常需要控制软件，该软件可以激起这种情况并显示与NVMe驱动器的程序控制共生可以非常高效和灵活。

理解此要求，我们公司创建了RAIDIX ERA产品，其开发重点在于解决以下问题：

  • 混合模式下具有奇偶校验的阵列具有很高的读写性能（几百万IOps）。
  • 包括故障转移和恢复期间的30GBps流性能。
  • 支持RAID级别5、6、7.3。
  • 后台初始化和重建。
  • 灵活设置不同类型的负载（用户端）。

今天，我们可以说这些任务已经完成，产品可以使用了。

同时，在了解了许多相关方对此类技术的兴趣之后，我们不仅准备发布付费版本，而且还发布了免费许可证 ，该许可证可以完全用于解决NVMe和SSD驱动器上的问题。

在我们的网站上了解有关RAIDIX ERA的更多信息。

UPD 减少记录大小和volblocksize 8k的ZFS测试


ZFS选项表
姓名物业值来源
战车记录大小8K本地的
战车压缩关默认值
战车重复的关默认值
战车校验和关本地的
战车卷块大小----
坦克/突袭记录大小----
坦克/突袭压缩关本地的
坦克/突袭重复的关默认值
坦克/突袭校验和关本地的
坦克/突袭卷块大小8k默认值

录音变得更糟，阅读效果更好。
但是，所有结果都比其他解决方案差很多
块大小R0％/ W100％R5％/ W95％R35％/ W65％R50％/ W50％R65％/ W35％R95％/ W5％R100％/ W0％
4k13703.814399.820903.8256693161066955.2140849.8
8k1512616227.222393.627720.234274.867008139480.8
16k11111.211412.416980.820812.824680.248803.683710.4

Source: https://habr.com/ru/post/zh-CN420837/

More articles:


All Articles