有时有必要组织容量高达20Tb的小型存储的容错存储，但是具有企业功能-全闪存，SSD缓存，MPIO，HA（Activ-Activ）等，而且所有这些都以预算价格提供。 具有这些功能的现成的硬件解决方案的起价为数百兆字节，卢布的价格至少为8个标志。 在河中预算只有6-7个字符。 自从2009年以来，已经对两种版本的存储系统进行了测试并投入商业运行（并且这些系统的共同之处在于它们是高度可靠的系统，没有单点故障，您可以在购买前触摸它们，或者“无此操作”），并且需要小型，快速（但可靠）的存储。 （免费））。
谁对这种经历感兴趣，下面将描述以下内容：
- StarWind Virtual SAN（VSAN）软件体验。
- 如何制作小型企业存储。
- IOPS超频历史记录（实践）。
- 用于存储系统EMC ScaleIO（VxFlexOS）部署和操作的备忘单（缺少“ NOT Linux-guru”专家的技术支持）1部分。
1.操作经验StarWind Virtual SAN（VSAN）软件
StarWind Virtual SAN（VSAN） -在Activ-Activ解决方案（3台服务器上的同步复制）中，基于具有硬件RAID阵列的服务器，于2009-2016年以不同版本（Starwind ISCSI SAN HA-3）运行。
优点 ：
- 简单快捷，甚至无需专业人员安装；
- iSCSI以太网上的MPIO；
- HA（Activ-Activ）；
- 在新的（保修）服务器（带有新磁盘）上，您可能会忘记将存储维护数年（用户甚至不会注意到三台服务器中的两台出现故障）。
- RAM和SSD缓存卷；
- 快速快速同步，可解决较小的网络故障。
缺点 ：
- 以前，只有Windows平台的版本。
- 长期运行（超过3年）-很难找到替换发生故障的驱动器（停产）来修复RAID阵列的驱动器（对于异构磁盘，可能会发生阵列故障）；
- 网络接口及其占用的PCI插槽的数量增加（另外用于同步，网卡，交换机）；
- 当使用LSFS-“日志文件系统”时，系统长时间关闭，这可能在关闭电源后激活UPS时有害；
- 与大容量完全同步的时间很长。
也许已经解决的问题 （以前在我们的数据中心运行期间发生过）：
- 当RAID阵列崩溃时，通过同步和数据通道，服务器仍然可见，但是Windows服务器中的磁盘处于脱机状态，由于服务器冻结，Starwind日志膨胀并且服务器内存被消耗。 可能的处理方式：分配控制文件并从日志设置中删除非关键消息。
- 如果交换机或网络接口出现故障，则主机服务器的选择可能会模棱两可（有时会发生，系统无法理解与谁进行同步）。
有用的新闻 （尚未测试）：
适用于vSphere的StarWind Virtual SAN（超融合解决方案）使您可以将Vmware虚拟化嵌入群集中，而无需绑定到Windows服务器（基于Linux虚拟机）。
摘要 ：如果在保修期结束时有正常的硬件服务器更换程序，并且提供了StarWindSoftWare技术支持，则为容错解决方案。
2.如何制作小型企业存储
问题陈述：创建一个总容量为4 TB-20TB的故障安全的小容量数据存储网络，保证在中期运行，而不会产生大量额外的财务成本。
- 该系统必须具有容错能力（及时转移至少一台交换机，一台服务器，服务器中的磁盘和网卡的故障）。
- 最大限度地利用服务器（3-10年的服务器和交换机）的可用硬件系列中的所有资源。
- 确保不同级别的卷正常运行：全闪存和HDD + SSD缓存。
源数据：- 预算有限；
- 3-10年前的发电设备；
- 专家-不是Linux-Guru。
特性计算为避免在使用SSD磁盘时出现性能瓶颈，SSD磁盘会被设备链中的某些设备所切断：网卡，RAID（HBA）控制器，扩展器（篮子），磁盘。
在创建时，有必要根据其所需的特性提供某些设备配置。
您当然可以在1Gb / s网络和3G控制器上运行带有SSD缓存SAS HDD的配置，但结果将比6Gb RAID和10Gb / s网络差3-7倍（经测试验证）。
VxFlexOS调整指令描述了一些简单的指令，这些指令基于SSD -450 MB / C和HDD -100 MB / C额定值来计算必要的带宽，以进行顺序记录（例如，在重新平衡和重建服务器时）。
例如：
- （SSD缓存+ 3 HDD），我们得到（（450 * 1）+（3 * 100））* 8/1000 = 6GB
- （全闪存SSD）+（SSD缓存+ 3 HDD）（（450 * 2）+（3 * 100））* 8/1000 = 9.6 GB
为了通过IOPS（数据库服务器和已加载的虚拟服务器上的标准负载）确定网络带宽，
StariWindSoftware提供了一个
指示性表
最终配置 ：
- 存储软件，它可能不会将磁盘组合到RAID阵列中，而是以单独的磁盘形式将其传输到存储中（这样，在出现故障后一定时间后更换磁盘就不会出现问题，只需按容量选择它们）；
- 处理器为e55xx-x56xx和更高版本的一代服务器，总线pci-express v 2.0和更高版本，具有内存的Raid（HBA）控制器6G-12G，用于6-16磁盘的扩展器篮；
- SMB 10G第2层交换机（JUMBO FRAME，LACP）。
解决方法目前，没有找到满足上述要求的小容量“小型企业级企业存储”的预算选项。
我们停止了允许您利用企业存储的软件解决方案，并可以选择使用现有服务器，在这种情况下，这些服务器有权在不影响存储的情况下过时。
- Ceph-没有足够的Linux专家；
- EMC ScaleIO-数年的技术支持-您可以与现有员工一起工作。
- （事实证明，Linux的知识可能是最少的，更多内容将在稍后的备忘单中提供）。
3. IOPS超频的历史（预算实践）
为了加快存储系统中的读写操作，使用了以下SSD设备：
3.1。 具有SSD缓存功能的控制器。
2010年，出现了具有Adaptec 5445 SSD缓存功能且带有
MaxIQ磁盘的RAID控制器（为取得实际结果，您必须至少拥有所缓存卷的MaxIQ磁盘容量的10％），但此结果可忽略不计*经过自我测试；
后来，有一些控制器可以使用任意SSD磁盘进行缓存，包括Adaptec Q系列和
LSI CacheCade （但许可在那儿是分开的）。
3.2。 HP，IBM和FUJI等品牌服务器的控制器和扩展器可以看到使用磁盘进行软件缓存的过程，例如
Intel DC S3700 （大多数服务器成功地识别了它们，对于全闪存来说价格昂贵，但是SSD缓存的10％允许在以下情况下不释放它们） IBM，HP，FUJI和仅仅是Intel的合作伙伴）。 *但是现在有更便宜的兼容选项（请参阅第3.5节）；
3.3。 已检查使用PCIe-M.2适配器
Synology M.2 M2D18 SSD的软件缓存，该缓存可在普通服务器中运行（不仅在Synology中可用），当RAID控制器和存储篮拒绝查看制造商未在兼容的SSD中指示的SSD时，此功能非常有用（n HP D2700）？ *;
3.4。
希捷EXOS混合驱动器 600Gb Seagate Exos 10E2400（ST600MM0099）{SAS 12Gb / s，10000rpm，256Mb，2.5“}，*已被HP，IBM，FUJI服务器验证（替代版本3.1.-3.3。）；
3.5。 具有大量资源且价格与企业级SAS相当的SSD驱动器，
Crucial Micron 5200 MAX MTFDDAK480TDN-1AT1ZABYY，*已通过HP，IBM，FUJI服务器的验证
（用与条款3.4兼容且与旧SAS服务器兼容的HDD驱动器替代的替代方法：SAS2.5“ 600GB AL14SEB060N TOSHIBA *硬盘，
C10K1800 0B31229 HGST，ST600MM0099 SEAGATE）。 允许预算从HDD + SSD切换到全闪存卷。
4.有关存储EMC ScaleIO（VxFlexOS）的部署和操作的备忘单1部分
EMC ScaleIO存储（VxFlexOS）购买前测试解决方案后，我得出的结论是，对于系统的正常运行，需要3个以上的节点（故障转移在3个时是不稳定的），例如，配置8台服务器（它将在4台服务器连续失败的情况下幸免而不会丢失卷）。
硬件部分 ：
富士CX2550M1（E5-2xxx）-3个 （VmWare VSphere + ScaleIO服务器虚拟化核心群集SDC客户端和SDS服务器）；
+5代服务器HP G6（G7）或IBM M3（e55xx-x56xx）-ScaleIO SDS服务器；
+ 2个NetGear XS712T-100NES交换机
在RFCache模式下运行存储时，我能够使用Iometer超频至44KIops
存储配置：
12TB的原始容量（仍以软件形式出售时的最低许可）
8个SDS服务器28个驱动器
读取RAM缓存14 Gb
读取Flash Cashe 1.27 TB（RFCashe）
在中间版本中，只有3个2x10Gb服务器具有网卡，其余2x1Gb。
可以清楚地看到，即使使用1Gb而不是10Gb的SSD缓存，使用相同的介质，SDS带宽也会损失三倍或更多。
如果不考虑缓存，如果您按照这些
“标准”考虑，那么可以使用28个HDD，
我们得到28X140 = 3920 IOPS，即 要获得44,000 IOPS，您将需要11倍的磁盘。 对于小批量的需求，从经济上来讲更有利可图，而不是增加磁盘数量，而是增加SSD缓存。
关于为什么这么小的速度这么快的问题，我会立即回答！
在这样的小型组织（例如我们的组织）中，软件中长时间处理了大量电子文档（即使在此超频存储中，每个注册表控件也最多可以将软件发送1小时）。 所有其他选项以前都已应用（在RM-RAM，CPU i5，SSD和1Gb-NET上增加）。 甚至在存储上仅使用SSD + SAS捆绑包（到目前为止还没有ALL-Flash）使得使用虚拟化服务器的大部分资源成为可能，将已加载的VM转移到ScaleIO-使FUJI CX400M1处理器（以前保留了存储）的负载翻了一番。