👁️ 🚴🏼 🏈 NEC HYDRAstor HS8技术概述等 💃🏽 🐴 🧑🏿

在我们国家，人们听到NEC公司的名字时，老一辈的人首先想到的是：

年龄较小的是：

（剪下很多图片）

NEC公司

听起来像“ N-si”。在英语中，它代表日本电子公司。尽管在我们国家，它们通常发音为NEC :)。

总部公寓-日本东京（如图）
2018年营业额-290亿美元
员工总数109,000+
主要工厂位于日本，马来西亚有多家工厂
营业额的65％-日本国内销售
在18个国家/地区设有18个办事处
在4个国家设有4个研究中心

该公司于1899年在东京注册，第一年从事电话设备的生产。
今天，NEC提供了相当广泛的解决方案，可以在公司的官方网站上找到它们。

但是，我想向受人尊敬的社区介绍NEC HYDRAstor用于备份的重复数据删除存储线，以及所有有关较旧的HS8系列的信息。

NEC HYDRAstor HS8

从一开始我就感到惊讶的是，这些系统的第5代已经发布，在俄罗斯几乎一无所知。至少在与供应商，集成商或客户的人员进行交流时，提到这些解决方案时，我常常会以惊讶为第一反应。
在下面的图片中，介绍了当前的NEC HYDRAstor HS8系列和模型的主要特性。

HYDRAstor存储系统是基于横向扩展体系结构构建的系统。因此，NEC HS8存储是一个水平可扩展的系统，可以扩展到165个节点以增加容量和性能。这样一来，您便可以从较小的，较便宜的配置（Nr：单模式）开始，然后根据不断增长的备份需求顺序扩展它。从图片可以看出，HS8群集可以包含两种类型的节点。混合节点（混合节点），结合了控制器的功能（加速器节点），与备份服务器交互以及数据存储功能（存储节点）。还有单独的存储节点（Storage Node），用于增加存储系统中的可用磁盘空间。根据系统模型和客户要求，群集中混合节点和存储节点的比例可能会有所不同。

^{2-一（1）兆字节（TB）= 1,000,000,000,000字节。} ^{3-假设：每周完全备份，每天增量备份，保留期3个月，以实现20：1的数据减少率；} ^{9 + 3弹性级别。}

根据客户要求，可以为节点配置8TB磁盘。根据供应商，每个节点的最大性能为1HN + 1SN时为61TB / h或72TB / h，但这取决于源端使用重复数据删除（Deduped Transfer）以及数据本身很适合重复数据删除的情况。像许多供应商一样，这更像是一个营销人物-所谓的“最佳案例”。最坏的情况是12个SATA磁盘上的每个节点450MB / s-前提是无法复制和完全压缩数据。即所有非压缩和非重复数据删除流都流向SATA驱动器，这称为最坏情况。因此，上述内容是一种极值，并且在每种特定情况下的现实都将介于两者之间。

前面展示了HS8-5000节点的外观 。实际上，这些是NEC自己的带有磁盘和网卡的服务器。 E5-2600v3代的所有节点中的CPU。

在1Gbe上具有内部和外部端口的混合节点的后视图。内部端口用于HydraStor节点之间的集群内连接。外部端口用于与群集的外部客户端连接（例如，用于备份媒体服务器）。右侧是承载节点操作系统的两个SAS磁盘。

在1Gbe上具有内部和外部端口以及两个10Gbe外部端口的混合节点的后视图。

在1Gbe上具有内部和外部端口以及四个10Gbe外部端口的混合节点的后视图。

1Gbe上带有内部端口的节点堆栈的后视图。

由两个混合节点组成的两节点群集中的内部连接，无需使用交换机。从单节点配置升级到两个节点群集时，您需要计划4小时的停机时间以重新配置内部LSN（逻辑存储节点）。已经写入集群的数据不会丢失。

由混合节点和一百个节点组成的两节点群集中的内部连接，无需使用交换机。

使用群集内以太网交换机对包含两个以上节点的群集进行示意图式连接。

对于集群内部的工作，使用自己生产的L2 NEC交换机。以下是堆叠NEC集群内交换机的示例，该交换机用于连接HydraStor节点的内部端口。根据群集的大小，每个电信机柜可以使用两到三个48端口以太网交换机。每个群集最多39个单机交换机（包括“机架式” L3交换机）。交换机与群集捆绑在一起，作为单个解决方案的一部分。

内部以太网交换机上的端口交换表的示例。
HNxxxx-M：连接到混合节点的维护端口
HNxxxx-1 / 2/3/4：连接到混合节点的iLAN1 / 2/3/4端口
SNxxxx-M：连接到存储节点的维护端口
SNxxxx-1 / 2/3/4：连接到存储节点的iLAN1 / 2/3/4端口
L3xxxxx-xx：连接到L3交换机
通过L3交换机，可以提供大型配置的电信机柜之间的连接。

现成的NEC HydraStor群集交付示例，该群集可安装在客户的电信机柜中。每个机柜15个节点，最多配置11个机柜。

HYDRAstor在整个集群DataRedux中使用内联全局重复数据删除。
在重复数据删除过程中，数据分为可变长度的块，这使您可以在后续备份期间更准确地响应文件更改。对于唯一块，还可以使用LZO压缩算法来减小存储数据的大小。

更改文件中间的某些数据不会导致形成新的唯一块，就像使用恒定长度的块进行重复数据删除一样。该算法非常准确地确定了文件的更改部分，并且所有后续块均保持不变并进行了重复数据删除。

NEC HS8存储提供了存储数据的高级别冗余，优于传统存储所使用的冗余。记录的数据分为多个块，在这些块上添加特殊的校验和，然后分布在各个节点的磁盘中，NEC HS8存储系统即使在多个点同时发生故障的情况下也可以提供数据恢复。它不仅可以处理3个磁盘的同时故障，还可以处理节点的同时故障，从而防止发生故障时丢失信息。为了保护数据，使用了擦除编码算法。

由于HYDRAStor不使用RAID和专用HS磁盘，因此从故障（磁盘或节点）中恢复的速度比使用RAID时要快得多。由于恢复是根据方案从多到多进行的，因此使用可用空间进行数据恢复。

定期检查存储的数据的完整性。如果事实证明数据已损坏，则将自动从校验和中还原数据。

分布式弹性数据（DRD）为：
1.用户定义的磁盘或节点故障保护

默认情况下防止3个并发故障
可以在一个系统（针对具有不同应用程序所需保护级别的不同文件系统）中为多个应用程序使用几种（1-6）保护级别的能力

2.以更低的成本提供更好的保护。

默认情况下，使用75％的数据存储容量和25％的保护容量。
比RAID 6高1.5倍的可靠性，且成本更低，恢复更快
无需备用磁盘（热备用），恢复即可获得群集中的可用空间

3.恢复更快，性能降低更少

仅恢复数据，而不恢复整个磁盘
与RAID不同，数据以多对多模式还原

下表显示了一节点和两节点配置所允许的磁盘或节点故障数的依赖性。
可以为每个新创建的文件系统分配与默认值（3）不同的安全级别。弹性指定的级别越高，保护数据免受丢失的可靠性就越高，但是此保护所需的磁盘空间成本也就越大。与竞争解决方案相比，使用Raid6时，竞争对手大约需要磁盘空间成本的25％，这使您从一个Raid组中损失不超过2个磁盘。 HydraStor最多可以丢失3个磁盘而不会丢失数据，而保护存储数据所花费的磁盘空间却只有25％。

相似的表，仅适用于monogonode配置。

HS8节点上的净容量，无重复数据删除和压缩。

将新节点添加到集群：

添加新的HN（混合节点）可线性提高群集的性能和容量。
添加新的SN（存储节点）以线性方式增加集群容量
添加新节点时，将自动开始将存储的数据重新分配到新节点的过程

随着数据量的增加，NEC HS8的存储容量可以轻松增加。 NEC HS8存储设备可以使用分布式容错技术安全地长时间存储数据。替换期间，数据自动从旧节点迁移到新节点。这使您可以实时更改节点，而不会给用户带来麻烦。与用新系统完全替换节点相比，替换节点还可以大大降低成本，从而延长了现有系统的寿命。三代节点可以同时位于一个群集中。

Universal Express I / O-轻量级I / O协议NEC（通过备份媒体服务器上的单独插件安装）
1.比NFS / CIFS开销少，这意味着它的生产力更高
2.与许多备份应用程序一起使用，例如：RMAN，NetWorker，NetVault等。
3.支持以下功能：

传输期间的数据压缩
传输数据加密
网络负载平衡

Universal Express I / O重复数据删除传输是单独许可的Universal Express I / O功能，使您可以在源上启用重复数据删除。
重复数据删除传输有一些限制，如果竞争性备份作业的数量超过以下限制，则将无法使用：

到一台备份服务器的50个并行备份（第51个备份将在源上不进行重复数据删除的情况下执行）
每个Hybryd节点100个并行备份（第101个备份将在源上没有重复数据删除的情况下执行）

重复数据删除传输需要Universal Express I / O或OST Suite（OpenStorage-Suite）的附加许可证。

使用重复数据删除传输的备份服务器的要求：

同步访问网格 -使您能够同时通过多个混合节点访问一个文件系统。该功能需要单独的许可证。实际上，通过多个物理混合节点为特定文件系统包括单个名称空间。同时，客户端可能不知道客户端当前通过哪个特定节点连接。要提高这种文件系统的性能，您可以简单地将另一个混合节点添加到同步节点组中。无法从不同节点同时记录到同一文件。

同步访问网格简化了系统设计并提供了良好的性能，而无需在每个混合节点上创建单独的文件系统。

动态I / O-外部流的自适应平衡。跨所有Hybrid节点的所有外部（前端）以太网端口动态分配备份流。

如果群集上有同步访问网格和Universal Express I / O许可证，则动态I / O起作用。数据流在群集中的多个混合节点和/或子网之间平均平衡。在单模式配置中，还可以在节点的物理端口上配置流平衡（不使用“同步访问网格”许可证），但是您将需要在节点的每个物理外部端口上使用不同的子网。但是，在小型单模式配置中这两个许可证的替代方法可能是在“ 绑定端口 ”中收集多个外部接口。支持以下聚合类型：

balance-rr-从第一个接口到最后一个接口顺序抛出数据包
balance-alb-是不使用LACP的第一个备选方案。自适应地平衡所有接口上的负载，而无需交换机的支持。但是，这可能会在网络监视系统中引发有关IP地址重复的警报。
active-backup-接口之一处于活动状态。如果活动接口发生故障（链接断开等），则另一个接口将替换活动接口。无需其他开关配置
IEEE 802.3ad或LACP （需要在客户交换机侧进行配置）

自然，除了Bonding和Universal Express I / O外，您还可以沿整个流量路由配置巨型帧 （在HydraStor的网络接口上）。

为了与Veritas NetBackup集成，各种操作系统均支持OST插件 。如果不使用Universal Express I / O，则OST可以通过CIFS或NFS协议提供良好的性能。 NetBackup还能够在多个NEC HS节点之间平衡其作业。要在源上启用重复数据删除，还需要重复数据删除许可证。此外，还支持“ 优化复制”功能，该功能仅允许将唯一的块复制到远程站点。

OST自动映像复制是一项自动将备份目录导入到远程站点上的备份服务器的功能。如果原始站点完全失败，这使您可以加快远程站点的数据恢复。

OST插件 -FC 配置 -HYDRAStor提供了一种配置，您可以在其中将数据写入（读取）到包括FiberChannel协议的混合节点。最初，仅支持带有OST插件的NetBackup。但是最近发布了一个补丁（现已可用），该补丁的功能将添加到下一个软件版本中，并且已经使用Universal Express IO协议与FC一起使用 。这极大地扩展了备份软件的范围，该备份软件可以通过Universal Express IO通过FC在群集上使用数据。

下图显示了已安装FC HBA卡的混合节点的配置。

业务连续性的故障转移功能是HYDRAstor群集的故障转移机制。混合节点（HN）监视彼此的状态，并且在其中一个节点发生故障的情况下，运行状况良好的节点会拦截从损坏的节点到其自身的输入/输出。
使用NFS协议时，I / O不会停止，并且备份服务器上的会话也不会重置。在其他情况下，需要重新连接。

一个比上一张图片更具说明性的示例。不仅文件系统在节点之间移动，而且这些文件系统通过其导出的IP地址。

广域网优化复制

仅发送唯一数据
大大减少站点之间的网络负载
消除了磁带维护成本
通过即时加密保护数据

支持一对一双向拓扑复制

还支持N对M双向拓扑 （或多对多）
可以使用单节点HYDRAstor配置将数据复制到其他16个系统。以及在多节点HYDRAstor配置中将数据复制到50个其他系统。

空间回收 -删除文件或文件系统后，群集上的位置（如许多重复数据删除核心上的位置）不会立即释放。需要进行空间回收过程，该过程分为两个阶段：分析和搜索更多未使用的数据块以及删除这些块的实际过程。可以手动启动空间回收，也可以根据自定义计划启动空间回收（例如，在无法进行活动数据备份的小时内）。

WORM（HydraLock） -一次写入多次读取。这项技术可以随着时间的流逝阻止文件进行更改，并进一步将它们存储指定的年限。默认情况下，数据以不变状态存储10年。

加密 -HYDRAStor支持对传输和磁盘进行数据加密。但是根据我们的法律，此功能在俄罗斯不可用。

单独购买的可选Hydrastor HS8许可证列表

上面的文章中分析了列表中几乎所有的功能。除了DirectDataShadow之外，它还允许从NEC的M系列存储系统直接备份卷（无需其他服务器和备份软件）。

购买NEC HYDRAstor时，不需要单独的重复数据删除+压缩许可（DataRedux）以及Cif，NFS和对象访问文件访问协议。

监视和通知 -系统管理员可以通过SMTP（a）以及通过SNMP（b）接收系统到邮件的通知，或在控制界面©中查看它们。

HS Data Reduction Estimation Tool-应要求提供的供应商命令行实用程序。用于测试客户数据的重复性和可压缩性。在Windows和Linux下可用。下图显示了列出BAT文件的示例，该文件可以以一定的频率手动运行，也可以放入Windows的任务计划程序中，例如模仿日常数据备份。 HydraStor, .

CMD Windows:

hsSimulator.exe -d <tempDBfile> -o <CSVfile 1> <Files/directories to be measured (before update)> hsSimulator.exe -d <tempDBfile> -o <CSVfile 2> <Files/directories to be measured (after update)>

BAT文件示例，用于自动启动计划的实用程序：

 @echo off set h=%TIME:~0,2% if "%h:~0,1%" equ " " set h=0%h:~1,1% set m=%TIME:~3,2% set s=%TIME:~6,2% set dd=%DATE:~0,2% set mm=%DATE:~3,2% set yyyy=%DATE:~6,4% c:\hsSimulator\hsSimulator.exe -dc:\hsSimulator\temp.db ^ -oc:\hsSimulator\test-%dd%-%mm%-%yyyy%_%h%.%m%.%s%.csv c:\temp

由于BAT文件的工作，我们得到了一个CSV文件，其日期和时间的名称为： test-10-06-2019_17.30.11.csv

单节点HYDRAStor HS3-50

NEC还具有小型HYDRAStor HS3-50，与较低版本的HS8型号相比，其性能较低且缺乏群集支持。即只能用作一个单独的节点。该型号还使用了CPU一代E5-2600v3。该功能与单型号HS8-5001S完全可比。它可以以8TB的倍数进行许可，最大原始容量为24TB。它定位于小型安装和远程公司办公室，能够将旧系统上的数据复制到中心办公室。

HS3节点上的净容量，无重复数据删除和压缩：

HYDRAStor虚拟设备

HYDRAStor虚拟设备是一个虚拟应用程序，具有与HS3 / HS8铁版相同的软件，并且可以复制到这些铁版。可扩展至15TB可用容量。安装要求如下图所示。它适用于小型公司和远程办公室以及HS3-50。
根据要求，供应商可以提供90天的HYDRAStor虚拟设备试用许可证。

^{表格中的脚注} ^{1.典型的备份压缩，取决于数据类型。} ^{2.容量基于以下计算得出：1 GB = 1,000,000,000字节，1 TB = 1,000 GB。} ^{3.在具有2个Intel Xeon E5-2470 @ 2.30GHz（每个8个核），96GB内存，6个SATA HDD（7,200RPM 4TB）的RAID6中，在VMware ESXi主机服务器上计算HS VA} ^{4.假定数据压缩率为20：1。} ^{5. CPU类型必须是频率为1.5GHz或更高的Nehalem-C（Westmere）或更高（例如，Intel Xeon处理器E56xx / L56xx / X56xx）。} ^{6.电容值的计算基于：1GiB = 1,073,741,824字节，1 GB = 1,000,000,000字节，1 TB = 1,000 GB。}