Descripción técnica general de NEC HYDRAstor HS8 y más

Cuando en nuestro país la gente escucha el nombre de la empresa NEC, lo primero que recuerdan las personas de la generación anterior es esto:

Los que son un poco más jóvenes son:

(debajo del corte muchas fotos)

Corporación NEC

Suena como "N-si". Y en inglés significa N ippon E lectric C orporation. Aunque en nuestro país suelen pronunciarse como NEC :).

• Apartamento de la sede - Tokio, Japón (en la imagen)
• Volumen de negocios para 2018: $ 29 mil millones
• Empleados totales 109,000+
• Las plantas principales se encuentran en Japón, varias plantas en Malasia.
• 65% de la facturación: ventas en Japón
• 18 oficinas en 18 países
• 4 centros de investigación en 4 países.

La compañía se registró en Tokio en 1899 y los primeros años se dedicó a la producción de equipos telefónicos.
Hoy, NEC produce una gama bastante amplia de soluciones, que se pueden encontrar en el sitio web oficial de la compañía.

Pero me gustaría contarle a la comunidad respetada sobre la línea de almacenamiento de deduplicación NEC HYDRAstor para copias de seguridad, y sobre todo sobre la familia HS8 más antigua.

NEC HYDRAstor HS8

Lo que me sorprendió desde el principio fue que la quinta generación de estos sistemas ya se lanzó, y en Rusia casi no se sabe nada sobre ellos. Al menos cuando me comunicaba con personas de vendedores, integradores o clientes, a menudo veía la sorpresa como la primera reacción al mencionar estas soluciones.
En las imágenes a continuación, se presenta la línea actual NEC HYDRAstor HS8 y las principales características de los modelos.

Los sistemas de almacenamiento HYDRAstor son sistemas construidos sobre la base de una arquitectura escalable. En consecuencia, el almacenamiento NEC HS8 es un sistema escalable horizontalmente y se puede ampliar hasta 165 nodos para aumentar la capacidad y el rendimiento. Esto le permite comenzar con una configuración pequeña y menos costosa (Nr: modo único) y luego expandirla secuencialmente a medida que sus crecientes necesidades de respaldo. Como se puede ver en las imágenes, los clústeres HS8 pueden contener dos tipos de nodos. Los nodos híbridos (nodo híbrido), que combinan las funciones de los controladores (nodo acelerador), interactúan con los servidores de respaldo, así como la función de almacenamiento de datos (nodo de almacenamiento). Y nodos de almacenamiento separados (Nodo de almacenamiento), que se utilizan para aumentar el espacio disponible en el disco en el sistema de almacenamiento. Según el modelo del sistema y los requisitos del cliente, la proporción de nodos híbridos y de almacenamiento en el clúster puede variar.

^{2 - Un (1) terabyte (TB) = 1,000,000,000,000 bytes.
3 - Supuesto: copia de seguridad completa semanal e incremental diaria, y un período de retención de 3 meses para lograr una relación de reducción de datos de 20: 1; Nivel de resistencia 9 + 3.}

Es posible configurar nodos con discos de 8TB a pedido del cliente. El rendimiento máximo por nodo según el proveedor es de 61 TB / ho 72 TB / h a 1HN + 1SN, pero está sujeto al uso de deduplicación en la fuente (transferencia deducida) y datos que se prestan bien a la deduplicación. Al igual que muchos proveedores, esta es más una figura de marketing: el llamado Mejor Caso. Y el peor de los casos es 450 MB / s por nodo en 12 discos SATA, siempre que los datos no se puedan duplicar y comprimir por completo. Es decir todo el flujo no comprimido y no deduplicado va a unidades SATA, lo que se llama el peor de los casos. Por lo tanto, lo descrito anteriormente es un tipo de valores extremos, y la realidad en cada caso particular estará en algún punto intermedio.

La apariencia de los nodos HS8-5000 en el frente se presenta a continuación. De hecho, estos son servidores propios de NEC con discos y tarjetas de red. CPU en todos los nodos de la generación E5-2600v3.


Vista posterior de un nodo híbrido con puertos internos y externos en 1Gbe. Los puertos internos se utilizan para conexiones intragrupo entre nodos HydraStor. Los puertos externos se utilizan para conexiones de clientes externos al clúster (por ejemplo, para servidores de medios de respaldo). A la derecha hay dos discos SAS que alojan el sistema operativo del nodo.


Vista posterior de un nodo híbrido con puertos internos y externos en 1Gbe y dos puertos externos de 10Gbe.


Vista posterior de un nodo híbrido con puertos internos y externos en 1Gbe y cuatro puertos externos de 10Gbe.


Vista posterior de una pila de nodos con puertos internos en 1Gbe.


Conexiones internas en un clúster de dos nodos que consta de dos nodos híbridos sin el uso de conmutadores. Al actualizar desde una configuración de nodo único a dos clústeres de nodo, debe planificar 4 horas de tiempo de inactividad para reconfigurar los LSN internos (nodos de almacenamiento lógico). Los datos ya escritos en el clúster no se pierden.


Conexiones internas en un clúster de dos nodos que consta de un nodo híbrido y un nodo de cien nodos sin usar conmutadores.


Conexión esquemática de un clúster que consta de más de 2 nodos utilizando conmutadores Ethernet intra-clúster.


Para el trabajo dentro del clúster, se utilizan conmutadores L2 NEC de producción propia. A continuación se muestra un ejemplo de apilamiento de conmutadores intra-clúster NEC, que se utilizan para conectar los puertos internos de los nodos HydraStor. Dependiendo del tamaño del clúster, se pueden usar de dos a tres conmutadores Ethernet de 48 puertos por gabinete de telecomunicaciones. Un máximo de 39 interruptores de una sola unidad por grupo (incluidos los interruptores L3 "Top-of-Rack"). Los switches se agrupan con el clúster como parte de una única solución.


Un ejemplo de una tabla de conmutación de puertos en conmutadores Ethernet internos.
HNxxxx-M: conectar al puerto de mantenimiento del nodo híbrido
HNxxxx-1/2/3/4: Conéctese al puerto iLAN1 / 2/3/4 del nodo híbrido
SNxxxx-M: conectarse al puerto de mantenimiento del nodo de almacenamiento
SNxxxx-1/2/3/4: Conéctese al puerto de almacenamiento iLAN1 / 2/3/4
L3xxxxx-xx: conectar a interruptores L3
A través de los conmutadores L3 se proporciona conectividad entre gabinetes de telecomunicaciones en configuraciones grandes.


Ejemplo de entrega de un clúster NEC HydraStor listo para instalar en el gabinete de telecomunicaciones de un cliente. 15 nodos por gabinete, hasta 11 gabinetes en configuración máxima.


HYDRAstor utiliza deduplicación global en línea dentro de todo el clúster: DataRedux .
Durante la deduplicación, los datos se dividen en bloques de longitud variable, lo que le permite responder con mayor precisión a los cambios de archivos durante las copias de seguridad posteriores. Para bloques únicos, el algoritmo de compresión LZO se usa adicionalmente para reducir el tamaño de los datos almacenados.


Cambiar algunos datos en el medio del archivo no conduce a la formación de nuevos bloques únicos, como ocurre con la deduplicación utilizando bloques de longitud constante. El algoritmo determina con bastante precisión la parte modificada del archivo, y todos los bloques posteriores permanecen sin cambios y deduplicados.


El almacenamiento NEC HS8 ofrece un alto nivel de redundancia de datos almacenados, superior al utilizado por el almacenamiento convencional. Los datos grabados se dividen en muchos bloques, agregando sumas de verificación especiales a estos bloques, y luego distribuidos a través de discos en varios nodos, el sistema de almacenamiento NEC HS8 proporciona recuperación de datos incluso en caso de fallas en varios puntos simultáneamente. Puede hacer frente no solo a fallas simultáneas de 3 discos, sino también de nodos, evitando la pérdida de información en caso de falla. Para proteger los datos, se utilizan algoritmos de codificación de borrado.


Debido al hecho de que el HYDRAStor no usa discos RAID y HS dedicados, la recuperación de fallas (discos o nodos) es mucho más rápida que cuando se usa RAID. Dado que la recuperación se lleva a cabo de acuerdo con el esquema de muchos a muchos, utilizando el espacio libre para la recuperación de datos.


Los datos almacenados se verifican periódicamente para verificar su integridad. Si resulta que los datos están dañados, entonces se restauran automáticamente desde las sumas de verificación.


Los datos resilientes distribuidos (DRD) son:
1. Protección definida por el usuario contra fallas de disco o nodo

• Protección contra 3 fallas concurrentes por defecto
• La capacidad de usar varios niveles (1-6) de protección para varias aplicaciones en un sistema (diferentes sistemas de archivos con el nivel deseado de protección para diferentes aplicaciones)

2. Mejor protección a menor costo.

• De forma predeterminada, se utiliza el 75% de la capacidad para el almacenamiento de datos y el 25% para su protección.
• 1.5 veces más confiable que RAID 6 con costos más bajos y recuperación más rápida
• No se necesitan discos de repuesto (repuesto dinámico), la recuperación va al espacio libre en el clúster

3. Recuperación más rápida con menos degradación en el rendimiento.

• Solo se recuperan los datos, no todo el disco
• Los datos se restauran en modo de muchos a muchos, a diferencia de RAID

La siguiente tabla muestra la dependencia del número de fallas de disco o nodo permitidas para configuraciones de uno y dos nodos.
Se puede asignar un nivel de seguridad diferente del predeterminado (3) a cada sistema de archivos recién creado. Cuanto mayor sea el nivel especificado por Resilience, más confiables estarán los datos protegidos contra pérdidas, pero también mayor será el costo del espacio en disco requerido para esta protección. En comparación con las soluciones competitivas, los competidores incurren en aproximadamente el mismo 25% de los costos de espacio en disco cuando usan Raid6, lo que le permite perder no más de 2 discos de un grupo de Raid. HydraStor puede perder hasta 3 discos sin pérdida de datos con el mismo 25% del espacio en disco empleado para proteger los datos almacenados.


Una tabla similar, solo para configuraciones de monogonodo.


Capacidad neta en nodos HS8 sin deduplicación y compresión.


Agregar nuevos nodos al clúster:

• La adición del nuevo HN (nodo híbrido) aumenta linealmente el rendimiento y la capacidad del clúster.
• Agregar un nuevo SN (nodo de almacenamiento) aumenta linealmente la capacidad del clúster
• Al agregar nuevos nodos, el proceso de redistribución de datos almacenados a nuevos nodos comienza automáticamente

La capacidad de almacenamiento de NEC HS8 se puede aumentar fácilmente a medida que aumenta la cantidad de datos. El almacenamiento NEC HS8 puede almacenar datos de forma segura durante largos períodos de tiempo utilizando la tecnología de tolerancia a fallas distribuida. Los datos migran automáticamente del nodo antiguo al nuevo durante el reemplazo. Esto le permite cambiar nodos en tiempo real sin crear inconvenientes para los usuarios. Reemplazar nodos también reduce significativamente los costos, extendiendo la vida útil de un sistema existente, en comparación con reemplazar completamente un sistema por uno nuevo. Los nodos de tres generaciones pueden estar simultáneamente en un grupo.


Universal Express I / O : protocolo de E / S ligero NEC (instalado por un complemento separado en el servidor de medios de respaldo)
1. Tiene menos gastos generales que NFS / CIFS, lo que significa que es más productivo
2. Funciona con muchas aplicaciones de respaldo, por ejemplo: RMAN, NetWorker, NetVault, etc.
3. Soporta las siguientes funciones:

• Compresión de datos durante la transmisión
• Cifrado de datos de transmisión
• Equilibrio de carga de red

Universal Express I / O Deduped Transfer es una funcionalidad de Universal Express I / O con licencia por separado que le permite habilitar la deduplicación en la fuente.
La transferencia deducida tiene varias limitaciones y no funcionará si la cantidad de trabajos de respaldo competitivos excede:

1. 50 copias de seguridad paralelas en un servidor de copia de seguridad (la 51ª copia de seguridad se realizará sin deduplicación en la fuente)
2. 100 copias de seguridad paralelas por nodo Hybryd (la copia de seguridad 101 se realizará sin deduplicación en la fuente)

La transferencia deducida requiere una licencia adicional para Universal Express I / O o OST Suite (OpenStorage - Suite).

Requisitos para un servidor de copia de seguridad con transferencia deducida:


Cuadrícula de acceso sincronizado : le permite habilitar el acceso a un sistema de archivos a través de varios nodos híbridos al mismo tiempo. La función requiere una licencia por separado. De hecho, se incluye un único espacio de nombres para un sistema de archivos particular a través de varios nodos híbridos físicos. Al mismo tiempo, el cliente puede no saber a través de qué nodo específico está conectado actualmente. Para aumentar el rendimiento de dicho sistema de archivos, simplemente puede agregar otro nodo híbrido al Grupo de nodos sincronizados. La grabación simultánea en el mismo archivo desde diferentes nodos no es posible.

La cuadrícula de acceso sincronizado simplifica el diseño del sistema y proporciona un buen rendimiento sin la necesidad de crear sistemas de archivos separados en cada nodo híbrido.


E / S dinámica : equilibrio adaptativo de flujos externos. Distribución dinámica de flujos de respaldo en todos los puertos Ethernet externos (front-end) de todos los nodos híbridos.

La E / S dinámica funciona si hay licencias de Grid de acceso sincronizado y Universal Express I / O en el clúster. Los flujos de datos se equilibran de manera uniforme en múltiples nodos híbridos y / o subredes dentro de un clúster. Dentro de una configuración de modo único, también es posible configurar el equilibrio de flujo en los puertos físicos del nodo (sin usar la licencia de la Red de acceso sincronizado), pero necesitará usar diferentes subredes en cada puerto externo físico del nodo. Sin embargo, una alternativa a ambas licencias dentro de una configuración pequeña de modo único puede ser la recopilación de varias interfaces externas en el puerto de enlace . Se admiten los siguientes tipos de agregación:

• balance-rr - lanza secuencialmente paquetes, desde la primera hasta la última interfaz
• balance-alb : es la primera alternativa a considerar si no se usa LACP. Equilibra adaptativamente la carga en todas las interfaces, sin requerir soporte de los conmutadores. Pero puede causar alertas en los sistemas de monitoreo de red para la duplicación de direcciones IP.
  
• active-backup : una de las interfaces está activa. Si la interfaz activa falla (enlace inactivo, etc.), otra interfaz reemplaza a la activa. No se requiere configuración de interruptor adicional
• IEEE 802.3ad o LACP (requiere configuración en el lado del conmutador del cliente)

Naturalmente, además de Bonding y Universal Express I / O, puede configurar Jumbo Frames a lo largo de toda la ruta de tráfico (en las interfaces de red HydraStor, inclusive).

Para la integración con Veritas NetBackup , los complementos OST son compatibles con varios sistemas operativos. Si no se utiliza Universal Express I / O, OST proporciona un buen rendimiento sobre los protocolos CIFS o NFS. NetBackup también puede equilibrar sus trabajos en múltiples nodos NEC HS. Para habilitar la deduplicación en la fuente, también se requiere una licencia de transferencia deducida . Además, se admite la funcionalidad de Copia optimizada , que permite que solo bloques únicos se repliquen en un sitio remoto.


OST Auto Image Replication es una función que automatiza la importación de un catálogo de respaldo a un servidor de respaldo en un sitio remoto. Esto le permite acelerar la recuperación de datos en un sitio remoto en caso de una falla completa del sitio original.


Complemento OST: configuración FC : hay una configuración disponible para HYDRAStor, en la que puede escribir (leer) datos en nodos híbridos, incluido el protocolo FiberChannel. Inicialmente, solo se admitía NetBackup con un complemento OST. Pero recientemente se lanzó un parche (disponible ahora), cuya funcionalidad se agregará a la próxima versión de software, y ya funciona con FC utilizando el protocolo Universal Express IO . Esto amplía enormemente la gama de software de respaldo que puede trabajar con datos en un clúster a través de FC a través de Universal Express IO.


La figura siguiente muestra la configuración de nodos híbridos con tarjetas FC HBA instaladas.


La funcionalidad de conmutación por error para la continuidad del negocio es el mecanismo de conmutación por error del clúster HYDRAstor. Los nodos híbridos (HN) monitorean el estado de cada uno y, en caso de falla de uno de los nodos, un nodo sano intercepta la entrada / salida del nodo roto a sí mismo.
Cuando se utiliza el protocolo NFS, la E / S no se detiene y las sesiones en el servidor de copia de seguridad no se restablecen. En otros casos, se requiere reconexión.


Un ejemplo un poco más ilustrativo que en la imagen anterior. No solo los sistemas de archivos se mueven de un nodo a otro, sino también las direcciones IP a través de las cuales se exportan estos sistemas de archivos.


Replicación optimizada para WAN

• Envía solo datos únicos
• Reduce significativamente la carga de red entre sitios
• Elimina los costos de mantenimiento de la cinta.
• Protege los datos mediante encriptación sobre la marcha

Topología bidireccional 1 a 1 compatible para replicación


La topología bidireccional N-to-M (o muchas a muchas) también es compatible
Los datos se pueden copiar a otros 16 sistemas con una configuración HYDRAstor de un solo nodo. Además de copiar datos a otros 50 sistemas en una configuración HYDRAstor de múltiples nodos.


Recuperación de espacio : un lugar en un clúster, como en muchos núcleos de deduplicación, no se libera inmediatamente después de eliminar archivos o sistemas de archivos. Se requiere el proceso de Recuperación del espacio, que se realiza en dos etapas: análisis y búsqueda de más bloques de datos no utilizados y el proceso real de eliminación de estos bloques. La Recuperación de espacio se puede iniciar manualmente o de acuerdo con un programa personalizado (por ejemplo, durante las horas en que las copias de seguridad de datos activas no se ejecutan).


WORM (HydraLock) - Escribir una vez Leer muchos. Una tecnología que permite, con el tiempo, bloquear los archivos para que no realicen cambios en ellos y almacenarlos durante un número específico de años. Por defecto, los datos se almacenan sin cambios durante 10 años.


Cifrado : HYDRAStor admite el cifrado de datos para transferencias y discos. Pero esta funcionalidad no está disponible en Rusia de acuerdo con nuestra legislación.


Lista de licencias opcionales de Hydrastor HS8 compradas por separado

Casi toda la funcionalidad de la lista se analiza anteriormente en el artículo. Además de DirectDataShadow , que permite la copia de seguridad directa de volúmenes de los sistemas de almacenamiento de la serie M de NEC (sin servidores y software de copia de seguridad adicionales).

La compra de NEC HYDRAstor no requiere licencias separadas de deduplicación + compresión (DataRedux), así como protocolos de acceso a archivos Cifs, NFS y acceso a objetos.

Monitoreo y notificación : el administrador del sistema puede recibir notificaciones del sistema al correo a través de SMTP (a), así como a través de SNMP (b), o verlas en la interfaz de control ©.


Herramienta de estimación de reducción de datos de HS : una utilidad de línea de comandos del proveedor disponible a pedido. Se utiliza para probar la deduplicabilidad y la compresibilidad de los datos del cliente. Disponible bajo Windows y Linux. La siguiente imagen muestra un ejemplo de listar un archivo BAT que puede ejecutar con cierta frecuencia manualmente o ponerlo en el programador de tareas en Windows, por ejemplo, para simular una copia de seguridad de datos diaria. HydraStor, .

CMD Windows:

hsSimulator.exe -d <tempDBfile> -o <CSVfile 1> <Files/directories to be measured (before update)> hsSimulator.exe -d <tempDBfile> -o <CSVfile 2> <Files/directories to be measured (after update)> 

Un ejemplo de un archivo BAT para automatizar el lanzamiento de una utilidad programada:

 @echo off set h=%TIME:~0,2% if "%h:~0,1%" equ " " set h=0%h:~1,1% set m=%TIME:~3,2% set s=%TIME:~6,2% set dd=%DATE:~0,2% set mm=%DATE:~3,2% set yyyy=%DATE:~6,4% c:\hsSimulator\hsSimulator.exe -dc:\hsSimulator\temp.db ^ -oc:\hsSimulator\test-%dd%-%mm%-%yyyy%_%h%.%m%.%s%.csv c:\temp 

Como resultado del trabajo del archivo BAT, obtenemos un archivo CSV con la fecha y la hora en el nombre: test-10-06-2019_17.30.11.csv

Solo nodo HYDRAStor HS3-50

NEC también tiene un pequeño HYDRAStor HS3-50, que difiere de los modelos HS8 más antiguos en menor rendimiento y falta de soporte de agrupación. Es decir solo se puede usar como un nodo separado. Este modelo también utiliza una generación de CPU E5-2600v3. La funcionalidad es totalmente comparable con el modelo único HS8-5001S. Se puede licenciar en múltiplos de 8 TB y la capacidad bruta máxima es de 24 TB. Está posicionado para pequeñas instalaciones y oficinas remotas de la empresa con la capacidad de replicar datos en sistemas más antiguos en la oficina central.


Capacidad neta en nodos HS3 sin deduplicación y compresión:

Dispositivo virtual HYDRAStor

HYDRAStor Virtual Appliance es una aplicación virtual con el mismo software que en las versiones de hierro de HS3 / HS8 y con la posibilidad de replicación a estas versiones de hierro. Escalable a 15 TB de capacidad útil. Los requisitos de instalación se presentan en la imagen a continuación. Está posicionado para pequeñas empresas y oficinas remotas, así como para el HS3-50.
Previa solicitud, el proveedor puede proporcionar licencias de prueba para el dispositivo virtual HYDRAStor durante 90 días.

<sup>Notas al pie en tablas
1. Compresión de respaldo típica, según el tipo de datos.
2. Capacidad calculada en base a: 1 GB = 1,000,000,000 bytes, 1 TB = 1,000 GB.
3. Cálculo para HS VA en el servidor host VMware ESXi con 2 Intel Xeon E5-2470 @ 2.30GHz (8 núcleos cada uno), 96GB de memoria, 6x SATA HDD (7,200RPM 4TB) en RAID6
4. Se supone que la relación de compresión de datos es 20: 1.
5. El tipo de CPU debe ser Nehalem-C (Westmere) o superior (p. Ej., Procesador Intel Xeon E56xx / L56xx / X56xx) con una frecuencia de 1.5GHz o superior.
6. Los valores de capacitancia se calculan en base a: 1GiB = 1,073,741,824 bytes, 1 GB = 1,000,000,000 bytes, 1 TB = 1,000 GB.</sup>

NEC HYDRAStor HS6

NEC tiene otra solución más barata que la familia HS8 de sistemas HYDRAstor: está posicionada para el almacenamiento de archivos (principalmente contenido de medios). Utiliza la deduplicación no como una variable, sino como un bloque fijo. De lo contrario, están disponibles las mismas tecnologías que para el HS8. En la última columna de la línea Capacidad hay un error tipográfico, que se refiere a Petabytes, no a Terabytes.


Y luego cuántas fotos muestran cómo NEC se ve a sí mismo en el contexto de los competidores :).
NEC HS8 vs DataDomain


NEC HS8 vs StoreOnce


Comparación de rendimiento (por controlador TB / h)


Comparación de rendimiento (por sistema TB / h)


Eso es todo lo que logré "compilar" a partir de la extensa y dispersa documentación de NEC en estos sistemas :).