Présentation technique de NEC HYDRAstor HS8 et plus

Lorsque dans notre pays les gens entendent le nom de la société NEC, la première chose que les gens de la génération plus âgée se rappellent est la suivante:

Ceux qui sont un peu plus jeunes sont:

(sous la coupe beaucoup de photos)

NEC Corporation

Cela ressemble à "N-si". Et en anglais, cela signifie N ippon E lectric C orporation. Bien que dans notre pays, ils se prononcent généralement comme NEC :).

• Appartement du siège social - Tokyo, Japon (dans l'image)
• Chiffre d'affaires pour 2018 - 29 milliards de dollars
• Total des employés 109 000+
• Les principales usines sont situées au Japon, plusieurs usines en Malaisie
• 65% du chiffre d'affaires - ventes au Japon
• 18 bureaux dans 18 pays
• 4 centres de recherche dans 4 pays

L'entreprise a été enregistrée à Tokyo en 1899 et les premières années, elle s'est engagée dans la production d'équipements téléphoniques.
Aujourd'hui, NEC produit une gamme assez large de solutions, que l'on peut trouver sur le site officiel de l'entreprise.

Mais je voudrais parler à la communauté respectée de la ligne de stockage de déduplication NEC HYDRAstor pour les sauvegardes, et surtout de l'ancienne famille HS8.

NEC HYDRAstor HS8

Ce qui m'a surpris dès le début, c'est que la 5e génération de ces systèmes était déjà sortie et qu'en Russie, on ne sait presque rien à leur sujet. Au moins lors de la communication avec des personnes de fournisseurs, d'intégrateurs ou de clients, j'ai souvent vu la surprise comme la première réaction lorsque je mentionnais ces solutions.
Dans les images ci-dessous, la gamme actuelle NEC HYDRAstor HS8 et les principales caractéristiques des modèles sont présentées.

Les systèmes de stockage HYDRAstor sont des systèmes construits sur la base d'une architecture évolutive. Par conséquent, le stockage NEC HS8 est un système évolutif horizontalement et peut être étendu jusqu'à 165 nœuds pour augmenter la capacité et les performances. Cela vous permet de commencer avec une petite configuration moins coûteuse (Nr: monomode), puis de l'étendre séquentiellement en fonction de vos besoins de sauvegarde croissants. Comme on peut le voir sur les images, les clusters HS8 peuvent contenir deux types de nœuds. Noeuds hybrides (Hybrid Node), combinant les fonctions des contrôleurs (Accelerator Node), interagissant avec les serveurs de sauvegarde, ainsi que la fonction de stockage des données (Storage Node). Et des nœuds de stockage séparés (nœud de stockage), qui sont utilisés pour augmenter l'espace disque disponible dans le système de stockage. Selon le modèle du système et les exigences du client, le ratio de nœuds hybrides et de stockage dans le cluster peut varier.

^{2 - Un (1) téraoctet (To) = 1 000 000 000 000 octets.
3 - Hypothèse: sauvegarde complète hebdomadaire et sauvegarde incrémentielle quotidienne, et période de rétention de 3 mois pour atteindre un taux de réduction des données de 20: 1; Niveau de résilience 9 + 3.}

Il est possible de configurer des nœuds avec des disques de 8 To à la demande du client. Les performances maximales par nœud selon le fournisseur sont de 61 To / h ou 72 To / h à 1HN + 1SN, mais cela est soumis à l'utilisation de la déduplication à la source (Deduped Transfer) et des données qui se prêtent bien à la déduplication. Comme de nombreux fournisseurs, il s'agit davantage d'une figure de marketing - le soi-disant meilleur cas. Et le pire des cas est de 450 Mo / s par nœud sur 12 disques SATA - à condition que les données ne puissent pas du tout être dupliquées et compressées. C'est-à-dire tous les flux non compressés et non dédupliqués vont aux disques SATA, ce qu'on appelle le pire cas. Ainsi, ce qui est décrit ci-dessus est une sorte de valeurs extrêmes, et la réalité dans chaque cas particulier sera quelque part entre les deux.

L'apparition des nœuds HS8-5000 en face est présentée ci-dessous. En fait, ce sont les propres serveurs de NEC avec disques et cartes réseau. CPU dans tous les nœuds de la génération E5-2600v3.


Vue arrière d'un nœud hybride avec ports internes et externes sur 1Gbe. Les ports internes sont utilisés pour les connexions intracluster entre les nœuds HydraStor. Les ports externes sont utilisés pour les connexions client externes au cluster (par exemple, pour les serveurs de supports de sauvegarde). À droite, deux disques SAS qui hébergent le système d'exploitation du nœud.


Vue arrière d'un nœud hybride avec ports internes et externes sur 1Gbe et deux ports externes 10Gbe.


Vue arrière d'un nœud hybride avec ports internes et externes sur 1Gbe et quatre ports externes 10Gbe.


Vue arrière d'une pile de nœuds avec ports internes sur 1Gbe.


Connexions internes dans un cluster à deux nœuds composé de deux nœuds hybrides sans utiliser de commutateurs. Lors de la mise à niveau d'une configuration à nœud unique vers deux clusters de nœuds, vous devez prévoir un temps d'arrêt de 4 heures pour reconfigurer les LSN internes (nœuds de stockage logique). Les données déjà écrites dans le cluster ne sont pas perdues.


Connexions internes dans un cluster à deux nœuds composé d'un nœud hybride et d'un nœud à cent nœuds sans utiliser de commutateurs.


Connexion schématique d'un cluster composé de plus de 2 nœuds à l'aide de commutateurs Ethernet intra-cluster.


Pour le travail à l'intérieur du cluster, des commutateurs L2 NEC de propre production sont utilisés. Voici un exemple d'empilement de commutateurs intra-cluster NEC, qui sont utilisés pour connecter les ports internes des nœuds HydraStor. Selon la taille du cluster, deux à trois commutateurs Ethernet 48 ports par armoire de télécommunications peuvent être utilisés. Un maximum de 39 commutateurs unitaires par cluster (y compris les commutateurs L3 «haut de rack»). Les commutateurs sont fournis avec le cluster dans le cadre d'une solution unique.


Un exemple de table de commutation de ports sur des commutateurs Ethernet internes.
HNxxxx-M: connexion au port de maintenance du nœud hybride
HNxxxx-1/2/3/4: connexion au port iLAN1 / 2/3/4 du nœud hybride
SNxxxx-M: connexion au port de maintenance du nœud de stockage
SNxxxx-1/2/3/4: connexion au port iLAN1 / 2/3/4 du nœud de stockage
L3xxxxx-xx: connexion aux commutateurs L3
Grâce à des commutateurs L3, la connectivité entre les armoires de télécommunication dans les grandes configurations est fournie.


Exemple de livraison d'un cluster NEC HydraStor prêt à être installé dans une armoire de télécommunication client. 15 nœuds par armoire, jusqu'à 11 armoires en configuration maximale.


HYDRAstor utilise la déduplication globale en ligne dans l'ensemble du cluster - DataRedux .
Pendant la déduplication, les données sont divisées en blocs de longueur variable, ce qui vous permet de répondre plus précisément aux modifications de fichiers lors des sauvegardes suivantes. Pour les blocs uniques, l'algorithme de compression LZO est également utilisé pour réduire la taille des données stockées.


La modification de certaines données au milieu du fichier ne conduit pas à la formation de nouveaux blocs uniques, comme pour la déduplication utilisant des blocs de longueur constante. L'algorithme détermine assez précisément la partie modifiée du fichier et tous les blocs suivants restent inchangés et dédupliqués.


Le stockage NEC HS8 offre un niveau élevé de redondance des données stockées, supérieur à celui utilisé par le stockage conventionnel. Les données enregistrées sont divisées en plusieurs blocs, ajoutant des sommes de contrôle spéciales à ces blocs, puis réparties sur des disques à différents nœuds. Le système de stockage NEC HS8 assure la récupération des données même en cas de défaillance à plusieurs points simultanément. Il peut faire face non seulement aux pannes simultanées de 3 disques, mais aussi de nœuds, empêchant la perte d'informations en cas de panne. Pour protéger les données, des algorithmes de codage d'effacement sont utilisés.


Étant donné que l'HYDRAStor n'utilise pas de disques RAID et HS dédiés, la récupération après une défaillance (disques ou nœuds) est beaucoup plus rapide que l'utilisation de RAID. Depuis la récupération est effectuée selon le schéma de plusieurs à plusieurs, en utilisant l'espace libre pour la récupération de données.


L'intégrité des données stockées est périodiquement vérifiée. S'il s'avère que les données sont endommagées, elles sont automatiquement restaurées à partir des sommes de contrôle.


Les données résilientes distribuées (DRD) sont:
1. Protection définie par l'utilisateur contre la défaillance du disque ou du nœud

• Protection contre 3 défaillances simultanées par défaut
• La possibilité d'utiliser plusieurs niveaux (1-6) de protection pour diverses applications dans un même système (différents systèmes de fichiers avec le niveau de protection souhaité pour différentes applications)

2. Une meilleure protection à moindre coût.

• Par défaut, 75% de la capacité de stockage des données et 25% pour leur protection sont utilisés.
• 1,5 fois plus fiable que RAID 6 avec des coûts inférieurs et une récupération plus rapide
• Pas besoin de disques de rechange (Hot Spare), la récupération va à l'espace libre dans le cluster

3. Récupération plus rapide avec moins de dégradation des performances

• Seules les données sont récupérées, pas l'intégralité du disque
• Les données sont restaurées en mode plusieurs à plusieurs, contrairement au RAID

Le tableau ci-dessous montre la dépendance du nombre de pannes de disque ou de nœud autorisées pour les configurations à un et deux nœuds.
Un niveau de sécurité différent de celui par défaut (3) peut être attribué à chaque système de fichiers nouvellement créé. Plus le niveau spécifié par Resilience est élevé, plus les données sont protégées contre la perte, mais aussi plus le coût de l'espace disque requis pour cette protection est élevé. Par rapport aux solutions concurrentes, environ les mêmes 25% des coûts d'espace disque sont encourus par les concurrents lors de l'utilisation de Raid6, ce qui vous permet de ne pas perdre plus de 2 disques d'un groupe Raid. HydraStor peut perdre jusqu'à 3 disques sans perte de données avec les mêmes 25% de l'espace disque consacré à la protection des données stockées.


Un tableau similaire, uniquement pour les configurations monogonodes.


Capacité nette sur les nœuds HS8 sans déduplication ni compression.


Ajout de nouveaux nœuds au cluster:

• L'ajout de nouveaux HN (Hybrid Node) augmente linéairement les performances et la capacité du cluster.
• L'ajout de nouveaux SN (Storage Node) augmente linéairement la capacité du cluster
• Lors de l'ajout de nouveaux nœuds, le processus de redistribution des données stockées vers de nouveaux nœuds démarre automatiquement

La capacité de stockage NEC HS8 peut être facilement augmentée à mesure que la quantité de données augmente. Le stockage NEC HS8 peut stocker des données en toute sécurité pendant de longues périodes en utilisant la technologie distribuée de tolérance aux pannes. Les données migrent automatiquement de l'ancien nœud vers le nouveau lors du remplacement. Cela vous permet de modifier les nœuds en temps réel sans créer d'inconvénients pour les utilisateurs. Le remplacement des nœuds réduit également considérablement les coûts, prolongeant la durée de vie d'un système existant, par rapport au remplacement complet d'un système par un nouveau. Les nœuds de trois générations peuvent être simultanément dans un cluster.


Universal Express I / O - protocole d'E / S léger NEC (installé par un plug-in distinct sur le serveur de supports de sauvegarde)
1. A moins de frais généraux que NFS / CIFS, ce qui signifie qu'il est plus productif
2. Fonctionne avec de nombreuses applications de sauvegarde, par exemple: RMAN, NetWorker, NetVault etc.
3. Prend en charge les fonctions suivantes:

• Compression des données pendant la transmission
• Cryptage des données de transmission
• Équilibrage de la charge réseau

Universal Express I / O Deduped Transfer est une fonctionnalité Universal Express I / O sous licence séparée qui vous permet d'activer la déduplication sur la source.
Deduped Transfer a plusieurs limitations et ne fonctionnera pas si le nombre de travaux de sauvegarde compétitifs dépasse:

1. 50 sauvegardes parallèles sur un serveur de sauvegarde (la 51e sauvegarde sera effectuée sans déduplication sur la source)
2. 100 sauvegardes parallèles par nœud Hybryd (la 101e sauvegarde sera effectuée sans déduplication sur la source)

Deduped Transfer nécessite une licence supplémentaire pour Universal Express I / O ou OST Suite (OpenStorage - Suite).

Configuration requise pour un serveur de sauvegarde utilisant le transfert déduposé:


Grille d'accès synchronisé - vous permet d'activer l'accès à un système de fichiers via plusieurs nœuds hybrides en même temps. Cette fonctionnalité nécessite une licence distincte. En fait, un seul espace de noms est inclus pour un système de fichiers particulier via plusieurs nœuds hybrides physiques. En même temps, le client peut ne pas savoir par quel nœud spécifique il est actuellement connecté. Pour augmenter les performances d'un tel système de fichiers, vous pouvez simplement ajouter un autre nœud hybride au groupe de nœuds synchronisés. L'enregistrement simultané dans le même fichier à partir de différents nœuds n'est pas possible.

La grille d'accès synchronisé simplifie la conception du système et offre de bonnes performances sans avoir besoin de créer des systèmes de fichiers séparés sur chaque nœud hybride.


E / S dynamiques - équilibrage adaptatif des flux externes. Distribution dynamique des flux de sauvegarde sur tous les ports Ethernet externes (frontaux) de tous les nœuds hybrides.

Les E / S dynamiques fonctionnent s'il y a une grille d'accès synchronisé et des licences d'E / S Universal Express sur le cluster. Les flux de données sont également équilibrés sur plusieurs nœuds hybrides et / ou sous-réseaux au sein d'un cluster. Dans une configuration monomode, il est également possible de configurer l'équilibrage des flux sur les ports physiques du nœud (sans utiliser la licence de la grille d'accès synchronisé), mais vous devrez utiliser différents sous-réseaux sur chaque port externe physique du nœud. Cependant, une alternative aux deux licences dans une petite configuration monomode peut être la collecte de plusieurs interfaces externes dans le port de liaison . Les types d'agrégation suivants sont pris en charge:

• balance-rr - lance séquentiellement des paquets, de la première à la dernière interface
• balance-alb - est la première alternative à considérer si le LACP n'est pas utilisé. Équilibre de manière adaptative la charge sur toutes les interfaces, sans nécessiter la prise en charge des commutateurs. Mais cela peut provoquer des alertes dans les systèmes de surveillance réseau pour la duplication des adresses IP.
  
• active-backup - l'une des interfaces est active. Si l'interface active échoue (liaison descendante, etc.), une autre interface remplace celle active. Aucune configuration de commutateur supplémentaire requise
• IEEE 802.3ad ou LACP (nécessite une configuration côté commutateur client)

Naturellement, en plus de Bonding et Universal Express I / O, vous pouvez configurer des trames Jumbo sur toute la route du trafic (sur les interfaces réseau d'HydraStor inclus).

Pour l'intégration avec Veritas NetBackup , les plug-ins OST sont pris en charge pour différents systèmes d'exploitation. Si Universal I / O Express n'est pas utilisé, OST fournit de bonnes performances sur les protocoles CIFS ou NFS. NetBackup est également en mesure d'équilibrer ses travaux sur plusieurs nœuds NEC HS. Pour activer la déduplication sur la source, une licence Deduped Transfer est également requise. De plus, la fonctionnalité de copie optimisée est prise en charge, ce qui permet de répliquer uniquement des blocs uniques sur un site distant.


OST Auto Image Replication est une fonctionnalité qui automatise l'importation d'un catalogue de sauvegarde vers un serveur de sauvegarde sur un site distant. Cela vous permet d'accélérer la récupération des données sur un site distant en cas de panne complète du site d'origine.


Plugin OST - Configuration FC - une configuration est disponible pour HYDRAStor, dans laquelle vous pouvez écrire (lire) des données sur des nœuds hybrides, y compris le protocole FibreChannel. Initialement, seul NetBackup avec un plugin OST était pris en charge. Mais récemment, un correctif a été publié (disponible maintenant), dont la fonctionnalité sera ajoutée à la prochaine version du logiciel, et il fonctionne déjà avec FC en utilisant le protocole Universal Express IO . Cela élargit considérablement la gamme de logiciels de sauvegarde qui peuvent travailler avec des données sur un cluster via FC via Universal Express IO.


La figure ci-dessous montre la configuration des nœuds hybrides avec des cartes FC HBA installées.


La fonctionnalité de basculement pour la continuité des activités est le mécanisme de basculement du cluster HYDRAstor. Les nœuds hybrides (HN) surveillent mutuellement leur état et en cas de défaillance de l'un des nœuds, un nœud sain intercepte l'entrée / sortie du nœud brisé vers lui-même.
Lors de l'utilisation du protocole NFS, les E / S ne s'arrêtent pas et les sessions sur le serveur de sauvegarde ne sont pas réinitialisées. Dans d'autres cas, une reconnexion est requise.


Un exemple légèrement plus illustratif que sur la photo précédente. Non seulement les systèmes de fichiers se déplacent d'un nœud à l'autre, mais également les adresses IP via lesquelles ces systèmes de fichiers sont exportés.


Réplication optimisée WAN

• Envoie uniquement des données uniques
• Réduit considérablement la charge du réseau entre les sites
• Élimine les coûts de maintenance des bandes
• Protège les données grâce au chiffrement à la volée

Topologie bidirectionnelle 1 à 1 prise en charge pour la réplication


La topologie bidirectionnelle de N à M (ou plusieurs à plusieurs) est également prise en charge
Les données peuvent être copiées sur 16 autres systèmes avec une configuration HYDRAstor à nœud unique. En plus de copier des données vers 50 autres systèmes dans une configuration HYDRAstor à plusieurs nœuds.


Récupération d'espace - un emplacement sur un cluster, comme sur de nombreux cœurs de déduplication, n'est pas libéré immédiatement après la suppression de fichiers ou de systèmes de fichiers. Le processus de récupération d'espace est requis, qui se déroule en deux étapes: l'analyse et la recherche de blocs de données plus inutilisés et le processus réel de suppression de ces blocs. La récupération d'espace peut être démarrée manuellement ou selon un calendrier personnalisé (par exemple, pendant les heures où les sauvegardes de données actives ne se déroulent pas).


WORM (HydraLock) - Écrivez une fois lu plusieurs. Une technologie qui permet au fil du temps d'empêcher les fichiers de leur apporter des modifications et de les stocker pendant un certain nombre d'années. Par défaut, les données sont stockées dans un état inchangé pendant 10 ans.


Cryptage - HYDRAStor prend en charge le cryptage des données pour les transferts et les disques. Mais cette fonctionnalité n'est pas disponible en Russie conformément à notre législation.


Liste des licences Hydrastor HS8 en option achetées séparément

Presque toutes les fonctionnalités de la liste sont analysées ci-dessus dans l'article. En plus de DirectDataShadow , qui permet une sauvegarde directe des volumes à partir des systèmes de stockage NEC de la série M (sans serveurs et logiciels de sauvegarde supplémentaires).

Lors de l'achat de NEC HYDRAstor, une licence distincte de déduplication + compression (DataRedux), ainsi que des protocoles d'accès aux fichiers Cifs, NFS et d'accès aux objets, n'est pas requise.

Surveillance et notification - l'administrateur système peut recevoir des notifications du système par e-mail via SMTP (a), ainsi que via SNMP (b), ou les afficher dans l'interface de contrôle ©.


HS Data Reduction Estimation Tool - un utilitaire de ligne de commande du fournisseur disponible sur demande. Utilisé pour tester la déduplicabilité et la compressibilité des données client. Disponible sous Windows et Linux. L'image ci-dessous montre un exemple de liste d'un fichier BAT, qui peut être exécuté à une certaine fréquence à la main ou placé dans le planificateur de tâches dans Windows, par exemple pour faire une imitation de la sauvegarde quotidienne des données.En fait, en utilisant l'utilitaire, vous pouvez faire une estimation approximative de la capacité d'HydraStor, qui sera nécessaire pour le stockage des sauvegardes client.

Exemple d'exécution de l'utilitaire à partir de CMD sous Windows:

hsSimulator.exe -d <tempDBfile> -o <CSVfile 1> <Files/directories to be measured (before update)> hsSimulator.exe -d <tempDBfile> -o <CSVfile 2> <Files/directories to be measured (after update)> 

Un exemple de fichier BAT pour automatiser le lancement d'un utilitaire planifié:

 @echo off set h=%TIME:~0,2% if "%h:~0,1%" equ " " set h=0%h:~1,1% set m=%TIME:~3,2% set s=%TIME:~6,2% set dd=%DATE:~0,2% set mm=%DATE:~3,2% set yyyy=%DATE:~6,4% c:\hsSimulator\hsSimulator.exe -dc:\hsSimulator\temp.db ^ -oc:\hsSimulator\test-%dd%-%mm%-%yyyy%_%h%.%m%.%s%.csv c:\temp 

À la suite du travail du fichier BAT, nous obtenons un fichier CSV avec la date et l'heure au nom: test-10-06-2019_17.30.11.csv

HYDRAStor HS3-50 à nœud unique

NEC dispose également d'un petit HYDRAStor HS3-50, qui diffère des anciens modèles HS8 par ses performances inférieures et son manque de prise en charge de clustering. C'est-à-dire ne peut être utilisé que comme un nœud distinct. Ce modèle utilise également une génération de CPU E5-2600v3. La fonctionnalité est entièrement comparable au modèle unique HS8-5001S. Il peut être concédé sous licence par multiples de 8 To, et la capacité brute maximale est de 24 To. Il est positionné pour les petites installations et les bureaux d'entreprise distants avec la possibilité de répliquer les données sur les anciens systèmes vers le bureau central.


Capacité nette sur les nœuds HS3 sans déduplication et compression:

Appliance virtuelle HYDRAStor

HYDRAStor Virtual Appliance est une application virtuelle avec le même logiciel que sur les versions de fer de HS3 / HS8 et avec la possibilité de réplication vers ces versions de fer. Extensible à une capacité utilisable de 15 To. Les exigences d'installation sont présentées dans l'image ci-dessous. Il est positionné pour les petites entreprises et les bureaux distants ainsi que pour le HS3-50.
Sur demande, le fournisseur peut fournir des licences d'essai pour l'appliance virtuelle HYDRAStor pendant 90 jours.

<sup>Notes de bas de page dans les tableaux
1. Compression de sauvegarde typique, selon le type de données.
2. Capacité calculée sur la base de: 1 Go = 1 000 000 000 octets, 1 To = 1 000 Go.
3. Calcul pour HS VA sur le serveur hôte VMware ESXi avec 2 Intel Xeon E5-2470 à 2,30 GHz (8 cœurs chacun), 96 Go de mémoire, 6 disques durs SATA (7 200 tr / min 4 To) en RAID6
4. Le taux de compression des données est supposé être de 20: 1.
5. Le type de CPU doit être Nehalem-C (Westmere) ou supérieur (par exemple, Intel Xeon Processor E56xx / L56xx / X56xx) avec une fréquence de 1,5 GHz ou plus.
6. Les valeurs de capacité sont calculées sur la base de: 1 Go = 1 073 741 824 octets, 1 Go = 1 000 000 000 octets, 1 To = 1 000 Go.</sup>

NEC HYDRAStor HS6

NEC propose une autre solution moins chère que la famille HS8 de systèmes HYDRAstor, positionnée pour le stockage d'archives (principalement le contenu multimédia). Il utilise la déduplication non pas comme une variable, mais comme un bloc fixe. Sinon, les mêmes technologies sont disponibles que pour le HS8. Dans la dernière colonne de la ligne Capacité se trouve une faute de frappe, faisant référence à des pétaoctets et non à des téraoctets.


Et puis combien de photos qui montrent comment NEC se voit dans le contexte des concurrents :).
NEC HS8 vs DataDomain


NEC HS8 vs StoreOnce


Comparaison des performances (par contrôleur TB / h)


Comparaison des performances (par système TB / h)


C'est en fait tout ce que j'ai réussi à «compiler» à partir de la documentation NEC dispersée et complète sur ces systèmes :).