Salut Habr! Dans cet article, nous vous dirons s'il vaut la peine d'organiser des matrices RAID basées sur des solutions SSD SATA SSD et NVMe SSD, et y en aura-t-il un gros bénéfice? Nous avons décidé de comprendre ce problème en considérant les types et les types de contrôleurs qui le permettent, ainsi que la portée de ces configurations.
D'une manière ou d'une autre, chacun de nous au moins une fois dans ma vie a entendu des définitions telles que «RAID», «RAID-array», «RAID-controller», mais il est peu probable qu'il attache une grande importance à cela, car pour le PC-boyar ordinaire, tout cela est peu probable intéressant. Mais tout le monde veut que tout le monde profite des vitesses élevées des disques internes et de la fiabilité de son travail. Après tout, quelle que soit la puissance du remplissage de l'ordinateur, la vitesse du lecteur devient un goulot d'étranglement, si nous parlons de la vitesse combinée du PC et du serveur.
C'était exactement jusqu'au moment où les SSD NVMe traditionnels d'une capacité comparable de 1 To ou plus ont remplacé le disque dur traditionnel. Et si auparavant, sur le PC, il y avait plus souvent des ensembles de disques SSD SATA + quelques disques durs volumineux, ils commencent aujourd'hui à être remplacés par une autre solution - NVMe SSD + quelques disques SSD SATA volumineux. Si nous parlons de serveurs d'entreprise et de «clouds», beaucoup ont déjà réussi à passer au SSD SATA, simplement parce qu'ils sont plus rapides que les «boîtes» ordinaires et sont capables de traiter plus d'opérations d'E / S en même temps.
Cependant, la tolérance aux pannes du système est encore à un niveau assez bas: nous ne pouvons pas, comme dans Battle of Psychics, prédire avec précision, même jusqu'à une semaine, quand l'un ou l'autre disque SSD ordonne de vivre longtemps. Et si le disque dur «meurt» progressivement, vous permettant d'attraper les symptômes et d'agir, le SSD «meurt» immédiatement et sans avertissement. Et maintenant, il est temps de comprendre pourquoi tout cela est nécessaire? Vaut-il la peine d'organiser des matrices RAID basées sur des solutions SSD SATA SSD et NVMe SSD, et y en aura-t-il un gros bénéfice?
Pourquoi ai-je besoin d'une matrice RAID?
Le mot «baie» lui-même implique déjà que plusieurs disques (HDD et SSD) sont utilisés pour le créer, qui sont combinés à l'aide d'un contrôleur RAID et sont reconnus par le système d'exploitation comme un seul stockage de données. La tâche globale que les matrices RAID peuvent résoudre est de minimiser le temps d'accès aux données, d'augmenter la vitesse de lecture / écriture et la fiabilité, ce qui est réalisé grâce à la capacité de récupérer rapidement en cas de panne. Soit dit en passant, il n'est pas nécessaire d'utiliser le RAID pour les sauvegardes à domicile. Mais si vous avez votre propre serveur domestique, qui nécessite un accès constant 24/7 - alors c'est une autre affaire.
Il existe plus d'une douzaine de niveaux de matrices RAID, dont chacun diffère par le nombre de disques qui y sont utilisés et a ses propres avantages et inconvénients: par exemple, RAID 0 vous permet d'obtenir des performances élevées sans tolérance aux pannes, RAID 1 vous permet de refléter automatiquement les données sans augmenter la vitesse, et RAID 10 combine en soi les possibilités de ce qui précède. RAID 0 et 1 sont les plus simples (car ils ne nécessitent pas de calculs logiciels) et, par conséquent, sont les plus populaires. En fin de compte, le choix en faveur d'un niveau RAID particulier dépend des tâches assignées à la matrice de disques et des capacités du contrôleur RAID.
RAID domestique et d'entreprise: quelle est la différence?
Le fondement de toute entreprise moderne est de grandes quantités de données qui doivent être stockées en toute sécurité sur les serveurs de l'entreprise. Et aussi, comme nous l'avons noté ci-dessus, ils devraient avoir un accès constant 24/7. Il est clair que sur un pied d'égalité avec le matériel, la partie logicielle est également importante, mais dans ce cas, nous parlons toujours d'un équipement qui fournit un stockage et un traitement fiables des informations. Aucun logiciel ne sauvera l'entreprise de la ruine si le matériel «matériel» ne remplit pas les tâches qui lui sont assignées.
Pour ces tâches, tout fabricant de matériel propose les appareils dits d'entreprise. Kingston propose de puissantes solutions à semi-conducteurs sous la forme de modèles SATA
Kingston 450R (DC450R) et de la
série DC500 , ainsi que des modèles DC1000M U.2 NVMe NVMe, DCU1000 U.2 NVMe et DCP-1000 PCI-e destinés à être utilisés dans les centres de données (centres de données) et supercalculateurs. Les baies de ces disques sont généralement utilisées en conjonction avec des contrôleurs matériels.
Pour le marché grand public (c'est-à-dire pour les ordinateurs personnels et les serveurs NAS), des disques tels que
Kingston KC2000 NVMe PCIe sont disponibles, mais dans ce cas, il n'est pas nécessaire d'acheter un contrôleur matériel. Vous pouvez vous limiter à un serveur PC ou NAS intégré à la carte mère, sauf si vous prévoyez bien sûr de créer votre propre serveur domestique pour des tâches atypiques (faire un petit hébergement à domicile pour des amis, par exemple). De plus, les baies RAID domestiques n'impliquent généralement pas la présence de centaines ou de milliers de disques, se limitant à deux, quatre et huit périphériques (généralement SATA).
Types et types de contrôleurs RAID
Il existe trois types de contrôleurs RAID basés sur les principes de mise en œuvre RAID:
1. Logiciel, dans lequel le contrôle de la baie tombe sur le CPU et la DRAM (c'est-à-dire que l'exécution du code de programme se produit sur le processeur).
2. Intégré, c'est-à-dire intégré à la carte mère d'un PC ou d'un serveur NAS.
3. Matériel (modulaire), qui sont des cartes d'extension discrètes pour les connecteurs des cartes mères PCI / PCIe.
Quelle est leur différence fondamentale les uns par rapport aux autres? Les contrôleurs RAID logiciels sont inférieurs aux performances et à la tolérance aux pannes intégrés et matériels, mais ne nécessitent pas d'équipement spécial pour fonctionner. Cependant, il est important de s'assurer que le processeur hôte est suffisamment puissant pour exécuter le logiciel RAID sans nuire aux performances des applications qui s'exécutent également sur l'hôte. Les contrôleurs intégrés, en règle générale, sont équipés de leur propre mémoire cache et utilisent une certaine quantité de ressources CPU.
Mais le matériel a sa propre mémoire cache et un processeur intégré pour exécuter des algorithmes logiciels. Habituellement, ils vous permettent d'implémenter toutes sortes de niveaux RAID et de prendre en charge plusieurs types de disques à la fois. Par exemple, vous pouvez connecter simultanément des périphériques SATA, SAS et NVMe à des contrôleurs matériels Broadcom modernes, ce qui vous permet de ne pas changer de contrôleur lors de la mise à niveau des serveurs: en particulier, lorsque vous passez d'un SSD SATA à un SSD NVMe, vous n'avez pas à changer les contrôleurs.
En fait, sur cette note, nous sommes arrivés à la typologie des contrôleurs eux-mêmes. S'il y a trois modes, devrait-il y en avoir d'autres? Dans ce cas, la réponse à cette question sera affirmative. Selon les fonctions et les capacités, les contrôleurs RAID peuvent être divisés en plusieurs types:
1. Contrôleurs RAID ordinairesDans toute la hiérarchie, il s'agit du contrôleur le plus simple qui vous permet de combiner disque dur et SSD en matrices RAID de niveaux «0», «1» ou «0 + 1». Le logiciel est implémenté au niveau du firmware. Cependant, ces appareils peuvent difficilement être recommandés pour une utilisation dans le segment des entreprises, car ils ne disposent pas de cache et ne prennent pas en charge les tableaux de niveaux «5», «3», etc. Mais pour un serveur domestique d'entrée de gamme, ils conviennent parfaitement.
2. Contrôleurs associés à d'autres contrôleurs RAIDCe type de contrôleur peut être associé à des contrôleurs de carte mère intégrés. Ceci est implémenté selon le principe suivant: un contrôleur RAID discret s'occupe de la solution des problèmes «logiques» et de l'échange de données intégré entre les disques. Mais il y a une nuance: le fonctionnement en parallèle de tels contrôleurs n'est possible que sur des cartes mères compatibles, ce qui signifie que leur portée se rétrécit sérieusement.
3. Contrôleurs RAID autonomesCes solutions discrètes contiennent à bord toutes les puces nécessaires pour travailler avec des serveurs de classe entreprise, ayant leur propre BIOS, une mémoire cache et un processeur pour une correction rapide des erreurs et le calcul des sommes de contrôle. De plus, ils répondent à des normes de fiabilité élevées en termes de fabrication et disposent de modules de mémoire de haute qualité.
4. Contrôleurs RAID externesIl est facile de deviner que tous les contrôleurs ci-dessus sont internes et reçoivent leur alimentation via le connecteur PCIe de la carte mère. De quoi parle-t-on? Et le fait qu'une défaillance de la carte mère peut entraîner des erreurs dans le fonctionnement de la matrice RAID et une perte de données. Les contrôleurs externes sont exempts de ce malentendu, car ils sont logés dans un boîtier séparé avec une alimentation indépendante. En termes de fiabilité, ces contrôleurs offrent le plus haut niveau de stockage de données.
Broadcom , Microsemi Adaptec, Intel, IBM, Dell et Cisco ne sont que quelques-unes des sociétés qui proposent actuellement des contrôleurs RAID matériels.
Modes de contrôleur RAID SAS / SATA / NVMe
La tâche principale des contrôleurs HBA et RAID tri-mode (ou des contrôleurs avec fonction Tri-Mode) est de créer un RAID matériel basé sur NVMe. Chez Broadcom, les contrôleurs de la série 9400 peuvent le faire: par exemple, le
MegaRAID 9460-16i . Il appartient à un type indépendant de contrôleurs RAID, il est équipé de quatre connecteurs SFF-8643 et, grâce à la prise en charge Tri-Mode, vous permet de connecter des disques SATA / SAS et NVMe en même temps. De plus, il est également l'un des contrôleurs les plus écoénergétiques du marché (il ne consomme que 17 watts d'énergie, alors que moins de 1,1 watts pour chacun des 16 ports).
L'interface de connexion est PCI Express x8 version 3.1, ce qui vous permet d'implémenter une bande passante de 64 Gb / s (en 2020, les contrôleurs pour PCI Express 4.0 devraient apparaître). Le contrôleur à 16 ports est basé sur la puce
SAS3516 à 2 cœurs et la SDRAM DDR4-2133 72 bits (4 Go), ainsi que sur la possibilité de connecter jusqu'à 240 disques SATA / SAS ou jusqu'à 24 périphériques NVMe. Concernant l'organisation des matrices RAID, les niveaux «0», «1», «5» et «6», ainsi que «10», «50» et «60» sont pris en charge. Soit dit en passant, la mémoire cache du
MegaRAID 9460-16i et des autres contrôleurs de la série 9400 est protégée contre les pannes de tension par le module CacheVault CVPM05 en option.
La technologie à trois modes est basée sur la fonction de conversion de données SerDes: convertir la représentation des données série dans les interfaces SAS / SATA en forme parallèle dans PCIe NVMe et vice versa. Autrement dit, le contrôleur négocie les vitesses et les protocoles pour fonctionner de manière transparente avec l'un des trois types de périphériques de stockage. Cela offre un moyen ininterrompu de faire évoluer les infrastructures des centres de données: les utilisateurs peuvent utiliser NVMe sans modifications importantes des autres configurations du système.
Cependant, lors de la planification de configurations avec des disques NVMe, il convient de considérer que les solutions NVMe utilisent 4 lignes PCIe pour se connecter, ce qui signifie que chaque disque utilise toutes les lignes de port SFF-8643. Il s'avère que seuls quatre disques NVMe peuvent être connectés directement au contrôleur MegaRAID 9460-16i. Ou limitez-vous à deux solutions NVMe tout en connectant huit disques SAS en même temps (voir le schéma de connexion ci-dessous).
La figure montre l'utilisation du connecteur «0» (C0 / connecteur 0) et du connecteur «1» pour les connexions NVMe, ainsi que les connecteurs «2» et «3» pour les connexions SAS. Cette disposition peut être inversée, mais chaque disque x4 NVMe doit être connecté à l'aide de lignes adjacentes. Les modes de fonctionnement du contrôleur sont définis via les outils de configuration StorCLI ou Human Interface Infrastructure (HII), qui s'exécute dans un environnement UEFI.
Le mode par défaut est le profil «PD64» (ne prend en charge que SAS / SATA). Comme nous l'avons dit ci-dessus, il existe trois profils au total: mode SAS / SATA uniquement (PD240 / PD64 / PD 16), mode NVMe uniquement (PCIe4) et mode mixte, dans lequel tous les types de disques peuvent fonctionner: PD64 -PCIe4 "(prise en charge de 64 disques physiques et virtuels avec 4 disques NVMe). En mode mixte, la valeur du profil spécifié doit être comme ceci - "ProfileID = 13". Soit dit en passant, le profil sélectionné est enregistré en tant que maître et n'est pas réinitialisé même lorsque vous restaurez les paramètres d'usine via la commande Définir les paramètres d'usine. Il sera possible de le modifier uniquement manuellement.
Dois-je créer une matrice RAID sur un SSD?
Nous avons donc déjà réalisé que les matrices RAID sont la clé de hautes performances. Mais vaut-il la peine de construire un RAID à partir de disques SSD pour un usage domestique et professionnel? De nombreux sceptiques affirment que l'augmentation de la vitesse n'est pas assez importante pour faire faillite sur les disques NVMe. Mais est-ce vraiment le cas? À peine. La plus grande limitation pour l'utilisation de SSD en RAID (à la fois au niveau domestique et au niveau de l'entreprise) ne peut être que le prix. Quoi qu'on en dise, le coût d'un gigaoctet d'espace sur un disque dur est beaucoup moins cher.
La connexion de plusieurs «disques» SSD à un contrôleur RAID pour créer une matrice de SSD dans certaines configurations peut avoir un impact énorme sur les performances. Cependant, n'oubliez pas que les performances maximales sont limitées par la bande passante du contrôleur RAID lui-même. Le niveau RAID qui offre les meilleures performances est RAID 0.
L'organisation d'un RAID 0 régulier avec deux disques SSD, qui utilise la méthode de division des données en blocs fixes et leur alternance entre le stockage à l'état solide, conduira à un doublement des performances (par rapport aux vitesses produites par un SSD). Dans ce cas, une matrice RAID 0 avec quatre disques SSD sera quatre fois plus rapide que le SSD le plus lent de la matrice (en fonction de la limite de bande passante au niveau du contrôleur RAID SSD).
Basé sur une simple arithmétique, un SSD SATA est environ 3 fois plus rapide qu'un disque dur SATA traditionnel. Les solutions NVMe sont encore plus efficaces - 10 fois ou plus. À condition que deux disques durs au niveau RAID zéro affichent des performances doublées, en les augmentant de 50%, deux SSD SATA seront 6 fois plus rapides et deux SSD NVMe 20 fois plus rapides. En particulier, un lecteur PCIe Kingston KC2000 NVMe peut atteindre des vitesses de lecture et d'écriture séquentielles allant jusqu'à 3200 Mo / s, qui au format RAID 0 atteindront un impressionnant 6 Go / s. Et la vitesse de lecture / écriture de blocs aléatoires de 4 Ko passera de 350 000 IOPS à 700 000 IOPS. Mais ... en même temps, le RAID «zéro» ne nous fournit pas de redondance.
Nous pouvons dire qu'à la maison, la redondance du stockage n'est généralement pas requise, donc RAID 0 est vraiment la configuration RAID la plus appropriée pour RAID 0. C'est un moyen fiable d'obtenir une augmentation significative des performances comme alternative à l'utilisation de technologies telles que les SSD Intel Optane. Mais comment les solutions SSD se comporteront dans les types de RAID les plus populaires («1», «5», «10», «50») - nous parlerons dans notre prochain article.
Cet article a été préparé avec le soutien de nos collègues de Broadcom, qui fournissent leurs contrôleurs aux ingénieurs de Kingston pour les tester avec des disques SATA / SAS / NVMe de classe entreprise. Grâce à cette symbiose conviviale, les clients n'ont pas à douter de la fiabilité et de la stabilité des disques Kingston avec les contrôleurs HBA et RAID de Broadcom.
Des informations supplémentaires sur les produits Kingston sont disponibles
sur le site officiel de l'entreprise .