Une infrastructure informatique moderne est désormais impensable sans l'utilisation de systèmes de virtualisation. Et la virtualisation révèle pleinement ses capacités dans le cas de l'utilisation d'un système de stockage de données centralisé. Et en plus de ce rôle important, il existe d'autres tâches où le stockage peut être nécessaire: projets de vidéosurveillance à grande échelle, stockage de grandes quantités de données, travail avec les médias et plus encore.
Parmi les systèmes de stockage actuellement sur le marché, nous souhaitons attirer votre attention sur les systèmes de stockage du fabricant taïwanais Qsan Technology XCubeSAN series.

QSAN en tant que société indépendante est apparue en 2008. Initialement, l'équipe QSAN était engagée dans le développement et la production OEM de contrôleurs RAID pour divers fabricants de stockage. Un peu plus tard, après avoir obtenu le soutien de géants parmi les fabricants d'ODM comme Compal et Gigabyte (oui, Gigabyte produit non seulement des cartes mères et des cartes vidéo connues de tous, mais aussi beaucoup de choses du secteur des entreprises), est passé à la production de leurs propres systèmes de stockage. Le fabricant est présent en Russie presque depuis sa fondation (c'est-à-dire depuis près de 9 ans) et a parcouru un long chemin d'un fournisseur inconnu à un fournisseur de solutions qui peuvent concurrencer avec succès les marques dites de niveau 1.
Ainsi, QSAN XCubeSAN est la dernière génération de stockage, combinant le plus grand nombre possible de technologies. La devise principale du fabricant est de mettre la fonctionnalité Enterprise à la disposition des petites et moyennes entreprises. La principale chose à laquelle vous devez immédiatement faire attention est la prise en charge complètement officielle du fournisseur pour les disques tiers. Par conséquent, personne ne vous liera les mains (et ne tournera les poches à la recherche de billets) lors du choix d'un sous-système de disque. Bien sûr, vous devez immédiatement réserver que le respect de la feuille de compatibilité dans le segment Entreprise est ce que l'on appelle doit avoir, sinon vous pouvez rencontrer des problèmes très désagréables pendant le fonctionnement.
Par ailleurs, il convient de noter que dans le contexte de l'utilisation de disques tiers, la construction de stockage sur SSD (et même All Flash Storage) devient de plus en plus populaire. Si les prix de certains types de disques durs de marque sont encore proches de ceux achetés en magasin, alors pour les SSD, même avec des remises importantes sur les projets, il est irréaliste de se rapprocher du prix, par exemple, HGST ou Intel. Cela signifie que All Flash basé sur QSAN ne sera tout simplement pas abordable, par rapport aux marques de niveau 1.
Composants matériels de stockage
La gamme QSAN XCubeSAN se compose de trois séries avec index pour les modèles XS1200 , XS3200 et XS5200 . Ils diffèrent par le type de processeur (Pentium / Xeon, 2-4-8 cœurs), ce qui affecte à son tour les performances de pointe. Sinon, le matériel et le logiciel sont complètement identiques. Par conséquent, dans l'examen, nous ne nous concentrerons pas sur un modèle spécifique, car les informations sont essentiellement applicables à tous (bien sûr, avec quelques modifications).
4 types de valises sont disponibles:
- 2U 12 baies LFF
- LFF 3U 16 baies
- 4U 24 baies LFF
- 2U 26 baies SFF
Tous les modèles avec disques LFF (3,5 ") prennent en charge l'installation de disques / SSD au format SFF (2,5") sans options supplémentaires.

26 disques dans un boîtier 2U
Les trois premiers types de bâtiments ne surprendront probablement personne. Mais le cas 2U26 est actuellement un facteur de forme très intéressant. Une telle densité élevée de disques est obtenue en raison de l'amincissement de la glissière pour disques, ainsi que d'un agencement spécial de raidisseurs du corps du système de stockage. À l'heure actuelle, aucun des fabricants n'a de telles solutions: un nombre typique de baies pour 2U est de 24 à 25. Et les baies ou deux disques supplémentaires ne sont pas du tout superflus, car ils vous permettent d'aborder de manière plus flexible le problème de la création de groupes RAID et de ne pas économiser sur le disque de secours.

Patin universel avec disque
En outre - composants internes: alimentations, modules de refroidissement, contrôleurs. Tous sont dupliqués pour la tolérance aux pannes. Et, bien sûr, ils prennent en charge un échange à chaud. Non, bien sûr, vous pouvez commander du stockage avec un seul contrôleur. Mais le monde progressiste tout entier est depuis longtemps arrivé à la conclusion que le surpaiement pour un deuxième contrôleur est la tranquillité d'esprit du client et un accès continu aux services situés sur le système de stockage.

Panneau arriere
Le contrôleur est basé sur le processeur Intel Xeon / Pentium D-1500, spécialement conçu pour être utilisé dans des solutions intégrées. En tant que RAM, la mémoire DDR4 avec prise en charge ECC obligatoire est utilisée. Il y a 4 connecteurs sur la carte pour cela (2 pour le modèle plus jeune). Le mode double canal est pris en charge avec une capacité maximale allant jusqu'à 128 Go (32 Go pour le modèle plus jeune). Il existe un module DOM SATA sur lequel le système d'exploitation est installé.

Contrôleur, vue de dessus
Pour la communication avec le monde extérieur, il y a deux ports RJ-45 10 GbE iSCSI (rétrocompatible avec 1 GbE), un port de contrôle dédié, ainsi que 2 ports miniSAS HD pour connecter des étagères d'extension via l'interface SAS 12G. De plus, il existe des connecteurs pour connecter la console et l'onduleur via les ports COM ou USB.

Contrôleur, vue arrière
En plus de l'interface intégrée, il existe deux emplacements pour les cartes d'extension: PCI-E x8 Gen3 et PCI-E x4 Gen2. Diverses options de connecteur hôte sont prises en charge:
- 4 x 16 Go FC (SFP +)
- 2 x 16 Go FC (SFP +)
- 2x iSCSI 10 Gb (10GBASE-T)
- 4x 10 Go iSCSI (SFP +)
- 4x 1 Go iSCSI (1 GBASE-T)

Cartes d'extension
Vous pouvez combiner des interfaces de n'importe quelle manière, notamment en combinant Fibre Channel et iSCSI au sein du même système. La seule limitation est que la configuration des ports dans les deux contrôleurs doit être la même. Dans la configuration maximale, dans un système de stockage à deux contrôleurs, il peut y avoir jusqu'à 16 ports FC 16G ou jusqu'à 20 ports iSCSI 10G. Bien sûr, la mesure des valeurs maximales est une tâche ingrate, mais du point de vue de la pratique, le fait d'avoir un grand nombre d'interfaces peut non seulement améliorer les performances dans un certain nombre de scénarios, mais également vous permettre d'abandonner l'utilisation de commutateurs Ethernet Fibre Channel ou 10 Go coûteux au sein de 6 à 10 serveurs.
Pour protéger le cache du contrôleur d'une coupure de courant soudaine, un module cache-flash est utilisé, composé d'une batterie ou d'un condensateur et d'un SSD avec interface PCI-E M.2. L'utilisation d'un lecteur aussi rapide est nécessaire pour avoir le temps de copier le contenu du cache pendant que la batterie prend en charge le contrôleur. L'ensemble de l'opération ne prend pas plus de 2 minutes, même si la taille du cache est maximale - 128 Go. Dans le même temps, la capacité de la batterie est suffisante pour 3-4 de ces cycles, c'est-à-dire que vous pouvez être calme même avec des coupures de courant répétées. Nous tenons également à noter que pour maintenir le module Ca-to-Flash, vous n'avez pas besoin de retirer l'alimentation, et encore moins le contrôleur. Le module a une fonction de remplacement à chaud et est accessible depuis le panneau arrière.
Pour augmenter la capacité du disque, vous pouvez connecter des étagères XCubeDAS, qui sont disponibles dans les mêmes cas que les systèmes de stockage eux-mêmes: 2U12, 3U16, 4U24, 2U26. De plus, il n'y a aucune restriction sur la configuration de la "tête" et des étagères, vous pouvez les combiner dans n'importe quelle combinaison. Cependant, le nombre maximal d'étagères ne peut pas dépasser 10, ce qui dans la plupart des cas est plus que suffisant, car le nombre de disques au sein d'un même système peut atteindre 286.
Soit dit en passant, dans le schéma même de connexion des étagères d'extension aux systèmes de stockage, QSAN possède son propre savoir-faire en matière de tolérance aux pannes. Physiquement, l'étagère est connectée à la "tête" avec deux câbles SAS, comme tous les autres fournisseurs. Mais logiquement, chaque contrôleur de stockage voit les deux contrôleurs d'étagère, y compris via un voisin, via le bus interne. En conséquence, en cas de défaillance du contrôleur de stockage et du contrôleur JBOD, le système continuera de fonctionner (ici, bien sûr, une note importante est que dans cette situation, personne n'a retiré les câbles entre les composants).

Connectivité de stockage et étagères d'extensionNous convenons que la survenance d'un tel incident est peu probable, mais s'il existe une protection supplémentaire (pour laquelle personne ne demande de l'argent), travailler avec une telle solution est en quelque sorte plus calme.
Puisque nous avons abordé le sujet du savoir-faire, il ne sera pas hors de propos de mentionner la prise en charge de la technologie Wake-on-SAS, grâce à laquelle il est possible de contrôler la puissance des étagères d'extension via des câbles SAS. Il peut être nécessaire d'activer / désactiver les étagères d'extension avec la «tête» dans le bon ordre en mode automatique. Bien sûr, l'arrêt du stockage n'est pas très courant. Mais quand un tel moment arrive, il ne sera pas superflu de contrôler les actions de l'administrateur de la part de l'automatisation du système. En effet, par exemple, la déconnexion d'une étagère avant la «tête» peut entraîner l'effondrement d'un groupe RAID si ce groupe est «étalé» sur plusieurs unités.
En résumé, nous pouvons conclure que le composant matériel de QSAN XCubeSAN a la capacité de créer des solutions complètement différentes (des plus simples et des plus budgétaires aux plus avancées), peut s'intégrer à tous les réseaux SAN (y compris hétérogènes), et vous permet également d'utiliser des disques durs et SSD tiers.
Capacités du composant logiciel de stockage
La base est un système d'exploitation de type Linux de sa propre conception - SANOS est déjà la 4ème version. La gestion se fait via un navigateur. L'interface est présentée en plusieurs langues, dont le russe. Les protocoles standard http et https sont pris en charge avec la possibilité de changer les numéros de port pour une plus grande sécurité. L'interface ne nécessite pas l'installation de Java, Flash et d'autres outils tiers. Vous pouvez également contrôler via le protocole ssh (mais avec une fonctionnalité légèrement tronquée).
L'interface est un menu vertical des fonctions de base et une zone de visualisation qui occupe la partie principale de l'écran. S'habituer à la navigation et au contrôle est une question de plusieurs minutes, car tout est intuitivement clair. Si vous avez déjà travaillé avec un système de stockage de n'importe quel fournisseur, vous pouvez le découvrir sans problème. Dans l'interface, le cas échéant, il existe des conseils explicatifs concernant certaines valeurs de paramètres. La documentation, bien sûr, est présente et est nécessaire pour vous familiariser avec avant d'utiliser.

Interface de gestion. Également disponible pour examen.
Une caractéristique importante du concept de gestion du stockage QSAN XCubeSAN est les restrictions minimales sur les configurations utilisées et les paramètres maximum pour celles-ci. Ici, personne ne vous imposera, par exemple, des configurations de disque prédéfinies. Pour la plupart des fonctions clés, il existe de nombreuses possibilités de personnalisation, et pas seulement d'activer / désactiver. Par conséquent, la limitation dans la construction des configurations sera votre bon sens plutôt que le logiciel.
La maintenance du système pendant le fonctionnement implique d'informer l'administrateur de tout problème avec les systèmes de stockage. QSAN XCubeSAN peut envoyer ces informations par e-mail, envoyer des messages au serveur syslog et émettre une interruption SNMP. De plus, l'état actuel peut être trouvé dans WebGUI: surveillance détaillée des capteurs matériels, performances actuelles de l'ensemble du système, disques individuels, volumes et ports d'E / S.


Suivi
Séparément, nous voulons noter la fonction de l'intégration des systèmes de stockage avec des alimentations sans coupure. Il prend en charge la communication avec l'onduleur via les ports COM et USB, ainsi que via Ethernet. Le résultat de cette connexion est la possibilité de désactiver la commande de stockage sur l'onduleur. Le plus souvent, en cas de coupure de courant soudaine, il suffit d'arrêter correctement les serveurs et le système de stockage peut simplement être déconnecté de l'alimentation. Mais si vous organisez le processus d'arrêt d'urgence conformément à toutes les règles, une telle intégration du stockage et de l'UPS sera très utile, car vous permettra de désactiver correctement toute l'infrastructure, y compris le système de stockage.
Puisqu'il s'agit d'éventuels incidents avec des équipements, il est impossible de ne pas noter la tendance actuelle de la plupart des fournisseurs à introduire un système automatique d'envoi d'informations sur l'état des équipements aux services «cloud», afin d'analyser ces informations dans le Big Data et de prévoir les éventuelles pannes. Le service est certainement utile, mais dans notre pays, il fait face à une forte résistance des utilisateurs qui ne veulent pas partager ces données avec quelqu'un de l'extérieur. Cela peut être dû à diverses raisons: les politiques de sécurité sur le lieu d'exploitation, la crainte que des informations confidentielles soient envoyées ou les frais pour un tel service. En partie pour cette raison, QSAN ne fournit pas de service de collecte automatique de données sur l'état de ses systèmes de stockage. Au lieu de cela, pour des diagnostics efficaces des systèmes de stockage, il dispose d'un mode d'enregistrement avancé pour tous les processus internes. Par conséquent, il suffit que l'administrateur envoie un fichier d'informations de débogage au support technique afin que les ingénieurs puissent déterminer la source du problème aussi précisément que possible.
La mise à jour du micrologiciel est effectuée "en déplacement" sans arrêter le système. Pour les systèmes de stockage modernes, c'est déjà la norme de facto, mais cela ne peut pas être ignoré.
L'espace de stockage dans QSAN XCubeSAN est basé sur le concept de pool désormais populaire. Les disques physiques sont combinés en groupes RAID qui, à leur tour, forment des pools. La popularité des pools est due au fait que, contrairement aux groupes RAID classiques, ils sont une sorte de complément sous forme de virtualisation de l'espace disque et vous permettent d'effectuer un certain nombre d'opérations sans douleur en ce qui concerne les données. Et tout d'abord, c'est une telle routine que d'élargir l'espace de stockage. L'ajout de nouveaux disques à un groupe RAID a toujours été une opération très risquée, car pendant la reconstruction RAID, aucun algorithme RAID ne protège les données. De plus, le processus de reconstruction est très lent (selon le volume et le type de disques qu'il peut atteindre plusieurs jours voire plusieurs semaines), les disques sont à ce moment sous une charge accrue, ce qui ne peut qu'accélérer la défaillance de l'un d'entre eux. Par conséquent, si un disque tombe en panne, toutes les données situées dans le groupe seront ignorées. La restauration à partir d'une copie de sauvegarde et la reconstitution des données modifiées d'une manière ou d'une autre au moment de la création de la sauvegarde n'ajoutera aucun enthousiasme aux administrateurs pour effectuer des opérations d'extension de la baie.
Lors de l'utilisation de piscines, au contraire, tout est assez simple. La commande d'extension de pool consiste à créer un ou plusieurs groupes RAID et à les joindre à des groupes existants. En conséquence, l'administrateur aura accès à l'espace commun dans son ensemble malgré le fait qu'il se compose de plusieurs pièces. Il est recommandé d'étendre le pool existant avec des groupes au même niveau que celui d'origine afin d'obtenir des performances maximales. Mais si nécessaire, vous pouvez «coller» dans un pool, par exemple, les groupes RAID5 et RAID6. N'oubliez pas que dans ce cas, les performances seront limitées au lien le plus lent.
Au sein d'un même pool, vous pouvez combiner non seulement des groupes avec différents niveaux de RAID, mais également différents types de disques. De plus, le système de stockage peut déplacer automatiquement les données entre les disques en fonction de la demande de ces données. Cette fonctionnalité de déplacement de données est appelée hiérarchisation . Il peut y avoir jusqu'à trois niveaux dans un bassin de déchirure:
- SSD - le niveau le plus élevé, le plus rapide, les données les plus fréquemment utilisées ("à chaud")
- Disques rapides SAS 10K et 15K - Intermédiaire
- Lecteurs 7.2K lents et volumineux - données de niveau inférieur et les moins utilisées ("froides")
Pour un pool de déchirures, vous pouvez définir de manière flexible un calendrier pour quand et avec quelle priorité migrer les données (au moins toutes les heures). Mais une valeur raisonnable se déplace 1 à 2 fois par jour, de sorte qu'elle n'a pas un fort impact sur les tâches en cours et, en même temps, est efficace du point de vue de la productivité finale. Il est important que tous ces paramètres puissent être modifiés à la volée.
Pour les volumes créés sur le pool de découpe, vous pouvez spécifier la position initiale, ainsi que la direction dans laquelle déplacer les données. Des statistiques détaillées sont disponibles pour tous les volumes: ce qui a été déplacé et où.
En plus de déchirer, une autre façon d'améliorer les performances est la mise en cache SSD . Dans ce cas, les données demandées sont souvent copiées sur des SSD dédiés. Nous voulons attirer immédiatement l'attention sur le fait que le cache de stockage SSD QSAN fonctionne non seulement pour les opérations de lecture, mais également pour les opérations d'écriture. Le cache lui-même est physiquement situé sur des SSD dédiés qui ne sont pas disponibles pour le stockage de données. Il peut y avoir plusieurs SSD dans le cache (y compris des tailles différentes), tous sont utilisés ensemble. Si un cache d'écriture est utilisé, le nombre de disques SSD doit être un multiple de deux. Cela est nécessaire pour protéger les données (mise en miroir), car en cas de panne de l'un des SSD, il est important de ne pas perdre le contenu du cache, qui n'a pas encore été écrit sur les disques. Si le cache en lecture seule est utilisé, il n'est pas nécessaire de le protéger, car il ne contient qu'une copie des données situées sur les disques.

Statistiques de performances du cache
Contrairement aux produits d'autres fournisseurs, où la fonction de cache SSD n'a qu'un seul paramètre «activer / désactiver», dans QSAN XCubeSAN, cette fonctionnalité ne représente pas du tout une «boîte noire». Pour tous les volumes devant être mis en cache, un «profil de comportement» est sélectionné, selon lequel les données sont mises en cache. Il existe plusieurs profils prédéfinis (base de données, serveur de fichiers, serveur Web), ainsi que la possibilité d'en créer un nouveau spécifiquement pour vos tâches. Pour cela, vous devez spécifier les blocs à mettre en cache, ainsi que le nombre de demandes de lecture / écriture, après quoi le bloc sera copié dans le cache. En raison d'une telle flexibilité dans les paramètres de cette option, les systèmes de stockage QSAN XCubeSAN peuvent afficher de meilleurs résultats en termes de performances dans un certain nombre de tâches utilisateur que les systèmes de stockage d'autres fabricants.

Paramètres de cache SSD
, , . QSAN , , . copy-on-write. 15 . Microsoft VSS . .
, . – . , – , – . . – 15 . . , QSAN. iSCSI. , . / . , traffic shaping. : , --, --. , (disaster recovery) .
, . – SSD . « » - . , . , Qsan SSD. , , , , .
XCubeSAN – QSAN, . , , QoS, VMware SRM. . XCubeSAN , IT .
QSAN XCubeSAN, .
, - . - RAID . . Enterprise , , - . , , , «», . , . All Flash.
«» , , SSD. , . , StorageReview, QSAN XCubeSAN. 24 Toshiba PX04SV SAS 3.0 SSD. SSD , , , XCubeSAN.
26 : XS1200 XS5200. , , ( , ).
, . .
Description du stand:
Cluster à 4 nœuds basé sur les serveurs Dell PowerEdge R740xd
- 8 CPU Intel Xeon Gold 6130 pour 269 GHz dans un cluster (deux sur un nœud, 2,1 GHz, 16 cœurs, 22 Mo de cache)
- 1TB RAM (256GB , 16GB x 16 DDR4, 128GB CPU)
- 4 x Emulex 16GB dual-port FC HBA
- 4 x Mellanox ConnectX-4 rNDC 25GbE dual-port NIC
2 RAID10 12 . . ~5TB.
VDBench Oracle, SQL Oracle, VDI .
:
- 4K Random Read: 100% Read, 128 threads, 0-120% iorate
- 4K Random Write: 100% Write, 64 threads, 0-120% iorate
- 64K Sequential Read: 100% Read, 16 threads, 0-120% iorate
- 64K Sequential Write: 100% Write, 8 threads, 0-120% iorate
- Synthetic Database: SQL and Oracle
- VDI Full Clone and Linked Clone Traces
















QSAN XCubeSAN . , 400K IOPS@4K 270K IOPS@4K latency, 2. « », latency, 450K/300K IOPS /. , , All Flash Array, .
, ( 1.5 ), latency ( , ). , 200K IOPS latency.
. : , , .. Enterprise , , Tier 1, .
Qsan 9x5 NBD 3- . . . , , 5 .
, . - .
Résumant notre examen des systèmes de stockage Qsan XCubeSAN, je voudrais noter que le produit s'est avéré très intéressant, avec les composants matériels et logiciels nécessaires en utilisation réelle. Les performances sont à un niveau assez élevé. Et le support technique répond aux attentes de travailler avec les produits Enterprise.