Optimisation de la distribution des serveurs sur les racks

Récemment, un collègue m'a demandé lors d'un chat:

- Existe-t-il un article sur la façon d'emballer correctement les serveurs dans les racks?

J'ai réalisé que je ne le savais pas. J'ai donc décidé d'écrire mon texte.

Tout d'abord, il s'agit d'un article sur les serveurs bare metal dans les installations du centre de données (DC). Deuxièmement, nous estimons qu'il y a beaucoup de serveurs (des centaines ou des milliers); l'article n'a pas de sens pour moins de quantités. Troisièmement, nous considérons qu'il y a trois contraintes dans les racks: l'espace physique, l'alimentation électrique par chacun et les armoires restent dans les rangées adjacentes les unes aux autres, nous pouvons donc utiliser un seul commutateur ToR pour y connecter des serveurs.

La réponse à la question d'origine dépend considérablement du paramètre que nous optimisons et de ce que nous pouvons changer pour obtenir un meilleur résultat. Par exemple, nous devons utiliser moins d'espace pour en laisser plus pour la croissance future. Ou peut-être que nous avons la liberté de choisir la hauteur de l'armoire, l'alimentation par rack, le nombre de prises par PDU, le nombre d'armoires par groupe de commutateurs (un commutateur par 1, 2 ou 3 racks), les longueurs de câble et les travaux de câblage. Le dernier composant est essentiel pour les rangées de fin de rack où nous devons tirer les câbles dans l'autre rangée ou laisser des ports sous-utilisés dans le commutateur. Les histoires complètement différentes sont la sélection du serveur et la sélection du centre de données. Nous devons considérer que nous les avons déjà choisis.

Il est bon de comprendre certaines nuances et détails, en particulier la consommation électrique moyenne / maximale du serveur et la façon dont notre fournisseur fournit l'électricité. Donc, si nous avons une alimentation de 230 V monophasée, un disjoncteur de 32 A peut supporter jusqu'à 7 kW. Disons que nous payons formellement 6 kW par rack. Si un fournisseur mesure notre consommation d'énergie par rangée de 10 armoires, pas par une seule, et si les disjoncteurs limitent la puissance à 7 kW, nous pouvons utiliser 6,9 kW dans un rack et 5,1 kW dans un autre. Ce sera ok et impunissable.

Habituellement, notre objectif principal est de minimiser les dépenses. Le meilleur critère de mesure est la réduction du coût total de possession (TCO). Il se compose des parties suivantes:

• CAPEX: achat d'infrastructures de centre de données, serveurs, périphériques réseau, câblage
• OPEX: loyer DC, consommation électrique, entretien. OPEX dépend de la durée de vie. Il est raisonnable de supposer qu'une durée de vie est égale à 3 ans.

Nous devons optimiser les parties les plus chères du gâteau. Tout le reste devrait utiliser les ressources restantes aussi efficacement que possible.

Soi-disant, nous avons un DC existant, une hauteur de rack d'unités H (par exemple H = 47), une puissance par rack P _rack (P _rack = 6kW), et nous avons décidé d'utiliser des serveurs à deux unités h = 2U. Supprimons 2 à 4 unités du rack pour les commutateurs, les panneaux de brassage et les gestionnaires de câbles. Ensuite, nous pouvons placer S _h = arrondi ((H-2..4) / h) serveurs dans un rack (c'est-à-dire S _h = arrondi ((47-4) / 2) = 21 serveurs par rack). Mémorisons S _h .

Dans un cas simple, tous les serveurs sont identiques. Donc, si nous remplissons un rack par des serveurs, nous pouvons dépenser par serveur une puissance moyenne de P _serv = P _rack / S _h (P _serv = 6000W / 21 = 287W). Nous ignorons la consommation électrique du commutateur ici.

Écartons-nous et définissons la consommation d'énergie maximale du serveur P _max . La manière simple, totalement sûre et très inefficace consiste à lire ce que dit une étiquette sur le bloc d'alimentation du serveur. Voici P _max .

Une approche plus compliquée et efficace consiste à prendre le TDP de tous les composants et à les résumer. Ce n'est pas exact, mais nous pouvons le faire de cette façon.

Habituellement, nous ne connaissons pas le TDP des composants en dehors du CPU. Ainsi, l'approche la plus correcte et la plus compliquée consiste à prendre un serveur expérimental correctement configuré, à le charger, par exemple, par / Linpack / (CPU et mémoire) et / fio / (disques), et à mesurer la consommation d'énergie. Nous avons besoin d'un laboratoire dans ce cas. Si nous prenons les choses au sérieux, nous devons créer un environnement chaleureux dans l'allée froide car une température plus élevée affecte à la fois les ventilateurs et la consommation d'énergie du processeur. Ainsi, nous obtenons la consommation électrique maximale du serveur d'échantillons avec cette configuration particulière dans l'environnement actuel sous la charge spécifique. N'oubliez pas qu'un nouveau micrologiciel, une nouvelle version du logiciel et d'autres conditions peuvent affecter le résultat.

Revenons maintenant à P _serv et comment comparer avec P _max . Il s'agit de comprendre le fonctionnement des services et la force des nerfs de notre CTO.

Si nous n'acceptons aucun risque, nous devons supposer que tous les serveurs pourraient commencer à consommer leur maximum potentiel simultanément. Dans le même temps, l'une des alimentations CC peut également échouer. L'infrastructure devrait toujours fournir le service. Donc, P _serv ≡ P _max . C'est l'approche lorsque la fiabilité est très importante.

Si le DSI prend en compte non seulement la sécurité idéale mais aussi l'argent de l'entreprise, s'il est assez courageux, alors il peut décider que

• nous commençons à gérer nos fournisseurs, en particulier, nous interdisons toute maintenance planifiée dans les périodes de notre charge élevée prévue pour minimiser la panne de courant
• et ou notre architecture nous permet de perdre un rack / ligne / DC pendant que les services continuent leurs opérations
• et ou nous répartissons la charge horizontalement sur les racks si bien que nos serveurs dans une seule armoire ne consommeront jamais leur maximum théorique tous ensemble.

Il est avantageux non seulement de deviner ici, mais de surveiller la consommation d'énergie et de comprendre comment les serveurs consomment de l'énergie pendant les charges habituelles et de pointe. Ainsi et ainsi de suite après une certaine analyse, le CIO se déplace et dit:
"Je commande que la moyenne maximale réalisable de toute la consommation électrique maximale du serveur est bien inférieure à la consommation maximale d'un seul serveur." Soit P _serv = 0,8 * P _max

Et puis un rack de 6kW peut accueillir non pas 16 serveurs de P _max = 375W mais 20 serveurs de P _serv = 375W * 0.8 = 300W. Soit 25% de serveurs en plus. C'est une vraie économie car nous avons besoin de 25% de racks en moins. Et nous pouvons économiser sur les PDU en rack, les commutateurs et le câblage. Un sérieux inconvénient de la solution est la nécessité de vérifier en permanence que nos hypothèses sont toujours valables. Nous devons nous assurer qu'un nouveau firmware ne modifie pas de manière significative le fonctionnement et la consommation d'énergie des ventilateurs, que l'équipe de développement n'a pas commencé à utiliser les serveurs beaucoup plus efficacement (cela signifie qu'ils ont réussi à augmenter l'utilisation et la consommation d'énergie). Ensuite, les hypothèses et les conclusions initiales deviennent fausses. C'est donc le risque d'être accepté de façon responsable. Ou le risque peut être évité et alors l'entreprise paie pour les racks évidemment sous-chargés.

Une remarque importante: il vaut la peine d'essayer de distribuer différents serveurs de services sur les racks horizontalement si possible. Il est nécessaire d'éviter les cas où un groupe de serveurs pour le service arrive et est installé dans des armoires verticalement pour améliorer la "densité" (simplement parce que c'est plus facile à faire de cette façon). En effet, cela conduit à la situation où un rack est rempli avec les mêmes serveurs à faible charge alors que tous les serveurs hautement chargés résident dans un autre. Lorsque le profil de charge est le même et que tous les serveurs commencent à consommer autant simultanément en raison d'une charge élevée, la probabilité de perdre le deuxième rack devient beaucoup plus élevée.

Revenons à la distribution des serveurs dans les racks. Nous avons considéré les contraintes physiques dans les armoires et les limitations de puissance. Considérons maintenant le réseau. On peut utiliser des commutateurs N = 24/32/48 ports (en supposant des commutateurs ToR à 48 ports). Heureusement, il n'y a pas tellement d'options si nous ignorons les câbles de dérivation. Nous considérons les options d'un commutateur dans chaque rack, un commutateur par deux ou par trois armoires par groupe (R _net ). Je pense que le groupe ne devrait pas être composé de trois personnes. Sinon, cela entraîne des problèmes de câblage.

Ainsi, nous répartissons les serveurs sur les racks pour chaque scénario de réseau (1, 2 ou 3 racks par groupe):

_Rack S = min (S _h , rounddown (P _rack / P _serv ), rounddown (N / R _net ))

Ainsi, un scénario de groupe de deux racks est

_Rack S ² = min (21, arrondi (6000/300), arrondi (48/2)) = min (21, 20, 24) = 20 serveurs par rack

De même, nous comptons les autres scénarios:

_Rack S ¹ = 20

_Rack S ³ = 16

Nous avons presque fini. Il faut compter le nombre total de racks pour distribuer tous les serveurs S (soit 1000 serveurs):

R = arrondi (S / ( _rack S * R _net )) * R _net

R ₁ = arrondi (1000 / (20 * 1)) * 1 = 50 * 1 = 50 racks

R ₂ = arrondi (1000 / (20 * 2)) * 2 = 25 * 2 = 50 racks

R ₂ = arrondi (1000 / (16 * 3)) * 3 = 21 * 3 = 63 racks

Ensuite, nous devons compter le TCO pour chaque option en fonction du nombre de racks, des commutateurs requis, du câblage, etc. Nous choisissons le scénario avec le TCO le plus bas. Profit!

Veuillez noter que bien que le nombre de racks pour les scénarios 1 et 2 soit le même, le coût total de possession est différent en raison de deux fois moins de commutateurs et de câbles plus longs pour le deuxième scénario.

PS Si la puissance par rack ou la hauteur de rack peut varier, la variabilité augmente. Mais la sélection peut être réduite à la méthode ci-dessus en force brute les options. Il y aura plus de scénarios, mais leur quantité sera limitée. Nous pouvons augmenter la puissance par rack par pas de 1 kW, et il existe un nombre limité de types de rack standard: de 42U, 45U, 47U, 48U. Il peut être utile d'utiliser l'analyse What-If d'Excel en mode Tableau de données. Nous devons examiner le tableau résultant et sélectionner la meilleure option.