Une brève excursion dans les systèmes de refroidissement du centre de données. Avantages et inconvénients

D'une manière ou d'une autre, il est arrivé que le jour de Habr annoncé le refroidissement du centre de données.

Nous devons participer, car Je suis bientôt dans ce sujet depuis deux décennies.
KDPV - petit.



La visite est courte. Très bref.

Fréon

Bon vieux. C'est un DX. Il est une extension directe. Il est Goga ...

Avantages:

• Bon marché et joyeux;
• Organisez simplement n'importe quel degré de fiabilité pour obtenir un certificat de l'Uptime Institute;
• Il est difficile dans le monde de trouver un endroit où aucun spécialiste ne pourrait le réparer et / ou le réparer.

Inconvénients:

• Le PUE le plus élevé (ce qui est mauvais. Je ne vais pas expliquer ici le PUE. J'ai besoin d'écrire un article séparé à ce sujet. Tout n'est pas aussi simple qu'il y paraît à première vue. Mais une autre fois.);
• Toute panne de courant et ... pas de refroidissement. C'est-à-dire ou installer l'onduleur sur tous les climatiseurs fréon, ou trouver un équilibre entre la charge et le volume d'air dans la salle des machines afin qu'il y ait suffisamment de réserves d'air froid pour la durée de fonctionnement de l'onduleur; (Ici, en passant, se trouve l'argument principal contre les apologistes des «couloirs froids». Mais à propos des «couloirs» - c'est aussi une triste histoire distincte.) Il y a aussi un problème avec l'onduleur sur les climatiseurs fréon - le compresseur «mange» de 3 à 7 notes au démarrage. Un onduleur typique avec une telle moquerie - jette la charge. Bien sûr, il existe des climatiseurs avec un régulateur de fréquence pour le compresseur, mais ... jusqu'à présent, de telles options ne fonctionnent pas avec des ensembles à basse température en hiver. Pas prêt à expliquer la physique du processus, mais à partir de l'expérience de personnes respectées - c'est le cas. En conséquence, soit un onduleur avec une marge septuple, soit une nouvelle couche du volume d'air dans la pièce;
• Mauvaise performance à des charges trop faibles. Ou vous devez abandonner la "précision", ou même mettre des radiateurs dans la pièce pour que la charge du climatiseur tombe dans la plage autorisée, ou supporter le remplacement fréquent des compresseurs. Pire - de nombreux climatiseurs sont protégés contre les arrêts trop fréquents des compresseurs et le climatiseur s'éteint simplement avec un message d'erreur. (Ceci est un autre sujet distinct, sur les caractéristiques du cycle Fréon ...);
• Il existe des risques liés à des changements soudains et significatifs de la charge, comme par exemple dans les superordinateurs. Par exemple: ils ont calculé la tâche, la charge est passée de 100% à 5%, une nouvelle tâche a été chargée, la charge est passée de 5% à 100 ... Mais 3 minutes ne se sont pas écoulées! Et certains climatiseurs ont une minuterie qui bloque le compresseur pendant 3 minutes après l'avoir éteint ... Et à 100% de charge dans le supercalculateur de la salle des machines, la température augmente - d'un degré par seconde ou plus ... Alors c'est déjà de la chance;
• Gros problèmes de travail à très basse température. -10 - -15 rien d'autre. -30 et moins - tire des récepteurs, vannes et automatisation supplémentaires. Tout le monde ne sait pas concevoir. Tout le monde ne sait pas comment configurer. Tous les kits "basse température" ne résistent pas vraiment à la température indiquée. Si vous avez besoin d'une "freonka" qui fonctionnera certainement à -40, contactez les entreprises qui ont des installations dans les régions où -40 en hiver.
• Un peu moins effrayant dans les nouveaux modèles de climatiseurs. Mais encore - ils réduisent l'humidité. Une température d'évaporateur typique d'un climatiseur à fréon est inférieure au point de rosée pour un HR standard de 20 ° C à 50% pour un champ de cendres. En conséquence, une humidification de l'air est requise. Selon la méthode de mise en œuvre de l'humidification, la conception de la pièce, les paramètres de ventilation, il peut tirer un autre 0,1-0,2 plus au PUE ...

Fréon avec freecooling

Le même DX, mais dans l'armoire du climatiseur il y a un autre échangeur de chaleur dans lequel vit la solution de (éthylène) glycol. À des températures inférieures à environ cinq degrés par rapport au «point de consigne» - le circuit de fréon est désactivé, la pompe du «circuit de glycol» est activée et tous les frais de refroidissement sont de l'électricité pour le fonctionnement de la pompe et des ventilateurs.

Avantages:

• Tout comme pour le fréon, car s'il y a un problème avec le circuit de glycol, la partie fréon du climatiseur revient presque toujours automatiquement au travail;
• Une diminution notable (ce qui est bon) du PUE même dans les pays chauds;
• Avec la réservation correcte dans la partie glycol, l'utilisation de kits basse température dans la partie fréon n'est pas requise. Une bagatelle, mais à Norilsk, par exemple, peut être utile.

Inconvénients:

• Quelle chance. Selon le micrologiciel, les paramètres et le fabricant, vous pouvez obtenir tous les inconvénients du système de fréon en été, et en hiver, vous pouvez obtenir tous les inconvénients du système de refroidissement avec freecooling (cela sera décrit ci-dessous). Au moins en été, il y aura tous les problèmes pour assurer une alimentation ininterrompue;
• Complication du bloc interne du système avec une diminution correspondante du nombre d'artisans qui se chargeront de le réparer;
• Doublement de pipelines (pas vraiment, mais quand même ...);
• Doubler l'espace pour les blocs externes (presque toujours), car des refroidisseurs secs de circuit de glycol sont ajoutés aux condensateurs du circuit de fréon;
• En raison de tous les inconvénients ci-dessus, le système est plus cher en conception, construction et fonctionnement.

Système de refroidissement

Ici, vous pouvez écrire une série d'articles pour une année de publications quotidiennes. Eh bien, ou un manuel très épais.
Il existe de nombreuses options de mise en œuvre.

En bref:

Refroidisseur - un dispositif pour refroidir un liquide et maintenir une température donnée (basse) du liquide à la sortie.

En conséquence, le système de refroidissement se compose de refroidisseurs qui refroidissent l'eau, de canalisations avec raccords et de climatiseurs très simples (vous pouvez souvent trouver le mot `` plus près '' dans les sources russes) dans lesquels il y a un échangeur de chaleur eau-air, une soupape de commande et un ventilateur.

Globalement, ce qui est décrit dans ses avantages et ses inconvénients dans sa forme pure n'est presque jamais appliqué.

Avantages:

• En raison de la plus grande capacité thermique de l'eau, il y a une absence à peu près complète de problèmes avec des charges très variables. Surtout si le plus suivant est appliqué;
• Vous pouvez mettre un réservoir dans le circuit. Grand. Ou très gros. Presque gratuit au milieu du prix des refroidisseurs. Et vidangez d'abord l'eau glacée. Ensuite, s'il y a des problèmes dans le système de refroidissement ou l'alimentation, il suffit de fournir une circulation fluide dans le circuit pour que les ordinateurs ne surchauffent pas immédiatement, en 15-40 secondes, comme pour un supercalculateur ordinaire, par exemple, et surchauffent après 15-20 minutes pour lesquelles même l'administrateur dort se réveille et répare tout ou éteint tout.
• Pour assurer un fonctionnement ininterrompu, il suffit d'alimenter les pompes de circulation de l'onduleur. Si les pompes ont un contrôleur de fréquence, vous n'avez même pas besoin de donner une marge pour les courants d'appel;
• Oui, plus de spécialistes sont nécessaires pour l'entretien, en plus d'un climatiseur fréon, un plombier est également nécessaire, mais il est difficile de trouver un endroit sur la planète où il n'y a pas au moins un plombier qualifié.

Inconvénients:

• Cela dépend beaucoup de la façon dont le système est organisé. Trop d'options de mise en œuvre;
• Dans le cas général, il est nettement plus cher que le système fréon;
• Dans les grands systèmes, vous devez faire deux circuits - le glycol «dans la rue» et à travers l'échangeur de chaleur «eau» à l'intérieur du centre de données / bâtiment;
• Le PUE est identique ou pire que le fréon. Parce que des pompes de circulation sont ajoutées au fréon.

Système de refroidissement à refroidissement libre

Option 1. Ce qui n'est pas si bon.

Il s'agit d'un système de refroidissement. Mais il y a soit un groupe distinct de refroidisseurs secs, soit des refroidisseurs secs intégrés, vers lesquels le système passe à un moment où toute la puissance de refroidissement nécessaire peut être fournie par le freecooling.

Avantages:

• «Un semestre, c'est le mauvais temps, un semestre, c'est complètement nul» ... Alors que le temps est mauvais, il fait froid et mauvais dans la rue ... le refroidissement est presque gratuit. Seules les pompes et les ventilateurs fonctionnent;
• Implémentation simple pour la plupart des variantes de systèmes de refroidissement;
• Au nord de Sotchi est un assez bon PUE.

Inconvénients:

• Seulement, il y a une option plus correcte, si en gros.

Le bon système de refroidissement libre

Jusqu'à relativement récemment, un seul fabricant l'avait. Les brevets Tolley ont maintenant expiré, ils n'ont acheté qu'une licence, mais il y a plus d'options.

Avantages:

• Tout cela pour un système de refroidissement à refroidissement libre;
• De plus, si la température extérieure est inférieure à la température du liquide de refroidissement à l'entrée du refroidisseur, le liquide va d'abord contre le freecooling. Si le liquide a encore une température supérieure au point de consigne après le circuit de freecooling, le liquide est envoyé à l'évaporateur de fréon et le circuit de fréon est connecté à l'opération. Cela semble être une bagatelle, mais pour Moscou, il augmente en moyenne par an le temps d'utilité du freecooling de 2 à 4 mois et, parfois, même en juillet, économise de l'électricité.

Inconvénients:

• Oui, en général, ils ne le sont pas. (Avez-vous remarqué? C'est mon option préférée!). Oui, le système est plus cher que le fréon et légèrement plus cher qu'un système de refroidissement classique. Mais, curieusement, il n'est généralement pas plus cher qu'un système de refroidissement à refroidissement libre «ordinaire».

Freecooling à l'air

En gros, il y a trois options - un échangeur de chaleur rotatif, un circuit à air ouvert et un circuit à air fermé. De plus, dans chacune des options, vous pouvez ajouter "adiabatique" ...

Échangeur de chaleur rotatif

Il y a un circuit de circulation d'air interne, où l'air chauffé entre dans l'unité, passe à travers la moitié d'une «roue» à rotation lente, où il est refroidi et va au gymnase. Et le contour extérieur. Lorsque l'air de la rue pénètre dans l'unité, il passe à travers l'autre moitié de la «roue» à rotation lente, où il se réchauffe, et pénètre dans la rue. De plus, généralement, en cas de temps très chaud, un évaporateur est ajouté au système à la sortie du circuit interne et un condenseur est ajouté à la sortie du circuit externe.

Avantages:

• Bon PUE;
• Une boucle intérieure à peu près fermée; l'humidification de l'air est rarement requise;
• Le circuit de fréon n'est utilisé que par temps très chaud.

Inconvénients:

• L'impossibilité d'une étanchéité totale de la jonction avec la roue d'échange thermique. En conséquence, il y a une circulation d'air;
• Pour cette raison, il peut y avoir des problèmes avec les détecteurs d'incendie lorsque quelque chose brûle à l'extérieur;
• Pour une raison quelconque, les fabricants veulent beaucoup d'argent pour ce système. Malgré l'apparente simplicité.

Circuit en plein air

Facebook est le plus célèbre, mais il existe plusieurs autres fabricants et installations. En général, cette option peut presque toujours être introduite dans le cadre qualité-prix spécifié par le client.

Avantages:

• Un système très simple du point de vue de la mécanique - ventilateurs, deux amortisseurs contrôlés;
• Pas cher à la construction "en plein champ" (Green Field);
• Très bon PUE. Coûts uniquement pour les ventilateurs, l'humidification et les filtres;
• Il est bien implémenté pour les centres de données modulaires et les fermes d'extraction de conteneurs.

Inconvénients:

• La pluie. Oui, lui-même: des gouttes d'eau mouillées et désagréables d'en haut. Une fois dans le centre de données Facebook, un nuage s'est rassemblé du plafond d'où il a commencé à pleuvoir ... Et juste un petit bug dans le système de contrôle de la température et de l'humidité ...;
• Un système de refroidissement au fréon est nécessaire si la température «par-dessus bord» peut être supérieure à la température admissible dans le hall;
• Il est nécessaire d'avoir 100% de puissance sur les climatiseurs fréon si vous devez continuer à travailler en cas d'incendie à l'extérieur du centre de données (par exemple, pour Moscou et ses environs, en cas de brûlage des tourbières);
• L'humidification dans les régions à faible humidité peut nécessiter de grandes quantités d'eau.

Circuit d'air fermé

Utilisant généralement un échangeur de chaleur air-air à flux transversal. L'air du circuit interne est refroidi par l'air du circuit externe. Sans adiabatique, les avantages et les inconvénients sont à peu près les mêmes que pour un échangeur de chaleur rotatif et un circuit ouvert à l'exception de:

Avantages:

• Il n'y a pas de flux d'air;
• Coûts d'humidification réduits par rapport à la boucle ouverte et à la roue;
• Il n'est pas nécessaire de changer le mode de fonctionnement en cas d'incendie à l'extérieur.

Inconvénients:

• La température intérieure sera toujours supérieure à la température extérieure si vous n'utilisez pas de système de fréon pour le post-refroidissement pendant la saison chaude. Ou, en plus, adiabatique ...

Freecooling avec adiabatics (j'aime aussi beaucoup cette option ...).

La signification générale est que la chaleur d'évaporation de l'eau est d'environ 2,2 MJ par kg. L'eau dans le flux d'air s'évapore presque toujours. Si nous pulvérisons de l'eau dans un courant d'air, nous augmenterons non seulement l'humidité, mais aussi la température.

Avantages:

1. Avec une mise en œuvre appropriée (avec un circuit fermé) - pour un fonctionnement dans la plupart des pays européens, 15 à 20% de la capacité du système fréon de la capacité totale du système de refroidissement est suffisant;
2. S'il est correctement mis en œuvre, le PUE peut être de 1,1 pour la majeure partie de l'Europe et inférieur pour la majeure partie de la Russie.

Inconvénients:

• Assez grand débit d'eau. Partant de températures de l'ordre de +12 - +14 degrés;
• Le niveau III nécessite soit une source d'eau de réserve ou un approvisionnement en eau pendant toute la durée de fonctionnement requise du groupe électrogène diesel (environ 36 heures ... C'est beaucoup d'eau, des pompes réservées pour le pompage, trois robinets pour chaque tee et d'autres joies de niveau III);
• Dans certaines régions, l'eau coûte cher. Très cher. Et même pas tant «cher» que «super rapport qualité-prix» et vous, les habitants, organiserez un petit pogrom s'ils découvrent que vous ne buvez pas cette eau ...

Refroidissement direct à l'eau

Ce n'est pas tout à fait direct ou pas tout à fait aqueux. Mais ...

Avantages:

• Pas de bruit dans le hall;
• ... y a-t-il autre chose?

Inconvénients:

• Un grand nombre de joints, joints, conduits, colliers, etc. Jusqu'à présent, vous devez refroidir deux ou quatre processeurs et chipsets associés - tout est super. Lorsqu'il s'agit de 15 000 serveurs biprocesseurs dans le centre de données cloud ... Soudain, il s'avère que le système est fluide. Toujours. Parce que ses articulations sont des centaines de milliers. Avez-vous déjà vu un plombier dans un immeuble dodu dans l'arrière-boutique pendant un an sans jamais avoir à appeler pour éliminer une fuite? Il n'y a rien de tel. Et dans un immeuble d'habitation, par rapport à un petit centre de données refroidi à l'eau, il y a des centaines de fois moins de joints et de raccords dans lesquels une fuite peut se produire;
• De l'eau. Toute fuite, fuite, déversement - c'est au moins la perte d'un rack. Avec un peu de chance. Comme le montre la pratique des centres de données utilisant un tel refroidissement, cela représente généralement plus d'une journée d'indisponibilité pour l'ensemble de l'infrastructure d'un tas de centres de données en raison de l'un des commutateurs importants inondés d'eau.
• De grandes difficultés avec les matériaux. Si le système a de l'aluminium en contact avec de l'eau, il ne doit y avoir aucun élément contenant du cuivre dans le système. Jusqu'au point où vous devez sélectionner soigneusement les alliages d'acier inoxydable;
• Ce qui conduit au prochain groupe de problèmes. Faire tous les radiateurs uniquement en cuivre coûte très cher. Et très dur. Bêtement, la masse du rack s'avère telle qu'il est plus facile, au lieu de renforcer les plafonds, de couler tous les sous-sols et les planchers sous le hall avec du béton. Il y aura donc de l'aluminium. Vous devez donc sélectionner soigneusement tous les matériaux qui entrent en contact avec l'eau. Sinon, tous les tubes, canaux, radiateurs seront bouchés par de la bouillie blanche. Qui, lorsqu'il est utilisé correctement dans l'instrument, est appelé "corindon" ... Et cela signifie également les roues qui ont été vidangées à toutes les pompes ...;
• BRS (connexions rapides détachables). Les bons sont plus chers que l'ensemble du rack avec plates-formes, processeurs, mémoire, disques. Et ils ont besoin d'au moins 80 sur le rack ... Tout le reste - provoquent le même temps d'arrêt pendant plusieurs jours. Et c'est sans parler de la bagatelle que «ces» «bons» BRS sont produits un peu. Pour les lance-roquettes et certains avions militaires ... J'ai essayé BRS à partir de pelles. Ne convient pas. (mais c'est encore une autre histoire ...)
• Dans tous les cas, seule l'eau ne peut pas être utilisée. Il s'agit soit d'une solution d'eau, de glycol et d'inhibiteurs de corrosion, soit d'eau distillée, ou d'un autre liquide. Elle vaut de l'argent. Même l'eau distillée courante - à partir de 10 roubles par litre. Ou un système de traitement de l'eau. Ce qui ... (vous n'y croirez pas!) ... coûte aussi de l'argent!

Systèmes de refroidissement submersibles

Il existe également de nombreuses options. Considérez les trois plus à la mode et les plus fréquentes.

Refroidissement par immersion à l'aide d'huile minérale.

Avantages:

• ... Une question intéressante. En ont-ils? Dites-moi s'il y en a. (et oui, je ne parle pas de l'échelle de 2-3 unités, mais de l'échelle de 8000 unités ou plus ...)

Inconvénients:

• Pour moi personnellement, le pire. Phobie, ou quoi? Je déteste quand mes mains sont visqueuses et huileuses ... Si ce n’était pas pour cela, je serais maintenant heureux de tourner les écrous dans certains services de voiture ...;
• Indépendamment des phobies, tout est dans l'huile. Salopette résistante à l'huile, des bottes aux casquettes pour tous ceux qui entrent dans le gymnase;
• Compatible avec les plastiques. Il n'y a jamais de garantie que le boîtier d'un condensateur / résistance / processeur ne fondra pas dans l'huile minérale. Et ce n'est pas un cas de garantie;
• Haute viscosité. En conséquence, consommation d'énergie élevée pour assurer la circulation dans le système;
• Haute viscosité. Par conséquent, il est probable que près d'un élément chaud sur la carte, il y aura une stagnation de boue chaude. Et oui, les gens sont vraiment tombés dessus, mais, excusez-moi, les détails sont «classés»;
• Dans tous les cas, vous avez besoin d'un échangeur de chaleur et d'un "circuit externe" avec une solution de glycol. Sinon, il y a trop de problèmes en hiver;
• En conséquence, l'étiquette de prix n'est pas très différente du système de refroidissement. Avec un tas de problèmes et des employés qui refusent d'aller au gymnase. Eh bien et oui, l'organisation qui essaie d'échanger cette chose ... Ils ont tous les mêmes rendus sur le site qui a accroché il y a 10 ans. Pas une seule vraie installation ...
• Pour ceux qui vont officiellement concevoir un tel système et passer un examen - une charge de feu. Le pétrole - du point de vue de la loi - est un liquide inflammable. Puis les embuscades commencent - Tous les volumes supérieurs à environ 1 000 litres - vous ne pouvez tout simplement pas les placer à l'intérieur. Et 1000 litres, c'est, excusez-moi, une baignoire pour 24 unités plus la tuyauterie. Tout ce qui est plus est plus facile à réaliser grâce au développement de STU. Mais c'est en tout cas - d'autres exigences pour les pièces adjacentes, d'autres exigences pour la présence de vestibules, d'autres exigences pour les distances aux issues de secours. En moyenne - si vous mettez un conteneur dans un champ propre à des kilomètres de bâtiments résidentiels - il y a une chance de tout formaliser pour un argent plus ou moins raisonnable. Si vous essayez de mettre cela à Moscou, Saint-Pétersbourg, Ekaterinbourg ou Novossibirsk - n'oubliez pas d'avoir à portée de main des craquelins en cas de visite soudaine des autorités d'inspection.

Refroidissement par immersion avec la série Novek 7000

Cette série de liquides Novek a un point d'ébullition supérieur à 60 ° C. En conséquence, un bain avec Novek, un échangeur de chaleur avec "eau". Quelque chose à mélanger ou juste à convection.

Avantages:

• Ça marche;
• Vous pouvez faire du Tier III, bien qu'il ne soit pas très trivial de prouver plus tard à Uptime qu'il s'agit du Tier III;
• Novek dans un avenir prévisible, comme de grandes décennies, ne conduit pas à des dommages au boîtier des microcircuits, à l'oxydation des contacts, etc.;
• Il est toujours considéré comme inoffensif pour les homo-sapiens, bien que des organisations concurrentes tentent de raconter des histoires de lésions hépatiques ...
• . , .

Inconvénients:

• . , . … .

/ .

Avantages:

• ;
• ;
• / — , , «» .

Inconvénients:

• - . . 40-50 .
• . - ;
• Étiquette de prix. Environ la même centaine de cu par kg La même densité de l'ordre de un kg et demi par litre.
• Je conduis pour 100 cu par litre dans la rue - trop cher. Il y aura donc des échangeurs de chaleur, des refroidisseurs secs, du glycol, des pompes redimensionnées ...
• Automatisation, ce que personne n'a encore fait pour les vrais centres de données ... Un peu, mais tous les propriétaires de centres de données ne veulent pas être le premier observateur de pluie de Novek. Bien qu'une telle pluie soit formellement et absolument sans danger pour l'électronique ...

Conclusions:

Il existe déjà de nombreuses options pour les systèmes de refroidissement. Avant de prendre une décision finale sur le choix d'une option pour votre centre de données - vous devez soigneusement considérer l'argent. Combien d'argent êtes-vous prêt à investir immédiatement, combien d'argent êtes-vous prêt à dépenser pour le fait que votre centre de données sera «vert», à quelle vitesse vous souhaitez «récupérer» vos investissements pour le «vert».