Les prix compétitifs des services ont toujours été le «roi des arguments» pour les clients lors du choix d'un centre de données. Et de quoi sont composés ces prix? Les premiers à venir à l'esprit sont les coûts des équipements informatiques et de l'électricité, mais une part importante de la structure des prix est due aux coûts de refroidissement des serveurs, des systèmes de stockage (SHD) et des périphériques réseau. Par exemple, un serveur avec plusieurs processeurs émet jusqu'à 600 W ou plus d'énergie thermique, qui doit être efficacement éliminée, et de l'air froid est fourni à l'entrée des ouvertures de ventilation du serveur.
Dans cet article, nous vous présenterons les technologies de climatisation dans les centres de données Selectel et vous expliquerons comment les nouveaux produits dans ce domaine réduisent les coûts d'exploitation des centres de données et, indirectement, les montants dans les comptes de nos clients.
3 marchés de services - 3 besoins de refroidissement
Sur le marché des services de centre de données, approximativement estimé, il existe trois principaux segments. Il s'agit, tout d'abord, de la colocation, puis de l'infrastructure IaaS - serveurs dédiés plus stockage en cloud, et du troisième segment - serveurs cloud (VPC, VPS, VMware Cloud), y compris les clouds publics, privés et hybrides.
Aussi surprenant que cela puisse paraître, les clients de chaque segment ont des exigences différentes pour les systèmes climatiques. Les clients les plus exigeants placent leur propre équipement (colocation) dans le centre de données. Parmi eux, il y a de nombreux responsables informatiques avec de nombreuses années de pratique et une idée conservatrice de la température qui devrait être dans les salles de serveurs. Il y a 10 à 15 ans, l'exigence de fournir + 18 ° C dans un couloir froid était vraiment critique. Mais les serveurs et le stockage modernes fonctionnent de manière stable jusqu'à une température de + 27 ° C.
Soit dit en passant, la plage de température spécifique pour les salles de serveurs du centre de données est plutôt strictement réglementée par les recommandations de l'ASHRAE (American Society of Heating, Cooling and Air-Conditioning Engineers), qui sont guidées dans le monde entier, y compris la Russie. La plage de températures recommandée change avec le temps, quelque part au début des années 2000, elle était en réalité de 16 à 20 ° C, puis de 18 à 22 ° C, et aujourd'hui la température de l'air recommandée pour les serveurs de refroidissement est déjà de 20 à 27 ° C.
«Selectel dans ses centres de données s'efforce de maintenir la température de l'air près de la limite inférieure de la plage recommandée selon ASHRAE, en moyenne, environ 23 ° C», a noté Kirill Malevanov, directeur technique de Selectel pour l'article.
Lequel de ces éléments peut être conclu pour une entreprise de centre de données? Un refroidissement coûteux avec des climatiseurs doit être utilisé principalement pour les salles de serveurs affectées au service de colocation. En conséquence, pour les salles de serveurs pour les services IaaS, et plus encore pour les serveurs cloud, vous pouvez utiliser un équipement qui maximise l'utilisation du refroidissement en raison de l'environnement - jusqu'à simplement souffler les serveurs avec de l'air extérieur.
Dans le même temps, comme Selectel possède plusieurs centres de données et dans différentes régions, il y a une liberté de manœuvre. En d'autres termes, il est possible de prendre en compte les besoins de refroidissement dans le segment de services sélectionné même au stade de la conception, de la construction des centres de données et de la sélection des équipements HVAC. Et plus tard dans le processus d'exploitation, pour moderniser les systèmes climatiques, en tenant compte de la réduction du TCO lors de la fourniture de ces services.
Qu'est-ce qu'un PUE?
La principale mesure de l'efficacité des centres de données est le rapport d'efficacité énergétique (PUE) utilisé dans l'industrie des centres de données depuis 2007. Quel est ce coefficient:
En d'autres termes, plus le PUE est proche de 1, plus le centre de données est parfait. Cependant, il est impossible d'atteindre des valeurs de 1,0 en principe, car cela correspond au niveau d'efficacité énergétique de la machine à mouvement perpétuel. Soit dit en passant, une définition complète du terme PUE se trouve dans le document
PUE, A Comprehensive Examination of the Metric (PDF) .
En pratique, les valeurs de PUE comprises entre 1,10 et 1,15 sont considérées comme excellentes. Par exemple, selon les publications, pour les centres de données Google, la valeur PUE moyenne sur tous les centres de données dans différentes régions et à différentes périodes de l'année est de 1,12.
Ensuite, nous examinerons de plus près les systèmes de refroidissement de certains centres de données Selectel.
"Fleur 1" - Fréon
Le premier centre de données Tsvetochnaya 1 a été mis en service en 2008, lorsque le service de colocation dominait le marché. De plus, c'est le centre de Saint-Pétersbourg - la situation de l'espace libre était alors quelque peu limitée. En conséquence, dans le centre de données "Flower 1", des climatiseurs industriels classiques pour les centres de données Fréon ont été installés, qui fonctionnent à ce jour.
Le principe de fonctionnement d'un tel climatiseur est basé sur la transition du fréon à divers états d'agrégation. L'air froid sous le plancher surélevé est fourni aux soi-disant «couloirs froids» avec du matériel informatique, et l'air chauffé va à la salle des serveurs (aux «couloirs chauds»), d'où il est à nouveau aspiré dans l'échangeur de chaleur du climatiseur, refroidi et réalimenté vers les serveurs et les systèmes de stockage.
Refroidissement du centre de données avec climatisationL'efficacité d'un climatiseur classique laisse beaucoup à désirer, et donc le coefficient d'efficacité énergétique pour le centre de données Flower 1 est assez élevé par rapport aux normes modernes, PUE = 1,7. Mais étant donné que les services de colocation sont fournis ici, il est tout à fait possible de supporter cette situation jusqu'au moment d'une modernisation radicale de l'ensemble du centre de données.
Inspection des climatiseurs dans le centre de données "Flower 1""Dubrovka 1", "Berzarina 1", "Flower 2" - refroidisseurs
La prochaine technologie de refroidissement de Selectel a été testée en 2010, lorsque le centre de données Dubrovka 1 a été construit dans le village de Dubrovka, dans la région de Leningrad. Dans ce document, pour la première fois dans la pratique de l'entreprise, un système de refroidissement du refroidisseur a été appliqué.
La différence entre le système de refroidissement et les climatiseurs fréon est que la solution de glycol non congelant circule dans les tuyaux entre les unités intérieure et extérieure, qui reste liquide tout le temps et ne passe pas à l'état gazeux. La solution est pompée à travers le climatiseur dans la salle des serveurs, où elle est chauffée par le radiateur chaud du climatiseur et d'où elle est pompée dans un échangeur de chaleur externe externe appelé refroidisseur.
Dans le refroidisseur, la solution de glycol est refroidie à l'aide d'air extérieur et d'une unité de condensation supplémentaire. Ensuite, la solution de glycol déjà refroidie est à nouveau introduite dans le climatiseur à l'intérieur de la salle des serveurs du centre de données. Dans ce cas, le refroidissement des équipements informatiques se produit selon le schéma traditionnel - de l'air froid est fourni par le bas à travers un plancher surélevé vers des «couloirs froids», et de l'air chaud va dans la salle commune, puis dans l'échangeur de chaleur.
Refroidisseur de centre de donnéesLe schéma avec des couloirs froids et chauds permet d'économiser jusqu'à 5% d'énergie, il est donc très important d'isoler les piscines d'air froid et chaud (couloirs et stockage d'air).
L'efficacité énergétique du circuit de refroidissement est plus élevée par rapport aux climatiseurs, et cela est dû au fait que le compresseur externe et l'unité de condensation du refroidisseur ne sont activés qu'à des températures ambiantes supérieures à + 12 ° C, et les ventilateurs de l'unité extérieure sont allumés progressivement, à mesure que la température du liquide de refroidissement glycol augmente. Cela ressemble beaucoup au fonctionnement du système de refroidissement du moteur d'une voiture conventionnelle.
Selon le système de refroidissement, Selectel a construit le refroidissement de trois centres de données - Dubrovka 1 (2010), Berzarina 1 (2011) et Flower 2 (2015). Dans le cas du centre de données Tsvetochnaya 2, l'expérience d'exploitation accumulée sur 5 ans de fonctionnement du centre de données Dubrovka 1 concernant les nombreuses nuances de maintenance a été prise en compte. Il s'est avéré que, malgré la simplicité extérieure du principe de fonctionnement, le système de refroidissement est plutôt capricieux en fonctionnement et nécessite une maintenance minutieuse et le respect des réglementations. Vous pouvez en savoir plus sur le fonctionnement du système de refroidissement dans le centre de données Berzarina 1 dans
notre article de blog d'entreprise .
Couloir froid dans le centre de données Flower Center 2"Dubrovka 3", "Berzarina 2" - freecooling
La prochaine étape dans l'amélioration de l'efficacité énergétique des systèmes de refroidissement a été franchie chez Selectel lors de la transition vers un système de freecooling direct. Le principe de fonctionnement du freecooling direct classique est le rejet des échangeurs de chaleur, et le refroidissement des équipements informatiques se produit par soufflage d'air extérieur.
L'air extérieur passe à travers les filtres, où il est nettoyé de la poussière, puis entre dans la salle des machines. En hiver, selon les besoins, l'air froid est pré-dilué avec l'air chaud des serveurs dans la chambre de mélange pour maintenir une température constante pour le soufflage de l'équipement.
Freecooling direct avec post-refroidissement sans plancher surélevéComme mentionné ci-dessus, les serveurs et systèmes de stockage modernes fonctionnent de manière fiable à des températures dans les couloirs froids jusqu'à + 27 ° C. Compte tenu du climat de la région de Leningrad, où la température moyenne quotidienne à long terme, même en juillet, est à + 20 ° C, une telle solution semblait tout à fait réalisable. Cependant, compte tenu du record de température de + 37,8 ° C enregistré dans la région de Leningrad en 2010, il était impossible de compter uniquement sur la miséricorde de la nature. Soit dit en passant, «l'été chaud de 2018» a confirmé l'exactitude de ces calculs.
En conséquence, le datacenter Dubrovka 3, mis en service en 2013, utilise le freecooling direct avec une unité de refroidissement supplémentaire (ABHM, machine frigorifique à absorption) en cas de chaleur estivale. L'air extérieur passe à travers les filtres, puis passe à travers l'échangeur de chaleur ABXM. Dans les couloirs froids de la salle des serveurs, l'air est fourni sous le plancher surélevé.
Refroidissement du datacenter selon le schéma du freecooling avec plancher surélevéComme l'expérience d'exploitation l'a montré, une telle solution fonctionne sans allumer l'ABCM à une température ambiante de + 21 ° C, ce qui signifie pratiquement que l'ABCM ne fonctionne que pendant les mois d'été. Il s'agit donc d'une solution assez économe en énergie avec un PUE de ~ 1,25.
Un avantage important d'ABCHM est la sécurité environnementale, car il fonctionne sur l'eau ordinaire sans utiliser de fréon. Parmi les inconvénients de l'ABXM, il y a les échangeurs de chaleur externes géants, mais étant donné l'emplacement du centre de données Dubrovka 3 presque dans un champ ouvert, cela ne joue pas un rôle spécial en termes de taille des zones pour l'équipement ABXM.
Le système de refroidissement du centre de données "Dubrovka 3" avec ABHMDepuis 2013, le système de freecooling direct avec post-refroidissement a montré sa grande efficacité et sera réimplémenté dans la construction du centre de données Berzarina 2 à Moscou. Cependant, en raison de l'espace limité, l'unité de post-refroidissement sera mise en œuvre à l'aide d'un système adiabatique.
Quelques mots sur la réservation
Traditionnellement, les systèmes de refroidissement dans les centres de données de niveau III sont réservés selon un schéma d'au moins N + 1. Cela signifie qu'il doit toujours y avoir au moins un groupe frigorifique en stock, qui est mis en service en cas d'accident ou de réparation (maintenance programmée) de l'un des systèmes concernés. Ainsi, dans le centre de données Dubrovka 1, 4 machines de ventilation sont utilisées pour le freecooling quand il y en a besoin de 3, et dans le centre de données Dubrovka 3, trois machines ABHM sont utilisées, dont une machine est éteinte et est en veille prête à être lancée.
Soit dit en passant, Selectel dans ses centres de données cherche à resserrer au maximum les exigences de redondance N + 1, et n'a pas un mais deux systèmes de refroidissement redondants en stock. Par exemple, dans le centre de données «Flower 1» et «Flower 2», il y a respectivement 2 climatiseurs de secours et un refroidisseur.
Climatiseurs dans la salle des serveurs du centre de données Flower Center 1 (au centre)"Berzarina 2" - bientôt en service
En novembre 2018, un nouveau centre de données Berzarina 2 a été mis en service à Moscou, où pour la première fois dans la pratique de l'entreprise, un programme de freecooling avec post-refroidissement utilisant un système adiabatique sera appliqué. Si l'air extérieur est trop chaud - et la température à Moscou en été dépasse souvent 23 ° C - alors le système de refroidissement adiabatique se met en marche.
Freecooling avec système adiabatique post-refroidissement dans le centre de données "Berzarina 2"La technologie de refroidissement adiabatique est basée sur l'atomisation de l'eau sous forme de minuscules gouttelettes dans le chemin d'écoulement de l'air, ce qui permet de refroidir l'air en évaporant l'eau. Lors de l'utilisation d'humidificateurs à pulvérisation, les coûts énergétiques du processus de refroidissement lui-même sont faibles, par rapport à d'autres systèmes de refroidissement. La structure cellulaire complexe de la barrière mouillable à la manière de l'air fourni ne permet pas aux microgouttelettes d'eau de pénétrer plus loin dans les conduits du centre de données. Dans le même temps, le niveau d'humidité reste dans les valeurs acceptables pour les équipements informatiques.
Système adiabatique«Il existe de nombreuses solutions intéressantes pour les systèmes de refroidissement dans le monde qui économisent de l'énergie. Cependant, il est impossible d'essayer tous les nouveaux produits - vous devez obtenir un financement, effectuer la conception, puis terminer l'achat de l'équipement, la préparation et la mise en service de l'équipement. Les étapes de livraison, d'installation, de réglage et de rodage sont toutes des procédures très longues. Par conséquent, les systèmes climatiques après avoir commencé à fonctionner pendant au moins une décennie et sont rarement radicalement modernisés dans le processus d'exploitation d'un centre de données déjà construit. Et de nouveaux produits intéressants arrivent déjà dans le nouveau centre de données, dans lequel ils dureront 10 à 15 ans », résume Kirill Malevanov, directeur technique de Selectel.