Los precios competitivos para los servicios siempre han sido el "rey de los argumentos" para los clientes al elegir un centro de datos. ¿Y de qué están compuestos estos precios? Lo primero que viene a la mente son los costos de los equipos de TI y la electricidad, pero los costos de los servidores de refrigeración, los sistemas de almacenamiento (SHD) y los dispositivos de red generan una parte importante de la estructura de precios. Por ejemplo, un servidor con varios procesadores emite hasta 600 W o más de energía térmica, que debe eliminarse de manera efectiva, y debe suministrarse aire frío a las aberturas de ventilación del servidor.
En este artículo, le presentaremos las tecnologías de control climático en los centros de datos Selectel y le diremos cómo los nuevos productos en esta área reducen los costos operativos de los centros de datos e, indirectamente, los montos en las cuentas de nuestros clientes.
3 mercados de servicios - 3 requisitos de enfriamiento
En el mercado de servicios del centro de datos, aproximadamente estimado, hay tres segmentos principales. Esto es, en primer lugar, colocación, luego infraestructura IaaS - servidores dedicados más almacenamiento en la nube, y el tercer segmento - servidores en la nube (VPC, VPS, VMware Cloud), incluidas las nubes públicas, privadas e híbridas.
No importa cuán sorprendente pueda parecer, pero los clientes de cada segmento tienen diferentes requisitos para los sistemas climáticos. Los clientes más exigentes están colocando su propio equipo (colocación) en el centro de datos. Entre ellos hay muchos gerentes de TI con muchos años de práctica y una idea conservadora de qué temperatura debe estar en las salas de servidores. Hace 10-15 años, el requisito de proporcionar + 18 ° C en un corredor frío era realmente crítico. Pero los servidores y el almacenamiento modernos funcionan de manera estable hasta una temperatura de + 27 ° C.
Por cierto, el rango específico de temperatura del aire para las salas de servidores del centro de datos está estrictamente regulado por las recomendaciones de ASHRAE (Sociedad Estadounidense de Ingenieros de Calefacción, Refrigeración y Aire Acondicionado), que se guían en todo el mundo, incluida Rusia. El rango de temperatura recomendado cambia con el tiempo, en algún momento a principios de la década de 2000 realmente era de 16-20 ° C, luego de 18-22 ° C, y hoy la temperatura del aire recomendada para los servidores de enfriamiento ya es de 20-27 ° C.
"Selectel en sus centros de datos se esfuerza por mantener la temperatura del aire cerca del límite inferior del rango recomendado de acuerdo con ASHRAE, en promedio, alrededor de 23 ° C", señaló Kirill Malevanov, Director Técnico de Selectel para el artículo.
¿Cuál de estos se puede concluir para un negocio de centro de datos? La refrigeración costosa con aires acondicionados debe usarse principalmente para salas de servidores asignadas para el servicio de colocación. En consecuencia, para salas de servidores para servicios de IaaS, y aún más para servidores en la nube, puede usar equipos que maximicen el uso de refrigeración debido al entorno, hasta simplemente soplar los servidores con aire externo.
Al mismo tiempo, dado que Selectel posee varios centros de datos, y en diferentes regiones, existe libertad de maniobra. En otras palabras, es posible tener en cuenta los requisitos de refrigeración en el segmento seleccionado de servicios incluso en la etapa de diseño, construcción de centros de datos y la selección de equipos climáticos. Y más adelante en el proceso de operación, para modernizar los sistemas climáticos, teniendo en cuenta la reducción de TCO al proporcionar estos servicios.
¿Qué es un PUE?
La medida principal de la eficiencia del centro de datos es la relación de eficacia del uso de energía (PUE) utilizada en la industria del centro de datos desde 2007. ¿Cuál es este coeficiente?
En otras palabras, cuanto más cerca esté el PUE de 1, más perfecto será el centro de datos. Sin embargo, es imposible alcanzar valores de 1.0 en principio, ya que esto corresponde al nivel de eficiencia energética de la máquina de movimiento perpetuo. Por cierto, se puede encontrar una definición completa del término PUE en el documento
PUE, Un examen completo de la métrica (PDF) .
En la práctica, los valores de PUE entre 1.10 y 1.15 se consideran excelentes. Por ejemplo, según las publicaciones, para los centros de datos de Google, el valor PUE promediado en todos los centros de datos en diferentes regiones y en diferentes épocas del año es 1.12.
A continuación, veremos más de cerca los sistemas de enfriamiento en los centros de datos Selectel seleccionados.
"Flor 1" - Freón
El primer centro de datos Tsvetochnaya 1 se puso en funcionamiento en 2008, cuando el servicio de colocación era dominante en el mercado. Además, este es el centro de San Petersburgo: la situación con el espacio libre era algo limitada. En consecuencia, en el centro de datos "Flower 1", se instalaron aires acondicionados industriales clásicos para centros de datos de Freón, que funcionan hasta la fecha.
El principio de funcionamiento de dicho acondicionador de aire se basa en la transición del freón a varios estados de agregación. El aire frío debajo del piso elevado se suministra a los llamados "corredores fríos" con equipos informáticos, y el aire calentado va a la sala de servidores (a los "corredores calientes"), desde donde es aspirado nuevamente al intercambiador de calor del aire acondicionado, se enfría y se vuelve a alimentar a los servidores y sistemas de almacenamiento.
Refrigeración del centro de datos con aire acondicionado.La eficiencia de un aire acondicionado clásico deja mucho que desear y, por lo tanto, el coeficiente de eficiencia energética para el centro de datos Flower 1 es bastante alto según los estándares modernos, PUE = 1.7. Pero dado que los servicios de colocación se proporcionan aquí, es bastante posible soportar esta situación hasta el momento de una modernización radical de todo el centro de datos.
Inspección de aires acondicionados en el centro de datos "Flor 1""Dubrovka 1", "Berzarina 1", "Flor 2" - enfriadores
La próxima tecnología de enfriamiento en Selectel se probó en 2010, cuando se construyó el centro de datos Dubrovka 1 en el pueblo de Dubrovka en la región de Leningrado. En él, por primera vez en la práctica de la compañía, se aplicó un sistema de enfriamiento de enfriadores.
La diferencia entre el sistema de enfriamiento y los acondicionadores de aire de freón es que la solución de glicol no congelante circula en las tuberías entre las unidades interior y exterior, que permanece líquida todo el tiempo y no entra en estado gaseoso. La solución se bombea a través del acondicionador de aire en la sala del servidor, donde se calienta con el radiador caliente del acondicionador de aire y desde donde se bombea a un intercambiador de calor externo externo, llamado enfriador.
En el refrigerador, la solución de glicol se enfría utilizando aire externo y una unidad de condensación adicional. Luego, la solución de glicol ya enfriada se alimenta nuevamente al aire acondicionado dentro de la sala de servidores del centro de datos. En este caso, el enfriamiento de los equipos informáticos se realiza de acuerdo con el esquema tradicional: el aire frío se suministra desde abajo a través de un piso elevado a los "corredores fríos", y el aire caliente va a la sala común y luego al intercambiador de calor.
Enfriador de centro de datosEl esquema con corredores fríos y calientes proporciona hasta un 5% de ahorro de energía, por lo que es muy importante aislar las piscinas de aire frío y caliente (corredores y almacenamiento de aire).
La eficiencia energética del circuito de la enfriadora es mayor en comparación con los acondicionadores de aire, y esto se debe al hecho de que la unidad externa de compresor y condensador de la enfriadora solo se activa a temperaturas ambiente superiores a + 12 ° C, y los ventiladores de la unidad exterior se encienden gradualmente, a medida que aumenta la temperatura del refrigerante de glicol. Esto es muy similar a cómo funciona el sistema de enfriamiento del motor de un automóvil convencional.
Según el esquema de enfriadores, Selectel construyó la refrigeración de tres centros de datos: Dubrovka 1 (2010), Berzarina 1 (2011) y Flower 2 (2015). En el caso del centro de datos Tsvetochnaya 2, se tuvo en cuenta la experiencia operativa acumulada durante 5 años de operación del centro de datos Dubrovka 1 con respecto a los muchos matices de mantenimiento. Al final resultó que, a pesar de la simplicidad externa del principio de funcionamiento, el sistema de enfriamiento es bastante caprichoso y requiere un mantenimiento cuidadoso y el cumplimiento de las regulaciones. Puede leer más sobre el funcionamiento del sistema de enfriamiento en el centro de datos Berzarina 1 en
el artículo del blog de nuestra compañía .
Corredor frío en el centro de datos Flower Center 2"Dubrovka 3", "Berzarina 2" - freecooling
El siguiente paso para mejorar la eficiencia energética de los sistemas de enfriamiento se tomó en Selectel en la transición a un esquema de enfriamiento directo. El principio de funcionamiento del freecooling directo clásico es el rechazo de los intercambiadores de calor, y el enfriamiento de los equipos informáticos se produce debido al soplo con aire exterior.
El aire externo pasa a través de los filtros, donde se limpia de polvo, y luego ingresa a la sala de máquinas. En invierno, según sea necesario, el aire frío se diluye previamente con aire caliente de los servidores en la cámara de mezcla para mantener una temperatura constante para el equipo de soplado.
Enfriamiento directo directo con posenfriamiento sin piso elevadoComo se mencionó anteriormente, los servidores y sistemas de almacenamiento modernos funcionan de manera confiable a temperaturas en pasillos fríos de hasta + 27 ° C. Dado el clima de la región de Leningrado, donde la temperatura diaria promedio a largo plazo, incluso en julio, es de + 20 ° C, tal solución parecía bastante viable. Sin embargo, dado el registro de temperatura de + 37.8 ° C, registrado en la región de Leningrado en 2010, era imposible confiar solo en la misericordia de la naturaleza. Por cierto, el "verano caluroso de 2018" confirmó la exactitud de estos cálculos.
En consecuencia, el centro de datos Dubrovka 3, puesto en servicio en 2013, utiliza refrigeración directa con una unidad de refrigeración adicional (ABHM, máquina de refrigeración por absorción) en caso de calor en verano. El aire externo pasa a través de los filtros y luego pasa a través del intercambiador de calor ABXM. En los pasillos fríos de la sala de servidores, se suministra aire debajo del piso elevado.
Centro de datos de enfriamiento según el esquema de freecooling con piso elevadoComo ha demostrado la experiencia operativa, dicha solución funciona sin encender el ABCM a una temperatura ambiente de + 21 ° C, lo que prácticamente significa que el ABCM funciona solo en los meses de verano. Por lo tanto, es una solución bastante eficiente energéticamente con un PUE de ~ 1.25.
Una ventaja importante de ABCHM es la seguridad ambiental, ya que funciona en aguas comunes sin el uso de freón. Entre los inconvenientes del ABXM están los intercambiadores de calor externos gigantes, pero dada la ubicación del centro de datos Dubrovka 3 casi en un campo abierto, esto no juega un papel especial en términos del tamaño de las áreas para el equipo ABXM.
El sistema de refrigeración del centro de datos "Dubrovka 3" con ABHMDesde 2013, el sistema de refrigeración directa con posenfriamiento ha demostrado su alta eficiencia y se volverá a implementar en la construcción del centro de datos Berzarina 2 en Moscú. Sin embargo, debido al espacio limitado, la unidad de enfriamiento posterior se implementará utilizando un sistema adiabático.
Unas palabras sobre la reserva
Tradicionalmente, los sistemas de enfriamiento en los centros de datos de Nivel III se reservan de acuerdo con un esquema de al menos N + 1. Esto significa que siempre debe haber al menos una unidad de refrigeración en stock, que se pone en funcionamiento en caso de accidente o reparación (mantenimiento programado) de uno de los sistemas involucrados. Por lo tanto, en el centro de datos Dubrovka 1, se utilizan 4 máquinas de ventilación para enfriamiento gratuito cuando se necesitan 3, y en el centro de datos Dubrovka 3, tres máquinas ABHM, una de las cuales está apagada y en espera, listas para el lanzamiento.
Por cierto, Selectel en sus centros de datos busca ajustar el requisito de redundancia N + 1 tanto como sea posible, y no tener uno sino dos sistemas de enfriamiento redundantes en stock. Por ejemplo, en el centro de datos "Flor 1" y "Flor 2" hay 2 aires acondicionados de respaldo y un enfriador, respectivamente.
Aires acondicionados en la sala de servidores del centro de datos Flower Center 1 (en el centro)"Berzarina 2" - pronto en servicio
En noviembre de 2018, se puso en funcionamiento un nuevo centro de datos Berzarina 2 en Moscú, donde por primera vez en la práctica de la compañía se aplicará un esquema de enfriamiento gratuito con enfriamiento posterior utilizando un sistema adiabático. Si el aire exterior es demasiado cálido, y la temperatura en Moscú en verano a menudo supera los 23 ° C, entonces se enciende el sistema de enfriamiento adiabático.
Freecooling con sistema adiabático post-enfriamiento en el centro de datos "Berzarina 2"La tecnología de enfriamiento adiabático se basa en la atomización del agua en forma de pequeñas gotas en la ruta del flujo de aire, lo que permite enfriar el aire al evaporar el agua. Cuando se utilizan humidificadores de tipo spray, los costos de energía para el proceso de enfriamiento en sí son pequeños, en comparación con otros sistemas de enfriamiento. La compleja estructura celular de la barrera humectable en el camino del aire suministrado no permite que las microgotas de agua entren más en los conductos del centro de datos. Al mismo tiempo, el nivel de humedad permanece dentro de los valores aceptables para los equipos de TI.
Sistema adiabático“Existen muchas soluciones interesantes para sistemas de enfriamiento en el mundo que ahorran energía. Sin embargo, es imposible probar todos los nuevos productos: necesita obtener financiamiento, llevar a cabo el diseño y luego completar la compra del equipo, la preparación y la puesta en marcha del equipo. Las etapas de entrega, instalación, ajuste y puesta en marcha son procedimientos muy largos. Por lo tanto, los sistemas climáticos después de comenzar a trabajar durante al menos una década y rara vez se modernizan radicalmente en el proceso de operación de un centro de datos ya construido. Y nuevos productos interesantes ya están llegando al nuevo centro de datos, en el que durarán entre 10 y 15 años ”, resumió Kirill Malevanov, director técnico de Selectel.