Una breve excursión a los sistemas de enfriamiento del centro de datos. Pros y contras

De alguna manera sucedió que Habr anunció el día de enfriamiento del centro de datos.

Debemos participar, porque Pronto estoy en este tema durante dos décadas.
KDPV - pequeño.



El recorrido es corto. Muy breve

Freón

Bueno viejo El es un DX. Él es una extensión directa. El es Goga ...

Pros:

• Barato y alegre;
• Simplemente organice cualquier grado de confiabilidad para obtener un certificado del Uptime Institute;
• Es difícil en el mundo encontrar un lugar donde no haya un especialista que pueda repararlo o repararlo.

Contras:

• El PUE más alto (lo cual es malo. No explicaré aquí acerca del PUE. Tengo que escribir un artículo separado al respecto. Todo no es tan simple como podría parecer a primera vista. Pero en otro momento);
• Cualquier falla de energía y ... sin enfriamiento. Es decir o coloque el UPS en todos los acondicionadores de aire de freón, o encuentre un equilibrio entre la carga y el volumen de aire en la sala de máquinas para que haya suficientes reservas de aire frío para la duración de la operación del UPS; (Aquí, por cierto, se encuentra el argumento principal contra los apologistas de los "corredores fríos". Pero sobre los "corredores", esto también es una triste historia aparte). También hay un problema con el UPS en los acondicionadores de aire de freón: el compresor "come" de 3 a 7 clasificaciones al inicio. Un SAI típico con tal burla arroja la carga. Por supuesto, hay acondicionadores de aire con un regulador de frecuencia para el compresor, pero ... hasta ahora, estas opciones no funcionan con equipos de baja temperatura en invierno. No está listo para explicar la física del proceso, pero por la experiencia de personas respetadas, esto es así. Como resultado, ya sea un UPS con un margen de siete veces, o una nueva colocación del volumen de aire en la habitación;
• Bajo rendimiento con cargas demasiado bajas. O debe abandonar la "precisión", o incluso colocar calentadores en la habitación para que la carga en el aire acondicionado caiga dentro del rango permitido, o soportar el reemplazo frecuente de compresores. Peor aún: muchos acondicionadores de aire tienen protección contra apagado de compresores que se encienden con demasiada frecuencia y el acondicionador de aire simplemente se apaga con un mensaje de error. (Este es otro tema aparte, sobre las características del ciclo de freón ...);
• Existen riesgos con cambios significativos repentinos en la carga, como, por ejemplo, en las supercomputadoras. Por ejemplo: calcularon la tarea, la carga cayó del 100% al 5%, se cargó una nueva tarea, la carga aumentó del 5% al ​​100 ... ¡Pero no pasaron 3 minutos! Y algunos acondicionadores de aire tienen un temporizador que bloquea el compresor durante 3 minutos después de apagarse ... Y con una carga del 100% en la supercomputadora en la sala de máquinas, la temperatura aumenta un grado por segundo o más ... Entonces ya es una suerte;
• Grandes problemas al trabajar a muy bajas temperaturas. -10 - -15 nada más. -30 y menos: extrae receptores, válvulas y automatización adicionales. No todos saben cómo diseñar. No todos saben cómo configurar. No todos los kits de "baja temperatura" realmente soportan la temperatura indicada. Si necesita un "freonka" que definitivamente funcionará a -40, comuníquese con compañías que tienen instalaciones de vivienda en regiones donde -40 en invierno.
• Un poco menos aterrador en modelos nuevos de aires acondicionados. Pero aún así, reducen la humedad. La temperatura típica del evaporador de un acondicionador de aire de freón está por debajo del punto de rocío para un estándar de 20C 50% HR para un baño de vapor. En consecuencia, se requiere humidificación del aire. Dependiendo del método de implementación de la humidificación, el diseño de la habitación, la configuración de ventilación, puede extraer otros 0.1-0.2 más a PUE ...

Freón con freecooling

El mismo DX, pero en el gabinete del aire acondicionado hay otro intercambiador de calor en el que vive la solución de (etileno) glicol. A temperaturas inferiores a aproximadamente cinco grados desde el "punto de ajuste", el circuito de freón se apaga, la bomba en el "circuito de glicol" se enciende y todos los costos de enfriamiento son electricidad para el funcionamiento de la bomba y los ventiladores.

Pros:

• Todo lo mismo que para el freón, porque Si hay un problema con el circuito de glicol, la parte de freón del aire acondicionado casi siempre vuelve automáticamente al trabajo;
• Una disminución notable (que es buena) en PUE incluso en países cálidos;
• Con la reserva correcta en la parte de glicol, no se requiere el uso de kits de baja temperatura en la parte de freón. Un poco, pero en Norilsk, por ejemplo, puede ser útil.

Contras:

• Que suerte Dependiendo del firmware, la configuración y el fabricante, puede obtener todas las desventajas del sistema de freón en el verano, y en invierno puede obtener todas las desventajas del sistema de enfriamiento con enfriamiento gratuito (se describirá a continuación). Al menos en el verano habrá todos los problemas para garantizar un poder ininterrumpido;
• Complicación del bloqueo interno del sistema con una disminución correspondiente en el número de artesanos que se encargarán de repararlo;
• Duplicación de tuberías (no realmente, pero aún así ...);
• Duplicar el espacio para bloques externos (casi siempre), porque los enfriadores secos del circuito de glicol se agregan a los condensadores del circuito de freón;
• Como resultado de todas las desventajas anteriores, el sistema es más costoso en diseño, construcción y operación.

Sistema de enfriamiento

Aquí puede escribir una serie de artículos para un año de publicaciones diarias. Bueno, o un libro de texto muy grueso.
Hay muchas opciones para la implementación.

Brevemente:

Enfriador: un dispositivo para enfriar un líquido y mantener una temperatura dada (baja) del líquido en la salida.

Como resultado, el sistema de enfriamiento consiste en enfriadores que enfrían el agua, tuberías con accesorios y aires acondicionados muy simples (a menudo se puede encontrar la palabra "más cerca" en las fuentes rusas) en el que hay un intercambiador de calor agua-aire, una válvula de control y un ventilador.

A nivel mundial, lo que se describe en sus pros y sus contras en su forma pura casi nunca se aplica.

Pros:

• Debido a la mayor capacidad calorífica del agua, hay una ausencia aproximadamente completa de problemas con cargas altamente variables. Especialmente si se aplica el siguiente plus;
• Puedes poner un tanque en el circuito. Uno grande O muy grande. Casi gratis en medio del precio de los enfriadores. Y drene el agua fría allí primero. Luego, si hay algún problema en el sistema de enfriamiento o la fuente de alimentación, es suficiente para proporcionar circulación de fluido en el circuito para que las computadoras no se sobrecalienten de inmediato, en 15-40 segundos, como por ejemplo para una supercomputadora normal, y se sobrecalienten después de 15-20 minutos para los cuales incluso el administrador está durmiendo se despierta y repara todo o lo apaga todo.
• Para garantizar un funcionamiento ininterrumpido, es suficiente alimentar las bombas de circulación desde el UPS. Si las bombas tienen un controlador de frecuencia, entonces ni siquiera necesita dar un margen para las corrientes de entrada;
• Sí, se necesitan más especialistas para el mantenimiento, además de un aire acondicionado de freón, también se necesita un plomero, pero es difícil encontrar un lugar en el planeta donde no haya al menos un plomero calificado.

Contras:

• Depende mucho de cómo esté organizado el sistema. Demasiadas opciones de implementación;
• En el caso general, es notablemente más caro que el sistema de freón;
• En sistemas grandes, debe hacer dos circuitos: glicol “a la calle” y a través del intercambiador de calor “agua” dentro del centro de datos / edificio;
• PUE es igual o peor que el freón. Porque Se agregan bombas de circulación al freón.

Sistema de enfriamiento de enfriamiento gratuito

Opción 1. Que no es tan buena.

Este es un sistema de enfriamiento. Pero en él hay un grupo separado de refrigeradores secos, o refrigeradores secos incorporados, a los que el sistema cambia en un momento en que toda la potencia de enfriamiento necesaria se puede proporcionar mediante enfriamiento gratuito.

Pros:

• "Medio año es mal tiempo, medio año no está en ninguna parte" ... Si bien el clima es malo, hace frío y es desagradable en la calle ... el enfriamiento es casi gratis. Solo funcionan las bombas y los ventiladores;
• Implementación simple para la mayoría de las variaciones de los sistemas de enfriamiento;
• Al norte de Sochi hay un PUE bastante bueno.

Contras:

• Solo que hay una opción más correcta, en general.

El correcto sistema de enfriamiento gratuito

Hasta hace relativamente poco, solo un fabricante lo tenía. Las patentes de Tolley ya caducaron, solo compraron una licencia, pero hay más opciones.

Pros:

• Todo eso para un sistema de enfriamiento de enfriamiento gratuito;
• Además, si la temperatura exterior es más baja que la temperatura del refrigerante en la entrada del enfriador, el líquido primero va a contrarrestar el enfriamiento libre. Si el líquido aún tiene una temperatura superior al punto de ajuste después del circuito de enfriamiento gratuito, el líquido se envía al evaporador de freón y el circuito de freón se conecta a la operación. Parece ser un poco, pero para Moscú, aumenta en promedio por año el tiempo de utilidad del freecooling en 2-4 meses y, a veces, incluso en julio ahorra electricidad.

Contras:

• Sí, en general, no lo son. (¿Lo has notado? ¡Esta es mi opción favorita!). Sí, el sistema es más caro que el freón y un poco más caro que un sistema de enfriamiento convencional. Pero, por extraño que parezca, generalmente no es más costoso que un sistema de enfriamiento "regular" de enfriamiento gratuito.

Enfriamiento sin aire

Aproximadamente, hay tres opciones: un intercambiador de calor rotativo, un circuito de aire abierto y un circuito de aire cerrado. Además, en cada una de las opciones puede agregar "adiabático" ...

Intercambiador de calor rotativo

Hay un circuito interno de circulación de aire, donde el aire caliente ingresa a la unidad, pasa a través de la mitad de una "rueda" que gira lentamente, donde se enfría y va al gimnasio. Y el contorno exterior. Cuando el aire de la calle entra en la unidad, pasa a través de la otra mitad de la "rueda" que gira lentamente, donde se calienta y sale a la calle. Además, generalmente, en caso de clima muy caluroso, se agrega un evaporador al sistema en la salida del circuito interno y se agrega un condensador a la salida del circuito externo.

Pros:

• Bueno PUE;
• Un circuito interno más o menos cerrado; rara vez se requiere humidificación del aire;
• El circuito de freón se usa solo en climas muy calurosos.

Contras:

• La imposibilidad de una estanqueidad completa de la unión con la rueda de intercambio de calor. Como resultado, hay flujo de aire;
• Debido a esto, hay potencialmente problemas con los detectores de incendios cuando algo se está quemando afuera;
• Por alguna razón, los fabricantes quieren mucho dinero para este sistema. A pesar de la aparente simplicidad.

Circuito al aire libre

Facebook es el más famoso, pero hay varios fabricantes e instalaciones más. En general, esta opción casi siempre se puede llevar al marco de calidad de precio especificado por el cliente.

Pros:

• Un sistema muy simple desde el punto de vista de la mecánica: ventiladores, dos amortiguadores controlados;
• Barato en construcción "en campo abierto" (Green Field);
• Muy bien PUE. Costos solo para ventiladores, humidificación y filtros;
• Está bien implementado para centros de datos modulares y granjas de minería de contenedores.

Contras:

• La lluvia Sí, él mismo: gotas de agua húmedas y desagradables desde arriba. Una vez en el centro de datos de Facebook, una nube se reunió desde el techo desde donde comenzó a llover ... Y solo un pequeño error en el sistema de control de temperatura y humedad ...;
• Se requiere un sistema de enfriamiento de freón si la temperatura "por la borda" puede ser más alta que la temperatura permisible en la sala;
• Es necesario tener 100% de potencia en los acondicionadores de aire de freón si necesita continuar trabajando en caso de incendio fuera del centro de datos (por ejemplo, en Moscú y sus alrededores, en caso de quemar turberas);
• La humectación en regiones con baja humedad puede requerir grandes cantidades de agua.

Circuito cerrado de aire

Típicamente usando un intercambiador de calor aire-aire de flujo cruzado. El aire en el circuito interno es enfriado por el aire en el circuito externo. Sin adiabáticos, los pros y los contras son casi los mismos que para un intercambiador de calor rotativo y un circuito abierto con la excepción de:

Pros:

• No hay flujos de aire;
• Costes de humidificación reducidos en comparación con el circuito abierto y la rueda;
• No es necesario cambiar el modo de funcionamiento en caso de incendios externos.

Contras:

• La temperatura interior siempre será más alta que la temperatura exterior si no utiliza un sistema de freón para el enfriamiento posterior en la estación cálida. O, además, adiabático ...

Freecooling con adiabatics (también me gusta mucho esta opción ...).

El significado general es que el calor de evaporación del agua es de aproximadamente 2.2 MJ por kg. El agua en la corriente de aire casi siempre se evaporará. Si rociamos agua en una corriente de aire, no solo aumentaremos la humedad, sino que también disminuiremos la temperatura.

Pros:

1. Con una implementación adecuada (con un circuito cerrado): para operar en la mayor parte de Europa, el 15-20% de la capacidad del sistema de freón de la capacidad total del sistema de enfriamiento es suficiente;
2. Si se implementa correctamente, PUE puede ser 1.1 para la mayor parte de Europa y menor para la mayor parte de Rusia.

Contras:

• Un flujo de agua bastante grande. A partir de temperaturas del orden de +12 - +14 grados;
• El Nivel III requiere una fuente de agua de respaldo o un suministro de agua para todo el tiempo de operación requerido del grupo electrógeno diesel (aproximadamente 36 horas ... Esta es mucha agua, bombas reservadas para bombearlo, tres grifos para cada tee y otras alegrías del Nivel III);
• En algunas regiones, el agua es cara. Muy caro E incluso no tanto "caro" como "gran valor" y solo los locales organizarán un pequeño pogrom si descubren que no beben esta agua ...

Refrigeración directa por agua.

No es del todo directo o no es muy acuoso. Pero ...

Pros:

• No hay ruido en el pasillo;
• ... ¿hay algo más?

Contras:

• Una gran cantidad de juntas, juntas, conductos, abrazaderas, etc. Hasta ahora, debe enfriar dos o cuatro procesadores y conjuntos de chips relacionados: todo es excelente. Cuando se trata de 15,000 servidores de doble procesador en el centro de datos en la nube ... De repente resulta que el sistema está fluyendo. Siempre. Porque las articulaciones son cientos de miles. ¿Alguna vez has visto a un plomero en un edificio de apartamentos regordete en la habitación trasera durante un año sin tener que hacer una llamada para eliminar una fuga? No hay tal cosa. Y en un edificio de apartamentos, en comparación con un pequeño centro de datos refrigerado por agua, hay cientos de veces menos juntas y compañeros en los que puede ocurrir una fuga;
• Agua Cualquier fuga, fuga, derrame: esta es al menos la pérdida de un bastidor. Con algo de suerte. Como lo demuestra la práctica de los centros de datos que utilizan este tipo de enfriamiento, esto suele ser más de un día de inactividad para toda la infraestructura de un montón de centros de datos debido a uno de los interruptores importantes inundados con agua.
• Grandes dificultades con los materiales. Si el sistema tiene aluminio en contacto con el agua, no debe haber nada que contenga cobre en el sistema. Hasta el punto que necesita seleccionar cuidadosamente las aleaciones de acero inoxidable;
• Lo que lleva al siguiente grupo de problemas. Hacer todos los radiadores solo de cobre es muy costoso. Y muy duro. Estúpidamente, la masa del estante resulta ser más fácil, en lugar de reforzar los techos, vierta todos los sótanos y pisos debajo del pasillo con concreto. Entonces habrá aluminio. Por lo tanto, debe seleccionar cuidadosamente todos los materiales que entran en contacto con el agua. De lo contrario, todos los tubos, canales, radiadores se obstruirán con gachas blancas. Lo cual, cuando se usa correctamente en el instrumento, se llama "corindón" ... Y esto también significa los impulsores que se han drenado en todas las bombas ...;
• BRS (conexiones desmontables rápidas). Los buenos son más caros que todo el rack con plataformas, procesadores, memoria, discos. Y necesitan al menos 80 en el estante ... Todo lo demás: causa el mismo tiempo de inactividad durante varios días. Y esto sin mencionar la bagatela de que "esos" BRS "buenos" se producen un poco. Para lanzadores de cohetes y algunos aviones militares ... Probé BRS de excavadoras. No es adecuado (pero esta es otra historia otra vez ...)
• En cualquier caso, solo no se puede usar agua. Esta es una solución de agua, glicol e inhibidores de corrosión, o agua destilada, o algún otro líquido. Ella vale el dinero. Incluso agua destilada común: desde 10 rublos por litro. O un sistema de tratamiento de agua. Lo cual ... (¡no lo creerás!) ... ¡también cuesta dinero!

Sistemas de enfriamiento sumergibles.

También hay muchas opciones. Considere los tres más de moda y frecuentes.

Enfriamiento por inmersión con aceite mineral.

Pros:

• ... Una pregunta interesante. ¿Tienen alguna? Por favor dime si hay alguno. (y sí, no estoy preguntando sobre la escala de 2-3 unidades, sino sobre la escala de 8000 o más unidades ...)

Contras:

• Para mí personalmente, lo peor. ¿Fobia o qué? Odio cuando mis manos están resbaladizas y grasientas ... Si no fuera por esto, ahora me encantaría volverme loco en algún servicio de autos ...;
• Independientemente de las fobias, todo está en aceite. Monos resistentes al aceite desde botas hasta gorras para todos los que ingresan al gimnasio;
• Compatible con plásticos. Nunca hay una garantía de que la carcasa de un condensador / resistencia / procesador no se derrita en aceite mineral. Y este no es un caso de garantía;
• Alta viscosidad En consecuencia, alto consumo de energía para garantizar la circulación en el sistema;
• Alta viscosidad En consecuencia, es probable que cerca de algún elemento caliente en el tablero haya un estancamiento de la lechada caliente. Y sí, la gente realmente se encontró con esto, pero, disculpe, los detalles están "clasificados";
• En cualquier caso, necesita un intercambiador de calor y un "circuito externo" con una solución de glicol. De lo contrario, hay demasiados problemas en el invierno;
• Como resultado, el precio no es muy diferente del sistema de enfriamiento. Con un montón de problemas y empleados que se niegan a ir al gimnasio. Bueno, sí, la organización que está tratando de comerciar esto ... Tienen las mismas representaciones en el sitio que colgaron hace 10 años. Ni una sola instalación real ...
• Para aquellos que van a diseñar formalmente dicho sistema y aprobar un examen, una carga de fuego. El petróleo, desde el punto de vista de la ley, es un líquido inflamable. Luego comienzan las emboscadas: cualquier volumen superior a aproximadamente 1000 litros, simplemente no puede colocarlas en el interior. Y 1000 litros son, disculpe, una bañera por 24 unidades más tubería. Todo lo que es más es más fácil de llevar a cabo mediante el desarrollo de STU. Pero esto es en cualquier caso: otros requisitos para habitaciones adyacentes, otros requisitos para la presencia de vestíbulos, otros requisitos para las distancias a las salidas de emergencia. En promedio, si coloca un contenedor en un campo limpio a kilómetros de edificios residenciales, existe la posibilidad de formalizar todo por dinero más o menos razonable. , , — .

7000

— 60C. , , «». - .

Pros:

• ;
• Tier III, , Tier III;
• , ..;
• -, ...
• . , .

Contras:

• . , . … .

/ .

Pros:

• ;
• ;
• / — , , «» .

Contras:

• - . . 40-50 .
• . - ;
• . .. . .
• 100 .. — . , , , , ...
• , … , — . , , ...

:

. , — . , , «», «» «».