Uma breve excursão aos sistemas de refrigeração do data center. Prós e contras

De alguma forma, aconteceu no anúncio de Habr o dia de esfriar o data center.

Nós devemos participar, porque Estou em breve neste tópico por duas décadas.
KDPV - pequeno.



O passeio é curto. Muito breve.

Freon

Bom velho. Ele é um DX. Ele é uma extensão direta. Ele é Goga ...

Prós:

• Barato e alegre;
• Simplesmente organize qualquer grau de confiabilidade para obter um certificado do Uptime Institute;
• É difícil no mundo encontrar um lugar onde não há especialistas que possam fazer reparos e / ou repará-lo.

Contras:

• A PUE mais alta (o que é ruim. Não vou explicar aqui sobre a PUE. Tenho que escrever um artigo separado sobre isso. Tudo não é tão simples quanto parece à primeira vista. Mas outra vez.);
• Qualquer falha de energia e ... sem refrigeração. I.e. ou coloque o no-break em todos os condicionadores de ar freon ou encontre um equilíbrio entre a carga e o volume de ar na sala de máquinas, para que haja reservas suficientes de ar frio durante a operação do no-break; (aqui, a propósito, está o principal argumento contra os apologistas dos "corredores frios". Mas sobre os "corredores" - essa também é uma história triste e separada.) Um no-break típico com tanta zombaria - lança a carga. Obviamente, existem aparelhos de ar condicionado com um regulador de frequência para o compressor, mas ... até agora, essas opções não funcionam com aparelhos de baixa temperatura no inverno. Não está pronto para explicar a física do processo, mas a partir da experiência de pessoas respeitadas - é isso. Como resultado, um no-break com uma margem de sete vezes ou uma reposição do volume de ar na sala;
• Baixo desempenho com cargas muito baixas. Ou você precisa abandonar a "precisão", ou até mesmo colocar aquecedores na sala para que a carga no ar condicionado caia na faixa permitida, ou atenda à substituição freqüente de compressores. Pior - muitos aparelhos de ar condicionado têm proteção sem desligamento contra compressores ligando com muita frequência e o aparelho simplesmente se desliga com uma mensagem de erro. (Este é outro tópico separado, sobre os recursos do ciclo de Freon ...);
• Existem riscos com mudanças súbitas e significativas na carga, como, por exemplo, nos supercomputadores. Por exemplo: eles calcularam a tarefa, a carga caiu de 100% para 5%, uma nova tarefa foi carregada, a carga passou de 5% para 100 ... Mas 3 minutos não passaram! E alguns aparelhos de ar condicionado têm um temporizador que bloqueia o compressor por 3 minutos após o desligamento ... E a uma carga de 100% no supercomputador na sala de máquinas, a temperatura aumenta de um grau por segundo ou mais ... Então já é uma sorte;
• Grandes problemas com o trabalho em temperaturas muito baixas. -10 - -15 nada mais. -30 e abaixo - puxa receptores, válvulas e automação adicionais. Nem todo mundo sabe como projetar. Nem todo mundo sabe como configurar. Nem todos os kits de "baixa temperatura" suportam realmente a temperatura indicada. Se você precisar de um "freonka" que funcione definitivamente em -40, entre em contato com empresas que possuem instalações residenciais em regiões onde -40 no inverno.
• Um pouco menos assustador em novos modelos de aparelhos de ar condicionado. Mas ainda assim - eles reduzem a umidade. Uma temperatura típica do evaporador de um condicionador de ar freon está abaixo do ponto de orvalho para um 20C 50% RH padrão para um mashroom. Consequentemente, é necessária a umidificação do ar. Dependendo do método de implementação da umidificação, do design da sala e das configurações de ventilação, ele pode puxar mais 0,1-0,2 mais para o PUE ...

Freon com freecooling

O mesmo DX, mas no gabinete do ar condicionado há outro trocador de calor no qual a solução de (etileno) glicol vive. A temperaturas abaixo de cerca de cinco graus a partir do "ponto de ajuste" - o circuito de freon é desligado, a bomba no "circuito de glicol" é ligada e todos os custos de resfriamento são eletricidade para a operação da bomba e dos ventiladores.

Prós:

• Tudo o mesmo que para Freon, porque se houver um problema com o circuito de glicol, a parte freon do ar condicionado quase sempre volta automaticamente ao trabalho;
• Uma diminuição notável (o que é bom) no PUE, mesmo em países quentes;
• Com a reserva correta na parte glicol, não é necessário o uso de kits de baixa temperatura na parte freon. Um pouco, mas em Norilsk, por exemplo, pode ser útil.

Contras:

• Que sorte. Dependendo do firmware, configurações, fabricante, você pode obter todos os pontos negativos do sistema freon no verão e no inverno você pode obter todos os pontos negativos do sistema chiller com freecooling (será descrito abaixo). Pelo menos no verão, haverá todos os problemas para garantir energia ininterrupta;
• Complicação do bloco interno do sistema com uma diminuição correspondente no número de artesãos que se comprometem a repará-lo;
• Dobragem de dutos (não realmente, mas ainda ...);
• Dobrar o espaço para blocos externos (quase sempre), porque refrigeradores a seco de circuito de glicol são adicionados aos capacitores do circuito de freon;
• Como resultado de todas as desvantagens acima, o sistema é mais caro em design, construção e operação.

Sistema de refrigeração

Aqui você pode escrever uma série de artigos para um ano de publicações diárias. Bem, ou um livro muito grosso.
Existem muitas opções para implementação.

Resumidamente:

Chiller - um dispositivo para resfriar um líquido e manter uma determinada temperatura (baixa) do líquido na saída.

Como resultado, o sistema de refrigeração consiste em chillers que resfriam a água, tubulações com conexões e aparelhos de ar condicionado muito simples (geralmente é possível encontrar a palavra "mais perto" em fontes russas)) nos quais há um trocador de calor água-ar, uma válvula de controle e um ventilador.

Globalmente, o que é descrito em seus prós e contras em sua forma pura quase nunca é aplicado.

Prós:

• Devido à maior capacidade de aquecimento da água, há uma ausência aproximadamente completa de problemas com cargas altamente variáveis. Especialmente se o seguinte plus for aplicado;
• Você pode colocar um tanque no circuito. Grande. Ou muito grande. Quase de graça em meio ao preço dos refrigeradores. E drene a água gelada lá primeiro. Então, se houver algum problema no sistema de refrigeração ou na fonte de alimentação, é suficiente fornecer circulação de fluido no circuito para que os computadores não superaqueçam imediatamente, em 15 a 40 segundos, como para um supercomputador comum, por exemplo, e superaqueça após 15 a 20 minutos, durante o qual até o administrador está dormindo acorda e repara tudo ou apaga tudo.
• Para garantir uma operação ininterrupta, basta alimentar as bombas de circulação do no-break. Se as bombas tiverem um controlador de frequência, você nem precisará dar uma margem para correntes de irrupção;
• Sim, são necessários mais especialistas em manutenção. Além do condicionador de ar freon, também é necessário um encanador, mas é difícil encontrar um lugar no planeta onde não haja pelo menos um encanador qualificado.

Contras:

• Depende muito de como o sistema está organizado. Muitas opções de implementação;
• No caso geral, é visivelmente mais caro que o sistema freon;
• Em sistemas grandes, é necessário fazer dois circuitos - glicol “para a rua” e através do trocador de calor “água” dentro do data center / prédio;
• PUE é o mesmo ou pior que o Freon. Porque bombas de circulação são adicionadas ao freon.

Sistema de refrigeração livre

Opção 1. O que não é tão bom.

Este é um sistema de refrigeração. Mas nele existe um grupo separado de refrigeradores a seco ou embutidos, que o sistema alterna no momento em que toda a energia necessária pode ser fornecida pelo freecooling.

Prós:

• “Meio ano é mau tempo, meio ano não está em lugar nenhum” ... Enquanto o tempo está ruim, é frio e desagradável na rua ... o resfriamento é quase gratuito. Apenas bombas e ventiladores funcionam;
• Implementação simples para a maioria das variações de sistemas de resfriadores;
• O norte de Sochi é um bom PUE.

Contras:

• Só que existe uma opção mais correta, se em geral.

O sistema de refrigeração livre correto

Até relativamente recentemente, apenas um fabricante o possuía. As patentes da Tolley agora expiraram, eles só compraram uma licença, mas há mais opções.

Prós:

• Tudo isso para um sistema de resfriamento de refrigeração livre;
• Além disso, se a temperatura externa for menor que a temperatura do líquido de arrefecimento na entrada do chiller, o líquido primeiro será utilizado para combater o freecooling. Se o líquido ainda tiver uma temperatura acima do ponto definido após o circuito de freecooling, o líquido será enviado para o evaporador de freon e o circuito de freon será conectado à operação. Parece um pouco, mas para Moscou, aumenta em média por ano o tempo de utilidade do freecooling em 2 a 4 meses e, às vezes, mesmo em julho, economiza eletricidade.

Contras:

• Sim, em geral, eles não são. (Você já reparou? Esta é a minha opção favorita!). Sim, o sistema é mais caro que o freon e um pouco mais caro que um sistema de resfriador convencional. Mas, por incrível que pareça, geralmente não é mais caro do que um sistema de chiller de refrigeração “regular”.

Ar freecooling

Aproximadamente, existem três opções - um trocador de calor rotativo, um circuito ao ar livre e um circuito ao ar fechado. Além disso, em cada uma das opções você pode adicionar "adiabatic" ...

Trocador de calor rotativo

Existe um circuito interno de circulação de ar, onde o ar aquecido entra na unidade, passa por meio de uma “roda” rotativa lentamente, onde é resfriado e vai para a academia. E o contorno externo. Onde o ar da rua entra na unidade, ele passa pela outra metade da “roda” rotativa lenta, onde esquenta e entra na rua. Além disso, geralmente, em caso de clima muito quente, um evaporador é adicionado ao sistema na saída do circuito interno e um condensador é adicionado à saída do circuito externo.

Prós:

• Boa sugestão;
• Um circuito interno praticamente fechado, umidificação do ar raramente é necessária;
• O circuito de Freon é usado apenas em clima muito quente.

Contras:

• A impossibilidade de aperto completo da junção com a roda de troca de calor. Como resultado, há fluxo de ar;
• Por esse motivo, há potencialmente problemas com detectores de incêndio quando algo está queimando lá fora;
• Por alguma razão, os fabricantes querem muito dinheiro para este sistema. Apesar da aparente simplicidade.

Circuito ao ar livre

O Facebook é o mais famoso, mas existem vários outros fabricantes e instalações. Em geral, essa opção quase sempre pode ser direcionada para a estrutura de qualidade e preço especificada pelo cliente.

Prós:

• Um sistema muito simples do ponto de vista da mecânica - ventiladores, dois amortecedores controlados;
• Barato na construção "em campo aberto" (Green Field);
• Muito bom PUE. Custa apenas para ventiladores, umidificação e filtros;
• Está bem implementado para data centers modulares e fazendas de mineração de contêineres.

Contras:

• A chuva Sim, ele próprio: gotas molhadas e desagradáveis ​​de água de cima. Uma vez no Facebook do data center, uma nuvem se reuniu no teto a partir do qual começou a chover ... E apenas um pequeno bug no sistema de controle de temperatura e umidade ...;
• Um sistema de refrigeração freon é necessário se a temperatura “ao mar” puder ser maior que a temperatura permitida no corredor;
• É necessário ter 100% de energia nos aparelhos de ar condicionado freon, se você precisar continuar trabalhando em caso de incêndio fora do data center (por exemplo, para Moscou e seus arredores, em caso de queima de turfeiras);
• A umidificação em regiões com baixa umidade pode exigir grandes quantidades de água.

Circuito de ar fechado

Normalmente, usando um trocador de calor ar-ar de fluxo cruzado. O ar no circuito interno é resfriado pelo ar no circuito externo. Sem adiabáticos, os prós e os contras são os mesmos de um trocador de calor rotativo e um circuito aberto, com exceção de:

Prós:

• Não há fluxos de ar;
• Custos de umidificação reduzidos em comparação com malha aberta e roda;
• Não é necessário alterar o modo de operação em caso de incêndio externo.

Contras:

• A temperatura interna será sempre mais alta que a externa, se você não usar um sistema freon para pós-resfriamento na estação quente. Ou, além disso, adiabático ...

Freecooling com adiabatics (eu também gosto muito dessa opção ...).

O significado geral é que o calor da evaporação da água é de aproximadamente 2,2 MJ por kg. A água no fluxo de ar quase sempre evapora. Se borrifarmos água em uma corrente de ar, não apenas aumentaremos a umidade, mas também diminuiremos a temperatura.

Prós:

1. Com a implementação adequada (com um circuito fechado) - para operação na maior parte da Europa, 15-20% da capacidade do sistema freon da capacidade total do sistema de refrigeração é suficiente;
2. Se implementado corretamente, o PUE pode ser 1,1 na maior parte da Europa e menor na maior parte da Rússia.

Contras:

• Bastante grande fluxo de água. A partir de temperaturas da ordem de +12 - +14 graus;
• O Nível III requer uma fonte de água de reserva ou um suprimento de água durante todo o tempo de operação necessário do grupo gerador a diesel (cerca de 36 horas ... Isso é muita água, bombas reservadas para bombear, três torneiras para cada T e outras alegrias do Nível III);
• Em algumas regiões, a água é cara. Muito caro E mesmo que não seja tão "caro" quanto "de grande valor", e apenas os habitantes locais organizarão um pequeno pogrom se descobrirem que você não bebe esta água ...

Refrigeração direta a água

Ou não é bem direto ou não é bastante aguado. Mas ...

Prós:

• Nenhum barulho no corredor;
• ... há mais alguma coisa?

Contras:

• Um grande número de juntas, juntas, dutos, braçadeiras, etc. Até agora, você precisa esfriar dois ou quatro processadores e chipsets relacionados - tudo está ótimo. Quando se trata de 15.000 servidores com dois processadores no data center em nuvem ... De repente, acontece que o sistema está fluindo. Sempre. Porque as articulações são centenas de milhares. Você já viu um encanador em um prédio de apartamentos na sala dos fundos por um ano sem precisar fazer uma ligação para eliminar um vazamento? Não existe tal coisa. E em um prédio de apartamentos, em comparação com um pequeno data center refrigerado a água, há centenas de vezes menos juntas e contatos nos quais um vazamento pode ocorrer;
• Água. Qualquer vazamento, vazamento, derramamento - isso é pelo menos a perda de um rack. Com alguma sorte. Como mostra a prática dos datacenters que usam esse resfriamento, normalmente é mais do que um dia de inatividade para toda a infraestrutura de um monte de datacenters devido a um dos comutadores importantes inundados com água.
• Grandes dificuldades com os materiais. Se o sistema tiver alumínio em contato com a água, nada deverá conter cobre no sistema. Até o ponto em que você precisa selecionar cuidadosamente as ligas de aço inoxidável;
• O que leva ao próximo grupo de problemas. Fazer todos os radiadores apenas a partir de cobre é muito caro. E muito difícil. Estupidamente, a massa do rack é tão fácil que, em vez de reforçar os tetos, despeje todos os porões e pisos sob o corredor com concreto. Então haverá alumínio. Portanto, você precisa selecionar cuidadosamente todos os materiais que entram em contato com a água. Caso contrário, todos os tubos, canais e radiadores serão entupidos com mingau branco. O qual, quando usado corretamente no instrumento, é chamado de "corindo" ... E isso também significa os impulsores que foram drenados em todas as bombas ...;
• BRS (conexões destacáveis ​​rápidas). Os bons são mais caros do que todo o rack com plataformas, processadores, memória e discos. E eles precisam de pelo menos 80 no rack ... Todo o resto - causa o mesmo tempo de inatividade por vários dias. E isso sem mencionar a ninharia de que "aqueles" "bons" BRS são produzidos um pouco. Para lançadores de foguetes e algumas aeronaves militares ... experimentei o BRS de escavadeiras. Não é adequado. (mas isso é outra história novamente ...)
• De qualquer forma, apenas a água não pode ser usada. Trata-se de uma solução de água, glicol e inibidores de corrosão, água destilada ou outro líquido. Ela vale o dinheiro. Mesmo água destilada comum - a partir de 10 rublos por litro. Ou um sistema de tratamento de água. O que ... (você não acredita!) ... também custa dinheiro!

Sistemas de refrigeração submersos

Existem também muitas opções. Considere os três mais elegantes e frequentes.

Arrefecimento por imersão com óleo mineral.

Prós:

• ... Uma pergunta interessante. Eles têm algum? Por favor, diga-me se houver algum. (e sim, não estou perguntando sobre a escala de 2 a 3 unidades, mas sobre a escala de 8000 ou mais unidades ...)

Contras:

• Para mim, pessoalmente, o pior. Fobia, ou o quê? Eu odeio quando minhas mãos estão viscosas e oleosas ... Se não fosse por isso, agora eu ficaria feliz em dar uma loucura em algum serviço de carro ...;
• Independentemente das fobias, tudo está no óleo. Macacão resistente a óleo, de botas a bonés, para todos que entram na academia;
• Compatível com plásticos. Nunca há garantia de que a caixa de um capacitor / resistor / processador não derreta em óleo mineral. E este não é um caso de garantia;
• Alta viscosidade. Conseqüentemente, alto consumo de energia para garantir a circulação no sistema;
• Alta viscosidade. Consequentemente, é provável que próximo a algum elemento quente no painel haja estagnação da pasta quente. E sim, as pessoas realmente se depararam com isso, mas, desculpe-me, os detalhes são "classificados";
• De qualquer forma, você precisa de um trocador de calor e um "circuito externo" com uma solução de glicol. Caso contrário, há muitos problemas no inverno;
• Como resultado, o preço não é muito diferente do sistema do chiller. Com um monte de problemas e funcionários que se recusam a ir à academia. Bem, sim, a organização que está tentando negociar essa coisa ... Eles têm as mesmas representações no site que foram suspensas há 10 anos. Nem uma única instalação real ...
• Para aqueles que planejam formalmente esse sistema e passam no exame - uma carga de incêndio. O petróleo - do ponto de vista da lei - é um líquido inflamável. Em seguida, começam as emboscadas - volumes maiores que cerca de 1000 litros - você não pode colocá-los em ambientes fechados. E 1000 litros é, com licença, uma banheira por 24 unidades mais a tubulação. Tudo o que é mais é mais fácil de realizar através do desenvolvimento da UT. Mas isso é de qualquer forma - outros requisitos para salas adjacentes, outros requisitos para a presença de vestíbulos, outros requisitos para as distâncias para saídas de emergência. Em média - se você colocar um contêiner em um campo limpo a quilômetros de edifícios residenciais - há uma chance de formalizar tudo por um dinheiro mais ou menos razoável. Se você está tentando colocar isso em Moscou, São Petersburgo, Ecaterimburgo ou Novosibirsk - não se esqueça de ter em mãos um suprimento de bolachas em caso de uma visita súbita das autoridades de inspeção.

Arrefecimento por imersão com a série Novek 7000

Esta série de líquidos Novek tem um ponto de ebulição superior a 60 ° C. Por conseguinte, um banho com Novek, um trocador de calor com "água". Algo para misturar ou apenas convecção.

Prós:

• Isso funciona;
• Você pode criar o Nível III, embora não seja muito trivial provar ao Uptime mais tarde que é o Nível III;
• Novek para o futuro próximo, como grandes décadas, não leva a danos ao alojamento de microcircuitos, oxidação de contatos, etc;
• Ainda é considerado inofensivo aos homo-sapiens, embora as organizações concorrentes tentem contar histórias sobre danos no fígado ...
• . , .

Contras:

• . , . … .

/ .

Prós:

• ;
• ;
• / — , , «» .

Contras:

• - . . 40-50 .
• . - ;
• Etiqueta de preço. Sobre o mesmo cem cu por kg A mesma densidade na região de um kg e meio por litro.
• Eu dirijo por 100 cu por litro na rua - muito caro. Assim, haverá trocadores de calor, refrigeradores a seco, glicol, bombas redimensionadas ...
• Automação, o que ninguém fez para data centers reais ainda ... Um pouco, mas nem todos os proprietários de data centers querem ser o primeiro observador de chuva de Novek. Embora essa chuva seja formal e absolutamente segura para a eletrônica ...

Conclusões:

Já existem muitas opções para sistemas de refrigeração. Antes de tomar uma decisão final sobre a escolha de uma opção para o seu data center - você precisa considerar cuidadosamente o dinheiro. Quanto dinheiro você está disposto a investir imediatamente, quanto você está disposto a gastar com o fato de seu data center ser "verde", com que rapidez você deseja "recapturar" seus investimentos para "verde".