Preços competitivos por serviços sempre foram o "rei dos argumentos" dos clientes ao escolher um data center. E de que são esses preços? Os primeiros a serem lembrados são os custos de equipamentos de TI e eletricidade, mas uma parcela significativa da estrutura de preços é composta pelos custos de servidores de refrigeração, sistemas de armazenamento (SHD) e dispositivos de rede. Por exemplo, um servidor com vários processadores emite até 600 W ou mais de energia térmica, que deve ser efetivamente removida, e ar frio deve ser fornecido às aberturas de ventilação do servidor.
Neste artigo, apresentaremos a tecnologia dos sistemas climáticos nos datacenters da Selectel e mostraremos como novos produtos nessa área reduzem os custos operacionais dos datacenters e, indiretamente, o valor nas contas de nossos clientes.
3 mercados de serviços - 3 requisitos de refrigeração
No mercado de serviços de data center, aproximadamente estimado, existem três segmentos principais. Trata-se, em primeiro lugar, da colocation, depois da infraestrutura IaaS - servidores dedicados mais armazenamento em nuvem e o terceiro segmento - servidores em nuvem (VPC, VPS, VMware Cloud), incluindo nuvens públicas, privadas e híbridas.
Não importa o quão surpreendente possa parecer, mas os clientes de cada segmento têm requisitos diferentes para os sistemas climáticos. Os clientes mais exigentes estão colocando seus próprios equipamentos (colocation) no data center. Entre eles, há muitos gerentes de TI com muitos anos de prática e uma idéia conservadora de qual deve ser a temperatura nas salas de servidores. Há 10 a 15 anos, a exigência de fornecer + 18 ° C em um corredor frio era realmente crítica. Porém, servidores e armazenamento modernos funcionam de maneira estável até uma temperatura de + 27 ° C.
A propósito, a faixa específica de temperatura do ar para as salas de servidores do data center é estritamente regulada pelas recomendações da ASHRAE (Sociedade Americana de Engenheiros de Aquecimento, Refrigeração e Ar Condicionado), que são orientadas em todo o mundo, incluindo a Rússia. A faixa de temperatura recomendada muda com o tempo, em algum momento do início dos anos 2000 era realmente de 16 a 20 ° C, depois de 18 a 22 ° C, e hoje a temperatura do ar recomendada para servidores de refrigeração já é de 20 a 27 ° C.
“A Selectel em seus data centers se esforça para manter a temperatura do ar próxima ao limite inferior do intervalo recomendado, de acordo com a ASHRAE, em média, cerca de 23 ° C”, observou Kirill Malevanov, diretor técnico da Selectel para o artigo.
Qual deles pode ser concluído para uma empresa de data center? O resfriamento caro com aparelhos de ar condicionado deve ser usado principalmente para salas de servidores alocadas para o serviço de colocation. Assim, para salas de servidores para serviços de IaaS, e ainda mais para servidores em nuvem, você pode usar equipamentos que maximizem o uso do resfriamento devido ao ambiente - até simplesmente soprar os servidores com ar externo.
Ao mesmo tempo, como a Selectel possui vários data centers, e em diferentes regiões, há liberdade de manobra. Em outras palavras, é possível levar em consideração os requisitos de refrigeração no segmento de serviços selecionado, mesmo na fase de projeto, construção de data centers e seleção de equipamentos de HVAC. E, posteriormente, no processo de operação, modernizar os sistemas climáticos, levando em consideração a redução do custo total de propriedade na prestação desses serviços.
O que é um PUE?
A principal medida de eficiência do data center é a taxa de eficiência de uso de energia (PUE) usada no setor de data centers desde 2007. Qual é esse coeficiente:
Em outras palavras, quanto mais próximo o PUE estiver de 1, mais perfeito é o data center. No entanto, é impossível atingir valores de 1,0 em princípio, pois isso corresponde ao nível de eficiência energética da máquina de movimento perpétuo. A propósito, uma definição completa do termo PUE pode ser encontrada no documento
PUE, Um Exame Abrangente da Métrica (PDF) .
Na prática, valores de PUE entre 1,10 e 1,15 são considerados excelentes. Por exemplo, de acordo com as publicações, para os datacenters do Google, o valor médio da PUE em todos os datacenters em diferentes regiões e em diferentes épocas do ano é 1,12.
A seguir, veremos mais de perto os sistemas de refrigeração nos data centers selecionados da Selectel.
"Flor 1" - Freon
O primeiro data center Tsvetochnaya 1 foi colocado em operação em 2008, quando o serviço de colocation era dominante no mercado. Além disso, este é o centro de São Petersburgo - a situação com espaço livre era então um pouco restrita. Assim, no data center "Flor 1", foram instalados condicionadores de ar industriais clássicos para os data centers Freon, que operam até o momento.
O princípio de operação de um ar-condicionado é baseado na transição de freon para vários estados de agregação. O ar frio sob o piso elevado é fornecido aos chamados "corredores frios" com equipamento de computação, e o ar aquecido vai para a sala do servidor (para os "corredores quentes"), de onde é novamente aspirado para o trocador de calor do ar condicionado, resfriado e realimentado para os servidores e sistemas de armazenamento.
Refrigeração do data center com ar condicionadoA eficiência de um ar condicionado clássico deixa muito a desejar e, portanto, o coeficiente de eficiência energética do data center Flower 1 é bastante alto pelos padrões modernos, PUE = 1,7. Mas, como os serviços de colocation são fornecidos aqui, é bem possível aturar essa situação até o momento de uma modernização radical de todo o data center.
Inspeção de aparelhos de ar condicionado no data center "Flor 1""Dubrovka 1", "Berzarina 1", "Flor 2" - refrigeradores
A próxima tecnologia de refrigeração da Selectel foi testada em 2010, quando o data center Dubrovka 1 foi construído na vila de Dubrovka, na região de Leningrado. Nele, pela primeira vez na prática da empresa, foi aplicado um sistema de resfriamento de chiller.
A diferença entre o sistema de resfriador e os condicionadores de ar freon é que a solução de glicol sem congelamento circula nos tubos entre as unidades interna e externa, que permanece líquida o tempo todo e não entra em estado gasoso. A solução é bombeada através do ar-condicionado na sala do servidor, onde é aquecida pelo radiador quente do ar-condicionado e de onde é bombeada para um trocador de calor externo, chamado chiller.
No chiller, a solução de glicol é resfriada usando ar externo e uma unidade de condensação adicional. Em seguida, a solução de glicol já resfriada é novamente alimentada ao ar condicionado dentro da sala de servidores do data center. Nesse caso, o resfriamento do equipamento de computação ocorre de acordo com o esquema tradicional - o ar frio é fornecido de baixo por um piso elevado aos “corredores frios” e o ar quente é direcionado à sala comum e depois ao trocador de calor.
Resfriador de Data CenterO esquema com corredores frios e quentes proporciona economia de energia de até 5%, por isso é muito importante isolar piscinas de ar frio e quente (corredores e armazenamento de ar).
A eficiência energética do circuito do chiller é maior em comparação com os condicionadores de ar, e isso se deve ao fato de o compressor e a unidade condensadora externos do chiller serem ativados apenas em temperaturas ambientes acima de + 12 ° C, e os ventiladores da unidade externa são ligados gradualmente, à medida que a temperatura do líquido de arrefecimento de glicol aumenta. Isso é muito parecido com o funcionamento do sistema de arrefecimento do motor de um carro convencional.
De acordo com o esquema do chiller, a Selectel construiu o resfriamento de três data centers - Dubrovka 1 (2010), Berzarina 1 (2011) e Flower 2 (2015). No caso do data center Tsvetochnaya 2, a experiência operacional acumulada em 5 anos de operação do data center Dubrovka 1 em relação às muitas nuances de manutenção foi levada em consideração. Como se viu, apesar da simplicidade externa do princípio de operação, o sistema de chiller é bastante caprichoso na operação e requer manutenção cuidadosa e conformidade com os regulamentos. Você pode ler mais sobre a operação do sistema de chiller no data center Berzarina 1 em
nosso artigo da empresa .
Corredor frio no data center Flower Center 2"Dubrovka 3", "Berzarina 2" - freecooling
O próximo passo na melhoria da eficiência energética dos sistemas de refrigeração foi realizado na Selectel na transição para um esquema de freecooling direto. O princípio de operação do freecooling clássico direto é a rejeição dos trocadores de calor, e o resfriamento do equipamento de computação ocorre devido ao sopro do ar externo.
O ar externo passa pelos filtros, onde é limpo de poeira e entra na sala de máquinas. No inverno, conforme necessário, o ar frio é pré-diluído com ar quente dos servidores na câmara de mistura para manter uma temperatura constante no equipamento de sopro.
Freecooling direto com pós-resfriamento sem piso elevadoComo mencionado acima, os servidores e sistemas de armazenamento modernos operam de maneira confiável a temperaturas em corredores frios de até + 27 ° C. Dado o clima da região de Leningrado, onde a temperatura média diária de longo prazo, mesmo em julho, é de + 20 ° C, essa solução parecia bastante viável. No entanto, dado o registro de temperatura de + 37,8 ° C, registrado na região de Leningrado em 2010, era impossível confiar apenas na misericórdia da natureza. A propósito, o "verão quente de 2018" confirmou a exatidão desses cálculos.
Consequentemente, o data center Dubrovka 3, comissionado em 2013, usa o freecooling direto com uma unidade de resfriamento adicional (ABHM, máquina de refrigeração por absorção) em caso de calor no verão. O ar externo passa pelos filtros e depois passa pelo trocador de calor ABXM. Nos corredores frios da sala do servidor, o ar é fornecido sob o piso elevado.
Data center de resfriamento de acordo com o esquema de freecooling com piso elevadoComo a experiência operacional demonstrou, essa solução funciona sem ligar o ABCM a uma temperatura ambiente de + 21 ° C, o que praticamente significa que o ABCM opera apenas nos meses de verão. Portanto, é uma solução bastante eficiente em termos de energia com uma PUE de ~ 1,25.
Uma vantagem importante do ABCHM é a segurança ambiental, pois trabalha com água comum sem o uso de freon. Entre as desvantagens do ABXM estão os trocadores de calor externos gigantes, mas, dada a localização do data center Dubrovka 3 quase em campo aberto, isso não desempenha um papel especial em termos de tamanho das áreas dos equipamentos ABXM.
O sistema de refrigeração do data center "Dubrovka 3" com a ABHMDesde 2013, o sistema de freecooling direto com pós-resfriamento mostrou sua alta eficiência e será reimplementado na construção do data center Berzarina 2 em Moscou. No entanto, devido ao espaço limitado, a unidade de pós-resfriamento será implementada usando um sistema adiabático.
Algumas palavras sobre a reserva
Tradicionalmente, os sistemas de refrigeração nos data centers de nível III são reservados de acordo com um esquema de pelo menos N + 1. Isso significa que sempre deve haver pelo menos uma unidade de refrigeração em estoque, que é colocada em operação em caso de acidente ou reparo (manutenção programada) de um dos sistemas envolvidos. Portanto, no data center Dubrovka 1, 4 máquinas de ventilação são usadas para o freecooling quando necessário, e no data center Dubrovka 3, três máquinas ABHM, das quais uma está desligada e em espera, pronta para o lançamento.
A propósito, a Selectel em seus data centers procura aumentar o máximo possível a redundância de N + 1, e não possui um, mas dois sistemas de refrigeração redundantes em estoque. Por exemplo, no datacenter “Flor 1” e “Flor 2”, existem 2 condicionadores de ar de reserva e um resfriador, respectivamente.
Condicionadores de ar na sala de servidores do data center Flower Center 1 (no centro)"Berzarina 2" - em breve em serviço
Em novembro de 2018, um novo data center Berzarina 2 foi colocado em operação em Moscou, onde pela primeira vez na empresa um esquema de freecooling com pós-resfriamento usando um sistema adiabático será aplicado. Se o ar externo estiver muito quente - e a temperatura em Moscou no verão geralmente exceder 23 ° C -, o sistema de refrigeração adiabático será ativado.
Freecooling com sistema adiabático de pós-resfriamento no data center "Berzarina 2"A tecnologia de resfriamento adiabático é baseada na atomização da água na forma de pequenas gotículas no caminho do fluxo de ar, o que permite o resfriamento do ar pela evaporação da água. Ao usar umidificadores do tipo spray, os custos de energia para o próprio processo de resfriamento são pequenos, em comparação com outros sistemas de resfriamento. A complexa estrutura celular da barreira molhável no caminho do ar fornecido não permite que microdrotas de água entrem nos dutos do data center. Ao mesmo tempo, o nível de umidade permanece dentro dos valores aceitáveis para equipamentos de TI.
Sistema adiabático“Existem muitas soluções interessantes para sistemas de refrigeração no mundo que economizam energia. No entanto, é impossível experimentar todos os novos produtos - você precisa obter financiamento, executar o projeto e concluir a compra do equipamento, a preparação e o comissionamento do equipamento. As etapas de entrega, instalação, ajuste e amaciamento são procedimentos muito demorados. Portanto, os sistemas climáticos após iniciar o trabalho por pelo menos uma década e raramente são radicalmente modernizados no processo de operação de um data center já construído. E novos produtos interessantes já estão chegando ao novo data center, em que durarão 10 a 15 anos ”, resumiu Kirill Malevanov, diretor técnico da Selectel.