Energia do equipamento de TI: segurança ou tempo de atividade? parte 2

Continuamos o artigo, cujo objetivo é compartilhar experiências e mostrar os principais recursos e erros comuns que ocorrem durante o design e organização dos subsistemas de fornecimento de energia da infraestrutura de TI e do data center como um todo. Mas gostaria de expandir um pouco a audiência e dedicar várias seções aos elementos básicos para garantir a segurança elétrica e proteger equipamentos e pessoas.

Quem perdeu a primeira parte ou quer se lembrar da primeira parte pode ir aqui .

Para aqueles que entendem o que é um autômato e o RCD, por que são necessários, do que protegem e o que - vá para a seção Os RCDs são necessários para equipamentos de TI, servidor, data center? .

Parte dois

Vamos ver qual é a relação entre energia e equipamentos finais de TI, entenderemos a questão: em quais casos de falta de energia, o sistema operacional deve ter a garantia de funcionar sem falhas.



Problemas de comutação em espera

A fonte de alimentação do equipamento de informação é organizada com redundância. Considere a organização da fonte de alimentação na parte de -- (fonte de alimentação ininterrupta, unidade de distribuição de energia, unidade de distribuição de energia). Os tipos de reserva são dos seguintes tipos:

1. Redundância de cabos no rack, equipamento, usando unidades de distribuição de energia separadas, PDU (Figura 1)
2. Redundância do barramento de energia no painel da fonte de alimentação, usando unidades de distribuição de energia separadas, PDU (Figura 2)

Redundância no nível das fontes de alimentação diretamente no servidor, switch, dispositivo de TI (Fig. 3)
Redundância usando um comutador de carga montado em rack, ABP montado em rack (SPN, também conhecido como ATS) (Fig. 4)



Para alternar entre as entradas primária e de backup, você pode usar:

• no campo de sistemas de informação: armários ABP / STS (Static Transfer Swith) para sistemas de alta potência, para alternar para alimentação de um no-break de reserva no momento da operação de um sistema 2N de pleno direito ou combinações de sistemas N + 1;
• no campo de sistemas de fonte de alimentação de vários tipos de esquemas ABP (em contatores, em controladores);
• no nível do rack do servidor: ABP \ ATS (comutador de transferência automático) de alta velocidade;
• no nível de equipamento de informação específico: fontes de alimentação duplicadas.

Como citamos acima para equipamentos de TI, "uma interrupção no fornecimento de energia é inaceitável". E o que está oculto sob esta frase? O que é uma “quebra” no poder dos equipamentos de informação? Agora vamos ver um exemplo vivo.

O cliente implementa uma sala de servidores local juntamente com a infraestrutura de TI de dois andares para o escritório da empresa. Na fase de discussão do sistema de fonte de alimentação, ele deseja colocar todo o equipamento de informações com uma unidade de fonte de alimentação (PSU) e deixar o segundo slot livre para as PSUs do servidor e montar um único ATS montado em rack em todo o rack. (Fig. 4, diagrama).

Aparência da parte traseira do servidor com fontes de alimentação duplicadas
Como o cliente argumentou seu desejo :

• Economia de custos (US $ 500-800 por dispositivo de rack)
• Você pode colocar as duas PDUs mais simples e aplicá-las para distribuição de energia após o ATS
• Absolutamente o mesmo nível de confiabilidade do sistema em comparação com o método de distribuição clássico

Fizemos um intervalo, examinamos detalhadamente o desejo do Cliente sob vários pontos de vista, a confiabilidade dos serviços em geral, no período de garantia e pós-garantia, bem como:

• custo (economia) dos custos de capital durante a implementação (CAPEX)
• custo dos custos de depreciação, manutenção de peças de reposição, custos de mão de obra do pessoal do cliente ( OPEX )
• comparando os algoritmos de operação e o tempo de comutação com a linha de backup nos dois casos, verificando “pontos únicos de falha”
• o nível de riscos de congelamento e / ou reinicialização de sistemas operacionais de equipamentos de informação, a queda dos serviços de informações que são executados neles.

E foi isso que aconteceu:

De acordo com o marco regulatório GOST 32144-2013 (Energia elétrica. Compatibilidade eletromagnética de equipamentos técnicos. Padrões de qualidade de eletricidade em redes de uso geral. Data de introdução - 1º de julho de 2014), a principal causa de mau funcionamento dos equipamentos de informação pode ser a queda de tensão, que

geralmente ocorrem devido a defeitos nas redes elétricas ou nas instalações elétricas dos consumidores, bem como ao conectar uma carga poderosa

Continue lendo:

a duração das quedas de tensão pode ser de até 1 minuto

Essa frase nos diz que o equipamento de informação deve ser fornecido por no-breaks e / ou ATSs de alta velocidade, pois quedas de tensão dessa duração são aceitáveis ​​e normais do ponto de vista de grande energia, mas serão fatais para equipamentos e serviços de TI.

A propósito, vale ressaltar que, no momento, existem contradições no atual quadro regulamentar da Federação Russa em termos de medição de valores relacionados à qualidade da eletricidade, mais detalhes podem ser encontrados no artigo de Victor Cherdak, diretor técnico de nossa empresa (fonte digitalsubstation.com )


Mas qual a rapidez? Como determinar o tempo em milissegundos durante o qual o serviço (e o servidor) do cliente não cairá e o sistema operacional não entrará em um "erro crítico"?


Existe um padrão CBEMA (Associação de Fabricantes de Equipamentos de Negócios e Computadores), que, após alguns ajustes, agora é conhecido como "ITIC Curves" (Conselho da Indústria de Tecnologia da Informação), e suas variantes estão incluídas nos padrões IEEE 446 ANSI. De acordo com esses padrões, os circuitos eletrônicos das fontes de alimentação devem permanecer operacionais por 20 ms (ou 0,02 segundos, ou seja, um período).


Essas mesmas curvas ITIC

De acordo com os requisitos para fontes de alimentação para sistemas de servidor e computador da Infra-estrutura do Sistema Servidor, podemos dizer que o parâmetro da unidade de fonte de alimentação Tvout_holdup durante a falha da tensão de alimentação garante a operação do equipamento de informação por pelo menos 21 ms. Ou seja, o período completo da rede é o tempo de operação normal garantido do servidor ou comutador. O parâmetro Tpwok_holdup é definido por pelo menos 20ms.


Agora vamos ver o tempo de comutação que a APC declara, por exemplo, para um comutador de carregamento em rack da marca AP7721 . Vemos que aqui geralmente temos 8-12 ms, mas 18 ms é o tempo máximo de comutação.

Podemos concluir que o tempo para alternar para a entrada de backup do comutador de carga do rack corresponde à especificação da unidade de fonte de alimentação do equipamento do servidor. Acontece que não haverá falhas na operação do equipamento de informação.

E o componente econômico e qual das opções é mais lucrativa e tolerante a falhas?

Suponha que tenhamos três servidores pequenos no rack, nos quais você pode colocar duas fontes de alimentação e três dispositivos com fontes de alimentação redundantes. Tudo é crítico e a falha de qualquer um dos dispositivos levará à falha de todo o sistema do cliente como um todo. De qualquer forma, precisamos de um comutador de carga montado em rack. Isso é cerca de 18 mil rublos.

O cliente declara que não precisa de PDUs (PDUs), o que significa que o orçamento custará apenas ATS - os mesmos 18 mil rublos. Como substituto das PDUs (unidades de distribuição de energia), o Cliente sugere o uso da distribuição de energia “a bordo” do comutador de carga montado em rack. O Cliente também planeja comprar um servidor com dois slots para fontes de alimentação, mas em uma configuração com um PSU por uma questão de economia. (figura 4)

A versão clássica (Figura 3) envolve um conjunto de 2 PDUs - cerca de 32.000 rublos, 3 fontes de alimentação adicionais por servidor por US $ 500 cada, por um total de 84 mil rublos. ATS para os mesmos 18 mil rublos. Juntando tudo, entendemos que a solução clássica custará ao cliente cerca de 134 mil rublos.

Parece ser verdade, o cliente está certo, o dinheiro é completamente diferente. Mas vejamos do ponto de vista da tolerância a falhas e da capacidade de manutenção de ambas as opções:
Opção do cliente: Ponto único de falha - chave de carga montada em rack. Se algo acontecer com ele, perderemos todo o rack. Portanto, você precisa ter peças de reposição no local, o que aumenta a estimativa de 18.000 rublos. As fontes de alimentação nos servidores são uma de cada vez, também são pontos de falha. Portanto, é desejável ter pelo menos uma e, de preferência, todas as três fontes de alimentação reservadas no local. Vamos supor que precisamos de três unidades de fonte de alimentação em uma peça de reposição, que é outra mais 36 mil rublos. Você precisa verificar a energia que o ATS montado em rack pode alternar. Agora, partimos do fato de que 3 kW ou 16A são suficientes para todos os equipamentos do rack. Se precisarmos de ATS para 32A (7 kW), será muito mais caro (mais de 100 mil rublos). Ou seja, o orçamento da opção do Cliente, com uma consideração detalhada da confiabilidade, aumenta para 160 mil rublos . Além disso, em caso de emergência, apesar de haver peças de reposição no local, será necessário um tempo de inatividade para substituir o dispositivo.

Ponto de falha único (SPOF) - um nó, linha de comunicação ou um objeto de um sistema de disponibilidade de dados, cuja falha pode danificar todo o sistema ou causar inacessibilidade aos dados

Opção de tecnologia aberta : conforme mostrado na Figura 3 , mas se necessário, o ATS é adicionado para pequenos equipamentos de rede com uma única fonte de alimentação.

O ponto de falha é o mesmo ATS. Se algo acontecer com ele, perderemos todo o rack. Concordamos que você precisa ter peças de reposição diretamente no site. Porém, no nosso caso, se apenas o ATS falhar, isso poderá afetar apenas a operação de interruptores e equipamentos auxiliares. Os próprios servidores continuarão funcionando silenciosamente. Fontes de alimentação em peças de reposição não são necessárias. Como, se uma das fontes de alimentação duplicadas falhar, o servidor continuará trabalhando na outra e, provavelmente, aguardará uma nova fonte de alimentação do fornecedor, independentemente da distância do site.


Portanto, é possível, mas não racional, conectar todos os equipamentos do rack a um único ATS, pois nesse caso, obtemos um único ponto de falha de energia. Em qualquer caso, é preferível comprar servidores com fontes de alimentação duplicadas, pois a tolerância a falhas no nível do equipamento de informações aumenta significativamente.

O comutador de carga montado em rack garante a troca correta e quase instantânea da entrada de backup, o equipamento de informações nem sente, os produtos de software e os sistemas operacionais continuarão funcionando corretamente. Em qualquer caso, são necessárias unidades de distribuição de energia montadas em rack e não há necessidade de economizar nelas. A aparente economia nos custos de capital para distribuição de energia pode resultar em problemas operacionais insolúveis, por exemplo, na necessidade de “extinguir” todo o rack apenas para mover o ATS para outra unidade ou para auditar o interruptor de carga do rack. De qualquer forma, para fontes de alimentação duplicadas, deve haver peças de reposição, mas nem sempre é possível ou disponível.

Aparência de uma fonte de alimentação de servidor removível:




O trabalho do equipamento de informação com duas fontes de alimentação foi bem descrito em um artigo de Vadim Sinitsky @dimskiy . Como você pode ver, existem vantagens e desvantagens. E a disponibilidade de fontes de alimentação redundantes para equipamentos de informação é, em qualquer caso, necessária, especialmente se o objeto estiver fora da zona de fornecimento rápido da fonte de alimentação do fornecedor. Além disso, queremos observar que as calculadoras on-line para calcular o poder de novos servidores de fornecedores só podem ser usadas como um guia para administradores de sistema e pessoal do cliente.

As reais possibilidades de conectar um novo servidor poderoso a um rack existente devem ser avaliadas levando em consideração o projeto inicial da fonte de alimentação, o estado atual e a carga da rede do rack, servidor, UPS, gerador ... Do ponto de vista da conexão em um rack, também vale a pena considerar

• recursos atuais da PDU, como slots livres neles
• classificações de máquinas em blindagens e seções transversais e a fase da linha de cabos no rack.

A confiabilidade do sistema de fonte de alimentação do servidor merece atenção especial, se for construída de acordo com o sistema mostrado na Fig. 2 (com dois sistemas de barramento), a presença de um novo servidor poderoso pode levar à sobrecarga de todo o sistema de fonte de alimentação em caso de trabalho de reparo e reduzir a vida útil da bateria dos no-breaks. , faça com que o no-break mude para sobrecarga e muito mais ...

E como você constrói um sistema de distribuição em rack?
Qual é o recurso BP para equipamentos de TI e o algoritmo para redundância de software?
Qual PDU você prefere usar: básico, monitorado? Quão útil é a função PDU / PDU na prática e já o ajudou?

Autor: Oleg Kulikov
Engenheiro de Design Líder
Departamento de Soluções de Integração
"Tecnologias abertas"
okulikov@ot.ru
Registro no Registro Nacional de Especialistas "NOPRIZ" P-045870