Características da construção de data centers nacionais, Mikhalych


Medimos a certificação Tier 3 em um data center em Istambul. E não, eu não na foto.

Liderei projetos para a criação de data centers na Rússia e no exterior. E quero falar sobre como, nos últimos anos, os data centers russos adquiriram seu próprio estilo de design.

E não estou falando de histórias como o fato de que, se o projeto tiver um gerador a diesel de contêiner, é imperativo projetar imediatamente uma área de fumantes perto da saída do prédio. Porque, se você não fizer isso, as pessoas fumarão na DGU e jogarão bezerros no chão ou diretamente no orifício de ventilação. E quando precisar ser iniciado, ele os levará todos em um raio de alguns metros com uma corrente de ar e obstruirão imediatamente o filtro.

Em vez disso, estamos falando de coisas mais globais sobre idéias gerais e estilo de design. Esse estilo é baseado no fato de que o cliente russo geralmente sabe que precisa de um data center, mas não sabe que tipo de equipamento de TI ele colocará nele em um ou dois anos, sem mencionar a perspectiva de dez anos. Portanto, o data center é projetado o mais versátil possível. Se você descrever como "os próximos dez anos para colocar qualquer equipamento que entre no mercado", não sentirá muita falta. Como resultado, verifica-se que o design do data center visa garantir que a instalação seja facilmente atualizada no futuro sem remodelar o prédio, grandes reformas e assim por diante.

Exemplo: ninguém sabe “em terra” que largura do corredor “frio” precisa ser feita. Sim, existem padrões mínimos, mas nos últimos anos temos tentado torná-lo com pelo menos 2,4 metros de largura, porque existem equipamentos de grandes dimensões em nosso projeto, com 1.500 mm de profundidade e é necessário levar em consideração o raio de viragem, definindo a largura do corredor.


Em seguida, um sistema universal de ar condicionado é projetado para salas. Se há alguns anos o esquema clássico com um corredor quente e frio era suficiente, agora a carga no rack está crescendo e é necessário usar vários métodos de "pós-resfriamento" do equipamento em racks altamente carregados. Anteriormente, o valor médio era de 4-5 kW por rack, agora os clientes precisam de pelo menos 7 a 10 kW e, no meio da sala de máquinas, pode haver racks separados com uma carga máxima de até 20 kW. Precisamos de novas abordagens para colocar equipamentos de TI e equipamentos de ar condicionado na sala de máquinas. Agora existem aparelhos de ar condicionado nos armários para economizar espaço, mas eles exigem uma sala especial (com teto acima). Surgiram ladrilhos ativos - antes que eles também não estivessem lá.

Muitas vezes acontece que há uma modernização, os condicionadores de ar não puxam mais - eles foram projetados para um rack de 3 kW, mas agora você precisa remover 7 kW dos mesmos racks. O cliente diz: mudamos tudo. Em algum lugar, acontece, em algum lugar não. Em alguns casos, mudamos tudo, mas às vezes mudamos apenas as unidades internas e deixamos os refrigeradores antigos se eles nos permitem remover novas cargas e apenas verificar seus recursos. Muitas vezes, é mais fácil adaptar com novos aparelhos de ar condicionado e distribuir os fluxos com ladrilhos.

Separadamente, gostaria de observar projetos nos quais essa modernização é realizada "quente", ou seja, quando os processos de negócios não podem ser interrompidos nem por um segundo, o que significa que o equipamento de TI não pode ser parado. Um verdadeiro desafio para toda a equipe do projeto: prazos apertados, maior responsabilidade, trabalho sete dias por semana (e às vezes 24/7). E se for também uma sala pequena, onde dois ombros de cordão descansam um contra o outro ...

A modernização de sistemas de alimentação ininterrupta também merece menção especial. Existem projetos em que os engenheiros pareciam fazer tudo deliberadamente para manter sua ideia original até a velhice. Nós olhamos com a régua do cliente e juntos encontramos vários "obstáculos". Existem tais gargalos, o circuito é tão complicado que é difícil acreditar que funcione.
O princípio do KISS (seja simples, estúpido!) Não foi explicitamente usado.

Ou aqui estão os barramentos dentro do salão: alta velocidade de instalação, espaço livre sob o piso elevado, flexibilidade e facilidade de uso - a entrada de energia "de cima" facilita a adição ou movimentação de racks.



Como o cliente não pode prever a distribuição uniforme de racks "pesados", primeiro estimamos o layout geral das salas e construímos um modelo de acordo com o qual diferentes configurações da sala são consideradas e com o qual calculamos os fluxos de ar.





Então examinamos os próprios fluxos. É assim que parece:













Isso é importante porque duas fileiras adjacentes podem ficar, em um rack haverá 14 kW, no outro - 2 kW. A média para eles será oito, mas em um corredor quente estará muito quente e os aparelhos de ar condicionado funcionarão com desgaste, e no segundo eles cairão por engano, porque não há nada para esfriar. Ou seja, o plano para a implantação de equipamentos de TI, pelo menos aproximadamente, precisa ser pensado já no estágio de design dos sistemas e comunicações de engenharia.

E existem dezenas dessas nuances do projeto.

Aqui está outro exemplo do fator de instabilidade - o processo de reconciliação. Qualquer nova construção é coordenada várias vezes em diferentes instâncias. Este é um processo bastante iterativo. Os termos de coordenação são imprevisíveis. Com base nisso, em cada caso, é necessário encontrar soluções para obter um compromisso com várias autoridades sobre o que pode e o que não pode ser feito em um edifício e local específico. Uma base inteira de hacks de engenharia está sendo formada: como satisfazer os requisitos de vários padrões de uma só vez e ao mesmo tempo manter a eficiência.

Em algumas regiões, nem sempre é possível alterar rapidamente o objetivo de um edifício. Os datacenters são geralmente construídos no escritório ou em antigas “instalações do escritório” (garagens, armazéns). É necessário mudar o destino para industrial. Muitas vezes acontece que, inicialmente, o cliente não podia mudar a “garagem” para “escritório”, e você precisava passar por toda a cadeia. E às vezes isso significa que é mais fácil escolher um novo site do que obter permissão para isso.

As empresas estatais estão adicionando outro recurso a esse processo. Eles têm contratos muito restritos e, em particular, os termos deles. E a coordenação dentro do cliente, entre seus departamentos, é um processo de tempo não regulamentado.

Então o medo é imposto pelas novas tecnologias. Em diferentes países, vemos uma atitude diferente em relação a esse problema: em algum lugar em que confiam no contratado, mas verificam com rigor todas as soluções propostas, de acordo com os requisitos técnicos, e em algum lugar, tanto o cliente quanto o contratado fazem isso da maneira antiga. Geralmente, temos uma lacuna entre o que conhecemos como designers, construtores e profissionais, e o que o cliente se lembra da experiência de seu data center anterior. Aqui ele construiu há dez anos, e tudo saiu bem. Portanto, você precisa construir exatamente o mesmo data center, mas mais. E isso nem sempre é bom agora. Novos aspectos legislativos, padrões ambientais, tecnologias - o mercado está mudando rapidamente. Muitas vezes me deparei com o fato de que o cliente simplesmente não sabe sobre a existência de uma alternativa ao pacote clássico - UPS + DGU estático. Para eles, uma fonte de alimentação ininterrupta dinâmica a diesel (DDIBP) é uma caixa preta e eles imediatamente descartam a opção com ela. A segunda fase da negação ocorre no momento em que a coordenação com o Ministério de Situações de Emergência, instalações adicionais, coordenação de esgoto e assim por diante são comparadas. Mas se você contar todos os prós e contras - a base para a escolha já está sendo definida. Como regra, há dinheiro por cinco, dez e 20 anos, e todos entendem essa linguagem perfeitamente.

E a partir deste problema com a falta de entendimento da tecnologia, cresce o seguinte. O cliente nem sempre avalia realmente os prazos. Isso se aplica não apenas à construção do data center e do engenheiro, mas também a todo o mercado de TI. A primeira razão é que o mercado está se desenvolvendo. O tempo para instalação e comissionamento, bem como a complexidade dessas obras e, consequentemente, as qualificações do pessoal envolvido, está aumentando agora, mas fica muito mais fácil operar esses sistemas do que os criados com base em tecnologias anteriores - como é a tendência da tecnologia.

A segunda razão - geralmente há um programa de desenvolvimento de longo prazo dentro do cliente. E o cliente nem sempre inicia o projeto dentro de si quando deveria iniciar o programa. Mas deve terminar exatamente nele! Se houve um ano nos servidores e você começou com um turno de seis meses, precisará construí-los nos seis meses restantes. Dentro da empresa, os prazos não mudam. E você precisa inventar alguma coisa. E às vezes o cliente as corta de propósito, porque sua experiência mostra o que pode ser feito mais rapidamente do que o indicado. Realmente possível. Mas em termos de implementação, geralmente existem formalidades alfandegárias, picos de entrega sazonal, problemas com o fornecimento de componentes nas fábricas e agosto. Agosto para a infraestrutura de engenharia geralmente está morto. Os principais fabricantes de aparelhos de ar condicionado de todas as fábricas passam férias amigáveis ​​- no ano passado, isso mudou os prazos de um dos projetos. Mais frequentemente, os projetos devem ser concluídos antes de 1º de janeiro, e aqui o Natal católico deixa sua marca. O Natal começa nos dias 21 e 22 de dezembro, quando o momento mais quente da Rússia é encerrar os projetos. Então nossas férias. Se você tiver "sorte" e o carro com a carga for entregue à alfândega em 20 de dezembro, será lançado em 11 de janeiro. E essas três semanas podem criar problemas. Os termos de entrega do equipamento aos clientes estaduais não mudam: você pode voar facilmente sem culpa e criar uma reputação negativa para si mesmo ou até entrar na lista negra. Portanto, os prazos não são mínimos, mas um período objetivo.

Ou aqui está o processo de produção: oito semanas para condicionamento e UPS, 12 semanas para DGU - isto é, se a montagem de peças em estoque. E as fábricas não funcionam exatamente assim. Portanto, no início dos projetos, tentamos discutir os marcos para os quais o equipamento será levado. Para que o cliente tenha um pipeline para verificar o que e como. É importante que o gerente da parte do cliente saiba que, se não pagasse hoje, ele próprio alterou o prazo do projeto para esse dia.

De alguma forma, foi necessário construir um pequeno data center em quatro meses. A fundação foi, não houve revisão. Dois salões com 100 racks, 1,2 MW cada. Início dos trabalhos - no início de dezembro. 13 de março terminado. Não é conveniente e confortável para todos os contratados trabalharem no início do inverno no final do ano: na Rússia, todos estão se preparando para longas férias e feriados. Os construtores são sagrados. Trabalhamos com quem conhece as especificidades dos projetos, por isso somos flexíveis quanto ao fato de precisarmos trabalhar em três turnos sem interrupções nos feriados e fins de semana. Encontre pessoas e comece a trabalhar. Nem sempre começamos imediatamente, uma semana depois eles começaram. Pessoalmente, em 31 de dezembro daquele ano, meu dia útil terminou às 18:00. E, em 2 de janeiro, fiquei com o gerente de projetos do cliente no local e observei como o trabalho estava indo.

Nenhum projeto de amostra. Normalmente na Europa, os data centers são construídos em torno de um projeto. Ele fez um - e você pode espancar por todo o país. Isso não é assim conosco. Não podemos aplicar projetos padrão no sul e no norte. Custos de combustível diferentes. Preços diferentes para a eletricidade. Diferentes requisitos ambientais. Diferentes temperaturas médias anuais. O freecooling funciona bem no norte. Mas no sul, você pode colocar painéis solares para o datacenter para remover picos de carga, no norte eles ajudarão a iluminar o território da casa o máximo possível. O moinho de vento é um contrato muito longo e caro, longe de qualquer lugar onde é possível fornecer e operar. Quem inicia o projeto para criar o data center nem sempre é o mesmo que opera, portanto, criar um mais barato agora é mais importante do que diminuir o custo da operação, mas depois.

De um recente, o fornecedor forneceu equipamentos a diesel, os carros chegaram com especificações para países com clima quente, isto é, para a Arábia Saudita. Os carros precisam ser resfriados. E aqui eles diferem dos "normais" - pelo raio do ventilador. Do ponto de vista da tecnologia, isso não é um sinal de menos, mas para nós é ruim, porque precisamos entregar contêineres com um tamanho padrão. As máquinas são poderosas e se encaixam perfeitamente em um contêiner padrão de 12 metros. E esse fã sai do envelope. Eu tive que pedir aos contratados que fizessem um contêiner não padrão em um tamanho padrão: para projetar saliências, picos de precipitação, vento, acesso.

Eu quero especialmente observar os data centers fora dos Urais. Existem enormes distâncias para eles que precisam ser atravessadas por estradas nojentas para levar equipamentos. E nem sempre vem completo. Nem todos os fornecedores estão prontos para dar suporte a regiões distantes. Temos experiência e um bom serviço de engenharia; portanto, esses pedidos geralmente são terceirizados para nós. E, portanto, para data centers críticos, é importante saber que nem todo mundo está pronto para se inscrever em um SLA por quatro horas em algum objeto mineral. Fora de Moscou, Petersburgo, Ecaterimburgo e Kazan, esses SLAs geralmente parecem ficção científica. E no extremo norte, em geral, a palavra SLA assume uma conotação sarcástica.

A conseqüência é a escolha de fornecedores com uma ampla rede de serviços. Freqüentemente, um fornecedor mais barato é pior em termos de operação.

Referências


Source: https://habr.com/ru/post/pt479388/


All Articles