Onde armazenar dados: uma excursão ao data center IXcellerate

É comum ouvir que armazenar dados e colocar seus sistemas na terceirização de TI é perigoso e não confiável. Alegadamente, os dados podem não estar disponíveis devido aos problemas técnicos do provedor, o data center pode se tornar objeto de um ataque de hackers e fica mais calmo quando todo o equipamento de TI e todos os dados da empresa estão próximos, "próximos", e não armazenados e mantidos "em lado ".

Proponho ver como o data center IXcellerate está organizado, no qual armazenamos nossos dados e dados de clientes. Nós somos um provedor de serviços Onlanta . Nossa nuvem OnCloud.ru é baseada em vários data centers distribuídos geograficamente. O data center IXcellerate é apenas um deles.


O data center IXcellerate está localizado no território da antiga zona industrial e da planta de concreto pré-moldado na área de Altufevo, em um local de mais de 15 mil metros quadrados. m é um dos maiores centros de dados em Moscou.


A escolha do território da fábrica de produtos de concreto armado para a criação de um data center não foi acidental - essas empresas geralmente possuem linhas de entrada de energia poderosas, exatamente o que o data center precisa. No território do data center, existem duas linhas - de duas subestações de distribuição diferentes. A distância entre as entradas e o prédio é de pelo menos 150 m, o que aumenta seriamente a confiabilidade e a disponibilidade dos serviços de data center, uma vez que a probabilidade de falhas devido a acidentes na rede elétrica é bastante reduzida.

O data center IXcellerate começou a ser construído em 2012 e, um ano depois, a primeira sala de máquinas foi comissionada. O fundador da IXcellerate é um conhecido investidor internacional e empresário britânico Guy Wilner .

Guy Willner (à direita)

Guy Wilner foi cofundado por outro empresário internacional, Cliff Gauntlett, que começou a trabalhar na União Soviética no final dos anos 80. Ele acabou sendo um daqueles estrangeiros que vieram aqui durante o período da perestroika, se apaixonaram pelo país e, apesar de todos os seus problemas, ficaram aqui para sempre (Cliff faleceu em 2013). Provavelmente muitos se lembram dos cartões telefônicos da ROL. Eles foram lançados pelo fornecedor russo Golden Telecom, onde Cliff trabalhou como vice-presidente sênior. Além disso, Cliff também era um ávido "roqueiro" - chefiou a famosa ROL Band, e suas músicas estão no repertório de Scorpions. Daí o lema do data center IXcellerate - Rockin'Russia.

Rockin'Russia Corporate Festival: Cliff Gauntlett com guitarra, atrás da bateria - Alexander Vershbow, embaixador dos EUA na Rússia. (foto www.passportmagazine.ru )

Em homenagem a Cliff Gauntlett Sam, foi nomeada a primeira sala de máquinas do data center IXcellerate.

O violão de Cliff ainda está pendurado no data center, com o autógrafo original de Paul McCartney

A capacidade de design do data center é de 13,7 megawatts e a capacidade é de 1835 assentos em rack, e esse número está crescendo. Área de construção - 6000 metros quadrados. m Além disso, o data center possui mais de 600 metros quadrados. m de espaço de armazenamento para os clientes, onde eles podem armazenar o equipamento necessário para o trabalho.

Duas estradas de acesso levam ao edifício do data center. O território é distante de aeroportos, ferrovias, rodovias, vários tipos de centros comerciais e de entretenimento, além de edifícios residenciais.

A construção do data center com dispositivos de resfriamento instalados (chillers)

Além da principal fonte de alimentação de duas subestações de energia na região de Moscou, o data center também possui geradores a diesel de reserva que geram eletricidade em situações de emergência, por exemplo, se ambas as subestações falharem durante um desastre natural.

Um combustível especial é fornecido para geradores a diesel - verão e inverno. Blocos de concreto de proteção especiais foram entregues perto dos geradores a diesel, para que não fossem danificados acidentalmente por máquinas em movimento.

Contentor de rua com gerador diesel atrás de blocos de concreto protetores

A operação de motores a diesel é monitorada on-line 24 horas, e até o oficial de serviço faz um tour a cada quatro horas. Durante a nossa visita, os geradores a diesel estavam em manutenção e havia veículos com instrumentação na área.

No caso de uma falha na rede elétrica, as baterias criam o intervalo de tempo necessário até que os geradores a diesel de reserva, após a partida, atinjam a energia necessária.

Manutenção de Geradores a Diesel

O data center observa rigorosamente os requisitos de segurança física e de informações, bem como a segurança de redes elétricas. O edifício do data center está alinhado com os chamados painéis sanduíche tanto por fora quanto por dentro. Eles fornecem isolamento térmico e proteção física. O data center foi construído com o princípio de “caixa em caixa”, ou seja, árvores, uma cerca de concreto, um gramado e painéis sanduíche separam o interior da rua.

O telhado do edifício está localizado a uma altura de 14 m, e o teto da casa das máquinas é de 9 m, entre eles existe uma camada protetora contra vazamentos.

A estratificação permite manter determinados parâmetros de temperatura e umidade ideais para o hardware do servidor. O microclima também é criado por refrigeradores de ar (chillers) e condicionadores de ar de precisão.

Criando um data center

O data center IXcellerate foi construído modularmente em três fases. A sala de máquinas do primeiro estágio durante a construção em 2012 foi a maior em Moscou. As salas da segunda e terceira fases circundam a sala da primeira fase ao redor do perímetro com a letra G.

Cada sala de máquinas possui suas próprias áreas de carga e descarga. Uma área de descarga separada também é fornecida para o quartel dos bombeiros.

IXcellate Data Center Diagram

O IXcellerate foi criado como um data center "neutro", independente de provedores de serviços de telecomunicações e nuvem, e focado exclusivamente em serviços de co-localização, ou seja, colocação do equipamento do cliente, sua proteção e fornecimento da infraestrutura de engenharia necessária com um nível de serviço estabelecido sob um contrato padrão.

Acontece que os clientes perguntam sobre os serviços em nuvem. Para esses casos, o data center possui um ecossistema de parceiros em cujos equipamentos são fornecidas soluções em nuvem. Estamos fazendo exatamente isso.

Vamos ver o que tem dentro

O data center obriga os funcionários e clientes autorizados a passarem pela identificação dupla, incluindo um cartão de identificação padrão e controle biométrico (scanner de mão).

Controle de acesso para funcionários

O acesso às células (“células”) nas quais o equipamento do cliente está instalado está sob controle 24 horas, ou seja, apenas os funcionários do datacenter autorizados pelo cliente podem chegar lá. Essas células são protegidas umas das outras por uma malha de metal.

As células também têm seus próprios meios de proteção física, por exemplo, fechaduras combinadas e câmeras de vídeo. No total, cinco linhas de segurança física são fornecidas com um sistema de monitoramento e controle predial (BMS) da Computrols.

Tornou-se uma boa tradição no data center nomear cada sala de máquinas em homenagem à empresa ou pessoa que deu a maior contribuição à sua criação.

O salão da primeira fase, nomeado após Cliff Gauntlett, foi projetado para 220 racks com equipamentos de clientes.

Durante a construção do salão da segunda fase, foram utilizados os investimentos da empresa japonesa Sumitomo Corp., portanto, é chamado de The Summit Hall. O salão da terceira fase é chamado de "Altura", em homenagem ao diretor técnico do data center Sergey Vladimirovich Vyshemirsky, que trabalhava no aeroporto de Chkalovsky.

Placa de identificação da terceira casa das máquinas

Energia e refrigeração

Eletricidade de alta qualidade é usada para alimentar os equipamentos dos clientes. O que a palavra “qualidade” significa em relação à eletricidade? Não é segredo que a corrente elétrica industrial às vezes apresenta picos de pico que podem danificar o equipamento do cliente. Portanto, o data center possui uma "sala elétrica" ​​especial onde essas emissões são eliminadas. O resultado é uma corrente elétrica com uma frequência de 50 Hz, que tem a forma de um sinusóide "puro", sem surtos e picos. O equipamento de distribuição de energia monitora constantemente nove parâmetros de qualidade atuais.

A redundância de energia do datacenter é organizada no nível 2N: como já mencionado, dois feixes de fontes de alimentação independentes se aproximam do datacenter. O dano a uma rota de assentamento não implica a interrupção do datacenter ou de sua parte, pois sempre há uma rota de backup.

É assim que as linhas de entrada das subestações de energia olham para uma das rotas de assentamento.

Entrada de energia da subestação transformadora

Aqui está outro pequeno toque no tópico de segurança elétrica e contra incêndio. A fiação elétrica dos disjuntores é colocada em tubos de metal para que, com um possível curto-circuito, as faíscas não voem.

Interruptores para iluminação de lâmpadas com cablagem em tubos metálicos

Todos os cabos de energia passam sob um piso elevado, com uma altura de 1 m. Sob o piso elevado, é fornecido ar frio com uma certa umidade aos racks do equipamento, em total conformidade com o padrão internacional ASHRAE.

As células com o equipamento do cliente são equipadas com sensores de temperatura e umidade, que não apenas exibem visualmente esses parâmetros, mas também os transmitem regularmente ao sistema de controle centralizado da infraestrutura de engenharia do data center.

Sensor de temperatura e umidade

Para alimentar cada rack sob o piso elevado, existem dois soquetes - cada um de uma linha de entrada separada de diferentes subestações elétricas. Para uma confiabilidade ainda maior, eles são colocados em calhas separadas.

Duas tomadas de rack (através da grade do piso elevado)

Para maior segurança, alguns clientes também instalam suas próprias filmadoras nas caixas de equipamentos.

O datacenter possui “zonas de telecomunicações” onde o equipamento de 44 operadoras de telecomunicações está instalado, incluindo Orange, Sprint, Beeline, MegaFon, MTS, Telia, outras operadoras e provedores de Internet, além do site MSK-IX e da plataforma de intercâmbio de tráfego Eurasia Peering IX, reunindo 38 operadores residentes.


Equipamentos de qualquer tamanho e funcionalidade, inclusive unidades de fita, são aceitos no data center para instalação.

Um de nossos clientes, um canal de televisão com uma audiência multimilionária, faz reservas aqui para transmissão em HD.

Segurança contra incêndio

A capacidade de extinguir um incêndio de maneira rápida e eficaz, e é melhor não permitir, é uma das características mais importantes de qualquer data center.

O IXcellerate usa um sistema de detecção e combate a incêndio em três níveis. O primeiro nível é o sistema de detecção precoce de fumaça Vesda, que responde a mudanças na densidade do ar e na quantidade de impurezas e poeira em apenas 0,01%. Um sistema de autoaprendizagem com elementos de inteligência artificial mantém na memória uma certa matriz de parâmetros do ar. Esse sistema pode reconhecer a fumaça em um estágio inicial, bem como determinar o setor em que ocorreu uma alteração nos parâmetros.

Apollo - um sistema integrado de alarme de incêndio e sistemas de aviso - o próximo passo na segurança contra incêndio do data center.

Mas o orgulho da IXcellerate é o sistema automático de extinção de incêndios HI-FOG, que pode localizar incêndios em uma área de 4 x 4 metros quadrados. m (com a possibilidade de encontrar pessoal diretamente na sala de máquinas e sem impacto e consequências para outros locais). Para isso, pulverizadores de água (aspersores) são usados ​​no sistema HI-FOG, que estão sob pressão constante e são colocados sobre cada perímetro local de 4 x 4 m.

É importante observar que o HI-FOG usa um sistema de tubulação seca, ou seja, o agente de extinção de incêndio usado no modo normal - água destilada - é armazenado em um tanque localizado na estação de bombagem.

Um dos aspersores

No aspersor, há uma bola com uma substância etérea, que explode a uma temperatura de 57 ° C, após a qual o sistema de extinção de incêndio é iniciado automaticamente.

O sistema HI-FOG cria uma névoa fina que fecha a zona de ignição, desloca o oxigênio e reduz a temperatura. Ou seja, o sistema permite eliminar duas causas possíveis do incêndio das três possíveis. A terceira causa teoricamente possível do incêndio é a presença de material combustível. No entanto, os painéis sanduíche já mencionados, que são revestidos com paredes externas e internas, bem como placas de piso elevadas no corredor, são feitos de material incombustível. Esses painéis podem fornecer até 90 minutos de proteção contra incêndio. Além disso, apenas cabos com pouca fumaça são usados ​​no data center.

O sistema HI-FOG talvez seja ideal para uso em um data center, pois fornece extinção local e não enche toda a sala com espuma de gás, causando danos ao equipamento não coberto pelo fogo. Além disso, seu uso não requer a evacuação obrigatória de pessoas.

O certificado FM Approved, emitido pelo líder internacional em testes independentes, permite o uso da tecnologia HI-FOG também no setor de energia, no processamento e processamento de empresas industriais, bem como em submarinos e navios de cruzeiro.

Posto de bombeiros

Um tanque com água destilada (azul, visível na parte de trás da foto) foi projetado para extinguir toda a área do data center. O mesmo sistema funciona no metrô de Moscou e no Teatro Bolshoi.

Painel de controle e monitoramento

No painel de controle e monitoramento no modo 24 x 7, há pessoas de plantão que monitoram a operação dos sistemas de engenharia e recebem aplicativos dos clientes. O sistema de videovigilância permite que você mude rapidamente da exibição do esquema geral de um data center para imagens de salas individuais, células, corredores e racks de equipamentos, componentes de sistemas de extinção de incêndios (incluindo sprinklers), fontes de alimentação e controle de temperatura.

O contrato padrão do SLA estipula que a primeira resposta a uma solicitação de suporte deve ser dada em 30 minutos. No entanto, no datacenter, o tempo real de feedback do cliente não excede seis minutos, de acordo com estatísticas do portal Zendesk, que é usado para registrar chamadas.

O suporte é fornecido em russo, inglês e chinês.

Sistema de controle e monitoramento remoto

Desde o lançamento do data center desde o lançamento em 2013, não houve um único tempo de inatividade (tempo de inatividade), nem uma única violação do SLA.

O data center e sua equipe bem coordenada deixam a impressão de um organismo vivo.

Dentro do data center, há ainda espaço para música: quando você se move pelo corredor de um salão para outro, não pode perder o equipamento da banda de rock em que Cliff Gauntlett tocou uma vez e que fala em eventos corporativos e no obrigatório festival anual ao ar livre IXcellerate - Rockin ' Russia.

O corredor entre os corredores do data center

A IXellerate planeja construir novos sites, além do Moscow One, haverá data centers Moscow Two, Moscow Three, etc.

Nossa empresa, Ontlanta , iniciou a cooperação com a IXcellerate com dois racks para a implementação de um projeto ambicioso na época para criar um cluster distribuído geograficamente. Então, ninguém no mercado russo tinha essa solução. Os canais de óptica escura nos custam espaço em comparação com o lucro dos serviços que fornecemos. Como ninguém comprou um serviço catastrófico separado da nuvem, começamos a desenvolver nossa nuvem em dois sites ao mesmo tempo. Em seguida, um terceiro apareceu, pois ficou óbvio que era impossível garantir tolerância total a falhas e balanceamento de carga sem uma “testemunha” separada que não estaria ligada a um dos dois locais. Mas, objetivamente, podemos dizer que, dos três sites, o IXcellerate é o melhor - tanto em termos de organização dos serviços quanto da adequação geral do gerenciamento.

Compartilhe e você, o que você mais valoriza em seu data center e, inversamente, o que mais o incomoda?