
Mais importante, lenços umedecidos quentes são servidos aqui depois da academia, como nos restaurantes japoneses. Isso não tem nada a ver com a parte técnica, mas é humanamente agradável.
E esta é uma guitarra autografada por Paul McCartney, e sim, fica na entrada da academia:

Este data center tem um certo humor.
Tudo parece um enorme hangar na área industrial, perto da estação de metrô Otradnoye. A altura do hangar é de 14 metros, um centro de dados com 9 metros de altura é construído no interior. O espaço restante desempenha o papel de um isolador térmico, que afeta as características locais do resfriamento. O prédio foi escolhido para não sair para a estrada (de acordo com os protocolos de certificação, é impossível obter altos níveis se você puder entrar na academia de caminhão, batendo no muro, aparentemente houve casos), ter duas rotas de chegada diferentes e ficar relativamente próximo ao metrô. A estação da MCC foi aberta nas proximidades, mas a estrada passa por lugares tão divertidos ....
Canário. Ainda gostamos de tudo aqui, então a história como um todo é positiva. Mas juro que, se algo der errado, seremos os primeiros a falar sobre isso. Bem, ou apenas remova este parágrafo da postagem se estivermos conectados pelo NDA.
Que tipo de data center IXcellerate
Temos uma nuvem Technoserv. Essa é uma nuvem natural para clientes russos, onde existem segmentos certificados pelo PCI DSS e classe para sistemas de informações de PD e governamentais "pesados". Também existem clientes comerciais na nuvem que precisam da API S3 e AWS na Rússia. Até este ano, fornecíamos um serviço do data center do DataPRO, sobre o qual já havia uma
pequena história .
Naturalmente, não importa quão íngreme seja o data center, você sempre precisará de um segundo caso um meteorito atinja o primeiro. Site com distribuição geográfica - a chave para a saúde e vida longa.
Escolhemos o segundo site com tanto cuidado quanto o primeiro. Precisávamos de uma interface do usuário T3 (mais precisamente, de regulamentos), da capacidade de trabalhar com o PCI DSS (ou seja, de nosso próprio certificado para a proteção física do data center) e de vários outros recursos. Como resultado, chegamos ao IXcellerate data center - aquele onde a Orange fica emparedada dentro de um dos corredores, espiando * uma grande empresa de jogos *, existem grandes bancos e empresas estatais, Reuters e Nestlé. Kommersant escreveu que a Apple e Booking for Persdans na Rússia também escolheram este lugar. Em geral, se algo cair, eles apenas têm uma tampa. Ou seja, a motivação para fazer tudo certo é boa o suficiente.
A segunda característica é que o líder não é novato. Longe de ser iniciante. Guy Wilner é um empresário da Inglaterra. Ele construiu data centers pela primeira vez e não pela décima vez. Antes do projeto, ele possuía sua própria rede de 14 data centers na Europa Ocidental e depois a vendeu para a Equinix (a operadora número 1 do mundo). Depois disso, ele decidiu repetir a aventura e abrir um enorme data center no Brasil, Rússia ou Turquia. Sua esposa e filhos não o deixaram entrar no Brasil (porque ele era necessário em casa), e na Rússia ele conheceu Cliff Gauntlett. Essa é uma pessoa lendária em Runet no campo das telecomunicações: ele já foi vice-presidente da famosa Golden Telecom e ROL - talvez você tenha começado a ficar on-line a partir de seus cartões de acesso à Internet. Então, ele também queria construir um enorme data center. E até conseguiu pegá-lo durante sua vida.
Por que estou dizendo tudo isso? O data center foi construído por um empresário britânico com boas conexões européias, para que os clientes europeus entrassem imediatamente. Isso significa um relatório muito claro de todas as transações, o que garante alguma certeza de que os processos e regulamentos no data center sejam totalmente implementados.
O data center foi construído em partes, iniciando a sala de máquinas atrás da sala de máquinas. A primeira etapa foi de 220 racks (eles começaram a ser construídos em 2012, colocados em operação em meados de 2013). A segunda sala de máquinas - 515 racks (1040 metros quadrados, nossos primeiros servidores estão lá) e a terceira fase (onde está o nosso núcleo) - 1100 assentos em rack (são 2500 quadrados).
Três máquinas são independentes umas das outras, mas esses não são três centros de dados diferentes, porque há uma reserva cruzada de uma parte dos nós. Os dois primeiros são certificados pelo IBM L3, o terceiro é certificado pelo Uptime TIER III. Em resumo, eles são quase os mesmos e a diferença no nível do projeto, por exemplo, é que, para a interface do usuário, você precisa de estacionamento dedicado para engenheiros, barreiras físicas para carros, um local com resistência ao fogo de 45 minutos (janelas na interface do usuário) versus uma hora (IBM), tamanhos de porta diferentes e assim por diante.

O plano diretor foi elaborado pela Arup. A instalação possui um certificado Arup para a melhor solução no campo de refrigeração e fornecimento de energia. Isso ocorre porque o data center é comercial: quanto menor o PUE, mais barato é operar. Portanto, tudo foi introduzido em partes (ou seja, nenhum equipamento estava ocioso, o engenheiro foi comprado conforme foi escalado), enquanto houve uma luta por cada quilowatt. Agora, o PUE é 1,15-1,4, dependendo da estação. O data center abriga muitos clientes chineses, para quem, com sua abordagem à ecologia e ao uso de eletricidade, esses números são apenas espaço. Eles têm um PUE regular que pode atingir até dois.
No momento do início da operação, o saldo de clientes que eles tinham era de cerca de 50/50, de nacional para estrangeiro. Naquela época, todos notoriamente adotaram a lei de proteção de dados pessoais e, como resultado, houve uma demanda crescente por data centers no mercado russo de infraestrutura em nuvem (é isso que fazemos) (é aqui que os fornecedores de nuvem precisam estar localizados).
É aqui que mais e mais empresas do exterior estão indo agora, porque há um cliente significativo aqui - o fornecedor estrangeiro Orange, que para muitos é um marco na vida e um padrão corporativo. E a terceira sala de máquinas foi financiada pelo Goldman Sachs Group, que acrescenta confiabilidade ao projeto aos olhos dos líderes estrangeiros. Os data centers não mudam todos os anos, por isso é importante que eles pensem no futuro 10 anos.
Dada a abundância de contatos externos, o suporte de primeira linha se comunica por escrito em russo, inglês e chinês. Todas as inscrições são duplicadas em chinês:

Graças a Guy, o data center é composto por duas alianças de data center - europeu e asiático. É como alianças de companhias aéreas, quando você pode comprar um bilhete de transferência entre os membros da aliança e sua bagagem será transferida sem a sua participação. Muitas pessoas precisam de canais distribuídos geograficamente e, portanto, essas alianças estão sendo feitas. O cliente de um dos data centers da aliança realmente trabalha com toda a rede em uma janela. Este é um fenômeno único em nosso mercado.
Protecção física

Para objetos PCI DSS, a proteção da construção é muito importante. O primeiro perímetro é uma cerca externa, equipada com sensores, câmeras e arame farpado. Na entrada do posto de controle. Então você precisa entrar no próprio edifício (aberto por um passe ou câmera), depois passar pela segurança (crachás, pesquisas, apreensão de garrafas de kefir) e depois ir à academia (scanners biométricos da palma da mão, impressões digitais ou códigos). No corredor, as prateleiras estão frequentemente nas cercas (quem o coloca, geralmente também impressões digitais ou chaves, como se houvesse uma armadilha para o banco: este é um vestíbulo, onde você pode entrar com um passe ou um dedo e a segunda porta - apenas com a permissão do guarda de segurança da câmera). Em qualquer lugar com vigilância por vídeo.


O perímetro físico subjetivo no DataPro é um pouco mais forte se você estiver parado sem uma cerca. Tudo é muito mais interessante aqui com a cerca, porque, por exemplo, os japoneses estão ao nosso lado. Eles têm seu próprio padrão de célula e uma espessura de haste de 6 mm. Dizem que tem quem tem 8 mm, mas eu não medi. Muitas cercas possuem sensores de movimento ou interseção por infravermelho, e existem algumas células do chão ao teto.

Existem muitas cercas. Mais do que em qualquer outro lugar nos data centers comerciais na Rússia. Pelo menos pelo que eu sei.
Revisão

As estranhezas começam imediatamente após a entrada. O banheiro para administradores é mais como uma biblioteca:

Você pode olhar um pouco ao redor e ver uma plataforma giratória com vinil real. Há vinil Led Zeppelin e Deep Purple. Deepi sem equipamento.

Isso ocorre porque um investidor adora rock ainda mais do que data centers. Esses mesmos camaradas fazem o festival Rockin'Russia. Cliff (que era o diretor antes do comissionamento) escreveu duas músicas para Scorpions (por exemplo, One e One Is Three).
Há uma loja de sapatos e um ladrão:


Perto é uma máquina que seca e aquece guardanapos:

E comida com água (grátis):

Área de descarga
Aqui está a preparação do equipamento para derrapar na academia. Aqui, talvez, a área de descarga mais interessante entre os data centers russos. Em primeiro lugar, ela é grande. Em segundo lugar, há uma mesa de tênis. Em terceiro lugar, há uma purificação especial do ar. Esta é a câmara de aclimatação da primeira sala de máquinas (carregamos o equipamento principal por outro, semelhante):

Preste atenção à altura do portão.
O equipamento é trazido para cá, eles passam por ele com um aspirador Karcher (o modelo habitual dos mais potentes), depois o ferro nas caixas assenta, depois é liberado das caixas (papelão é proibido no interior - e geralmente todo combustível é proibido).
Ênfase muito conveniente com a possibilidade de fixação de uma porta:

Fornecedores
Em geral, são necessárias três coisas no datacenter: resfriamento adequado, comunicação adequada e nutrição adequada. Sobre refrigeração, acrescento que eles têm um zoológico de aparelhos de ar-condicionado comuns, ventiladores de refrigeração e refrigeração em diferentes salas. Mas sobre a conexão, é muito importante que exista uma conexão direta com o M-9 e que haja nós ponto a ponto. Ou seja, se o tráfego for executado de um servidor de data center para outro servidor de data center (possivelmente outra empresa) através dos "nove" ou nós europeus semelhantes, o nó ponto a ponto o executará diretamente pela rede local. Bem, então peering fornecedores. Dado que existe uma empresa de jogos muito grande aqui, acho que quem precisou dela em primeiro lugar para que os usuários não demorassem.
No site no momento da publicação do post 43 provedores. Um ano atrás, era o segundo na Rússia em termos de conectividade. Agora, possivelmente, o IXcellerate já alcançou o primeiro, mas ainda não houve nenhuma pesquisa.
No telhado há uma plataforma para equipamentos de satélite, você pode colocar quaisquer antenas, mas até agora não há nada. Eles dizem que um dos clientes planejava colocar um teleporte por satélite lá, mas no final não o fez.
Mashzal


Vamos lá e eu vou lhe mostrar o que foi possível filmar.
Muitas células:

Otimização do resfriamento - cercas e painéis com lamelas removíveis:


Sensores térmicos:

PDUs são feitas para eles de acordo com seu projeto em uma fábrica perto de Moscou. Eles dizem que isso é uma substituição de importação que poderia. A propósito, eles estão trancados:

Aqui está o grande salão:






Atrás dessas portas de salas técnicas e níveis secretos:

Acontece que atrás deles há salas fechadas com 25 a 35 racks para privacidade. Mas pode ser recarregável. Na primeira sala, existem baterias comuns, na terceira, já existem baterias de íons de lítio. As últimas são boas por telemetria separada de cada bateria, com uma vida útil de até 12 anos (as chumbo têm no máximo 7, mas 5), são mais resistentes a mudanças de temperatura e aquecimento, mais dois graus não tiram o ano de serviço. No futuro, por mais de 5 anos, eles são mais baratos que o chumbo. Cada bateria possui sua própria caixa separada:

Aqui estão as bandejas ópticas. Olha, que preocupação para as pessoas: esses plugues não permitem que o cabo se corte nas bordas do suporte:

Este é um gravitsap. Sugiro adivinhar o que é:

Em algumas células, os clientes armazenam bancos, escadas, terminais. Existem alguns armários com peças de reposição. Há apenas um requisito - o de material não combustível. Em um par de racks, há malas (que são colocadas em um slide e projetadas especificamente para armazenar coisas em um rack). E aqui está um detalhe característico: tubos de metal para baixa corrente.

Nosso ferro:

Nutrição
Dois feixes urbanos independentes de 13 MW entram no território.
Agora o poder é 2N. O próximo ano deve ser a 3N - construir um centro de energia para três turbinas a gás.
Aqui estão os diesel:

Blocos de concreto para que o carro nem entre acidentalmente em um motor a diesel:

Perto de refrigeração:



E no final, estamos esperando o gramado para festivais de música e futebol. Lá você pode relaxar:


Centro de dados TTX
- Certificados: PCI DSS, ISO 27000 (27001), ISO 9000 (9001), ISO 14001: 2004.
- O edifício ocupa uma área de 6 mil metros quadrados, 1835 stands, capacidade - 13,7 MW.
- Energia - 2N, UPS + DGU, resfriadores - refrigeradores com resfriamento livre, reserva - N + 1.
Por enquanto é tudo. O data center emprega 50 pessoas, incluindo pessoal que não é de engenharia. Ficamos em um segundo lugar por muito tempo e parecíamos ter escolhido o caminho certo (pelo menos, nosso equipamento está aqui há mais de um ano). Mas, mais uma vez, observo: se algo mudar, vou manter contato.