O principal problema de transporte em São Petersburgo são as pontes. À noite, eles precisam fugir da taverna sem terminar de beber cerveja. Bem, ou pague um táxi duas vezes mais do que o habitual. De manhã - calcule cuidadosamente o tempo para que, assim que a ponte for derrubada, você tenha conseguido chegar à estação com um mangusto hábil. Não consideramos a opção de “passar a noite em algum lugar no centro, próximo à estação de trem” como ideologicamente prejudicial.
... "Falcão Peregrino", saindo às 5:30, foi inventado por pessoas que odeiam corujas. Não, é claro, é muito conveniente estar em Moscou às nove da manhã, e Peter é incrivelmente bonito durante as noites brancas, mas às quatro e meia, quando eu entrei em um táxi, eu queria virar minha cabeça em 270 graus para a cotovia que esse trem da manhã inventou.
"Todos os bons data centers são iguais", pensei quando descobri que os caras do DataLine estavam nos convidando a visitar.
Como se constatou, cada data center é bom (ou ruim) um pouco à sua maneira, especialmente quando você tem problemas, coleciona todos os ancinhos da área e aprende as lições com sua própria experiência (e, um pouco estranha). Aqui estamos (como parte dos cinco principais elos de ligação, amigos e simpatizantes que se juntaram a eles) e decidimos verificar se os centros de dados OST e NORD são bons (ou não).
Tendo conseguido trabalhar um pouco na estrada (poderia haver um anúncio para uma operadora de celular, mas não - a cobertura ainda era ruim e continuava), somos descarregados na estação de Leningrado. Bem, pelo menos não sob Gazmanov.
Iniciamos nosso tour pelos data centers "verde claro" com a OST - o "único" que "queimou" não faz muito tempo. Por que entre aspas - depois. Enquanto isso, ficamos de pé, fumamos, esperamos até tarde. Fotografamos o escritório da RT no bairro. Há muitas histórias engraçadas neste bairro - começando com a colocação de asfalto fresco e pintura meio-fio fronteiras antes da chegada dos Altos Pessoais e terminando com descontos nos cafés vizinhos, que os dalaynianos fizeram por causa da semelhança dos crachás.
O porta-voz da propaganda totalitária
Modo estrito (acesso) do data center
O passe, as regras de conduta, o moedor de carne na entrada - quase o mesmo que vimos durante uma excursão ao Linxdatacenter . Você já viu muitas cafeterias nos data centers? Agora, conhecemos um casal agora. Os funcionários e clientes nos crachás têm depósitos de "café", que são reabastecidos regularmente. para que, dentro de uma variedade razoável de café, você possa se tratar de graça. Nós, como queridos convidados, também fomos tratados.
Não posso dizer nada de ruim sobre o café - geralmente é para uma cafeteria "em rede", mas o local cativa involuntariamente e o interior está nas melhores tradições modernas.
O interior do café local
Nos centros de dados de fotos NORD
O passeio começa no escritório. Além dos grafites conhecidos em todo o Runet e da gama de cores branca e verde-clara, existem todos os tipos de coisas engraçadas. Estes são os recursos deixados nas performances do teatro corporativo (você pode imaginar o diretor técnico da rede de data centers jogando na peça? E nós o conhecemos pessoalmente.).
E a verdade
Fotos das apresentações
O data center (ou melhor, os quatro data centers) estão localizados em um complexo de edifícios industriais construídos no século anterior ao passado (então a fábrica da Citroen e nos dias da URSS a fábrica da Hydrodrive), então, por um lado, há metais industriais agressivos vigas, atmosfera de loft e artefatos industriais de diferentes épocas, que ainda são encontrados em vários trabalhos. Por outro lado, as zonas pressurizadas do data center devem ser integradas às estruturas existentes e comprometer-se periodicamente com a realidade. No entanto, eu não diria que esses compromissos afetaram a qualidade - mas os caras provavelmente tiveram que suar durante o design. Ainda assim, de acordo com rumores, o Metro-2 passa em algum lugar próximo, mas isso não é exato.
Além do teatro, há também um museu. Exposições naturais - achados arqueológicos
Algumas palavras sobre o fogo . Sim, o prédio (ou melhor, o telhado) realmente queimou. As unidades externas dos sistemas de refrigeração e a via fria foram danificadas. Em algum lugar a fiação queimava e os aparelhos de ar condicionado eram deixados sem eletricidade. Em algum lugar, os oleodutos freon explodiram. Mas, apesar disso, as zonas de pressão suportaram toneladas de água derramadas sobre eles, o equipamento sobreviveu. Eles foram restaurados sob o controle da “sede” na pessoa da alta liderança do mundo inteiro - eles geralmente varriam todos os tubos de cobre em Moscou e seus arredores (trazidos até à noite para o BMW X5) e todos os instaladores sóbrios. O equipamento crítico dos datahalls afetados (afetados pela falta de frio, e não pelo fogo!) Foi rapidamente transferido para outras salas, para que, às cinco da manhã, eles levantassem não apenas todos os seus serviços, mas também seus clientes.
Pessoalmente, verificamos a sala que "mais sofreu" - exceto pelo cheiro de queima e substituindo os ladrilhos elevados, não lembra o fogo (exceto as prateleiras de equipamentos "temporariamente" levadas para outro data hall e as que foram deixadas lá).
Barra de status
Caminhando pelos corredores, vemos uma tela de toque com algo muito semelhante ao circuito dos salões do data center. Esta é a barra de status. Eles estão presos nos corredores em ordem e permitem que os engenheiros no local encontrem rapidamente, por exemplo, o ar condicionado correto, bem, eles apenas relatam o status atual.
O monitoramento é construído no Nagios (agora existem vários clusters independentes) e abrange todos os data centers (OST e NORD). Além disso, existem aplicativos para Android e iOS (para clientes e funcionários) e uma página de status diretamente no site.
No visor, noto um PUE incomumente alto - nem em toda a Rússia é considerado, mas ainda assim 1,90 é um pouco demais. A resposta para isso é puramente econômica - em 2012-2013, os racks nos data centers divergiram como bolos quentes; portanto, não houve tempo para sentimentos e eficiência energética. Colocamos o que está no mercado, fazemos o mais rápido possível e não nos importamos com esses PUEs, porque por quê? Mesmo na fase de projeto, 80-90% dos racks são comprados, mas a legislação da Federação Russa sobre eficiência energética não quer saber de nada. Embora houvesse uma comissão em Amsterdã, Kondraty teria sido suficiente com esses números.
Nada pessoal. Apenas um negócio.
Outra característica é a rotulagem de data halls. Em cada site, os data halls, além da codificação alfanumérica "oficial", possuem pseudônimos "humanos" do alfabeto naval (Alpha Bravo-Charlie Delta ...). Por alguma razão, todos os clientes adoram o Whiskey Hall.
Não há ninharias no atendimento ao cliente
Tais "cercas" são definidas para alguns clientes. Não era permitido filmar nos mashrooms, então o DataLine © photo
Os clientes da DataLine são empresas muito grandes e respeitadas, eles realmente não gostam quando fotografam seus equipamentos. Além disso, se o nome (ou logotipo) do cliente estiver escrito diretamente no balcão, em letras grandes. Eles não gostam - e é isso. Portanto, filmamos as paredes já famosas com inscrições diferentes e o engenheiro. O engenheiro não pode ser fotografado em todos ou em todos os lugares, mas tentamos. Como existem clientes grandes e respeitados entre os clientes, eles têm solicitações específicas - racks especiais (ou até algum tipo de armazenamento uber de vários racks de fornecedores), cercas, ACS, vigilância por vídeo e grupo de reação rápida com rifles de assalto . Em geral, uma das regras não ditas (e vogais também) do DataLine é cuidar do cliente e fazê-lo se sentir bem. A partir de coletes e estações de trabalho equipadas com acesso e cobrança à Internet e terminando com vários eventos para os clientes. Esses últimos também são muito úteis, por outro lado, que as mesmas pessoas, mudando de empresa para empresa, os trazem para o DataLine. Só porque tudo é aconchegante, conveniente e confiável aqui. Business DataLine - não é apenas a entrega de espaços em rack. É também uma nuvem que é simultaneamente certificada pelo 152-PCI e pelo PCI-DSS (vamos fazer um podcast sobre isso, seguir os anúncios) e fornecer conectividade (suas fibras entre os sites e de cada um deles para o M9, seu próprio anel óptico) cidade e assim por diante até a última milha até o escritório do cliente).
M - motivação
A propósito, sobre inscrições - as idéias não vêm apenas dos funcionários, mas também de parceiros e clientes, e você pode votar nos mais bem-sucedidos na página oficial do DataLine no FB. Bem, você pode oferecer sua ideia lá.
Encontro sobre o Elba
Cross (foto fornecida por DataLine)
Paramos no Meet-Me-Room, onde os operadores estão localizados. No MMR (existem três pares deles no OST, de acordo com o número de entradas ópticas principais, para ativo e passivo), as conexões de todos os data halls são reduzidas. Na cruz, tudo é chato e arrumado. Mas onde está a atividade do operador, você se lembra dos melhores anos e fotos de alguns BM18: macarrão de arame e vários equipamentos (DLink, Extreme, Juniper, Mikrotik ... e assim por diante no ASR9k). Existem mais de cinquenta operadores, então tudo é colorido. Na MMR, a ótica e o cobre divergem ao longo dos corredores. Pelo menos duas faixas para cada (opções são possíveis), para que você não se preocupe com a confiabilidade da conexão. O MMR é chamado "Elba", que é muito sutil.
IBM Power n-nada?
Outra descoberta é a série P da IBM, que nunca foi ligada e está em um dos corredores há vários anos. Um carro (juntamente com uma biblioteca de fitas e armazenamento) foi encomendado por um dos clientes, mas "não foi útil", por isso foi apresentado a um data center. Desde então, vale a pena.
É bom, provavelmente, ser caras ricos e fazer presentes, certo? (Ou talvez eles não deram, mas esqueceram. Ou perderam as cartas. Mas faz muito tempo)
Aqui está um homem tão bonito parado na NORD-4
Vamos ao centro de energia - três (ou até quatro) DGUs para cada data center (lembro-me, no OST existem quatro). O motor diesel atinge a potência máxima em 30 a 40 segundos e produz 1900kVA. N + 1 redundância, sincronização e mais estão incluídas. O maior tempo gasto em motores a diesel no OST é de 12 horas. na NORD - 2,5 dias (afinal, um armazenamento de 85 toneladas não é para você khukh-mukhras).
Obviamente, existem contratos com diferentes empresas de combustível para o fornecimento de combustível. A mudança para o diesel ocorre regularmente, para que o combustível seja produzido e os contratos sejam verificados. A propósito, de acordo com colegas, na NORD, ao testar um gerador a diesel, que geralmente leva mais de uma hora, a grama consegue se tornar verde mesmo no inverno, no local onde é emitido o ar quente dos motores a diesel.
Depois de uma pequena refeição, vá a um local da NORD em uma cafeteria familiar. Este também não é um data center, mas quatro prédios independentes no mesmo território. Cada um tem suas próprias entradas de eletricidade, seus próprios motores a diesel e seu próprio resfriamento. NORD-1 e NORD-2 são auditados pelo Uptime Institute M&O. O mais novo (e o melhor data center do DataLine) é o NORD-4, então vamos lá.
Com um enorme, ao que parece, o número de data centers em Moscou, ainda há uma escassez. Não, é claro, um ou dois racks serão enviados a você sem problemas. Até vinte serão dados. Mais é uma pergunta (e os clientes do DataLine com essas necessidades não têm um ou dois). Especificamente, há um lugar (até agora) na NORD-4, porque uma grande fatia mudou-se para seu próprio data center recém-construído, mas em outros lugares pode não ter tanta sorte. No entanto, agora o projeto NORD-5 está em pleno andamento, que eles prometem lançar no início de 2020.
Mas voltando ao nosso passeio. Como estávamos viajando de carro, fomos lançados no gateway, em que metralhadoras nos levaram à vista o número do nosso carro foi verificado com o aplicativo e todos os passageiros foram convidados a sair para obter passes (é claro, de acordo com o passaporte). Pois B é segurança.
O NORD-4 é o orgulho da empresa e a compilação de muitos anos de experiência na construção e operação de data centers, possui certificados Uptime Institute Tier III para o projeto de design e Facility (ou seja, o data center construído), além de Sustentabilidade Operacional - os caras abordaram o assunto o máximo possível responsavelmente. Interior - quatro zonas herméticas independentes, duas salas no interior de um edifício. Cada um tem seu próprio centro de energia (DGU, salas de baterias), circuitos de refrigeração e sistemas de extinção de incêndios. Entradas de óptica geral (existem duas por edifício) e MMR.
Modificando um engenheiro saudável
Na entrada do data center, um café familiar para nós está esperando por nós (bem, por que não?). Chegamos ao centro de monitoramento. Agora, existem dois principais - no OST e no NORD-4 (no NORD-1,2,3, os turnos de serviço também estão suspensos). Em cada centro, você pode assistir aos dois sites, portanto, mesmo aqui é fornecida a redundância n + 1. Na parede de vídeo - já conhecemos os painéis na faixa de cores de cal (é claro, existem muito mais parâmetros do que na exibição de status). Nós nos comunicamos um pouco para o monitoramento - sem prometheuses e grafanos extravagantes, apenas o Nagios, apenas visualização hardcore e feita por conta própria. Por dez anos (no entanto, ainda mais) de uso, muitas verificações e scripts personalizados já foram escritos; portanto, mudar para outra coisa parece com essa aventura. Cerca de uma vez por mês, aparece outra empresa que se oferece para resolver "de maneira rápida e indolor" todos os problemas, mas até o momento isso não ocorre. A propósito, o video wall também funciona em uma solução auto-montada, que acabou sendo várias vezes mais barata que os análogos comerciais.
A MCC local
Quando você projeta, constrói e opera data centers por muitos anos, não tem medo de fazer algo sozinho, em vez de comprar os já prontos. A DataLine, por exemplo, não hesita em dizer que, simplesmente à custa da escala, pisou no número máximo de rakes, e cada novo data center é filho de erros e experiências difíceis que vêm ocorrendo há mais de dez anos. Obviamente, todo novo data center tem seu próprio know-how e, caminhando pela NORD, você se põe pensando de vez em quando, as pessoas simplesmente o pegam e o fazem bem. Não por uma questão de classificação e certificados - o processo de engenharia usual, quando a cada iteração você cresce acima de si mesmo e se torna cada vez melhor. Um observador externo dirá que é chato e conservador, mas o cliente, ao contrário, apóia tal estabilidade com seu próprio dinheiro. E para se sair bem, não é necessário comprar sistemas ou software de engenharia por muito, muito dinheiro (embora sem ele, às vezes, de qualquer forma). Mais frequentemente decide experiência, conhecimento e conhecimento de engenharia.
Por exemplo, o edifício NORD-4 tem 3,5 andares. Os três primeiros são de pleno direito, com tetos de 4,5 metros, onde estão localizados os corredores. E o último é técnico, com uma altura de apenas 1,8 metros, e é fornecido exclusivamente sob o sistema de refrigeração. Como o piso é técnico, os requisitos para ele são muito menores, o que tornou possível simplificar o projeto e economizar dinheiro.
Vista do data center triangular
Max tem um kung fu especial para não cair nas fotos
Terminamos o passeio no telhado - oferece uma excelente vista do CHPP nas proximidades e do conjunto habitacional, além de outros edifícios da NORD. Dois deles são triangulares. Nesta ocasião, os colegas até riram que "o DataLine é idiota, por algum motivo eles estão construindo um data center triangular" Para colocar lá racks triangulares e servidores triangulares. Mas nada - eles construíram e operam com sucesso, mas ao mesmo tempo usam eficientemente o território existente (que em Moscou, devo dizer, não é gratuito). Outro fato surpreendente (para mim) é que a maioria dos clientes comerciais deseja estar localizada em Moscou. Um local de meia centena de quilômetros ao longo da estrada de Minsk (mesmo que haja todas as capacidades e comunicações necessárias) já é de pouco interesse para ninguém. Então, tudo está aninhado em borracha.
As torres de resfriamento não são mais um data center, mas um CHP
Nisso, nossa próxima jornada chegou ao fim.
Depois de ainda haver uma conversa longa e produtiva sobre planos conjuntos e futuros podcasts (espero que você não precise esperar muito), fique atento a outras coisas interessantes em breve.
Bem, o DataLine convida aqueles que querem ver tudo com seus próprios olhos em uma turnê. Completamente grátis, mas com hora marcada. Aqueles que denominam a palavra-código "linkmeup" são um plus no karma.
Fique atento!