Imagine um homem correndo para fora do escritório gritando à noite e começando a quebrar o meio-fio. Eugene balançou a pedra com os pés, arrancou-a e levou-a de volta ao prédio com as mãos.
Com isso, nosso querido colega resolveu um problema de TI. O fato é que equipamos o nó do servidor no prédio (um pequeno data center com 20 racks) com servidores. Durante o trabalho, o piso elevado começou a dobrar - lentamente, com um estrondo e geralmente como nos filmes de terror. Isso ocorre porque as unidades UPS foram colocadas nas proximidades, 20 kg por unidade. Sem verificar tolerâncias.
Para evitar o efeito dominó, Eugene decidiu retirar as baterias. Isso realmente não ajudou. Mas com a ajuda de um meio-fio, foi possível desacelerar um pouco o processo. Uma hora depois, chegou uma equipe de empreiteiros que construiu esse data center, com cerca de 30 tomadas na oficina para reparos. Três semanas foram refeitas, só então pudemos continuar.
Em comunicação com colegas estrangeiros, descrevemos isso como surpreendentemente surpreendente. Por conta própria, há um termo mais preciso - "palhaçada".
Condicionadores de ar
Antes de começar a trabalhar como PM principal em grandes projetos de integração, trabalhei em terceirização. Nossas equipes ao meio com os engenheiros vigiavam a realidade e o senso comum. Quero dizer, na maioria das vezes éramos a segunda ou terceira linha de suporte de TI, onde não há nossos especialistas em TI.
Somente um aplicativo realmente interessante pode chegar à terceira linha.
Um exemplo O ar condicionado é interrompido no nó do servidor de uma grande empresa. A temperatura na sala começa a subir. Pessoas suadas correndo em jaquetas e estão muito nervosas. Há cerca de três horas antes do desligamento térmico. O equipamento não pode ser desligado - a instrução é de cima. Parece ser considerado algo importante para o estado.
Nós corremos para a loja, voltamos com um monte de "pinguins" (aparelhos de ar-condicionado no chão); nesse momento, mais dois pegam o moedor e fazem uma nova porta pela parede. Chegamos correndo com kondeas, abaixamos as mangas - começamos a dirigir o frio. Aquele tempo passou.
Um caso mais frequente, que provavelmente é familiar a todos na terceirização, é assim: eles instalaram condicionalmente uma Conder há 6 anos. Ele quebrou. Você vem ao vendedor, ele diz: queridos colegas, lamentamos sinceramente por você, mas esse ar condicionado não existe na natureza. Não temos serviço, peças de reposição e, em geral, queremos vê-lo. Encontramos o telefone do mestre neles, não do fornecedor. Ele diz: ok, vamos pegar a peça de reposição, precisamos trocar a montagem. Sem peças de reposição - veja a figura 1. Sim, estamos muito longe de Moscou. Como resultado, três pessoas em jaquetas realmente desmontaram o ar condicionado com as mãos. No dia seguinte, encontramos um escritório que repara motores, muda o enrolamento por dois dias e depois os monta. No primeiro começo, eles gravaram novamente, porque esse não era o nosso tópico - eles não registraram todo o código de cores, mas apenas um lado. E na parte correspondente é uma cor diferente. Eu ainda tenho vergonha. Curto-circuito. Repetiu a mesma operação. A sala do servidor ficou aberta por seis dias, um guarda estava na entrada e estava de plantão para que ninguém se arrastasse. Mas eles consertaram, caso contrário tudo teria chegado lá. Após esses casos, você se sente estranho - parece que ele salvou o cliente e está feliz, mas de alguma forma não é assim.
Um ano depois, a história se repetiu quase um por um: chegamos ao objeto para assistir ao software e lá o ar condicionado apareceu. Mas nós já fizemos tudo sem um curto-circuito.
Movers
A entrega de equipamentos a uma grande instituição no sábado de manhã enviou mudanças. Ligue para:
Olá! Quem você me enviou?
Eu quero dizer? Ferro está certo?
- Ferro é verdade.
"Qual é o problema?"
- E quem vai trazer?
- Então existem carregadores? ..
- Verificamos os documentos deles. Tudo, você não tem mais esses motores. Encontrado para onde os migrantes ilegais devem enviar.
O chefe da empresa de logística ficou muito ofendido mais tarde e disse que somos idiotas aqui porque formulamos incorretamente os termos de referência.
Comunicações
Depois de uma história, ainda tenho o hábito de ler as marcações de cachimbo. O fato é que eles tinham um cachimbo escuro imperceptível correndo pelo corredor. Bem vai e vem, para o inferno com ela. E então explodiu. Descobriu-se que isso não é apenas comunicação, mas uma comunicação muito importante - um tubo de ventilação. Pior ainda, o conteúdo de seus fãs vazou para as máquinas IBM série Z (IBM eServer zSeries). Eu realmente quero observar que eles não se destinam a essas condições operacionais. Mas os engenheiros da IBM ainda ligaram. Como tudo isso foi limpo e como essas máquinas ainda funcionam é um grupo inteiro de histórias que ainda circulam no mercado. É uma pena que os colegas não possam incluir isso na publicidade.
O segundo caso conhecido já estava em outra empresa. Lá, os chineses estavam construindo algo um andar mais alto em um prédio grande. No térreo, há escritórios, as pessoas moram acima. E então o empreiteiro chinês acidentalmente dividiu o banho. E jogou no lixo todo o escritório abaixo. Naturalmente, o banheiro estava exatamente acima do nó do servidor.
Fauna
Alguns colegas disseram que têm muito equipamento e em todos os lugares há um cabo muito saboroso ... Para ratos. Devemos observar constantemente o que foi roído. Uma vez que desmantelamos as comunicações antes de receber o site. Nos data centers modernos, os ratos não têm onde morar, mas em prédios antigos não, não, sim, existem. E bastante saudável.
Eles tiveram muitos problemas com pássaros em objetos distantes - tudo o que reluz chama a atenção deles. Eles costumam bicar partes diferentes do equipamento de rádio. Ouvi dizer que em Moscou o monotrilho experimentou dificuldades semelhantes: altas, brilhantes, cobrem-no com uma camada uniforme de fertilizante.
Fornecimento de armazenamento
Entregue 2 sistemas de armazenamento. Nos preços, foram 190 milhões de rublos para duas prateleiras. Eles foram trazidos do outro lado da rua. Descarregado em paletes. Para entrar na sala dos servidores, era necessário abrir a porta da rua. Os seguranças, é claro, trancaram tudo e não o deixaram entrar. Eles deram a chave por um longo tempo. E lá fora é inverno. Pela janela, vemos uma bela foto: os caras de macacão laranja sobem para o telhado e começam a despejar a crosta. Diretamente em paletes. De alguma forma, convenceu os seguranças de uma só vez.
Partidas
Eu tive um colega que veio de manhã no escritório em shorts. Neste momento, no norte, precisávamos de algo para ser substituído. Por algum milagre, eles o convenceram a voar por um dia até a noite: de manhã para consertar e depois de volta - e no jantar já em casa, em Moscou. Lá ele voou normalmente e houve uma nevasca. Por duas semanas, ele ficou sentado sem roupa, sem escova de dentes, sem uma quantia normal de dinheiro. Eles estenderam o hotel, jogaram dinheiro em um cartão de comida. Eu acho que cada um de nós estava tão preso, mas por inexperiência ele teve menos sorte. Temos malas pré-montadas para viagens.
Em uma cidade do sul, não fomos autorizados a entrar no objeto no sábado. Combinamos o tempo de inatividade, esperamos o final da semana, tivemos que vir e refletir algo. E simplesmente não fomos autorizados a entrar no edifício. Aconteceu que havia reparadores que estavam consertando este edifício. No fim de semana, eles ficaram dentro. Uma semana antes do tempo de inatividade, um deles ficou bêbado e cortou dois de seus companheiros de bebida com um machado. A gerência tomou uma decisão da gerência: para evitar a repetição da tragédia, é proibido estar no prédio em um dia de folga.
Birdhouse
Voltando à história do piso elevado e da calçada: alguns anos depois, encontramos a solução alemã para data centers isolados em prédios antigos. Eles fazem uma fundação, depois um suporte metálico para o piso desejado (tínhamos um terceiro) e nele montam uma plataforma com um data center em um contêiner. Acontece que a fundação está no chão com sua fundação. Mesmo que o prédio desmorone, a casa de pássaros permanecerá. Por que me lembrei: conheço um edifício que algumas pessoas compraram no início e depois percebi que precisava amarrar todas as colunas com reforço e adicionar novos suportes para que o data center pudesse ser instalado.
Monitoramento de temperatura
Aqui está uma história onde tudo é perfeito. Então o prédio. Não houve monitoramento centralizado por temperatura. Após problemas com os aparelhos de ar condicionado começaram a assistir. Mas como! Houve uma mudança de plantão. Essas mulheres - a tarefa era ver o problema e relatar. Eles andaram com uma lista de verificação e verificaram todo o equipamento. Observamos os vazamentos de líquidos, registramos as leituras dos termômetros. Uma vez por hora, as salas dos servidores eram ignoradas. A gerência aguardava a implementação do monitoramento. E tínhamos um engenheiro que costumava ficar à noite. Homem muito atlético. Então, ele foi à cruz fazer exercícios, era espaçoso lá, mas quente. E agora 4 da manhã. Uma mulher idosa de meia idade com um bloco de notas nas mãos abre a porta do carro e um homem seminu salta em sua direção com um grito: "Kia!"
Voltando à atmosfera especial da TI russa
Os disquetes foram inventados em 1967. Nos anos 71, saiu o primeiro lote comercial. 8 polegadas. No 76 apareceu 5,25 polegadas. Nos anos 81, estávamos acostumados a 3,5 em um envelope rígido. Em 2011, a Sony (o maior fabricante) parou completamente de produzir disquetes. Em 2014, a Toshiba redesenhou uma fábrica de disquetes em uma fazenda de vegetais. Em 2016, o Pentágono anunciou a cessação do uso de disquetes de oito polegadas. Agora, o ano é 2018 e, à nossa porta, no inverno, apareceu um cliente que perguntou se haveria uma unidade de 5,25 ao mover-se para a
nuvem nessa mesma nuvem. Nós rimos, mas antes disso, ele nos perguntou em detalhes sobre a compatibilidade do nosso armazenamento de objetos com a API do Amazon S3 e fez as perguntas certas sobre a infraestrutura. Por isso, perguntamos com muito cuidado o que causou essa pergunta.
Eles usaram software muito antigo. Ele precisava de uma chave em um disquete. Mesmo antes do advento do Facebook, eles fizeram várias chaves nesses disquetes, compraram unidades e tentaram reiniciar o servidor o mínimo possível. Em caso de falha deste sistema, eles tinham um disquete ISO, mas o sistema cuspiu nas tentativas de montá-lo. Decidimos que o assunto estava nas informações valiosas registradas na área de reserva (é assim que a proteção às vezes era feita naqueles anos), mas encontramos os drivers corretos e apresentamos o ISO à máquina virtual. Começou. Agora, o disco nunca irá quebrar e o software continuará funcionando, envolto em dois hipervisores.