Atualização (2 de julho de 2018): a equipe de suporte do Google Cloud Platform (GCP) garantiu que isso não acontecerá novamente. Suas palavras: "Muitas pessoas (dentro do GCP) estão interessadas em melhorar a situação, não apenas para você, mas para todos os clientes".

Nota: esta postagem não é sobre a qualidade dos serviços em nuvem do Google. Eles são excelentes, juntamente com a AWS. Estamos falando de "movimentos bruscos sem aviso", quando eles desligam completamente todos os seus sistemas, se funcionários (ou carros) decidirem de repente: algo está errado. Isso aconteceu conosco pela segunda vez.

Antecedentes

Nosso projeto de produção utiliza o GCP para monitorar centenas de usinas eólicas (turbinas eólicas) e dezenas de usinas solares espalhadas por oito países. Temos centros de controle com telas em toda a parede: existem painéis cheios de métricas que são monitoradas o tempo todo. Os gerentes de objetos usam esse sistema para monitorar em tempo real o status de turbinas eólicas e instalações solares individuais. Se for necessária uma intervenção, ela é feita imediatamente. As equipes de desenvolvimento e previsão usam o sistema para testar algoritmos de dados no BigQuery. Todas as ações são traduzidas diretamente em nossos lucros. Estamos lidando com energia eólica / solar - uma mercadoria perecível. Se geramos um excedente, não podemos salvá-lo e vendê-lo mais tarde. Se gerarmos insuficientemente, então pagamos multas. Por esse motivo, as instalações precisam ser monitoradas 24 horas por dia, 7 dias por semana, para não ir além das necessidades do sistema energético e dos acordos concluídos sobre compra de energia elétrica.

O que aconteceu

No início da manhã (28 de junho de 2018), recebi um aviso do bot de tempo em atividade de que todo o site ficou offline. Uma enxurrada de e-mails do Google, que dizia que alguma "atividade potencial suspeita" foi detectada e todos os meus sistemas foram desligados. TUDO ESTÁ DESLIGADO. A MÁQUINA DESLIGOU-NOS SEM AVISO. O site não funciona, o mecanismo de aplicativo e os bancos de dados não estão disponíveis, várias mensagens do Firebase dizem que eu fui reduzido e, portanto, os limites foram excedidos.

Nuvem solitária

O chat de suporte ao cliente está desativado. Nós não temos telefone. Um email veio com uma solicitação para preencher um formulário, fazer upload de uma foto de um cartão de crédito e um ID emitido pelo governo com uma foto do titular do cartão. Bem, vamos acordar o CFO que possui o cartão.

Excluiremos o projeto dentro de três dias úteis.

“Excluiremos seu projeto se o titular da conta não corrigir a violação preenchendo o formulário de confirmação da conta em três dias úteis. Este formulário confirma sua identidade e propriedade do instrumento de pagamento. O não envio dos documentos solicitados pode levar ao encerramento final da conta. ”

O que devo fazer se o titular do cartão estiver de férias e ficar indisponível por três dias? Perderíamos tudo - anos de trabalho - milhões de dólares em receita.

Preencho o formulário com os detalhes e, felizmente, em 20 minutos todos os serviços começaram a voltar à vida. Quando isso aconteceu pela primeira vez, o tempo de inatividade durou várias horas. Em geral, perdemos o acesso a todas as informações por cerca de uma hora. Uma carta automática vem com um pedido de desculpas pelo inconveniente . Infelizmente, o carro não tem idéia do número de "inconvenientes".

Você não pode simplesmente desligar tudo e pedir uma explicação.

Entendo que o Google precisa rastrear e evitar atividades suspeitas. Mas é importante o que exatamente você faz após detectar atividades suspeitas. A participação humana é necessária aqui - algo que não é substituído por nenhuma quantidade de código ou sistema de IA. Você não pode simplesmente desligar tudo e pedir uma explicação. Você precisa fazer o oposto.

Este é o primeiro projeto que construímos totalmente no Google Cloud. Todos os anteriores trabalharam na AWS. Em nossa experiência, a AWS é muito mais humana ao lidar com problemas de cobrança. Eles avisam sobre atividades suspeitas e oferecem tempo para explicar e descobrir. Eles não chutam você da escada.

Espero que a equipe do GCP ouça e faça a diferença. Até lá, nunca publicarei projetos no GCP.