Actualización (2 de julio de 2018): el personal de soporte de Google Cloud Platform (GCP) aseguró que esto no volverá a suceder. Sus palabras: "Muchas personas (dentro del PCG) están interesadas en mejorar la situación, no solo para usted, sino para todos los clientes".

Nota: esta publicación no trata sobre la calidad de los servicios en la nube de Google. Son excelentes, junto con AWS. Estamos hablando de "movimientos repentinos sin previo aviso", cuando apagan completamente todos sus sistemas, si los empleados (o los automóviles) deciden de repente: algo está mal. Esto nos pasó la segunda vez.

Antecedentes

Nuestro proyecto de producción utiliza GCP para monitorear cientos de plantas de energía eólica (turbinas eólicas) y docenas de plantas de energía solar dispersas en ocho países. Tenemos centros de control con pantallas en toda la pared: hay tableros llenos de métricas que se monitorean durante todo el día. Los gestores de objetos utilizan este sistema para monitorear en tiempo real el estado de las turbinas eólicas individuales y las instalaciones solares. Si se requiere intervención, se realiza de inmediato. Los equipos de desarrollo y pronóstico utilizan el sistema para probar algoritmos de datos en BigQuery. Todas las acciones se traducen directamente en nuestras ganancias. Estamos tratando con energía eólica / solar, un producto perecedero. Si generamos un excedente, no podemos guardarlo y venderlo más tarde. Si generamos insuficientemente, pagamos multas. Por esta razón, las instalaciones deben ser monitoreadas las 24 horas del día, los 7 días de la semana para no ir más allá de las necesidades del sistema energético y los acuerdos concluidos sobre la compra de electricidad.

Que paso

Esta madrugada (28 de junio de 2018), recibí una advertencia del bot de tiempo de actividad de que todo el sitio se desconectó. Una ráfaga de correos electrónicos de Google, que decía que se detectó alguna "posible actividad sospechosa" y que todos mis sistemas estaban apagados. TODO ESTÁ APAGADO. La máquina nos apagó sin previo aviso. El sitio no funciona, el motor de la aplicación y las bases de datos no están disponibles, varios mensajes de Firebase dicen que fui bajado y, por lo tanto, se superaron los límites.

Nube solitaria

El chat de atención al cliente está desactivado. No tenemos teléfono. Un correo electrónico vino con una solicitud para completar un formulario, cargar una foto de una tarjeta de crédito y una identificación emitida por el gobierno con una foto del titular de la tarjeta. Bueno, despertemos al CFO que posee la tarjeta.

Eliminaremos el proyecto dentro de tres días hábiles.

"Eliminaremos su proyecto si el titular de la cuenta no corrige la violación al completar el formulario de confirmación de la cuenta dentro de los tres días hábiles. Este formulario confirma su identidad y propiedad del instrumento de pago. Si no se envían los documentos solicitados, se puede cerrar definitivamente la cuenta ".

¿Qué debo hacer si el titular de la tarjeta está de vacaciones y no está disponible durante tres días? Perderíamos todo, años de trabajo, millones de dólares en ingresos.

Completo el formulario con los detalles y, afortunadamente, en 20 minutos todos los servicios comenzaron a cobrar vida. Cuando esto sucedió por primera vez, el tiempo de inactividad duró varias horas. En general, perdimos acceso a toda la información durante aproximadamente una hora. Una carta automática viene con una disculpa por las molestias . Desafortunadamente, el automóvil no tiene idea de la cantidad de "inconvenientes".

No puede simplemente apagar todo y luego pedir una explicación.

Entiendo que Google necesita rastrear y prevenir actividades sospechosas. Pero es importante qué hace exactamente después de detectar actividad sospechosa. Aquí se necesita la participación humana, algo que no se reemplaza por ninguna cantidad de código o un sistema de IA. No puede simplemente apagar todo y luego pedir una explicación. Necesitas hacer lo contrario.

Este es el primer proyecto que hemos construido completamente en Google Cloud. Todos los anteriores trabajaron en AWS. En nuestra experiencia, AWS es mucho más humano en el manejo de problemas de facturación. Le advierten sobre actividades sospechosas y le dan tiempo para explicarlo y resolverlo. No te patean desde las escaleras.

Espero que el equipo de GCP escuche y marque la diferencia. Hasta entonces, nunca publicaré ningún proyecto en GCP.