Pembaruan (2 Juli 2018): Staf dukungan Google Cloud Platform (GCP) meyakinkan bahwa ini tidak akan terjadi lagi. Kata-kata mereka: "Banyak orang (dalam GCP) tertarik untuk memperbaiki situasi, tidak hanya untuk Anda, tetapi untuk semua pelanggan."

Catatan: posting ini bukan tentang kualitas layanan cloud Google. Mereka sangat baik, bersama dengan AWS. Kita berbicara tentang "gerakan tiba-tiba tanpa peringatan," ketika mereka benar-benar mematikan semua sistem Anda, jika karyawan (atau mobil) tiba-tiba memutuskan: ada sesuatu yang salah. Ini terjadi pada kami yang kedua kalinya.

Latar belakang

Proyek produksi kami menggunakan GCP untuk memantau ratusan pembangkit tenaga angin (turbin angin) dan puluhan pembangkit tenaga surya yang tersebar di delapan negara. Kami memiliki pusat kendali dengan layar di seluruh dinding: ada dasbor yang penuh dengan metrik yang dipantau sepanjang waktu. Manajer objek menggunakan sistem ini untuk memantau secara real time status turbin angin individu dan instalasi surya. Jika diperlukan intervensi, segera dilakukan. Tim pengembangan dan peramalan menggunakan sistem untuk menguji algoritma data di BigQuery. Semua tindakan langsung diterjemahkan ke dalam keuntungan kami. Kita berurusan dengan energi angin / matahari - komoditas yang mudah rusak. Jika kita menghasilkan surplus, kita tidak bisa menyimpannya dan menjualnya nanti. Jika kami menghasilkan kurang, maka kami membayar denda. Untuk alasan ini, fasilitas perlu dipantau 24/7 agar tidak melampaui kebutuhan sistem energi dan kesepakatan yang disepakati tentang pembelian listrik.

Apa yang terjadi

Pagi-pagi ini (28 Juni 2018), saya menerima peringatan dari bot uptime bahwa seluruh situs menjadi offline. Banyak sekali email dari Google, yang mengatakan bahwa beberapa "aktivitas mencurigakan yang potensial" terdeteksi dan semua sistem saya dimatikan. SEMUANYA MATI. MESIN MENGHIDUPKAN KITA TANPA PERINGATAN. Situs tidak berfungsi, mesin aplikasi dan basis data tidak tersedia, beberapa pesan dari Firebase mengatakan bahwa saya diturunkan dan oleh karena itu batasnya terlampaui.

Awan yang sepi

Obrolan dukungan pelanggan dimatikan. Kami tidak punya telepon. Email datang dengan permintaan untuk mengisi formulir, mengunggah foto kartu kredit dan ID yang dikeluarkan pemerintah dengan foto pemegang kartu. Baiklah, mari kita bangun CFO yang memiliki kartu itu.

Kami akan menghapus proyek dalam waktu tiga hari kerja.

“Kami akan menghapus proyek Anda jika pemegang akun tidak memperbaiki pelanggaran dengan mengisi formulir konfirmasi akun dalam tiga hari kerja. Formulir ini mengonfirmasi identitas dan kepemilikan instrumen pembayaran Anda. Kegagalan untuk menyerahkan dokumen yang diminta dapat menyebabkan penutupan akhir akun. "

Apa yang harus saya lakukan jika pemegang kartu berlibur dan tidak tersedia selama tiga hari? Kami akan kehilangan segalanya - tahun kerja - jutaan dolar dalam pendapatan.

Saya mengisi formulir dengan detail dan, untungnya, dalam waktu 20 menit semua layanan mulai hidup kembali. Ketika ini terjadi untuk pertama kalinya, downtime berlangsung beberapa jam. Secara umum, kami kehilangan akses ke semua informasi selama sekitar satu jam. Surat otomatis datang dengan permintaan maaf atas ketidaknyamanan ini . Sayangnya, mobil itu tidak tahu tentang jumlah "ketidaknyamanan."

Anda tidak bisa mematikan semuanya dan kemudian meminta penjelasan.

Saya mengerti bahwa Google perlu melacak dan mencegah aktivitas yang mencurigakan. Tetapi penting apa yang Anda lakukan setelah mendeteksi aktivitas mencurigakan. Partisipasi manusia diperlukan di sini - sesuatu yang tidak digantikan oleh sejumlah kode atau sistem AI. Anda tidak bisa mematikan semuanya dan kemudian meminta penjelasan. Anda perlu melakukan yang sebaliknya.

Ini adalah proyek pertama yang kami bangun sepenuhnya di Google Cloud. Semua yang sebelumnya bekerja pada AWS. Dalam pengalaman kami, AWS jauh lebih manusiawi dalam menangani masalah penagihan. Mereka memperingatkan Anda tentang aktivitas mencurigakan dan memberi Anda waktu untuk menjelaskan dan mencari tahu. Mereka tidak menendang Anda dari tangga.

Saya harap tim GCP mendengarkan dan membuat perbedaan. Sampai saat itu, saya tidak akan pernah memposting proyek apa pun di GCP.