Update (2. Juli 2018): Die Support-Mitarbeiter der Google Cloud Platform (GCP) versicherten, dass dies nicht noch einmal passieren wird. Ihre Worte: "Viele Menschen (innerhalb des GCP) sind daran interessiert, die Situation nicht nur für Sie, sondern für alle Kunden zu verbessern."

Hinweis: In diesem Beitrag geht es nicht um die Qualität von Google Cloud-Diensten. Sie sind zusammen mit AWS ausgezeichnet. Wir sprechen von "plötzlichen Bewegungen ohne Vorwarnung", wenn sie alle Ihre Systeme vollständig ausschalten, wenn Mitarbeiter (oder Autos) plötzlich entscheiden: etwas stimmt nicht. Dies ist uns das zweite Mal passiert.

Hintergrund

Unser Produktionsprojekt verwendet GCP zur Überwachung von Hunderten von Windkraftanlagen (Windkraftanlagen) und Dutzenden von Solarkraftwerken in acht Ländern. Wir haben Kontrollzentren mit Bildschirmen an der gesamten Wand: Es gibt Dashboards voller Metriken, die rund um die Uhr überwacht werden. Objektmanager verwenden dieses System, um den Status einzelner Windkraftanlagen und Solaranlagen in Echtzeit zu überwachen. Wenn ein Eingriff erforderlich ist, erfolgt dies sofort. Entwicklungs- und Prognoseteams verwenden das System, um Datenalgorithmen in BigQuery zu testen. Alle Aktionen werden direkt in unseren Gewinn umgesetzt. Wir haben es mit Wind- / Sonnenenergie zu tun - einem verderblichen Gut. Wenn wir einen Überschuss generieren, können wir ihn nicht speichern und später verkaufen. Wenn wir nicht ausreichend generieren, zahlen wir Geldstrafen. Aus diesem Grund müssen die Anlagen rund um die Uhr überwacht werden, um nicht über die Bedürfnisse des Energiesystems und die geschlossenen Vereinbarungen über den Kauf von Strom hinauszugehen.

Was ist passiert

An diesem frühen Morgen (28. Juni 2018) erhielt ich eine Warnung vom Uptime-Bot, dass die gesamte Site offline geschaltet wurde. Eine Flut von E-Mails von Google, die besagten, dass "potenzielle verdächtige Aktivitäten" erkannt und alle meine Systeme ausgeschaltet wurden. ALLES IST AUS. Die Maschine schaltete uns ohne Warnung aus. Die Site funktioniert nicht, die Application Engine und die Datenbanken sind nicht verfügbar. Mehrere Nachrichten von Firebase besagen, dass ich gesenkt wurde und daher die Grenzwerte überschritten wurden.

Einsame Wolke

Der Kundensupport-Chat ist deaktiviert. Wir haben kein Telefon. In einer E-Mail wurde darum gebeten, ein Formular auszufüllen, ein Foto einer Kreditkarte und einen von der Regierung ausgestellten Ausweis mit einem Foto des Karteninhabers hochzuladen. Lassen Sie uns den CFO wecken, dem die Karte gehört.

Wir werden das Projekt innerhalb von drei Werktagen löschen.

„Wir werden Ihr Projekt löschen, wenn der Kontoinhaber den Verstoß nicht korrigiert, indem er das Kontobestätigungsformular innerhalb von drei Werktagen ausfüllt. Dieses Formular bestätigt Ihre Identität und Ihr Eigentum an dem Zahlungsinstrument. Wenn die angeforderten Dokumente nicht eingereicht werden, kann dies zur endgültigen Schließung des Kontos führen. “

Was soll ich tun, wenn der Karteninhaber im Urlaub ist und drei Tage lang nicht erreichbar ist? Wir würden alles verlieren - jahrelange Arbeit - Einnahmen in Millionenhöhe.

Ich fülle das Formular mit den Details aus und glücklicherweise wurden innerhalb von 20 Minuten alle Dienste wieder zum Leben erweckt. Als dies zum ersten Mal geschah, dauerte die Ausfallzeit mehrere Stunden. Im Allgemeinen haben wir ungefähr eine Stunde lang den Zugriff auf alle Informationen verloren. Ein automatischer Brief enthält eine Entschuldigung für die Unannehmlichkeiten . Leider hat das Auto keine Ahnung von der Anzahl der "Unannehmlichkeiten".

Sie können nicht einfach alles ausschalten und dann nach einer Erklärung fragen.

Ich verstehe, dass Google verdächtige Aktivitäten verfolgen und verhindern muss. Es ist jedoch wichtig, was genau Sie tun, nachdem Sie verdächtige Aktivitäten festgestellt haben . Hier ist menschliche Beteiligung erforderlich - etwas, das durch keine Menge Code oder ein KI-System ersetzt wird. Sie können nicht einfach alles ausschalten und dann nach einer Erklärung fragen. Sie müssen das Gegenteil tun.

Dies ist das erste Projekt, das vollständig auf Google Cloud basiert. Alle vorherigen arbeiteten an AWS. Nach unserer Erfahrung ist AWS im Umgang mit Abrechnungsproblemen viel humaner. Sie warnen Sie vor verdächtigen Aktivitäten und geben Ihnen Zeit, dies zu erklären und herauszufinden. Sie treten dich nicht von der Treppe.

Ich hoffe, das GCP-Team hört zu und macht einen Unterschied. Bis dahin werde ich keine Projekte auf GCP veröffentlichen.