Google kündigt einen Wettbewerb für Angriffe auf Bildverarbeitungsalgorithmen an

Die Bilderkennung mithilfe neuronaler Netze wird immer besser, aber bisher haben Forscher einige ihrer grundlegenden Mängel nicht überwunden. Wo eine Person zum Beispiel ein Fahrrad klar und deutlich sieht, kann sogar eine fortgeschrittene, ausgebildete KI einen Vogel sehen.

Oft liegt der Grund in den sogenannten "schädlichen Daten" (oder "Wettbewerbselementen" oder "böswilligen Kopien" oder noch mehr Optionen, da die "gegnerischen Beispiele" keine allgemein akzeptierte Übersetzung erhalten haben). Dies sind die Daten, die der Klassifikator für neuronale Netze täuscht und Zeichen anderer Klassen auf ihn überträgt - Informationen, die für die menschliche Wahrnehmung nicht wichtig und nicht sichtbar sind, aber für die Bildverarbeitung erforderlich sind.

Forscher von Google haben 2015 eine Arbeit veröffentlicht, in der sie das Problem anhand dieses Beispiels veranschaulichten:


Ein "schädlicher" Farbverlauf wurde auf das Bild des Pandas angewendet. Die Person in dem resultierenden Bild sieht den Panda natürlich weiterhin, und das neuronale Netzwerk erkennt ihn als Gibbon, da die Zeichen einer anderen Klasse in den Teilen des Bildes, durch die das neuronale Netzwerk gelernt hat, Pandas zu identifizieren, speziell gemischt wurden.

In Bereichen, in denen die Bildverarbeitung äußerst genau sein muss und Fehler, Hacking und die Aktionen von Angreifern schwerwiegende Folgen haben können, sind schädliche Daten ein ernstes Hindernis für die Entwicklung. Der Kampf schreitet nur langsam voran, und GoogleAI (die KI-Forschungseinheit von Google) hat beschlossen, die Macht der Community zu nutzen und einen Wettbewerb zu organisieren.

Das Unternehmen bietet jedem die Möglichkeit, eigene Mechanismen zum Schutz vor schädlichen Daten zu erstellen oder umgekehrt - perfekt verwöhnte Bilder, die kein Algorithmus korrekt erkennt. Wer das Beste kann, bekommt einen großen Geldpreis (Größe wurde noch nicht bekannt gegeben).

Der Wettbewerb beginnt mit dem Aufwärmen und Ausführen der ersten Algorithmen für einfache Angriffe mit schädlichen Daten. Google hat drei Datensätze mit gängigen und gut untersuchten Betrugsarten ausgewählt. Die Teilnehmer müssen Algorithmen erstellen, die alle in ihnen vorgeschlagenen Bilder ohne einen einzigen Fehler oder eine vage Antwort erkennen.

Da die Bedingungen, auf denen schädliche Daten in Heizungsdatensätzen basieren, bekannt und verfügbar sind, erwarten die Organisatoren von den Teilnehmern, dass sie auf einfache Weise maßgeschneiderte Algorithmen speziell für diese Angriffe erstellen können. Deshalb warnen sie - die offensichtlichste der vorhandenen Lösungen hat in der zweiten Runde keine einzige Chance. Es beginnt nach dem Aufwärmen und es wird bereits einen Wettbewerbsteil geben, bei dem die Teilnehmer in Angreifer und Verteidiger aufgeteilt werden.


Der Wettbewerb dreht sich um die Erkennung von Bildern mit Vögeln und Fahrrädern. Zunächst wird jedes vorgeschlagene Bild von Personen angesehen und ein anonymes Urteil gefällt, das dort abgebildet ist. Ein Bild wird nur dann in den Datensatz aufgenommen, wenn alle Richter der Meinung sind, dass es entweder einen Vogel oder ein Fahrrad deutlich zeigt und es keine Anzeichen offensichtlicher Verwirrung gibt (z. B. Vögel auf Fahrrädern oder nur abstrakte Muster und Fotos).


Oben sind Beispiele für geeignete Bilder, unten sind sie ungeeignet

Die verteidigenden Teilnehmer müssen einen Algorithmus erstellen, der die Bilder ohne einen einzigen Fehler in drei Kategorien unterteilt - "Vögel", "Fahrräder" und "unbestimmt".

Das heißt, im Wettbewerbsstadium kann der Algorithmus - anders als beim Aufwärmen - möglicherweise nicht antworten, aber gemäß den Ergebnissen der Verarbeitung des Datensatzes sollten nicht mehr als 20% der Bilder auf unbestimmte Zeit fallen.

Die technischen Anforderungen für die Algorithmen sind wie folgt:

• 80% der Bilder sollten erkannt werden. Fehler sind nicht erlaubt. Wenn sich Teilnehmer bereits während der Wettbewerbsphase anmelden, müssen sie die beiden vorherigen Datensätze erfolgreich verarbeiten.
• Die Bandbreite des Tesla P100 muss mindestens 1 Bild pro Minute betragen.
• Das System sollte leicht zu lesen sein und in TensorFlow, PyTorch, Caffe oder NumPy geschrieben sein. Zu verwirrende und schwer zu reproduzierende Systeme können durch Entscheidung der Richter aus dem Wettbewerb entfernt werden.

Wenn der Schutzalgorithmus 90 Tage ohne Fehler dauert, nehmen seine Ersteller die Hälfte des Preispools weg.

Angreifer erhalten Zugriff auf nicht geschulte Modelle und auf den gesamten Quellcode der Algorithmen.

Ihre Aufgabe ist es, ein Bild zu erstellen, das alle Richter als eindeutiges Bild eines Fahrrads oder Vogels akzeptieren, und der Algorithmus wird die falsche Entscheidung treffen. Google sammelt alle vorgeschlagenen Bilder für jede Woche, sendet sie dann zur Überprüfung und nimmt sie erst dann in die Datensätze auf.

Wenn es den Angreifern gelingt, den Algorithmus zu täuschen, der mit den vorherigen Aufgaben fertig wurde, erhalten sie Geld aus der zweiten Hälfte des Preispools. Wenn mehrere Teams Erfolg haben, wird das Geld unter sich aufgeteilt.

Der Wettbewerb hat keine klaren Fristen und dauert so lange, bis der beste Schutzalgorithmus erscheint. Laut den Organisatoren ist ihr Ziel nicht nur ein System, das schwer zu umgehen ist, sondern ein neuronales Netzwerk, das gegen Angriffe völlig immun ist. Richtlinien für die Teilnahme finden Sie auf der Projektseite von Github .