Mit Amazon AI ist es ganz einfach, von Nutzern obszöne Inhalte zu verarbeiten

Tausende Unternehmen verwenden den Bildverarbeitungsdienst von Amazon Rekognition, um nach obszönen Bildern und Videos zu suchen, die von Benutzern hochgeladen wurden

Die umstrittene Rekognition-Technologie von Amazon wird bereits zum Entfernen von Penisbildern von Food-Websites verwendet. Zumindest ist dies ein Beispiel für seine Verwendung. Irgendwann hatte der in London ansässige Lebensmittel-Lieferservice Deliveroo Probleme mit der Moderation von Inhalten. Im Falle eines Lebensmittelproblems senden Deliveroo-Kunden ein Foto des Essens zusammen mit einer Beschwerde. Und oft machen sie Fotobomben mit ihren Genitalien. Oder obszöne Bilder von Lebensmitteln machen. Ja wirklich.

Und so stellt sich heraus, dass sich Deliveroo-Mitarbeiter nicht immer mit solchen Inhalten auseinandersetzen wollen. Aus diesem Grund verwendet das Unternehmen die Funktion "Erkennung", um obszöne Fotos zu erkennen und zu verwischen oder zu entfernen, bevor eine Person sie sieht.

Problem Deliveroo präsentiert eine etwas seltsame Facette eines zunehmend komplexeren Problems. Auf die eine oder andere Weise verlassen sich viele Online-Unternehmen auf benutzergenerierte Inhalte. In den letzten Jahren sind wir zunehmend mit dem Eindringen in diesen Inhalt der dunklen Seite der menschlichen Natur konfrontiert. Die Moderation von Inhalten ist zu einer Priorität geworden, da Websites zunehmend mit unangenehmen Materialien wie falschen Nachrichten, Gewalt, Diphfeiks, Mobbing, aggressiven Rhetoriken und anderen toxischen Inhalten, die von Nutzern erstellt wurden, konfrontiert werden. Wenn Sie Facebook sind, können Sie zur Lösung dieses Problems Ihre eigene KI entwickeln oder eine Armee von Moderatoren einstellen - oder beides. Kleinere Unternehmen mit wenigen Ressourcen verfügen jedoch häufig nicht über diese Fähigkeit. Hier hilft der Content-Moderationsdienst von Amazon.

Dieser Service ist Teil des Computer Vision Services-Pakets von Rekognition, das von Amazon Web Services bereitgestellt wird. In der Presse wurde er häufig dafür kritisiert , dass das Unternehmen bereit war , Gesichtserkennungsdienste für den US-Migrationsdienst bereitzustellen. Auf der Rekognition-Website finden Sie weitere Beispiele für die Verwendung des Dienstes zur Verfolgung, z. B. die Möglichkeit, Autonummern aus verschiedenen Blickwinkeln in einem Video zu erkennen oder den Pfad einer Person mithilfe von Kameraaufzeichnungen zu verfolgen .

Auf der Suche nach einem positiveren Image des Computer-Vision-Dienstes sprach Amazon zunächst darüber, mithilfe von Rekognition Benutzerinhalte zu überwachen, um Gewalt und Unanständigkeit zu beseitigen. Mit diesem Dienst können Sie unsichere oder unangenehme Inhalte auf Bildern und Videos erkennen, die auf die Website hochgeladen wurden.

Und dieses Geschäft wächst. „Die Rolle von nutzergenerierten Inhalten wächst von Jahr zu Jahr explosionsartig - heute teilen wir bereits 2-3 Bilder täglich in sozialen Netzwerken mit unseren Freunden und Verwandten“, sagt Swami Sivasubramanyan, Amazon Vice President, Amazon. Laut Shivasubramanyan bietet Amazon seit 2017 Content-Moderation-Services auf Kundenwunsch an.

Firmen können für Rekognition bezahlen, anstatt Leute einzustellen, um herunterladbare Bilder zu studieren. Wie bei anderen Diensten mit AWS funktioniert es nach einem Pay-per-Use-Modell und seine Kosten hängen von der Anzahl der vom neuronalen Netzwerk verarbeiteten Bilder ab.

Es ist nicht verwunderlich, dass Dating-Services zu den ersten Nutzern von Content Management gehörten - sie müssen Selfies, die in Benutzerprofile hochgeladen wurden, schnell verarbeiten können. Amazon sagt, dass Dating-Sites Coffee Meets Bagel und Shaadi diesen Service nur für diesen Zweck nutzen - wie die portugiesische Soul-Site, die Menschen hilft, Dating-Sites zu erstellen.

AI ist nicht nur auf der Suche nach Nacktheit. Das neuronale Netz wurde darauf trainiert, jeden zweifelhaften Inhalt zu erkennen, einschließlich Bildern von Waffen oder Gewalt oder allgemein unangenehmen Bildern. Hier ist das Klassifizierungsmenü von der Erkennungsseite :

Explizite Nacktheit:

• nackter Körper;
• grafische Darstellung eines nackten männlichen Körpers;
• Grafik eines nackten weiblichen Körpers;
• sexuelle Aktivität;
• Demonstration von Nacktheit oder sexueller Aktivität
• Spielzeug für Erwachsene.

Verdächtiger Inhalt:

• Badeanzug oder Unterwäsche für Damen;
• Badehosen oder Unterwäsche für Herren;
• teilweise nackter Körper;
• offene Kleidung.

Inhalte, die Gewalt demonstrieren:

• grafische Darstellung von Gewalt oder Blut;
• körperlicher Missbrauch;
• Waffengewalt;
• Waffen;
• sich selbst verletzen.

Störender visueller Inhalt:

• abgemagerte Körper;
• Leichen;
• hängen.

Wie funktioniert das?

Wie alles in AWS läuft Rekognition in der Cloud. Das Unternehmen kann dem Service mitteilen, welche Art von Bildern es finden muss. Anschließend werden die von Benutzern empfangenen Fotos und Videos eingespeist, die in vielen Fällen ohnehin auf AWS-Servern gespeichert werden können.

Das neuronale Netzwerk verarbeitet Bilder, sucht nach diesen Inhalten und stellt potenziell unangenehme fest. Das neuronale Netzwerk erzeugt Metadaten, die den Inhalt der Bilder beschreiben, sowie einen Prozentsatz des Vertrauens in die ausgegebenen Etiketten. Es sieht ungefähr so ​​aus:



Diese Daten werden bereits vom clientseitigen Programm verarbeitet, das basierend auf den programmierten Geschäftsregeln entscheidet, was mit dem verarbeiteten Bild geschehen soll. Es kann es automatisch löschen, überspringen, Teile verwischen oder zur Überprüfung an den Moderator senden.

Neuronale Netze für die tiefe Bildverarbeitung haben viele Schichten. Jeder von ihnen wertet Daten aus, die verschiedene Aspekte der Bilder darstellen, führt Berechnungen durch und sendet das Ergebnis an die nächste Ebene. Erstens verarbeitet das Netzwerk Informationen auf niedriger Ebene, wie z. B. Grundformen oder die Anwesenheit einer Person in einem Bild.

„Dann verfeinert sie die Daten immer weiter, die nächsten Schichten werden spezifischer und so weiter“, erklärt Shivasubramanyan. Schicht für Schicht bestimmt das neuronale Netz mit immer größerer Sicherheit den Inhalt von Bildern.

Laut AWS-Vizepräsident von AI Matt Wood trainiert sein Team Computer Vision-Modelle an Millionen von privaten und öffentlich zugänglichen Bildern aus verschiedenen Sets. Er sagt, dass Amazon keine Bilder von Benutzern für diesen Zweck verwendet.

Bild für Bild

Einige der größten Rekognition-Clients verwenden diesen Dienst nicht zum Moderieren von benutzergenerierten Inhalten. Laut Amazon möchten große Medienunternehmen mit großen digitalen Videobibliotheken die Inhalte der einzelnen Frames anhand dieser Videos kennen. Das neuronale Netzwerk von Rekognition kann jede Sekunde eines Videos verarbeiten, mithilfe von Metadaten beschreiben und potenziell gefährliche Bilder kennzeichnen.

„Eine der Aufgaben des maschinellen Lernens ist es, Videos oder Bilder aufzunehmen und zusätzlichen Kontext bereitzustellen“, sagt Wood. "Man kann sagen, dass in diesem Video eine Frau mit einem Hund am Ufer eines Sees entlang spaziert oder ein teilweise gekleideter Mann abgebildet ist." In diesem Modus könne das neuronale Netz gefährliche, toxische oder unanständige Inhalte in Bildern mit hoher Genauigkeit erkennen.

Und doch ist dieser Bereich der Computer Vision noch nicht ausgereift. Wissenschaftler entdecken immer noch neue Wege, um neuronale Netzwerkalgorithmen zu optimieren, damit sie Bilder noch genauer und detaillierter erkennen können. "Wir haben noch keinen Zustand mit sinkenden Gewinnen erreicht", sagt Wood.

Shivasubramanyan erzählte mir, dass das Team, das an der Bildverarbeitung arbeitet, erst letzten Monat die Anzahl der falsch-positiven (wenn das Bild fälschlicherweise als gefährlich eingestuft wurde) um 68% und die Anzahl der falsch-negativen um 36% verringerte. "Wir haben die Möglichkeit, die Genauigkeit dieser APIs zu verbessern", sagt er.

Neben der Genauigkeit fordern Kunden eine detailliertere Klassifizierung der Bilder. Auf der AWS-Website wird angegeben, dass der Service nur die Hauptkategorie und eine Unterkategorie von unsicheren Bildern bereitstellt. Daher kann das System beispielsweise ausgeben, dass das Bild Nacktheit als Hauptkategorie und sexuelle Handlungen als Unterkategorie enthält. Die dritte Unterkategorie kann eine Klassifizierung der Art der sexuellen Aktivität enthalten.

"Bisher ist die Maschine anfällig für Fakten und funktioniert im wahrsten Sinne des Wortes. Sie wird Ihnen sagen, dass" dies dort gezeigt wird "", sagte Pietro Perona , Professor für Computer- und neuronale Systeme von Caltech, ein Berater von AWS. - Aber Wissenschaftler möchten über diesen Rahmen hinausgehen und nicht nur berichten, was dort abgebildet ist, sondern auch, was diese Leute denken. Infolgedessen möchte sich dieser Bereich in diese Richtung entwickeln - und nicht nur eine Liste der auf dem Bild gezeigten Bereiche herausgeben. “

Und solche subtilen Unterschiede können für die Moderation von Inhalten wichtig sein. Ob das Bild möglicherweise anstößige Inhalte enthält oder nicht, hängt möglicherweise von den Absichten der dort abgebildeten Personen ab.

Sogar die Definitionen von "unsicheren" und "missbräuchlichen" Bildern sind ziemlich verschwommen. Sie können sich im Laufe der Zeit ändern und hängen von der geografischen Region ab. Und Kontext ist alles, erklärt Perona. Bilder von Gewalt sind ein gutes Beispiel.

"Gewalt kann in einem Kontext inakzeptabel sein, wie echte Gewalt in Syrien", sagt Perona, "aber in einem anderen akzeptabel, wie einem Fußballspiel oder einer Szene aus einem Tarantino-Film."

Wie bei anderen AWS-Diensten verkauft Amazon nicht nur Tools zur Inhaltsmoderation an andere, sondern es ist sein eigener Kunde. Das Unternehmen teilt mit, dass es diesen Service verwendet, um von Nutzern erstellte Inhalte in Bilder und Videos zu sortieren, die zum Speichern von Bewertungen angehängt werden.