Auge in den Himmel: Patrouillendrohne mit Anerkennung von Gewalt in Menschenmengen und an öffentlichen Orten

Die Abbildung links zeigt 14 wichtige Punkte am menschlichen Körper, die das Bildverarbeitungssystem erkennt: Kopf, Hals, Schultern, Ellbogen, Handgelenke, Hüften, Knie, Knöchel. Oben rechts befindet sich die Parrot AR-Drohne mit einem Gewalterkennungssystem. Unten rechts die einzelnen Fotoelemente aus dem Trainingsdatensatz mit Schlüsselpunkten

Heutzutage werden UAVs zunehmend von Strafverfolgungsbehörden und Geheimdiensten eingesetzt. Normalerweise für Spionage, Geheimdienste, Grenzkontrollen usw. Die Polizei setzt Drohnen nicht sehr aktiv ein, um die Straßen der Stadt zu patrouillieren. Aber hier liegt ein großes Potenzial. Patrouillendrohnen können die Gehälter der Mitarbeiter erheblich senken. Sie bedecken große Flächen und sehen perfekt im Dunkeln.

Im Zusammenhang mit der Zunahme der Kriminalität und der Bedrohung durch den Terrorismus in vielen Ländern sind die Behörden daran interessiert, die Kontrolle über die Zivilbevölkerung zu stärken. Automatische Drohnen mit automatischer Erkennung von Gewalt sind Systeme der neuen Generation, die die Türen zu noch autonomeren und intelligenteren Systemen öffnen, um auf Straßenunruhen und Rowdytum zu reagieren.

Bisher wurden UAVs hauptsächlich im „manuellen“ Modus verwendet. Sie stehen also unter der Kontrolle eines Bedieners, der gleichzeitig das Bild vom Camcorder aus verfolgt. Dieser Modus schränkt den Masseneinsatz von Drohnen jedoch stark ein, da jedes UAV einen separaten Bediener benötigt.

Bildverarbeitungssysteme beseitigen diese Einschränkung. Mit ihnen können Sie Hunderte und Tausende von Drohnen entlang der angegebenen Routen senden, und der Bediener achtet nur auf Alarme, die ausgelöst werden, wenn bestimmte Zeichen erkannt werden. Solche Systeme wurden bereits für die automatische Überwachung von Objekten zur Erkennung von Bränden, Schäden an der Pipeline usw. entwickelt. Im Jahr 2010 wurde ein System für Strafverfolgungsbehörden entwickelt, mit dem „verlassene Objekte“ identifiziert werden können , dh Taschen und Pakete, die an öffentlichen Orten zurückgelassen werden. Die automatische Erkennung von Gewalt ist der nächste logische Schritt, mit dem Sie UAVs verwenden können, um Menschenmengen und öffentliche Orte zu patrouillieren.

Im Jahr 2009 wurde ein wissenschaftliches Papier veröffentlicht, das ein Bildverarbeitungssystem beschreibt, mit dem Verbrechen an öffentlichen Orten mithilfe von Bewegungsanalysen automatisch erkannt werden können. Sie bestimmt mit Genauigkeit etwa 85% solcher Aktionen wie das Ergreifen einer Brieftasche von einem Passanten, die Entführung eines Kindes usw.

Solche Systeme sind sehr erfolgreich bei der Aufdeckung verschiedener Straftaten. Trotz beeindruckender Genauigkeit (in einigen Fällen mehr als 90% Genauigkeit) haben sie einen sehr begrenzten Umfang.

2014 schlugen die Forscher das erste UAV-System zur automatischen Erkennung von Gewalt an öffentlichen Orten vor, das erste seiner Art, das ein Modell deformierbarer Teile verwendet , um die Haltung einer Person zu bewerten und verdächtige Personen anhand ihrer Posen weiter zu identifizieren. Dies ist eine äußerst schwierige Bildverarbeitungsaufgabe, da Drohnenfotos und -videos unter Änderungen der Beleuchtung, Schatten, geringen Details und Unschärfe leiden können. Darüber hinaus erscheinen Personen an verschiedenen Stellen des Rahmens und an verschiedenen Positionen. Das System bestimmte Gewalt mit einer Genauigkeit von etwa 76%, was viel niedriger ist als die der oben beschriebenen hochspezialisierten Systeme.

Die neue Entwicklung von Wissenschaftlern der Universität Cambridge (Großbritannien), des National Institute of Technology (Indien) und des Indian Institute of Science in Bangalore bietet ein verbessertes System zur autonomen Echtzeiterkennung von Gewalt mithilfe des Feature-Pyramid-Netzwerks (FPN), eines hybriden Deep-Learning-Netzwerks ScatterNet (ScatterNet) Hybrid Deep Learning (SHDL) und Berechnung der Orientierung zwischen den Gliedmaßen der berechneten Pose mithilfe der Support Vector Machine (SVM). Der Betrieb der Erkennungspipeline ist in der Abbildung detailliert dargestellt.


Ein Förderband, das die Haltung einer Person vorhersagt und zur Vorhersage von Gewalt in Menschenmengen und an öffentlichen Orten verwendet werden kann. Das Framework erkennt zuerst Personen in Bildern, die von einer Drohnenkamera aufgenommen wurden. Fragmente von Fotos mit Bildern von Personen werden als Eingabe in das SHDL-Netzwerk eingegeben, wo ScatterNet am Frontend arbeitet, um manuell beschriebene Zeichen aus den Eingabebildern zu extrahieren. Die aus drei Schichten extrahierten Eigenschaften werden kombiniert und der Eingabe von vier Faltungsschichten des Regressionsnetzwerks zugeführt, das im Backend ausgeführt wird.

Die durchschnittliche Genauigkeit beim Erkennen von Gewalt im neuen System beträgt 88,8%, einschließlich 89% für Tritte, 94% für Tritte, 82% für Schüsse, 85% für Würgen und 92% für Stechen. Dies ist deutlich höher als das vorherige System im Jahr 2014.


Der wissenschaftliche Artikel wurde am 3. Juni 2018 auf der Preprint-Website von arXiv.org veröffentlicht und wird auf den IEEE-Workshops 2018 zu Computer Vision und Mustererkennung vorgestellt.