Eye in the Sky: drone de patrouille avec reconnaissance de la violence dans les foules et les lieux publics

L'illustration de gauche montre 14 points clés du corps humain reconnus par le système de vision industrielle: tête, cou, épaules, coudes, poignets, hanches, genoux, chevilles. En haut à droite se trouve le drone Parrot AR avec un système de reconnaissance de la violence. En bas à droite, les éléments photo individuels du jeu de données de formation avec les points clés

De nos jours, les drones sont de plus en plus utilisés par les forces de l'ordre et les services de renseignement. Habituellement pour l'espionnage, le renseignement, le contrôle des frontières, etc. La police n'utilise pas très activement des drones pour patrouiller dans les rues de la ville. Mais là réside un énorme potentiel. Les drones de patrouille peuvent réduire considérablement les salaires du personnel. Ils couvrent de grandes surfaces et voient parfaitement dans l'obscurité.

Dans le contexte de l'augmentation de la criminalité et de la menace du terrorisme dans de nombreux pays, les autorités souhaitent renforcer le contrôle de la population civile. Les drones automatiques avec reconnaissance automatique de la violence sont des systèmes de nouvelle génération qui ouvrent les portes à des systèmes encore plus autonomes et intelligents pour répondre aux émeutes de rue et au hooliganisme.

Auparavant, les drones étaient principalement utilisés en mode «manuel». Ils sont donc sous le contrôle d'un opérateur qui suit simultanément l'image du caméscope. Mais ce mode limite considérablement l'utilisation massive des drones, car chaque drone a besoin d'un opérateur distinct.

Les systèmes de vision industrielle suppriment cette limitation. Ils vous permettent d'envoyer des centaines et des milliers de drones le long des itinéraires spécifiés, et l'opérateur ne fait attention qu'aux alarmes qui se déclenchent lorsque certains signes sont reconnus. De tels systèmes ont déjà été développés pour la patrouille automatique d'objets afin de détecter des incendies, des dommages au pipeline, etc. En 2010, un système a été développé pour les forces de l'ordre avec l'identification des «objets abandonnés», c'est-à-dire des sacs et colis laissés dans des lieux publics. La reconnaissance automatique de la violence est la prochaine étape logique, vous permettant d'utiliser des drones pour patrouiller les foules et les lieux publics.

En 2009, un article scientifique a été publié décrivant un système de vision industrielle pour reconnaître automatiquement les crimes dans les lieux publics à l'aide de l'analyse de mouvement. Elle détermine avec précision environ 85% des actions telles que saisir un portefeuille d'un passant, kidnapper un enfant, etc.

Ces systèmes réussissent très bien à détecter divers actes criminels. Malgré une précision impressionnante (dans certains cas plus de 90% de précision), leur portée est très limitée.

En 2014, les chercheurs ont proposé le premier système de drone pour reconnaître automatiquement la violence dans les lieux publics, le premier du genre à utiliser un modèle de parties déformables pour évaluer la posture d'une personne avec une identification plus poussée des personnes suspectes par leurs poses. Il s'agit d'une tâche de vision industrielle extrêmement difficile car les photos et vidéos de drones peuvent souffrir de changements d'éclairage, d'ombres, de détails faibles et de flou. De plus, les personnes apparaissent à différents endroits du cadre et dans différentes positions. Le système a déterminé la violence avec une précision d'environ 76%, ce qui est bien inférieur à celui des systèmes hautement spécialisés décrits ci-dessus.

Le nouveau développement des scientifiques de l'Université de Cambridge (Grande-Bretagne), du National Institute of Technology (Inde) et de l'Indian Institute of Science de Bangalore présente un système amélioré pour la reconnaissance autonome en temps réel de la violence en utilisant le réseau de pyramides de caractéristiques (FPN), le réseau d'apprentissage hybride ScatterNet (ScatterNet Hybrid Deep Learning (SHDL) et calcul de l'orientation entre les membres de la pose calculée à l'aide de la machine à vecteur de support (SVM). Le fonctionnement du pipeline de reconnaissance est illustré en détail dans l'illustration.


Un convoyeur prédisant la posture d'une personne qui peut être utilisé pour prédire la violence dans les foules et les lieux publics. Le cadre reconnaît d'abord les personnes dans des images prises par une caméra de drone. Des fragments de photographies avec des images de personnes entrent en entrée sur le réseau SHDL, où ScatterNet opère sur le front-end pour extraire les signes décrits manuellement à partir des images d'entrée. Les caractéristiques extraites de trois couches sont combinées et alimentées à l'entrée de quatre couches convolutives du réseau de régression qui s'exécute sur le backend.

La précision moyenne de la reconnaissance de la violence dans le nouveau système est de 88,8%, dont 89% pour les coups de pied, 94% pour les coups de pied, 82% pour les tirs, 85% pour l'étranglement et 92% pour les coups de couteau. C'est nettement plus élevé que le système précédent en 2014.


L'article scientifique a été publié le 3 juin 2018 sur le site de préimpression arXiv.org et sera présenté lors des ateliers IEEE Computer Vision and Pattern Recognition (CVPR) 2018 IEEE Conference on Computer Vision and Pattern Recognition.