Le réseau de neurones reconnaît et prédit l'activité humaine quotidienne à partir de photographies

Les scientifiques ont réussi à développer un réseau de neurones artificiels qui, avec une précision de 83%, détermine les types d'activité dans la vie quotidienne d'une personne en analysant une sélection de photos provenant d'une "caméra portable égocentrique passive", la date et l'heure actuelles. De plus, le programme avec une grande précision prédit les actions futures des utilisateurs.

Il s'agit d'une étude assez importante, qui offre de nouvelles opportunités pour les blogs de vie et le travail des assistants numériques personnels - si le programme sait ce que vous allez faire dans un proche avenir, il peut afficher des informations contextuelles à l'avance, organiser la nourriture / le transport / les vêtements, vous conseiller de partir tôt pour le travail en raison des embouteillages, etc.

L'illustration montre un exemple d'images individuelles de l'échantillon, avec les notes correspondantes du classificateur thématique.

Pour la collecte continue de photos en arrière-plan, aucun équipement spécial et coûteux n'est requis. Il suffit de suspendre un smartphone autour du cou avec un programme de minuterie spécial pour prendre des photos. Peut-être qu'à l'avenir de tels programmes seront inclus dans l'ensemble standard de smartphones.



Dans cette expérience, l'appareil photo portable a pris 40 103 photos sur une période de six mois.

Au lieu d'un smartphone, vous pouvez utiliser des caméras portables standard ou des lunettes de réalité augmentée, Narrative Clip, MeCam, Google Glass, GoPro et d'autres conviennent.

Le développement du classificateur et la formation du réseau neuronal ont été réalisés par un groupe de chercheurs du Georgia Institute of Technology (USA). Tout d'abord, le classificateur a été configuré manuellement, lorsque les photos ont été affectées à l'une des 19 catégories thématiques, y compris la conduite d'une voiture, la télévision, la conversation, l'hygiène personnelle, l'alimentation, etc. a également influencé la précision de reconnaissance des activités individuelles.

Après avoir formé le réseau neuronal, elle a montré une précision de reconnaissance des activités de 83,07%. Le tableau montre la précision de la reconnaissance par catégorie.



Les activités individuelles étaient plus facilement confondues avec d'autres activités spécifiques, comme le montre la matrice des erreurs.



De tels programmes peuvent être utilisés dans des applications de sauvetage qui suivent automatiquement l'activité d'une personne et remarquent des changements dans sa routine. Par exemple, un tel assistant numérique peut remarquer des changements dans l'apport alimentaire ou l'exercice - et donner des conseils compétents. De plus, le programme peut vous conseiller sur la façon de modifier l'horaire des affaires quotidiennes afin de mieux utiliser le temps.

L'analyse d'une archive pluriannuelle de photographies de tous les jours peut fournir de nombreuses informations utiles. Par exemple, le programme vous permettra de suivre l'évolution de la maladie ou l'évolution des relations familiales au fil des ans, un changement dans le mode de vie d'une personne. Ces informations sont précieuses non seulement pour les médecins et la police, mais aussi, par exemple, pour la sélection automatique d'une femme / mari avec une parfaite compatibilité.

L'article scientifique "Predicting Daily Activities From Egocentric Images Using Deep Learning" a été présenté à la conférence ACM ( pdf ).

Source: https://habr.com/ru/post/fr385659/