À gauche, deux personnes se serrent la main, l'une derrière le mur de la caméra. À droite, un homme dans le noir jette un objet à la personne qui appelle. Ci-dessous, le modèle squelettique généré et la prédiction des actions.La vision radio de l'équipe CSAIL (Laboratoire d'Informatique et d'Intelligence Artificielle) a déjà été écrite sur Habré ( une et deux fois ), aujourd'hui il y a de nouveaux détails.
L'algorithme utilise les ondes radio plutôt que la lumière visible pour déterminer ce que les gens font sans montrer à quoi ils ressemblent.
La vision industrielle a un bilan impressionnant. Il a une capacité surhumaine de reconnaître les personnes, les visages et les objets. Il peut même reconnaître différents types d'actions, mais pas aussi bien que les humains.
Mais ses performances sont limitées. La vision industrielle est particulièrement difficile lorsque les personnes, les visages ou les objets sont partiellement fermés. Et lorsque le niveau de lumière tombe à 0, ils, comme les gens, sont pratiquement aveugles.
Mais il y a une autre partie du spectre électromagnétique qui n'est pas si limitée. Les ondes radio remplissent notre monde, que ce soit la nuit ou le jour. Ils traversent facilement les murs, sont transmis et réfléchis par les corps humains. En effet, les chercheurs ont développé différentes façons d'utiliser les signaux radio Wi-Fi pour voir derrière des portes closes.
Mais ces systèmes de radio-vision présentent certains inconvénients. Leur résolution est faible, les images sont bruyantes et remplies de reflets gênants, ce qui rend difficile la compréhension de ce qui se passe.
En ce sens, les images radio et les images en lumière visible ont leurs avantages et leurs inconvénients supplémentaires. Et cela augmente la probabilité d'utiliser les points forts de l'un pour surmonter les lacunes de l'autre.
Rencontrez Tianhong Li et ses collègues du MIT, qui ont trouvé un moyen d'apprendre au système radio à reconnaître les actions des gens en l'enseignant à l'aide d'images en lumière visible. Le nouveau système de radio-vision vous permet de voir ce que les gens font dans un large éventail de situations où la visualisation en lumière visible est impossible.
«Nous introduisons un modèle de réseau de neurones qui peut détecter les actions humaines à travers les murs et les occlusions, ainsi que dans de mauvaises conditions d'éclairage », a déclaré Lee and Co.
Carte thermique radiofréquence et image RVB enregistrées en parallèle.L'équipe utilise une astuce délicate. L'idée principale est d'enregistrer des images vidéo de la même scène en utilisant la lumière visible et les ondes radio. Les systèmes de vision industrielle sont déjà capables de reconnaître les actions humaines à partir d'images en lumière visible. Par conséquent, l'étape suivante consiste à corréler ces images avec les images radio de la même scène.
Architecture RF-Action. RF-Action identifie les activités humaines par un signal sans fil. Récupère le «squelette 3D» pour chaque personne à partir du flux brut du signal sans fil (boîte jaune). Ensuite, les actions des séquences extraites de «squelettes» (champ vert) sont détectées et reconnues. L'Action Detection Framework peut également accepter en entrée des squelettes tridimensionnels générés à partir de données visuelles (un rectangle bleu), ce qui vous permet de vous entraîner sur des squelettes générés par des radiofréquences, ainsi que sur des bases de données existantes avec des actions reconnues.Cependant, la difficulté consiste à s'assurer que le processus d'apprentissage est axé sur le mouvement humain, et non sur d'autres choses, telles que le fond. Par conséquent, Lee et l'équipe introduisent une étape intermédiaire dans laquelle la machine génère des modèles 3D de figures qui reproduisent les actions des personnes.
«En traduisant les données en une représentation intermédiaire basée sur un squelette, notre modèle peut apprendre des ensembles de données visuelles et radiofréquences, et permet aux deux tâches de s'entraider », ont déclaré Lee et l'équipe.
Ainsi, le système apprend à reconnaître les actions en lumière visible, puis à reconnaître les mêmes actions se produisant dans l'obscurité ou derrière les murs à l'aide d'ondes radio. "Nous montrons que notre modèle atteint une précision comparable aux systèmes de reconnaissance de la vision basés sur la vision dans des scénarios visibles, et continue de fonctionner avec précision lorsque les gens ne sont pas visibles", disent les chercheurs.
Il s'agit d'un travail intéressant qui a un potentiel important. L'application évidente est dans les scénarios où les images en lumière visible sont impossibles - dans des conditions de faible luminosité et derrière des portes fermées.
Mais il y a d'autres situations. L'un des problèmes avec les images visibles est que les gens sont reconnaissables, ce qui cause des problèmes de confidentialité.
Mais le système radio n'a pas la capacité de reconnaître les visages. L'identification des actions sans reconnaissance faciale ne soulève pas les mêmes préoccupations en matière de confidentialité.
«Il peut apporter de la technologie au domicile des gens et l'intégrer dans des systèmes de maison intelligente », déclare Lee and Co.. Cela peut être utilisé, par exemple, pour surveiller la maison d'une personne âgée et informer les services compétents d'une chute. Et cela se produirait sans grand risque pour la vie privée.
Cela va au-delà des capacités des systèmes modernes basés sur la vision.
Résultats
Le résultat du travail dans divers scénarios. Scènes visibles:
Chevauchement partiel ou complet du champ de vision et mauvais éclairage. Les squelettes sont représentés sous la forme de projections bidimensionnelles du modèle 3D généré:
À propos d'ITELMANous sommes une grande entreprise de composants
automobiles . L'entreprise emploie environ 2 500 personnes, dont 650 ingénieurs.
Nous sommes peut-être le centre de compétences le plus puissant de Russie pour le développement de l'électronique automobile en Russie. Maintenant, nous sommes en pleine croissance et nous avons ouvert de nombreux postes vacants (environ 30, y compris dans les régions), tels qu'un ingénieur logiciel, un ingénieur de conception, un ingénieur de développement principal (programmeur DSP), etc.
Nous avons de nombreux défis intéressants de la part des constructeurs automobiles et des préoccupations qui animent l'industrie. Si vous souhaitez évoluer en tant que spécialiste et apprendre des meilleurs, nous serons heureux de vous voir dans notre équipe. Nous sommes également prêts à partager l'expertise, la chose la plus importante qui se passe dans l'automobile. Posez-nous des questions, nous répondrons, nous discuterons.
Lisez d'autres articles utiles: