La visión de la máquina (radio) ve a través de las paredes.

A la izquierda, dos personas se dan la mano, una de ellas detrás de la pared de la cámara. A la derecha, un hombre en la oscuridad arroja un objeto a la persona que llama. A continuación se muestra el modelo esquelético generado y la predicción de acciones.

La visión de radio del equipo CSAIL (Computer Science and Artificial Intelligence Lab) ya estaba escrita en Habré ( una y dos veces ), hoy hay algunos detalles nuevos.

El algoritmo usa ondas de radio en lugar de luz visible para determinar qué están haciendo las personas sin mostrar cómo se ven.

La visión artificial tiene un historial impresionante. Tiene una capacidad sobrehumana para reconocer personas, rostros y objetos. Incluso puede reconocer varios tipos de acciones, aunque no tan bien como los humanos.

Pero su rendimiento es limitado. La visión artificial es especialmente difícil cuando las personas, caras u objetos están parcialmente cerrados. Y cuando el nivel de luz cae a 0, ellos, como las personas, están prácticamente ciegos.

Pero hay otra parte del espectro electromagnético que no es tan limitada. Las ondas de radio llenan nuestro mundo, ya sea de noche o de día. Atraviesan fácilmente las paredes, son transmitidos y reflejados por cuerpos humanos. De hecho, los investigadores han desarrollado varias formas de usar señales de radio Wi-Fi para ver a puerta cerrada.

Pero estos sistemas de radio visión tienen algunos inconvenientes. Su resolución es baja, las imágenes son ruidosas y están llenas de reflejos que distraen, lo que dificulta la comprensión de lo que está sucediendo.

En este sentido, las imágenes de radio e imágenes en luz visible tienen sus ventajas y desventajas adicionales. Y esto aumenta la probabilidad de usar las fortalezas de uno para superar las desventajas del otro.

Conozca a Tianhong Li y sus colegas en el MIT, quienes han encontrado una manera de enseñarle al sistema de radio a reconocer las acciones de las personas al enseñarlo usando imágenes en luz visible. El nuevo sistema de visión por radio le permite ver lo que hacen las personas en una amplia gama de situaciones en las que la visualización en luz visible es imposible. "Estamos presentando un modelo de red neuronal que puede detectar acciones humanas a través de paredes y oclusiones, así como en condiciones de poca luz ", dijeron Lee y compañía.



Mapa de calor de radiofrecuencia e imagen RGB grabada en paralelo.

El equipo usa un truco complicado. La idea principal es grabar imágenes de video de la misma escena usando luz visible y ondas de radio. Los sistemas de visión artificial ya son capaces de reconocer las acciones humanas a partir de imágenes en luz visible. Por lo tanto, el siguiente paso es correlacionar estas imágenes con las imágenes de radio de la misma escena.



Arquitectura RF-Action. RF-Action identifica actividades humanas por señal inalámbrica. Recupera el "esqueleto 3D" para cada persona del flujo sin procesar de la señal inalámbrica (cuadro amarillo). Luego, se detectan y reconocen las acciones de las secuencias extraídas de "esqueletos" (campo verde). El Marco de detección de acciones también puede aceptar esqueletos tridimensionales generados a partir de datos visuales como entrada (un rectángulo azul), lo que le permite entrenarse en esqueletos generados por frecuencias de radio, así como en bases de datos existentes con acciones reconocidas.

Sin embargo, la dificultad radica en garantizar que el proceso de aprendizaje se centre en el movimiento humano y no en otras cosas, como los antecedentes. Por lo tanto, Lee y el equipo introducen una etapa intermedia en la que la máquina genera modelos 3D de figuras que reproducen las acciones de las personas.

"Al traducir los datos en una representación intermedia basada en un esqueleto, nuestro modelo puede aprender de conjuntos de datos visuales y de radiofrecuencia, y permite que ambas tareas se ayuden mutuamente ", dijeron Lee y el equipo.

Por lo tanto, el sistema aprende a reconocer acciones en luz visible y luego reconoce las mismas acciones que ocurren en la oscuridad o detrás de las paredes usando ondas de radio. "Mostramos que nuestro modelo alcanza una precisión comparable a los sistemas de reconocimiento de visión basados ​​en la visión en escenarios visibles, y continúa trabajando con precisión cuando las personas no son visibles", dicen los investigadores.

Este es un trabajo interesante que tiene un potencial significativo. La aplicación obvia es en escenarios donde las imágenes con luz visible son imposibles, en condiciones de poca luz y a puerta cerrada.

Pero hay otras situaciones. Uno de los problemas con las imágenes visibles es que las personas son reconocibles, lo que causa problemas de privacidad.

Pero el sistema de radio no tiene la capacidad de reconocer caras. La identificación de acciones sin reconocimiento facial no plantea las mismas preocupaciones con respecto a la confidencialidad. "Puede llevar tecnología a los hogares de las personas e integrarla en los sistemas domésticos inteligentes ", dicen Lee y compañía. Esto se puede usar, por ejemplo, para monitorear la casa de una persona mayor y notificar a los servicios relevantes de una caída. Y eso sucedería sin mucho riesgo para la privacidad.

Esto va más allá de las capacidades de los sistemas modernos basados ​​en la visión.

Resultados

El resultado del trabajo en varios escenarios. Escenas visibles:





Superposición parcial o completa del campo de visión y poca iluminación. Los esqueletos se muestran en forma de proyecciones bidimensionales del modelo 3D generado:

• Artículo en arXiv.org: Hacer visible lo invisible: reconocimiento de acción a través de muros y oclusiones
  

---

Leer más artículos útiles:

• McKinsey: repensar la arquitectura de software y electrónica en automoción
• Otra guerra del sistema operativo ya está bajo el capó de los automóviles
• Código de programa en el auto
• En un automóvil moderno, hay más líneas de código que ...