La red neuronal reconoce y predice la actividad humana cotidiana a partir de fotografías.

Los científicos lograron desarrollar una red neuronal artificial, que con una precisión del 83% determina los tipos de actividad en la vida diaria de una persona mediante el análisis de una selección de fotos de una "cámara portátil pasiva egocéntrica", la fecha y hora actuales. Además, el programa con alta precisión predice las acciones futuras del usuario.

Este es un estudio bastante importante, que brinda nuevas oportunidades para los blogs de vida y el trabajo de asistentes digitales personales: si el programa sabe lo que va a hacer en el futuro cercano, puede mostrar información contextual de antemano, organizar la comida / transporte / ropa, aconsejarle que salga a trabajar temprano debido a embotellamientos, etc.

La ilustración muestra un ejemplo de cuadros individuales de la muestra, con las notas correspondientes del clasificador temático.

Para la colección continua de fotos en el fondo, no se requiere equipo especial y costoso. Es suficiente colgar un teléfono inteligente alrededor del cuello con un programa de temporizador especial para tomar fotos. Quizás en el futuro tales programas se incluirán en el conjunto estándar de teléfonos inteligentes.



En este experimento, la cámara portátil tomó 40,103 fotos durante un período de seis meses.

En lugar de un teléfono inteligente, puede usar cámaras portátiles estándar o gafas de realidad aumentada, Narrative Clip, MeCam, Google Glass, GoPro y otras son adecuadas.

El desarrollo del clasificador y la capacitación de la red neuronal fue realizado por un grupo de investigadores del Instituto de Tecnología de Georgia (EE. UU.). Primero, el clasificador se configuró manualmente, cuando las fotografías se asignaron a una de las 19 categorías temáticas, que incluyen conducir un automóvil, mirar televisión, hablar con la familia, higiene personal, comer, etc. Al entrenar una red neuronal, se tuvieron en cuenta la hora del día y el día de la semana También influyó en la precisión del reconocimiento de las actividades individuales.

Después de entrenar la red neuronal, mostró la precisión del reconocimiento de actividades del 83.07%. La tabla muestra la precisión del reconocimiento por categoría.



Las actividades individuales se confundieron más fácilmente con otras actividades específicas, como se ve en la matriz de errores.



Dichos programas pueden encontrar aplicaciones en aplicaciones de registro de vidas que rastrean automáticamente la actividad de una persona y notan cambios en sus asuntos de rutina. Por ejemplo, un asistente digital de este tipo puede notar cambios en la ingesta de alimentos o el ejercicio, y brindar asesoramiento competente. Además, el programa puede aconsejar cómo cambiar el horario de los asuntos diarios para hacer un mejor uso del tiempo.

Un análisis de un archivo multianual de fotos cotidianas puede proporcionar mucha información útil. Por ejemplo, el programa le permitirá seguir el desarrollo de la enfermedad o el progreso en las relaciones familiares a lo largo de los años, un cambio en el estilo de vida de una persona. Esta es una información valiosa no solo para médicos y policías, sino también, por ejemplo, para la selección automática de una esposa / esposo con compatibilidad perfecta.

El documento científico "Predicción de las actividades diarias a partir de imágenes egocéntricas utilizando el aprendizaje profundo" se presentó en la Conferencia ACM ( pdf ).

Source: https://habr.com/ru/post/es385659/