A rede neural reconhece e prediz a atividade humana cotidiana a partir de fotografias

Os cientistas conseguiram desenvolver uma rede neural artificial, que com uma precisão de 83% determina os tipos de atividade na vida cotidiana de uma pessoa, analisando uma seleção de fotos de uma "câmera passiva egocêntrica vestível", a data e hora atuais. Além disso, o programa com alta precisão prevê ações futuras do usuário.

Este é um estudo bastante importante, que oferece novas oportunidades para blogs de vida e o trabalho de assistentes pessoais digitais - se o programa souber o que você fará em um futuro próximo, ele poderá mostrar informações contextuais com antecedência, providenciar comida / transporte / vestuário, aconselhá-lo a sair para o trabalho mais cedo devido a engarrafamentos etc.

A ilustração mostra um exemplo de quadros individuais da amostra, com as notas correspondentes do classificador temático.

Para coletar fotos constantemente em segundo plano, não é necessário equipamento especial e caro. Basta pendurar um smartphone no pescoço com um programa especial para tirar fotos com o timer. Talvez no futuro esses programas sejam incluídos no conjunto padrão de smartphones.



Nesta experiência, a câmera vestível tirou 40.103 fotos durante um período de seis meses.

Em vez de um smartphone, você pode usar câmeras vestíveis padrão ou óculos de realidade aumentada, Narrative Clip, MeCam, Google Glass, GoPro e outros são adequados.

O desenvolvimento do classificador e o treinamento da rede neural foram realizados por um grupo de pesquisadores do Georgia Institute of Technology (EUA). Primeiro, o classificador foi configurado manualmente, quando as fotografias foram atribuídas a uma das 19 categorias temáticas, incluindo dirigir um carro, assistir TV, conversar com a família, higiene pessoal, alimentação, etc. Ao treinar uma rede neural, foram consideradas a hora do dia e o dia da semana; também influenciou a precisão do reconhecimento das atividades individuais.

Após treinar a rede neural, ela demonstrou a precisão do reconhecimento das atividades de 83,07%. A tabela mostra a precisão do reconhecimento por categoria.



As atividades individuais foram mais facilmente confundidas com outras atividades específicas, como visto na matriz de erros.



Esses programas podem ser usados ​​em aplicativos de registro de vida que rastreiam automaticamente a atividade de uma pessoa e percebem alterações em sua rotina. Por exemplo, um assistente digital pode notar mudanças na ingestão de alimentos ou exercícios - e dar conselhos competentes. Além disso, o programa pode aconselhar como alterar a programação dos assuntos diários, a fim de aproveitar melhor o tempo.

Uma análise de um arquivo plurianual de fotografias diárias pode fornecer muitas informações úteis. Por exemplo, o programa permitirá acompanhar o desenvolvimento da doença ou o progresso nos relacionamentos familiares ao longo dos anos, uma mudança no estilo de vida de uma pessoa. Esta é uma informação valiosa não apenas para médicos e policiais, mas também, por exemplo, para a seleção automática de uma esposa / marido com perfeita compatibilidade.

O artigo científico "Prevendo atividades diárias a partir de imagens egocêntricas usando aprendizado profundo" foi apresentado na ACM Conference ( pdf ).

Source: https://habr.com/ru/post/pt385659/