Jaringan saraf mengenali dan memprediksi aktivitas manusia sehari-hari dari foto

Para ilmuwan berhasil mengembangkan jaringan saraf tiruan, yang dengan akurasi 83% menentukan jenis aktivitas dalam kehidupan sehari-hari seseorang dengan menganalisis pilihan foto dari "kamera pasif egosentris yang dapat dipakai", tanggal dan waktu saat ini. Selain itu, program dengan akurasi tinggi memprediksi tindakan pengguna di masa depan.

Ini adalah studi yang agak penting, yang memberikan peluang baru untuk blogging seumur hidup dan pekerjaan asisten digital pribadi - jika program tahu apa yang akan Anda lakukan dalam waktu dekat, ini dapat menunjukkan informasi kontekstual di muka, mengatur makanan / transportasi / pakaian, menyarankan Anda untuk pergi kerja lebih awal karena kemacetan lalu lintas dll.

Ilustrasi menunjukkan contoh frame individu dari sampel, dengan catatan yang sesuai dari classifier tematik.

Untuk terus mengumpulkan foto di latar belakang, peralatan khusus dan mahal tidak diperlukan. Cukup menggantungkan smartphone di leher dengan program khusus untuk mengambil foto dengan timer. Mungkin di masa depan program-program tersebut akan dimasukkan dalam perangkat standar smartphone.



Dalam percobaan ini, kamera yang dapat dipakai mengambil 40.103 foto selama enam bulan.

Alih-alih smartphone, Anda dapat menggunakan kamera standar yang dapat dikenakan atau kacamata augmented reality, Narrative Clip, MeCam, Google Glass, GoPro dan lainnya sesuai.

Pengembangan classifier dan pelatihan jaringan saraf dilakukan oleh sekelompok peneliti dari Georgia Institute of Technology (USA). Pertama, penggolong diatur secara manual, ketika foto-foto ditugaskan ke salah satu dari 19 kategori tematik, termasuk mengendarai mobil, menonton TV, berbicara dengan keluarga, kebersihan pribadi, makan, dll. Ketika melatih jaringan saraf, waktu hari dan hari dalam seminggu diperhitungkan, jadi metadata ini juga mempengaruhi ketepatan pengakuan kegiatan individu.

Setelah melatih jaringan saraf, ia menunjukkan keakuratan pengakuan aktivitas 83,07%. Tabel menunjukkan akurasi pengenalan berdasarkan kategori.



Kegiatan individu paling mudah dikacaukan dengan kegiatan lain yang spesifik, seperti yang terlihat dalam matriks kesalahan.



Program semacam itu dapat menemukan aplikasi dalam aplikasi penyelamatan hidup yang secara otomatis melacak aktivitas seseorang dan melihat perubahan dalam urusan rutinnya. Misalnya, asisten digital semacam itu mungkin memperhatikan perubahan dalam asupan makanan atau olahraga - dan memberikan saran yang kompeten. Selain itu, program ini dapat memberi saran bagaimana mengubah jadwal urusan sehari-hari agar dapat menggunakan waktu dengan lebih baik.

Analisis arsip multi-tahun dari foto sehari-hari dapat memberikan banyak informasi berguna. Misalnya, program ini akan memungkinkan Anda untuk melacak perkembangan penyakit atau kemajuan dalam hubungan keluarga selama bertahun-tahun, perubahan dalam gaya hidup seseorang. Ini adalah informasi berharga tidak hanya untuk dokter dan polisi, tetapi juga, misalnya, untuk pemilihan otomatis istri / suami dengan kompatibilitas sempurna.

Makalah ilmiah "Memprediksi Aktivitas Harian Dari Gambar Egosentris Menggunakan Pembelajaran Dalam" disajikan pada Konferensi ACM ( pdf ).

Source: https://habr.com/ru/post/id385659/