Das neuronale Netzwerk erkennt und sagt alltägliche menschliche Aktivitäten anhand von Fotografien voraus

Den Wissenschaftlern gelang es, ein künstliches neuronales Netzwerk zu entwickeln, das mit einer Genauigkeit von 83% die Arten von Aktivitäten im täglichen Leben eines Menschen bestimmt, indem es eine Auswahl von Fotos einer „passiven egozentrischen tragbaren Kamera“, das aktuelle Datum und die aktuelle Uhrzeit, analysiert. Darüber hinaus sagt das Programm mit hoher Genauigkeit zukünftige Benutzeraktionen voraus.

Dies ist eine ziemlich wichtige Studie, die neue Möglichkeiten für das Bloggen im Leben und die Arbeit persönlicher digitaler Assistenten bietet. Wenn das Programm weiß, was Sie in naher Zukunft tun werden, kann es im Voraus Kontextinformationen anzeigen, Essen / Transport / Kleidung arrangieren und Ihnen raten, frühzeitig zur Arbeit zu gehen wegen Staus etc.

Die Abbildung zeigt ein Beispiel für einzelne Frames aus dem Beispiel mit den entsprechenden Anmerkungen zum thematischen Klassifikator.

Für die kontinuierliche Erfassung von Fotos im Hintergrund ist keine spezielle und teure Ausrüstung erforderlich. Es reicht aus, ein Smartphone mit einem speziellen Programm zum Fotografieren per Timer um den Hals zu hängen. Vielleicht werden solche Programme in Zukunft in den Standard-Smartphones enthalten sein.



In diesem Experiment machte die tragbare Kamera über einen Zeitraum von sechs Monaten 40.103 Fotos.

Anstelle eines Smartphones können Sie tragbare Standardkameras oder Augmented-Reality-Brillen verwenden. Narrative Clip, MeCam, Google Glass, GoPro und andere sind geeignet.

Die Entwicklung des Klassifikators und das Training des neuronalen Netzwerks wurden von einer Gruppe von Forschern des Georgia Institute of Technology (USA) durchgeführt. Zunächst wurde der Klassifikator manuell eingerichtet, als die Fotos einer von 19 thematischen Kategorien zugeordnet wurden, darunter Autofahren, Fernsehen, Gespräche mit der Familie, persönliche Hygiene, Essen usw. Beim Training eines neuronalen Netzwerks wurden die Tageszeit und der Wochentag berücksichtigt, sodass diese Metadaten berücksichtigt wurden beeinflusste auch die Erkennungsgenauigkeit einzelner Aktivitäten.

Nach dem Training des neuronalen Netzes zeigte sie eine Genauigkeit der Erkennung von Aktivitäten von 83,07%. Die Tabelle zeigt die Erkennungsgenauigkeit nach Kategorien.



Einzelne Aktivitäten wurden am leichtesten mit bestimmten anderen Aktivitäten verwechselt, wie aus der Fehlermatrix hervorgeht.



Solche Programme finden Anwendung in Lifelogging-Anwendungen, die automatisch die Aktivitäten einer Person verfolgen und Änderungen in ihren Routineangelegenheiten feststellen. Beispielsweise kann ein solcher digitaler Assistent Änderungen bei der Nahrungsaufnahme oder beim Sport bemerken - und kompetente Ratschläge geben. Darüber hinaus kann das Programm beraten, wie der Zeitplan für die täglichen Angelegenheiten geändert werden kann, um die Zeit besser nutzen zu können.

Eine Analyse eines mehrjährigen Archivs alltäglicher Fotografien kann viele nützliche Informationen liefern. Mit dem Programm können Sie beispielsweise die Entwicklung der Krankheit oder den Fortschritt in familiären Beziehungen im Laufe der Jahre verfolgen, eine Änderung des Lebensstils einer Person. Dies sind wertvolle Informationen nicht nur für Ärzte und Polizei, sondern beispielsweise auch für die automatische Auswahl einer Frau / eines Mannes mit perfekter Kompatibilität.

Das wissenschaftliche Papier "Vorhersage täglicher Aktivitäten aus egozentrischen Bildern mithilfe von Deep Learning" wurde auf der ACM-Konferenz vorgestellt ( pdf ).

Source: https://habr.com/ru/post/de385659/