Links schütteln sich zwei Personen die Hand, eine von ihnen hinter der Wand vor der Kamera. Rechts wirft ein Mann im Dunkeln ein Objekt zu der Person, die anruft. Unten sehen Sie das generierte Skelettmodell und die Vorhersage von Aktionen.Das CSAIL-Team (Computer Science and Artificial Intelligence Lab) hat bereits ( ein- und zweimal ) Radiosendungen über Habré geschrieben. Heute gibt es einige neue Details.
Der Algorithmus verwendet eher Radiowellen als sichtbares Licht, um zu bestimmen, was Menschen tun, ohne zu zeigen, wie sie aussehen.
Machine Vision hat eine beeindruckende Erfolgsbilanz. Es hat eine übermenschliche Fähigkeit, Menschen, Gesichter und Gegenstände zu erkennen. Es kann sogar verschiedene Arten von Handlungen erkennen, wenn auch nicht so gut wie Menschen.
Aber seine Leistung ist begrenzt. Machine Vision ist besonders schwierig, wenn Personen, Gesichter oder Gegenstände teilweise geschlossen sind. Und wenn das Lichtniveau auf 0 fällt, sind sie wie Menschen praktisch blind.
Es gibt jedoch einen anderen Teil des elektromagnetischen Spektrums, der nicht so eingeschränkt ist. Radiowellen füllen unsere Welt, ob es Tag oder Nacht ist. Sie passieren leicht Wände, werden von menschlichen Körpern übertragen und reflektiert. In der Tat haben Forscher verschiedene Möglichkeiten entwickelt, um mithilfe von WLAN-Funksignalen hinter verschlossenen Türen zu sehen.
Diese Funksysteme weisen jedoch einige Nachteile auf. Ihre Auflösung ist niedrig, die Bilder sind verrauscht und voller störender Reflexionen, was es schwierig macht zu verstehen, was passiert.
In diesem Sinne haben Radiobilder und Bilder im sichtbaren Licht ihre zusätzlichen Vor- und Nachteile. Und dies erhöht die Wahrscheinlichkeit, die Stärken des einen zu nutzen, um die Mängel des anderen zu überwinden.
Treffen Sie Tianhong Li und seine Kollegen am MIT, die einen Weg gefunden haben, dem Funksystem beizubringen, die Handlungen von Menschen zu erkennen, indem sie es unter Verwendung von Bildern im sichtbaren Licht lehren. Mit dem neuen Radio-Vision-System können Sie sehen, was Menschen in einer Vielzahl von Situationen tun, in denen eine Visualisierung im sichtbaren Licht nicht möglich ist.
"Wir führen ein neuronales Netzwerkmodell ein, das menschliche Handlungen durch Wände und Okklusionen sowie bei schlechten Lichtverhältnissen erkennen kann ", so Lee und Co.
Radiofrequenz-Heatmap und RGB-Bild werden parallel aufgezeichnet.Das Team wendet einen kniffligen Trick an. Die Hauptidee besteht darin, Videobilder derselben Szene unter Verwendung von sichtbarem Licht und Radiowellen aufzunehmen. Bildverarbeitungssysteme sind bereits in der Lage, menschliche Handlungen anhand von Bildern im sichtbaren Licht zu erkennen. Daher besteht der nächste Schritt darin, diese Bilder mit den Radiobildern derselben Szene zu korrelieren.
RF-Aktionsarchitektur. RF-Action identifiziert menschliche Aktivitäten durch ein Funksignal. Ruft das "3D-Skelett" für jede Person aus dem Rohdatenstrom des Funksignals ab (gelbes Kästchen). Dann werden Aktionen aus den extrahierten Sequenzen von "Skeletten" (grünes Feld) erkannt und erkannt. Das Action Detection Framework kann auch dreidimensionale Skelette, die aus visuellen Daten generiert wurden, als Eingabe akzeptieren (ein blaues Rechteck). Auf diese Weise können Sie Skelette, die durch Funkfrequenzen generiert wurden, sowie vorhandene Datenbanken mit erkannten Aktionen trainieren.Die Schwierigkeit besteht jedoch darin, sicherzustellen, dass der Lernprozess auf die menschliche Bewegung und nicht auf andere Dinge wie den Hintergrund ausgerichtet ist. Deshalb führen Lee und das Team eine Zwischenstufe ein, in der die Maschine 3D-Modelle von Figuren erstellt, die die Handlungen von Menschen reproduzieren.
„Durch die Übersetzung von Daten in eine Zwischendarstellung auf der Basis eines Skeletts kann unser Modell sowohl aus visuellen als auch aus Radiofrequenz-Datensätzen lernen und ermöglicht es beiden Aufgaben, sich gegenseitig zu helfen “, so Lee und das Team.
Auf diese Weise lernt das System, Aktionen im sichtbaren Licht zu erkennen und dieselben Aktionen, die im Dunkeln oder hinter Wänden auftreten, mithilfe von Funkwellen zu erkennen. „Wir zeigen, dass unser Modell eine Genauigkeit erreicht, die mit Seherkennungssystemen vergleichbar ist, die auf dem Sehen in sichtbaren Szenarien basieren, und weiterhin genau arbeitet, wenn Menschen nicht sichtbar sind“, sagen die Forscher.
Dies ist eine interessante Arbeit, die erhebliches Potenzial hat. Die offensichtliche Anwendung ist in Szenarien, in denen Bilder im sichtbaren Licht unmöglich sind - bei schlechten Lichtverhältnissen und hinter geschlossenen Türen.
Es gibt aber auch andere Situationen. Eines der Probleme mit sichtbaren Bildern besteht darin, dass Personen erkennbar sind, was Datenschutzprobleme verursacht.
Das Funksystem kann jedoch keine Gesichter erkennen. Die Identifizierung von Handlungen ohne Gesichtserkennung wirft nicht die gleichen Bedenken hinsichtlich der Vertraulichkeit auf.
"Es kann Technologie in die Häuser der Menschen bringen und in Smart-Home-Systeme integrieren ", sagen Lee und Co.. Dies kann zum Beispiel verwendet werden, um das Haus einer älteren Person zu überwachen und relevante Dienste über einen Sturz zu benachrichtigen. Und das würde ohne großes Risiko für die Privatsphäre geschehen.
Dies geht über die Möglichkeiten moderner Vision-basierter Systeme hinaus.
Ergebnisse
Das Ergebnis der Arbeit in verschiedenen Szenarien. Sichtbare Szenen:
Teilweise oder vollständige Überlappung des Sichtfeldes und schlechte Beleuchtung. Skelette werden in Form von zweidimensionalen Projektionen des generierten 3D-Modells dargestellt:
Über ITELMAWir sind ein großes
Automobilzulieferunternehmen . Das Unternehmen beschäftigt rund 2.500 Mitarbeiter, darunter 650 Ingenieure.
Wir sind vielleicht das leistungsstärkste Kompetenzzentrum in Russland für die Entwicklung der Automobilelektronik in Russland. Jetzt sind wir aktiv am Wachsen und haben viele offene Stellen (etwa 30, einschließlich in den Regionen) geöffnet, wie z. B. einen Software-Ingenieur, einen Konstrukteur, einen leitenden Entwicklungsingenieur (DSP-Programmierer) usw.
Wir haben viele interessante Herausforderungen von Autoherstellern und Sorgen, die die Branche antreiben. Wenn Sie als Spezialist wachsen und von den Besten lernen möchten, freuen wir uns, Sie in unserem Team zu sehen. Wir sind auch bereit, Know-how zu teilen, das wichtigste, was in der Automobilindustrie passiert. Stellen Sie uns Fragen, wir werden antworten, wir werden diskutieren.
Lesen Sie weitere nützliche Artikel: