Visi mesin (radio) melihat melalui dinding

Di sebelah kiri, dua orang berjabat tangan, salah satunya di balik dinding dari kamera. Di sebelah kanan, seorang pria dalam kegelapan melempar objek ke orang yang memanggil. Di bawah ini adalah model kerangka yang dihasilkan dan prediksi tindakan.

Visi radio tim CSAIL (Ilmu Komputer dan Kecerdasan Buatan) sudah ditulis di Habré ( sekali dan dua kali ), hari ini ada beberapa detail baru.

Algoritma menggunakan gelombang radio daripada cahaya tampak untuk menentukan apa yang dilakukan orang tanpa menunjukkan tampilannya.

Visi alat berat memiliki rekam jejak yang mengesankan. Ia memiliki kemampuan manusia super untuk mengenali orang, wajah dan benda. Ia bahkan bisa mengenali berbagai macam tindakan, meski tidak sebaik manusia.

Tetapi kinerjanya terbatas. Visi mesin sangat sulit ketika orang, wajah atau benda ditutup sebagian. Dan ketika level cahaya turun ke 0, mereka, seperti orang-orang, praktis buta.

Tetapi ada bagian lain dari spektrum elektromagnetik yang tidak begitu terbatas. Gelombang radio mengisi dunia kita, apakah itu malam atau siang. Mereka dengan mudah melewati dinding, ditransmisikan dan dipantulkan oleh tubuh manusia. Memang, para peneliti telah mengembangkan berbagai cara untuk menggunakan sinyal radio Wi-Fi untuk melihat di balik pintu tertutup.

Tetapi sistem penglihatan radio ini memiliki beberapa kelemahan. Resolusi mereka rendah, gambarnya berisik dan penuh dengan pantulan yang mengganggu, yang membuatnya sulit untuk memahami apa yang terjadi.

Dalam hal ini, gambar radio dan gambar dalam cahaya tampak memiliki kelebihan dan kekurangan tambahan. Dan ini meningkatkan kemungkinan menggunakan kekuatan satu untuk mengatasi kekurangan yang lain.

Temui Tianhong Li dan rekan-rekannya di MIT, yang telah menemukan cara untuk mengajarkan sistem radio untuk mengenali tindakan orang dengan mengajarkannya menggunakan gambar dalam cahaya tampak. Sistem visi radio yang baru memungkinkan Anda untuk melihat apa yang dilakukan orang dalam berbagai situasi ketika visualisasi dalam cahaya tampak tidak mungkin. "Kami memperkenalkan model jaringan saraf yang dapat mendeteksi tindakan manusia melalui dinding dan oklusi, serta dalam kondisi pencahayaan yang buruk ," kata Lee and Co.



Peta panas frekuensi radio dan gambar RGB direkam secara paralel.

Tim menggunakan trik yang rumit. Gagasan utamanya adalah untuk merekam gambar video dari pemandangan yang sama menggunakan cahaya tampak dan gelombang radio. Sistem visi mesin sudah mampu mengenali tindakan manusia dari gambar dalam cahaya tampak. Oleh karena itu, langkah selanjutnya adalah menghubungkan gambar-gambar ini dengan gambar radio dari pemandangan yang sama.



Arsitektur Aksi-RF. RF-Action mengidentifikasi aktivitas manusia dengan sinyal nirkabel. Mengambil "kerangka 3D" untuk setiap orang dari aliran mentah sinyal nirkabel (kotak kuning). Kemudian, tindakan dari urutan "kerangka" yang diekstraksi terdeteksi dan dikenali. Kerangka Kerja Deteksi Aksi juga dapat menerima kerangka tiga dimensi yang dihasilkan dari data visual sebagai input (persegi panjang biru), yang memungkinkan Anda untuk melatih kerangka yang dihasilkan oleh frekuensi radio, serta pada basis data yang ada dengan tindakan yang dikenali.

Namun, kesulitannya terletak pada memastikan bahwa proses pembelajaran difokuskan pada gerakan manusia, dan bukan pada hal-hal lain, seperti latar belakang. Oleh karena itu, Lee dan timnya memperkenalkan tahap peralihan di mana mesin menghasilkan model gambar 3D yang mereproduksi tindakan orang.

"Dengan menerjemahkan data menjadi representasi perantara berdasarkan kerangka, model kami dapat belajar dari kedua set data frekuensi radio dan visual, dan memungkinkan kedua tugas untuk saling membantu ," kata Lee dan tim.

Dengan demikian, sistem belajar untuk mengenali tindakan dalam cahaya tampak, dan kemudian mengenali tindakan yang sama terjadi di kegelapan atau di balik dinding menggunakan gelombang radio. “Kami menunjukkan bahwa model kami mencapai akurasi yang sebanding dengan sistem pengenalan visi berdasarkan visi dalam skenario yang terlihat, dan terus bekerja secara akurat ketika orang tidak terlihat,” kata para peneliti.

Ini adalah karya yang menarik yang memiliki potensi signifikan. Aplikasi yang jelas adalah dalam skenario ketika gambar dalam cahaya tampak tidak mungkin - dalam kondisi cahaya rendah dan di balik pintu tertutup.

Tetapi ada situasi lain. Salah satu masalah dengan gambar yang terlihat adalah orang-orang dapat dikenali, yang menyebabkan masalah privasi.

Tetapi sistem radio tidak memiliki kemampuan untuk mengenali wajah. Identifikasi tindakan tanpa pengenalan wajah tidak menimbulkan kekhawatiran yang sama terkait kerahasiaan. "Ini dapat membawa teknologi ke rumah orang dan mengintegrasikannya ke dalam sistem rumah pintar ," kata Lee and Co. Ini dapat digunakan, misalnya, untuk memantau rumah orang tua dan memberi tahu layanan terkait tentang jatuh. Dan itu akan terjadi tanpa banyak risiko privasi.

Ini melampaui kemampuan sistem berbasis visi modern.

Hasil

Hasil kerja dalam berbagai skenario. Adegan yang terlihat:





Tumpang tindih sebagian atau seluruhnya bidang tampilan dan pencahayaan yang buruk. Kerangka ditampilkan dalam bentuk proyeksi dua dimensi dari model 3D yang dihasilkan:

• Artikel di arXiv.org: Menjadikan Yang Tak Terlihat: Pengakuan Aksi Melalui Dinding dan Oklusi
  

---

Baca lebih banyak artikel bermanfaat:

• McKinsey: Memikirkan Kembali Perangkat Lunak dan Arsitektur Elektronik di Otomotif
• Perang OS lain sudah di bawah kap mobil
• Kode program di dalam mobil
• Di mobil modern, ada lebih banyak baris kode daripada ...