Ilmu baru tentang mencari di sudut

Para peneliti penglihatan komputer telah menemukan dunia tersembunyi dari sinyal-sinyal visual yang kami miliki, di mana ada gerakan-gerakan tak terlihat yang memberikan apa yang telah dikatakan, dan gambar-gambar buram dari apa yang ada di sekitar sudut

Spesialis visi komputer Antonio Torralba , beristirahat di pantai Spanyol pada 2012, melihat bayangan acak di dinding kamar hotelnya yang sepertinya tidak ada yang terlihat. Pada akhirnya, Torralba menyadari bahwa bintik-bintik yang berubah warna di dinding bukanlah bayang-bayang, tetapi gambar-gambar teras yang kusam dan terbalik di luar. Jendela bekerja seperti lubang jarum - jenis kamera paling sederhana di mana sinar cahaya melewati lubang kecil dan membentuk gambar terbalik di sisi lain. Di dinding yang diterangi matahari, gambar ini sulit dilihat. Tetapi Torralba menyadari bahwa dunia kita dipenuhi dengan informasi visual yang tidak dilihat mata kita.

"Gambar-gambar ini disembunyikan dari kita," katanya, "tetapi mereka terus mengelilingi kita."

Pengalaman yang diperoleh memungkinkan dia dan rekannya, Bill Freeman , juga seorang profesor dari Massachusetts Institute of Technology, untuk menyadari bahwa dunia dipenuhi dengan "kamera acak", sebagaimana mereka menyebutnya: jendela, sudut, tanaman rumah dan benda-benda biasa lainnya yang membuat gambar tersembunyi dari lingkungan mereka. Gambar-gambar ini 1000 kali lebih jelas daripada yang lain, dan biasanya mereka tidak terlihat dengan mata telanjang. "Kami menemukan cara untuk mengisolasi gambar-gambar ini dan membuatnya terlihat," Freeman menjelaskan.

Mereka belajar betapa banyak informasi visual disembunyikan tepat di depan semua orang. Dalam karya pertama, mereka menunjukkan bahwa ketika memotret dengan iPhone biasa, mengubah cahaya di dinding ruangan, dari video yang diterima, Anda dapat membuat ulang adegan di luar jendela. Musim gugur yang lalu, mereka dan rekan-rekan mereka melaporkan bahwa Anda dapat menemukan seseorang bergerak di sudut dengan merekam tanah di dekat sudut dengan kamera. Musim panas ini, mereka menunjukkan bahwa mereka dapat merekam tanaman rumahan di video, dan kemudian menciptakan gambar tiga dimensi dari seluruh ruangan berdasarkan bayangan yang dilemparkan oleh daun tanaman. Atau mereka dapat mengubah daun menjadi " mikrofon visual, " meningkatkan getaran mereka dan mengenali ucapan.


1) Teras di luar kamar hotel tempat Antonio Torralba memperhatikan bahwa jendela berfungsi seperti lubang jarum. 2) Gambar buram teras di dinding; 3) ia dapat diasah dengan menutupi sebagian besar jendela dengan kardus untuk mengurangi ukuran lubang. 4) Jika Anda membalikkannya, Anda dapat melihat pemandangan dari luar.

"Our Mary punya domba jantan," kata pria di rekaman audio, diciptakan kembali dari gerakan sekantong keripik kosong yang ditembakkan para ilmuwan melalui jendela kedap suara pada tahun 2014 (ini adalah kata-kata pertama yang direkam oleh Thomas Edison pada tahun 1877 pada fonograf).

Penelitian tentang melihat sudut-sudut dan membuat asumsi tentang objek yang tidak langsung terlihat, atau "membangun gambar yang tidak berhadapan langsung", dimulai pada 2012 dengan karya Torralba dan Freeman pada kamera acak, dan dengan pekerjaan penting lainnya yang dilakukan oleh kelompok ilmuwan terpisah dari MIT yang dipimpin oleh Ramesh Raskar . Pada tahun 2016, khususnya, dan berkat hasilnya, Badan Proyek Penelitian Lanjutan (DARPA) Departemen Pertahanan AS meluncurkan program PENGUNGKAPAN $ 27 juta (Peningkatan Revolusi Visibilitas dengan Memanfaatkan Bidang Cahaya Aktif - peningkatan revolusioner dalam visibilitas menggunakan bidang cahaya aktif). Program ini membiayai laboratorium yang baru muncul secara nasional. Sejak itu, aliran ide-ide baru dan trik matematika membuat pencitraan non-line of sight menjadi lebih kuat dan praktis.



Selain penggunaan yang jelas untuk keperluan militer dan pengintaian, para peneliti sedang mempelajari penerapan teknologi dalam robot mobil, visi robot, fotografi medis, astronomi, eksplorasi ruang angkasa dan misi penyelamatan.

Torralba mengatakan bahwa dia dan Freeman pada awal pekerjaan tidak memiliki ide tentang aplikasi praktis dari teknologi tersebut. Mereka baru saja mengetahui dasar-dasar pembentukan gambar dan apa itu kamera, dari mana studi yang lebih lengkap tentang perilaku cahaya dan interaksinya dengan objek dan permukaan berkembang secara alami. Mereka mulai melihat hal-hal yang bahkan tidak ada yang bisa memikirkan. Penelitian psikologis, menurut Torralb, menunjukkan bahwa “orang-orang sangat miskin dalam menafsirkan bayangan. Mungkin salah satu alasan untuk ini adalah bahwa banyak hal yang kita lihat bukan bayangan. Dan pada akhirnya, mataku berusaha untuk memahaminya. "

Kamera acak

Sinar cahaya yang membawa citra dunia di luar bidang penglihatan kita terus-menerus jatuh di dinding dan permukaan lainnya, setelah itu pantulan dan jatuh ke mata kita. Tetapi mengapa residu visual ini sangat lemah? Hanya saja, terlalu banyak sinar masuk ke banyak arah dan gambar menjadi buram.

Untuk membentuk suatu gambar, perlu untuk secara serius membatasi insiden sinar pada permukaan dan hanya melihat satu set tertentu dari mereka. Inilah yang dilakukan kamera lubang jarum. Ide asli Torralba dan Freeman pada tahun 2012 adalah bahwa di lingkungan kita ada beberapa objek dan berbagai properti yang secara alami membatasi sinar cahaya dan membentuk gambar lemah yang dapat dikenali oleh komputer.

Semakin kecil bukaan lubang jarum, semakin tajam gambarnya, karena setiap titik objek yang diteliti hanya akan memancarkan satu berkas cahaya pada sudut kanan, yang akan dapat melewati lubang tersebut. Jendela di Hotel Torralba terlalu besar untuk gambar menjadi tajam, dan dia dan Freeman menyadari bahwa kamera lubang jarum acak yang berguna umumnya sangat jarang. Namun, mereka menyadari bahwa anti-lubang kecil (kamera "pin-point"), yang terdiri dari benda kecil apa pun yang menghalangi cahaya, membentuk gambar yang berlimpah.


Bill orang bebas


Antonio Torralba

Bayangkan bahwa Anda melepaskan dinding bagian dalam ruangan melalui celah di tirai. Anda tidak akan melihat banyak. Tiba-tiba sebuah tangan muncul di bidang penglihatan Anda. Perbandingan intensitas cahaya di dinding dengan ada dan tidak adanya tangan memberikan informasi yang berguna tentang pemandangan. Satu set insiden sinar cahaya di dinding di frame pertama untuk sementara terhalang oleh tangan di frame berikutnya. Mengurangi data dari frame kedua dari data yang pertama, seperti dikatakan Freeman, "Anda dapat menghitung apa yang diblokir tangan" - seperangkat sinar cahaya yang mewakili gambar bagian ruangan. "Jika Anda mempelajari apa yang menghalangi cahaya, dan apa yang memungkinkan cahaya masuk," katanya, "Anda dapat memperluas jangkauan tempat-tempat di mana Anda dapat menemukan kamera lubang jarum."

Bersama dengan studi kamera acak yang melihat perubahan kecil dalam intensitas, Freeman dan rekan mengembangkan algoritma yang menentukan dan memperkuat perubahan warna kecil - seperti perubahan warna wajah seseorang ketika darah mengalir atau surut, dan gerakan kecil - inilah sebabnya Anda dapat merekam percakapan dengan mengambil sekantong keripik. Sekarang mereka dapat dengan mudah melihat pergerakan seperseratus piksel, yang dalam kondisi normal hanya akan tenggelam dalam kebisingan. Metode mereka secara matematis mengubah gambar dalam konfigurasi gelombang sinus. Dalam ruang yang dihasilkan, noise tidak mendominasi sinyal, karena sinusoid mewakili nilai rata-rata yang diambil dari banyak piksel, sehingga noise didistribusikan di atasnya. Berkat ini, para peneliti dapat menentukan pergeseran sinusoid dari satu frame video ke yang lain, memperkuat pergeseran ini, dan kemudian mengkonversi data kembali.

Sekarang mereka mulai menggabungkan semua trik ini untuk mengekstrak informasi visual yang tersembunyi. Sebuah studi yang dideskripsikan Oktober lalu oleh Katie Bowman (waktu itu seorang mahasiswa yang dipimpin oleh Freeman dan sekarang seorang ilmuwan dari Harvard-Smithsonian Astrophysical Center) menunjukkan bahwa membangun sudut bekerja seperti kamera, menciptakan gambaran kasar tentang apa yang ada di sudut.


Mengambil penumbra di tanah dekat sudut (1), Anda bisa mendapatkan informasi tentang benda-benda yang terletak di sudut (2). Ketika benda tak terlihat mulai bergerak, cahaya dan bayangan dari mereka bergerak pada sudut yang berbeda sehubungan dengan dinding. Perubahan kecil dalam intensitas dan warna biasanya tidak dapat dibedakan dengan mata telanjang (3), tetapi dapat ditingkatkan menggunakan algoritma. Video primitif dengan cahaya bergerak pada sudut yang berbeda pada penumbra memberikan kehadiran satu orang yang bergerak (4) dan dua (5) di sekitar sudut.

Segi dan sudut, seperti lubang kecil dengan kamera titik, menghalangi perjalanan sinar matahari. Menggunakan kamera biasa, iPhone yang sama, di siang hari, Bowman dan rekannya menembakkan bayangan parsial di sudut gedung - area dengan bayangan yang diterangi oleh sekelompok sinar cahaya yang berasal dari area tersembunyi di sudut. Jika, misalnya, seorang pria berkemeja merah lewat di sana, kemeja ini akan mengirimkan sejumlah kecil lampu merah ke dalam penumbra, dan lampu ini akan bergerak di sepanjang penumbra sementara orang tersebut berjalan, tidak terlihat oleh mata biasa, tetapi terdeteksi setelah pemrosesan.

Dalam sebuah karya revolusioner yang diterbitkan pada bulan Juni, Freeman dan rekannya menciptakan kembali "medan cahaya" ruangan - sebuah gambar intensitas dan arah sinar cahaya di sebuah ruangan - dari bayangan yang dilemparkan oleh tanaman gugur di sebelah dinding. Daun bekerja sebagai kamera titik, yang masing-masing memblokir set sinar cahaya sendiri. Perbandingan bayangan setiap lembar dengan sisa bayangan menghasilkan set sinar yang hilang ini, dan memungkinkan untuk memperoleh gambar dari bagian pemandangan tersembunyi. Dengan paralaks, para peneliti kemudian bisa menggabungkan semua gambar ini.

Pendekatan ini memberikan gambar yang jauh lebih tajam daripada karya sebelumnya dengan kamera acak, karena algoritme memiliki pengetahuan yang diperoleh sebelumnya tentang dunia. Mengetahui bentuk tanaman, dengan asumsi bahwa gambar alami harus halus, dan dengan mempertimbangkan beberapa asumsi lain, para peneliti dapat menarik kesimpulan tertentu tentang sinyal yang mengandung noise, yang membantu membuat gambar akhir lebih tajam. Teknologi bekerja dengan bidang ringan "membutuhkan pengetahuan dunia sekitarnya untuk menciptakan rekonstruksi, tetapi juga memberi Anda banyak informasi," kata Torralba.

Cahaya yang tersebar

Sementara itu, Freeman, Torralba dan anak didik mereka mengungkapkan gambar yang tersembunyi di tempat lain di kampus MIT, Ramesh Raskar, seorang spesialis penglihatan komputer yang berbicara di TED, bermaksud untuk "mengubah dunia" dan memilih pendekatan yang disebut "pencitraan aktif." Menggunakan sistem kamera laser khusus dan mahal untuk membuat gambar beresolusi tinggi yang menampilkan apa yang ada di sudut.


Ramesh Raskar

Pada 2012, sebagai bagian dari implementasi ide yang mengunjunginya lima tahun yang lalu, Raskar dan timnya pertama kali menciptakan teknologi di mana perlu untuk melepaskan pulsa laser ke dinding. Sebagian kecil dari cahaya yang tersebar akan dapat menghindari rintangan. Dan sesaat setelah setiap pulsa, mereka menggunakan "kamera flash" yang merekam setiap foton dengan kecepatan milyaran frame per detik untuk mendeteksi foton yang terpental dari dinding. Dengan mengukur waktu yang dihabiskan oleh foton untuk kembali, para peneliti dapat mengetahui seberapa jauh mereka terbang, dan secara rinci menciptakan kembali geometri tiga dimensi dari benda-benda yang tersembunyi di balik penghalang, tempat foton tersebar. Salah satu kesulitan adalah bahwa untuk pembentukan gambar tiga dimensi, perlu untuk melakukan pemindaian raster dinding dengan laser. Katakanlah seseorang bersembunyi di tikungan. "Lalu cahaya dipantulkan dari titik tertentu di kepala, dari titik tertentu di bahu, dan dari titik tertentu di lutut dapat tiba di kamera pada saat yang sama," kata Raskar. Tetapi jika Anda menyinari laser sedikit ke tempat lain, maka cahaya dari tiga titik ini tidak akan lagi tiba di kamera pada saat yang sama. " Penting untuk menggabungkan semua sinyal dan memecahkan "masalah terbalik" untuk menciptakan kembali geometri tiga dimensi yang tersembunyi.

Algoritme Raskar asli untuk memecahkan masalah terbalik memerlukan terlalu banyak sumber daya komputasi, dan perangkat itu sendiri berharga setengah juta dolar. Tetapi pekerjaan serius telah dilakukan untuk menyederhanakan matematika dan mengurangi biaya. Pada bulan Maret, jurnal Nature menerbitkan sebuah karya yang menetapkan standar baru untuk konstruksi efisien dan ekonomis gambar tiga dimensi dari suatu objek - sosok kelinci di sudut diciptakan kembali dalam karya tersebut. Para penulis, Matthew O'Toole , David Lindel, dan Gordon Wetstein dari Stanford University telah mengembangkan algoritme baru yang kuat untuk memecahkan masalah terbalik dan menggunakan kamera SPAD yang relatif murah - perangkat semikonduktor yang kecepatan bingkainya lebih rendah daripada kamera flash. Raskar, yang sebelumnya bekerja sebagai kurator dua penulis karya tersebut, menyebutnya "sangat cerdik" dan "salah satu favorit saya."





Algoritma sebelumnya tenggelam secara rinci: para peneliti biasanya mencoba mendeteksi foton yang kembali yang tidak tercermin dari titik di mana laser bersinar, sehingga kamera dapat menghindari pengumpulan cahaya laser yang tersebar. Tetapi dengan mengarahkan laser dan kamera ke titik yang hampir sama, para peneliti dapat memetakan foton yang keluar dan masuk dari satu " kerucut cahaya ". Menyebar dari permukaan, cahaya membentuk bola foton yang melebar, yang membentuk kerucut, merambat dalam ruang-waktu. O'Toole (yang sejak itu mengubah pekerjaannya dari Stanford ke Carnegie Mellon University) menerjemahkan fisika kerucut cahaya - yang dikembangkan oleh guru Albert Einstein, Jerman Minkowski pada awal abad ke-20 - menjadi ekspresi singkat yang menghubungkan waktu penerbangan foton dengan lokasi permukaan yang berserakan. Dia menyebut terjemahannya "transformasi kerucut cahaya."

Robomobiles sudah menggunakan sistem LIDAR untuk membangun gambar langsung, dan orang dapat membayangkan bahwa suatu hari nanti mereka akan mendapatkan SPAD untuk melihat-lihat. "Dalam waktu dekat, sensor semacam itu juga akan tersedia dalam format portabel," prediksi Andreas Welten , penulis pertama karya awal Raskar dari 2012, yang sekarang memimpin kelompok yang terlibat dalam pembangunan gambar aktif di University of Wisconsin. Tantangannya sekarang adalah "menangani adegan yang lebih kompleks" dan skenario realistis, kata Welten, "dan tidak hanya dengan hati-hati membuat adegan dengan objek putih dan latar belakang hitam. Kami membutuhkan teknologi untuk mengarahkan perangkat dan menekan tombol. "

Di mana hal-hal itu

Para peneliti dari kelompok Freeman mulai menggabungkan pendekatan pasif dan aktif. Pekerjaan, yang dilakukan di bawah bimbingan peneliti Christos Trumpulidis, menunjukkan bahwa ketika secara aktif membangun gambar menggunakan laser, kamera berbentuk titik dari bentuk yang diketahui yang terletak di sekitar sudut dapat digunakan untuk membuat ulang adegan tersembunyi tanpa menggunakan informasi tentang waktu penerbangan foton. "Dan ini seharusnya berhasil bagi kita dengan bantuan matriks CCD konvensional," kata Trampulidis.

Pencitraan di luar garis pandang suatu hari nanti akan membantu tim penyelamat dan robot otonom. Welten bekerja sama dengan Jet Propulsion Laboratory NASA, bekerja pada proyek yang bertujuan membangun gambar jarak objek di dalam gua bulan. Tetapi Raskar dan kawan-kawan menggunakan pendekatan mereka untuk membaca beberapa halaman pertama dari sebuah buku tertutup, dan untuk melihat dalam kabut.

Selain rekonstruksi audio, algoritma peningkatan gerak Freeman dapat membantu menciptakan perangkat medis dan sistem keamanan, serta detektor gerakan astronomi kecil. Algoritma ini adalah "ide yang sangat bagus," kata David Hogg, seorang astronom dan ilmuwan data di New York University dan Flatiron Institute. "Saya pikir - kita hanya perlu menggunakannya dalam astronomi."

Mengenai masalah privasi yang diangkat oleh penemuan baru-baru ini, Freeman beralih ke pengalamannya. "Saya sudah memikirkan masalah ini sangat, sangat banyak sepanjang karier saya," katanya. Seorang pria berkacamata, seorang penggemar kamera yang telah terlibat dalam fotografi sepanjang hidupnya, Freeman mengatakan bahwa pada awal karirnya ia tidak ingin mengerjakan apa pun yang memiliki semacam potensi militer atau mata-mata. Namun seiring berjalannya waktu, ia mulai berpikir bahwa “teknologi adalah alat yang dapat digunakan dengan berbagai cara. Jika Anda mencoba menghindari segala sesuatu yang setidaknya memiliki beberapa penggunaan militer, maka Anda tidak dapat memikirkan sesuatu yang berguna. " Dia mengatakan bahwa bahkan dalam kasus militer, “ada berbagai kemungkinan untuk menggunakan barang-barang. Anda dapat membantu seseorang bertahan hidup. Dan, pada prinsipnya, mengetahui di mana segala sesuatu berguna. ”

Tapi dia paling senang bukan dengan kemampuan teknologi, tetapi hanya dengan penemuan fenomena yang tersembunyi di depan mata. "Tampaknya bagi saya bahwa dunia ini penuh dengan segala sesuatu yang masih harus ditemukan," katanya.