Menyesuaikan video ke layar dengan frekuensi 1000 frame / s

Video diproyeksikan ke selembar kertas yang bergerak (kiri) dan ke kain t-shirt yang rusak.

Setiap orang telah melihat proyektor digital biasa yang memproyeksikan video pada permukaan putih yang rata - di layar. Lebih disukai dalam gelap. Persyaratan untuk layar sangat ketat: keindahan gambar sangat tergantung pada kualitasnya. Tetapi bayangkan bahwa proyektor dapat memproyeksikan video tidak hanya pada permukaan yang rata, tetapi pada kain dalam bentuk apa pun, dan bahkan memindahkannya ! Teknologi luar biasa ini dikembangkan oleh staf laboratorium Ishikawa Watanabe dari Universitas Tokyo.



Menurut para insinyur Jepang, peningkatan teknologi proyektor membeku di tempat. Tapi ini adalah teknologi penting yang meluas, melengkapi dunia nyata. Secara teoritis, gambar dan video yang diproyeksikan dapat sangat berguna dalam berbagai bidang augmented reality: dari industri hiburan hingga asisten digital informasi yang menampilkan informasi kontekstual di tempat yang nyaman, pada gelas, helm atau hanya pada tirai di dalam ruangan.

Sebagian besar teknologi proyeksi gambar terbatas pada permukaan statis. Ini secara signifikan mempersempit ruang lingkup mereka.

Insinyur dari laboratorium Isikawa Watanabe memutuskan untuk menghilangkan batasan ini dengan membuat proyektor lebih beradaptasi dengan dunia sekitarnya yang dinamis, di mana kenyataan terus berubah bentuk dan transformasi. Dalam augmented reality masa depan, benda-benda virtual dan dunia nyata akan bergabung menjadi satu bentuk organik, diadaptasi dengan sempurna untuk penglihatan manusia. Idealnya, kita tidak harus membedakan antara label cat dan proyeksi digital. Di masa depan yang lebih jauh, objek "hidup" dinamis tiga dimensi seharusnya tidak jauh berbeda dari objek nyata dari dunia fisik nyata.

Apa yang dibutuhkan untuk menghidupkan ide ini? Pertama-tama, diperlukan proyektor berkecepatan tinggi dengan frame rate sangat tinggi per detik dan latensi rendah. Dengan persyaratan inilah proyektor DynaFlash dirancang dalam pikiran , yang memproyeksikan gambar 8-bit dengan kecepatan bingkai 1000 bingkai / detik dan penundaan hanya 3 milidetik.


Proyektor Digital DynaFlash

Orang Jepang tidak mencari cara mudah. Mereka tidak berhenti membuat proyektor berkecepatan tinggi, tetapi melangkah lebih jauh dan menemukan cara untuk membuatnya mendistorsi gambar sesuai dengan deformasi kain fleksibel dalam waktu yang hampir bersamaan. Mengapa Misalnya, agar proyektor dapat memproyeksikan video tanpa distorsi ke objek yang bergerak. Misalnya, pada kaos seseorang yang sedang bergerak.

Seperti yang Anda tebak, proyeksi kecepatan tinggi dilakukan melalui pelacakan khusus, yaitu pelacakan permukaan. Ini juga merupakan tugas luar biasa di bidang visi komputer. Tugas melacak permukaan kusut diperumit oleh fakta bahwa permukaan sebagian dapat menutup sendiri, belum lagi penutupan parsial oleh benda asing.

Tentu saja, pelacakan permukaan harus dilakukan pada kecepatan tinggi yang sama dengan yang dioperasikan proyektor. Oleh karena itu, teknologi Deformable Dot Cluster Marker memiliki karakteristik teknis yang sama: 1000 frame / s dan penundaan 3 milidetik.

Bagaimana cara melacak bentuk permukaan dengan akurasi dan kecepatan seperti itu? Pada prinsipnya, ada juga beberapa opsi. Orang Jepang melakukan ini melalui kotak penanda, yang diterapkan pada objek. Desain kotak penanda ditunjukkan dalam grafik animasi.



Pelacakan dengan kecepatan tinggi terjadi pada tugas yang sangat paralel di banyak utas independen. Namun, bahkan pada CPU, kinerja 1000 frame per detik tercapai.


Konveyor pengenalan grid marker

Setelah pengenalan grid marker , program dengan cepat menghitung vektor deformasi bingkai yang diperlukan dalam video dan memproyeksikan hasilnya secara real time menggunakan proyektor DynaFlash.


Perhitungan vektor dalam program

Secara umum, menurut uraian, sistem bekerja cukup logis dan sederhana. Pertanyaannya adalah implementasi teknis - bagaimana mereka mengelola untuk mengoptimalkan tugas visi alat berat ini untuk kinerja setinggi itu?

Jawaban atas pertanyaan ini dapat ditemukan dalam artikel " Pemetaan Proyeksi Dinamis pada Permukaan yang Tidak Merusak menggunakan Penanda Gugus Deformable Dot Cluster ", yang penulis terbitkan dalam Transaksi IEEE pada Visualisasi dan Grafik Komputer (doi: 10.1109 / TVCG.2016.2592910, pdf) Ini menjelaskan dalam algoritma detail untuk menghitung vektor untuk kisi penanda, memperbarui posisi cluster titik terlacak, mendeteksi positif palsu, menginterpolasi klaster yang hilang, dll. Penulis menulis bahwa mereka menggunakan paket OpenMP untuk memparalelkan perhitungan. Pengakuan oleh program jaringan marker dan pelacakan frame-by-frame masing-masing membutuhkan kurang dari 2 ms dan 1 ms, tergantung pada bentuk distorsi. Tabel membandingkan hasilnya dengan sistem DRDM lain yang dipresentasikan rekan-rekannya di Simposium IEEE pada 2011.



Para penulis yakin bahwa sifat organik dari augmented reality pada objek-objek dari dunia nyata adalah suatu kondisi penting bagi integritas kesan-kesan dari realitas sintetik semacam ini. Seharusnya tidak ada penundaan tinggi dalam memproyeksikan video dan distorsi geometris.

Orang-orang dari laboratorium Ishikawa Watanabe telah lama dikenal karena penemuan mereka yang tidak biasa dan menarik. Misalnya, pada 2013, mereka menemukan proyektor berkecepatan tinggi Lumipen , yang memproyeksikan video ke objek bergerak.



Teknologi tersebut dapat menemukan aplikasi dalam permainan augmented reality, di mana seseorang dalam kenyataan berinteraksi dengan benda-benda virtual, apakah itu bola pokeball atau bola sepak.

Memproyeksikan realitas virtual ke benda-benda dunia nyata banyak digunakan di taman hiburan di seluruh dunia. Ini dapat digunakan dalam antarmuka komputer, pembuatan prototipe, dalam mengajar dengan seorang guru (misalnya, dalam mengajar mengendarai mobil) dan banyak bidang lainnya.

Source: https://habr.com/ru/post/id398539/