🚽 👩‍💻 👩🏿‍🚒 Tinjauan Metode Penempatan dan Teknologi untuk Realitas Virtual 🤲🏽 🔈 👨‍🔧

Pelacakan posisi adalah kombinasi dari perangkat keras dan perangkat lunak yang memungkinkan Anda untuk menentukan posisi absolut suatu objek di ruang angkasa. Teknologi ini sangat penting untuk mencapai efek pencelupan dalam realitas virtual. Dalam kombinasi dengan pelacakan orientasi, menjadi mungkin untuk mengukur dan mengirimkan ke VR semua 6 derajat kebebasan (6-DoF) dari dunia nyata. Dalam perjalanan bekerja dengan teknologi realitas virtual di perusahaan kami, kami memperoleh pengalaman dalam hal ini dan ingin membagikannya dengan berbicara tentang cara-cara yang ada untuk melacak situasi untuk realitas virtual, serta pro dan kontra dari suatu solusi.

Klasifikasi kecil

Serangkaian metode dan pendekatan untuk memecahkan masalah ini dapat dibagi menjadi beberapa kelompok:

Akustik
Frekuensi radio
Magnetik
Optik
Inersia
Hibrida

Persepsi manusia menempatkan tuntutan tinggi pada akurasi (~ 1mm) dan keterlambatan (<20 ms) dalam peralatan BP. Metode optik dan inersia paling dekat dengan persyaratan ini, dan paling sering digunakan bersama, saling melengkapi. Pertimbangkan prinsip dasar di mana metode di atas dibangun.

Metode akustik

Alat pelacak akustik menggunakan gelombang suara ultrasonik (frekuensi tinggi) untuk mengukur posisi dan orientasi objek target. Untuk menentukan posisi objek, waktu penerbangan ( waktu kedatangan ) gelombang suara dari pemancar ke penerima, atau perbedaan fase gelombang suara sinusoidal selama penerimaan dan transmisi, diukur . Perusahaan Intersense posisi perangkat mengembangkan pelacakan berdasarkan USG.
Pelacak akustik umumnya memiliki kecepatan refresh yang rendah karena kecepatan suara yang rendah di udara. Masalah lain adalah bahwa kecepatan suara di udara tergantung pada faktor lingkungan seperti suhu, tekanan barometrik dan kelembaban.

Metode RF

Ada banyak metode berdasarkan frekuensi radio. Dalam banyak hal, sesuai dengan prinsip penentuan posisi, mereka mirip dengan metode pelacakan akustik (perbedaannya hanya pada sifat gelombang). Yang paling menjanjikan saat ini adalah metode UWB (Ultra-Wide Band), tetapi bahkan dalam solusi terbaik berdasarkan UWB, akurasi hanya mencapai urutan sentimeter ( DW1000 dari DecaWave , Dart dari Zebra Technologies , Seri 7000 dari Ubisense dan lain-lain). Mungkin di masa depan, startup seperti Pozyx atau IndoTraq akan dapat mencapai akurasi sub-milimeter. Namun, solusi pelacakan posisi UWB belum berlaku untuk realitas virtual.
Metode lain untuk penentuan posisi pada frekuensi radio dijelaskan secara lebih rinci dalam hal iniartikel .

Metode magnetik

Pelacakan magnetik didasarkan pada pengukuran intensitas medan magnet di berbagai arah. Sebagai aturan, dalam sistem tersebut terdapat stasiun pangkalan yang menghasilkan medan magnet bolak-balik atau konstan. Karena kekuatan medan magnet berkurang dengan meningkatnya jarak antara titik pengukuran dan stasiun pangkalan, Anda dapat menentukan lokasi pengontrol. Jika titik pengukuran berputar, distribusi medan magnet berubah sepanjang sumbu yang berbeda, yang memungkinkan Anda untuk menentukan orientasi. Produk yang paling terkenal berdasarkan pelacakan magnetik adalah pengontrol Razer Hydra dan sistem STEM Sixense.
Keakuratan metode ini bisa sangat tinggi dalam kondisi yang terkendali (spesifikasi Hydra merujuk pada akurasi posisi 1 mm dan 1 derajat keakuratan orientasi), namun, pelacakan magnetik dapat terganggu oleh bahan konduktif dekat emitor atau sensor, dari medan magnet yang dihasilkan oleh perangkat elektronik lain dan feromagnetik bahan di ruang pelacakan.

Metode optik

Metode optik adalah kombinasi dari algoritma penglihatan komputer dan alat pelacak, yang meliputi kamera tampak atau inframerah, kamera stereo dan kamera kedalaman.
Bergantung pada pilihan sistem referensi, ada dua pendekatan untuk posisi pelacakan:

Pendekatan luar-dalam menyiratkan keberadaan pengamat eksternal (kamera) tetap, yang menentukan posisi objek bergerak dengan titik karakteristik. Digunakan dalam Oculus Rift (Constrellation), PSVR, OSVR dan banyak sistem Motion Capture.
Pendekatan Inside-out mengasumsikan adanya sensor optik pada objek bergerak, berkat itu dimungkinkan untuk melacak pergerakan titik yang relatif tetap di ruang sekitarnya. Digunakan di Microsoft Hololens, Project Tango (SLAM), SteamVR Lighthouse (opsi hybrid, karena ada BTS).

Juga, tergantung pada ketersediaan penanda optik khusus, mereka diisolasi secara terpisah:

Pelacakan Markerless biasanya didasarkan pada algoritma yang kompleks menggunakan dua atau lebih kamera, atau kamera stereo dengan sensor kedalaman.
, . ( , ), QR-. .

Perspective-n-Point (PnP)

Dengan pelacakan optik, masalah yang disebut PnP (Perspektif-n-Point) diselesaikan untuk menentukan posisi suatu objek di ruang, ketika perlu menentukan posisi suatu objek dalam ruang 3D dari proyeksi perspektif objek ke bidang sensor kamera.

Untuk model 3D objek tertentu dan proyeksi 2D objek ke bidang kamera, sistem persamaan diselesaikan. Akibatnya, banyak solusi yang mungkin diperoleh. Jumlah keputusan tergantung pada jumlah titik dalam model 3D objek. Solusi jelas untuk menentukan posisi 6-DoF suatu objek dapat diperoleh dengan setidaknya 4 poin. Untuk sebuah segitiga, 2 hingga 4 solusi yang mungkin diperoleh, yaitu, posisi tidak dapat ditentukan secara jelas:

Solusi ini diusulkan oleh sejumlah besar algoritma yang diterapkan di perpustakaan:

SLAM - Lokalisasi dan Pemetaan Serentak

Metode pelokalan simultan dan pembangunan peta (SLAM) adalah metode penentuan posisi paling populer dalam robotika (dan tidak hanya), yang digunakan untuk melacak posisi di ruang angkasa.

Algoritma ini terdiri dari dua bagian: yang pertama adalah memetakan lingkungan yang tidak diketahui berdasarkan pengukuran (data dari odometer atau kamera stereo), yang kedua adalah menentukan lokasi (lokalisasi) di ruang berdasarkan perbandingan pengukuran saat ini dengan peta ruang yang ada. Siklus ini terus menerus dihitung ulang, sedangkan hasil dari satu proses berpartisipasi dalam perhitungan proses lainnya. Metode paling populer untuk memecahkan masalah termasuk filter partikel dan filter Kalman canggih. Sebenarnya, SLAM adalah topik yang agak luas, dan bukan hanya satu algoritma spesifik, dan analisis dari semua solusi yang ada pada topik ini menarik ke artikel terpisah.
SLAM nyaman untuk solusi mobile virtual dan augmented reality. Namun, kelemahan dari pendekatan ini adalah kompleksitas komputasi yang hebat, yang, ditambah dengan aplikasi VR / AR yang menuntut, akan sangat memuat sumber daya produktif perangkat.

Project Tango dari Google dan Microsoft Hololens adalah proyek berbasis SLAM paling terkenal untuk perangkat seluler. Dukungan untuk pelacakan berbasis SLAM juga diharapkan dalam produk yang baru diumumkan dari Intel ( Project Alloy ) dan Qualcomm ( VR820 ).
Di antara solusi open-source, kita dapat membedakan ORB-SLAM , LSD-SLAM , PTAM-GPL .

Pelacakan inersia

Sistem pengukuran inersia modern ( IMU ) berdasarkan teknologi MEMS memungkinkan Anda melacak orientasi (roll, pitch, yaw) di ruang angkasa dengan akurasi tinggi dan penundaan minimal.

Berkat algoritma fusi sensor berdasarkan filter pelengkap atau filter Kalman, data dari giroskop dan akselerometer berhasil saling mengoreksi satu sama lain dan memberikan akurasi untuk pengukuran jangka pendek dan untuk jangka waktu lama.

Namun, penentuan koordinat (perpindahan) akibat integrasi ganda percepatan linier ( dead reckoning)), dihitung dari data mentah dari accelerometer, tidak memenuhi persyaratan akurasi untuk jangka waktu yang lama. Accelerometer itu sendiri memberikan data yang sangat berisik, dan ketika terintegrasi, kesalahan meningkat secara kuadrat dari waktu ke waktu.
Menggabungkan pendekatan inersia untuk melacak dengan metode lain yang secara berkala memperbaiki apa yang disebut drift accelerometer membantu untuk menyelesaikan masalah ini.

Metode hibrid

Karena tidak ada metode yang sempurna, dan mereka semua memiliki kelemahan, maka paling masuk akal untuk menggabungkan metode pelacakan berbeda. Jadi pelacakan inertial (IMU) dapat memberikan frekuensi tinggi pembaruan data (hingga 1000 Hz), sementara metode optik dapat memberikan akurasi yang stabil selama periode waktu yang lama (koreksi drift).

Metode pelacakan hybrid didasarkan pada algoritma " Sensor Fusion ", yang paling populer di antaranya adalah Extended Kalman Filter ( EKF ).

Bagaimana cara kerja SteamVR Lighthouse?

Sistem pelacakan HTC Vive terdiri dari dua BTS, sensor optik, dan unit pengukuran inersia (IMU) pada pengontrol dan helm. Basis stasiun terdiri dari dua laser yang berputar dan berbagai LED inframerah. Salah satu laser berputar secara vertikal, yang kedua - secara horizontal. Dengan demikian, laser pada gilirannya "memindai" ruang di sekitarnya. BTS beroperasi secara serentak: pada titik waktu tertentu, hanya satu dari empat laser yang “memindai” ruang pelacakan. Untuk menyinkronkan operasi seluruh sistem antara setiap laser yang menyala, seluruh ruang di sekitarnya diterangi oleh pulsa cahaya inframerah.

Sensor pada pengontrol dan helm merekam semua pulsa optik dari stasiun pangkalan dan mengukur waktu di antara mereka. Karena kecepatan laser diketahui sebelumnya (60 Hz), sudut rotasi masing-masing sinar dapat dihitung dari waktu antara pulsa. Apa yang memberi kita koordinat 2D dari sensor optik, mengetahui posisi relatif sensor pada controller, Anda dapat dengan mudah mengembalikan posisi 3D controller di luar angkasa (tugas PnP). Dengan visibilitas simultan dari dua stasiun basis, posisi 3D dari pengontrol dapat dihitung dari perpotongan dua sinar, yang memberikan hasil yang lebih akurat dan membutuhkan lebih sedikit perhitungan. Proses pelacakan ditunjukkan lebih jelas di bawah ini.

Sebulan yang lalu, Valve mengumumkan bahwa mereka membuka sistem pelacakan untuk pengembang pihak ketiga. Anda dapat membaca lebih lanjut tentang ini di sini .

Metode pelacakan posisi mana di ruang yang paling menjanjikan untuk realitas virtual / augmented menurut Anda?

Ini adalah artikel pertama dalam seri tentang teknologi BP, jika ada minat, kami akan terus menulis lebih lanjut.

PS Mengapa tidak ada hub realitas virtual?

Tinjauan Metode Penempatan dan Teknologi untuk Realitas Virtual