🍟 🎚️ 👩🏼‍⚖️ Aperçu des méthodes et technologies de positionnement pour la réalité virtuelle 🥚 👸🏽 😡

Le suivi de position est une combinaison de matériel et de logiciel qui vous permet de déterminer la position absolue d'un objet dans l'espace. Cette technologie est essentielle pour obtenir l'effet de l'immersion dans la réalité virtuelle. En combinaison avec le suivi d'orientation, il devient possible de mesurer et de transmettre à VR tous les 6 degrés de liberté (6-DoF) du monde réel. En travaillant avec les technologies de réalité virtuelle dans notre entreprise, nous avons acquis une certaine expérience dans ce domaine et nous aimerions la partager en parlant des moyens existants de suivre la situation pour la réalité virtuelle, ainsi que des avantages et des inconvénients d'une solution.

Petite classification

L'ensemble des méthodes et approches pour résoudre ce problème peut être divisé en plusieurs groupes:

Acoustique
Fréquence radio
Magnétique
Optique
Inertiel
Hybride

La perception humaine impose des exigences élevées en termes de précision (~ 1 mm) et de retards (<20 ms) dans l'équipement BP. Les méthodes optiques et inertielles sont les plus proches de ces exigences et sont le plus souvent utilisées ensemble, se complétant mutuellement. Considérez les principes de base sur lesquels les méthodes ci-dessus sont construites.

Méthodes acoustiques

Les appareils de suivi acoustique utilisent des ondes sonores ultrasoniques (haute fréquence) pour mesurer la position et l'orientation de l'objet cible. Pour déterminer la position de l'objet, on mesure le temps d'arrivée de l' onde sonore de l'émetteur vers les récepteurs, ou la différence de phase de l'onde sonore sinusoïdale pendant la réception et la transmission. Société Intersense position de dispositif de développement suivi basé sur l' échographie.
Les trackers acoustiques ont généralement un faible taux de rafraîchissement en raison de la faible vitesse du son dans l'air. Un autre problème est que la vitesse du son dans l'air dépend de facteurs environnementaux tels que la température, la pression barométrique et l'humidité.

Méthodes RF

Il existe de nombreuses méthodes basées sur les radiofréquences. À bien des égards, selon les principes de détermination de la position, ils sont similaires aux méthodes de suivi acoustique (la différence réside uniquement dans la nature de l'onde). Les plus prometteuses pour le moment sont les méthodes UWB (Ultra-Wide Band), mais même dans les meilleures solutions basées sur UWB, la précision n'atteint qu'un ordre de centimètres ( DW1000 de DecaWave , Dart de Zebra Technologies , Series 7000 d'Ubisense et d'autres). Peut-être qu'à l'avenir, des startups comme Pozyx ou IndoTraq pourront atteindre une précision inférieure au millimètre. Cependant, les solutions de suivi de position UWB ne sont pas encore applicables à la réalité virtuelle.
D'autres méthodes de positionnement aux radiofréquences sont décrites plus en détail dans cearticle .

Méthodes magnétiques

Le suivi magnétique est basé sur la mesure de l'intensité du champ magnétique dans différentes directions. En règle générale, dans de tels systèmes, il existe une station de base qui génère un champ magnétique alternatif ou constant. Étant donné que la force du champ magnétique diminue avec l'augmentation de la distance entre le point de mesure et la station de base, vous pouvez déterminer l'emplacement du contrôleur. Si le point de mesure tourne, la distribution du champ magnétique change selon différents axes, ce qui vous permet de déterminer l'orientation. Les produits les plus connus basés sur le suivi magnétique sont le contrôleur Razer Hydra et le système STEM de Sixense.
La précision de cette méthode peut être assez élevée dans des conditions contrôlées (les spécifications Hydra se réfèrent à une précision de position de 1 mm et à un degré de précision d'orientation), mais le suivi magnétique est soumis à des interférences provenant de matériaux conducteurs près de l'émetteur ou du capteur, de champs magnétiques générés par d'autres appareils électroniques et ferromagnétiques. matériaux dans l'espace de suivi.

Méthodes optiques

Les méthodes optiques sont une combinaison d'algorithmes de vision par ordinateur et de dispositifs de suivi, qui comprennent des caméras visibles ou infrarouges, des caméras stéréo et des caméras de profondeur.
Selon le choix du système de référence, il existe deux approches pour suivre la position:

L' approche de l' extérieur vers l' intérieur implique la présence d'un observateur externe fixe (caméra), qui détermine la position d'un objet en mouvement par des points caractéristiques. Utilisé dans Oculus Rift (construction), PSVR, OSVR et de nombreux systèmes de capture de mouvement.
L' approche de l' intérieur vers l'extérieur suppose la présence d'un capteur optique sur un objet en mouvement, grâce auquel il est possible de suivre le mouvement de points relativement fixes dans l'espace environnant. Utilisé dans Microsoft Hololens, Project Tango (SLAM), SteamVR Lighthouse (une option hybride, car il existe des stations de base).

De plus, selon la disponibilité de marqueurs optiques spéciaux, ils sont isolés séparément:

Le suivi sans marqueur est généralement basé sur des algorithmes complexes utilisant deux caméras ou plus, ou des caméras stéréo avec des capteurs de profondeur.
, . ( , ), QR-. .

Perspective-n-Point (PnP)

Avec le suivi optique, le problème dit de PnP (Perspective-n-Point) est résolu pour déterminer la position d'un objet dans l'espace, lorsqu'il est nécessaire de déterminer la position d'un objet dans l'espace 3D à partir de la projection en perspective de l'objet sur le plan du capteur de la caméra.

Pour un modèle 3D donné de l'objet et une projection 2D de l'objet sur le plan de la caméra, un système d'équations est résolu. En conséquence, de nombreuses solutions possibles sont obtenues. Le nombre de décisions dépend du nombre de points dans le modèle 3D de l'objet. Une solution non ambiguë pour déterminer la position 6-DoF d'un objet peut être obtenue avec au moins 4 points. Pour un triangle, 2 à 4 solutions possibles sont obtenues, c'est-à-dire que la position ne peut être déterminée sans ambiguïté:

la solution est proposée par un nombre suffisamment important d'algorithmes implémentés dans les bibliothèques:

SLAM - Localisation et cartographie simultanées

La méthode de localisation et de construction de cartes simultanées (SLAM) est la méthode de positionnement la plus populaire en robotique (et pas seulement), qui est utilisée pour suivre la position dans l'espace.

L'algorithme se compose de deux parties: la première cartographie un environnement inconnu sur la base de mesures (données d'un odomètre ou d'une caméra stéréo), la seconde détermine son emplacement (localisation) dans l'espace sur la base d'une comparaison des mesures actuelles avec une carte spatiale existante. Ce cycle est recalculé en continu, tandis que les résultats d'un processus participent aux calculs d'un autre processus. Les méthodes les plus populaires pour résoudre le problème comprennent un filtre à particules et un filtre de Kalman avancé. En fait, SLAM est un sujet assez étendu, et pas seulement un algorithme spécifique, et l'analyse de toutes les solutions existantes sur ce sujet fait l'objet d'un article séparé.
SLAM est pratique pour les solutions mobiles de réalité virtuelle et de réalité augmentée. Cependant, l'inconvénient de cette approche est la grande complexité de calcul qui, associée à des applications VR / AR exigeantes, chargera considérablement les ressources productives de l'appareil.

Project Tango de Google et Microsoft Hololens sont les projets basés sur SLAM les plus connus pour les appareils mobiles. La prise en charge du suivi basé sur SLAM est également attendue dans les produits Intel ( Project Alloy ) et Qualcomm ( VR820 ) récemment annoncés .
Parmi les solutions open source, on peut distinguer ORB-SLAM , LSD-SLAM , PTAM-GPL .

Suivi inertiel

Les systèmes de mesure inertielle ( IMU ) modernes basés sur la technologie MEMS vous permettent de suivre l'orientation (roulis, tangage, lacet) dans l'espace avec une grande précision et des retards minimaux.

Grâce aux algorithmes de fusion de capteurs basés sur un filtre complémentaire ou un filtre de Kalman, les données du gyroscope et de l'accéléromètre se corrigent avec succès et fournissent une précision pour les mesures à court terme et pour une longue période.

Cependant, la détermination des coordonnées (déplacement) due à la double intégration de l'accélération linéaire ( dead reckoning)), calculé à partir des données brutes de l'accéléromètre, ne satisfait pas aux exigences de précision pendant de longues périodes. L'accéléromètre lui-même fournit des données très bruyantes et, lorsqu'il est intégré, l'erreur augmente de façon quadratique au fil du temps.
La combinaison de l'approche inertielle du suivi avec d'autres méthodes qui corrigent périodiquement la dérive dite de l'accéléromètre aide à résoudre ce problème.

Méthodes hybrides

Puisqu'aucune des méthodes n'est sans défaut et qu'elles ont toutes leurs points faibles, il est plus raisonnable de combiner différentes méthodes de suivi. Ainsi, le suivi inertiel (IMU) peut fournir un taux de rafraîchissement des données élevé (jusqu'à 1000 Hz), tandis que les méthodes optiques peuvent donner une précision stable sur de longues périodes (correction de la dérive).

Les méthodes de suivi hybrides sont basées sur des algorithmes « Sensor Fusion », dont le plus populaire est le filtre de Kalman étendu ( EKF ).

Comment fonctionne le phare SteamVR?

Le système de suivi HTC Vive se compose de deux stations de base, de capteurs optiques et d'unités de mesure inertielle (IMU) dans les contrôleurs et le casque. Les stations de base se composent de deux lasers rotatifs et d'un réseau de LED infrarouges. L'un des lasers tourne verticalement, le second - horizontalement. Ainsi, les lasers "balayent" à leur tour l'espace environnant. Les stations de base fonctionnent de manière synchrone: à un certain moment, un seul des quatre lasers «scanne» l'espace de suivi. Pour synchroniser le fonctionnement de l'ensemble du système entre chaque mise sous tension du laser, tout l'espace environnant est éclairé par une impulsion de lumière infrarouge.

Les capteurs sur les contrôleurs et le casque enregistrent toutes les impulsions optiques des stations de base et mesurent le temps entre elles. La vitesse du laser étant connue à l'avance (60 Hz), les angles de rotation de chacun des rayons peuvent être calculés à partir du temps entre les impulsions. Ce qui nous donne les coordonnées 2D du capteur optique, connaissant la position relative des capteurs sur le contrôleur, vous pouvez facilement restaurer la position 3D du contrôleur dans l'espace (tâche PnP). Avec la visibilité simultanée de deux stations de base, la position 3D du contrôleur peut être calculée à partir de l'intersection de deux rayons, ce qui donne des résultats plus précis et nécessite moins de calcul. Le processus de suivi est illustré plus clairement ci-dessous.

Il y a un mois, Valve a annoncé l'ouverture de son système de suivi à des développeurs tiers. Vous pouvez en savoir plus à ce sujet ici .

Quelle méthode de suivi de position dans l'espace est la plus prometteuse pour la réalité virtuelle / augmentée à votre avis?

Il s'agit du premier article d'une série sur les technologues BP, s'il y a un intérêt, nous continuerons à les écrire davantage.

PS Pourquoi n'y a-t-il pas de hub de réalité virtuelle?

Aperçu des méthodes et technologies de positionnement pour la réalité virtuelle