VR sans fil et capture de mouvement sur le matériel HTC Vive

Préface

J'avais l'habitude d'écrire sur mon projet d' impulsion - une combinaison de capture de mouvement basée sur des capteurs inertiels. Tout d'abord, je tiens à remercier tous ceux qui ont laissé leurs commentaires, d'une manière ou d'une autre, ont aidé le projet. Je dois dire que le projet n'a pas reçu beaucoup de développement, le problème de dérive n'a pas été résolu par des capteurs à 9 axes, mais les compensations à l'aide d'une boussole numérique ont beaucoup aidé, et l'utilisation d'un suivi optique simple (par exemple, 2 marqueurs LED sur la tête) vous permet d'obtenir la valeur moyenne de dérive. Mais aujourd'hui, ce n'est pas ça. Je veux parler d'un moyen relativement peu coûteux de capturer le mouvement pour les systèmes de réalité virtuelle basés sur HTC Vive sans ferme collective et sans fer à souder, ainsi que de la façon de se débarrasser du fil qui relie inévitablement la tête et l'ordinateur, ce qui crée beaucoup d'inconvénients. Je vais également vous expliquer comment nous avons réussi à obtenir une zone de suivi d'environ 80 mètres carrés.

Commençons

Le système fonctionnera sur l'équipement HTC Vive, c'est un casque à temps plein, 2 contrôleurs et 2 stations de base, je recommande l'achat de HTC Vive 2 , il a bien fonctionné, probablement en raison des stations de base mises à jour. Maintenant, le prix a été réduit à 50 000 roubles.

En plus de l'ensemble standard, je recommande l'add-on VIVE Deluxe Audio , ce n'est pas seulement un casque (qui est déjà pratique), c'est une solution extrêmement pratique pour une utilisation plus confortable du casque, en particulier cet ajout est pertinent lorsque le casque est utilisé par plusieurs joueurs ou visiteurs de l'attraction. En outre, ce support vous permet de monter en toute sécurité le système sans fil, et il a l'air cool:

VIVE Deluxe Audio . Le prix d'émission est de 10 mille roubles.

À bas le fil

Tout d'abord, vous devez briser cette «laisse» et ressentir une réelle liberté dans l'espace VR sans ordinateur portable lourd et chauffé derrière. Pour ce faire, vous avez besoin du module complémentaire TPCast - un appareil qui vous permet de mettre Vive en mode sans fil.

TPCast Les options

L'ensemble du système se compose de plusieurs modules, plus sur chacun:


Se monte parfaitement sur VIVE Deluxe Audio. Il est connecté au casque avec des fils courts USB et HDMI, les 2 autres fils (USB et alimentation) sont connectés à l'adaptateur à la batterie.


Ensuite, vous devez mettre de côté la boîte de liaison Vive standard et connecter le module (émetteur) suivant directement à l'ordinateur via HDMI:

Vous pouvez utiliser le câble standard ou HDMI 10 mètres. L'alimentation d'une boîte de liaison standard doit être connectée à l'émetteur TPCast. Je dois dire que vous pouvez utiliser une combinaison avec une linkbox, simplement en connectant un émetteur au lieu d'un casque (sans connecter l'un des trois fils - USB). L'émetteur doit être placé à un endroit de la pièce où le casque sera toujours visible, comme l'émetteur fonctionne à des fréquences élevées, alors toute obstruction sera un obstacle à la transmission d'un signal, la même tête si une personne se détourne. En d'autres termes, offrez une visibilité directe. La meilleure option est de placer l'émetteur exactement au centre de la pièce au plafond, en l'envoyant perpendiculairement au sol.

Ce n'est pas tout, le kit dispose également d'un routeur qui doit être connecté à la connexion Internet du PC. Autrement dit, le câble Ethernet est dans le port WAN du routeur, et le PC est connecté au routeur via LAN. Si cette connexion est inacceptable, utilisez une carte réseau supplémentaire. Maintenant, presque tout est prêt, il ne reste plus qu'à télécharger le logiciel et les pilotes depuis le site officiel de TPCast:


Après l'installation, l'application vous demandera d'entrer des données pour vous connecter au point d'accès, le nom d'utilisateur et le mot de passe sont indiqués sur l'autocollant sur l'adaptateur pour la batterie. Il ne reste plus qu'à cliquer sur Démarrer et démarrer SteamVR après une connexion réussie. Si quelque chose s'est mal passé, alors dans le menu supérieur droit il y a un élément Changer de canal. En général, la perte de connexion est facile à restaurer avec le toucher d'un bouton, vous pouvez également changer la batterie à la volée.



Assemblée TPCast . Le prix d'émission est de 35 à 40 000 roubles, mais voici les caractéristiques:

• Résolution 2K (normale pour HTC Vive)
• 90 FPS
• Retard inférieur à 2 ms

Bien sûr, pour un usage domestique, cela n'est pas pratique, vous pouvez tolérer le fil, mais pour une solution commerciale - une excellente option, surtout si vous élargissez le domaine du suivi.

Maintenant, vous pouvez essayer de marcher sur Steam Home et ne pas vous souvenir du fil, des plis, des nœuds et plus, sauf que la batterie est chargée, mais il est préférable d'en acheter d'autres. Ils suffisent pour 4 à 5 heures d'utilisation active.

Nous allons au-delà des limites de ce qui est permis

Sans fil, vous vous sentirez rapidement à l'étroit, vous aurez envie de faire une petite promenade, mais dans les 16 mètres carrés standard, cela ne fonctionnera pas. La première chose dont vous avez besoin est une pièce (100 mètres carrés conviennent) et avec des plafonds plus élevés (3,5 mètres). C'est la partie la plus difficile. Au centre du plafond de la pièce se trouve l'émetteur TPCast. Sur les côtés, les stations de base HTC Vive sont montées sous le plafond. la distance entre - 5 mètres, de sorte que les stations sont situées sur une ligne (perpendiculaire à deux murs et parallèle aux deux autres), passant par le centre de la pièce (au centre de l'émetteur). De plus, les stations doivent être inclinées à un angle de 30 degrés les unes par rapport aux autres (c'est-à-dire qu'elles sont davantage dirigées vers le sol).

Les stations doivent être connectées avec un fil pour la synchronisation (l'optique ne fonctionnera pas de manière stable), les canaux des stations doivent être réglés sur A et b. Après l'installation, calibrez la pièce à l'aide d'outils standard. Il convient de noter qu'au stade de la construction d'un chaperon (une grille bleue, indiquant les limites d'une vraie pièce), il convient de choisir le mode avancé, qui vous permettra de spécifier uniquement les coins de la pièce, la grille sera un carré pair. La zone de jeu est mieux placée au centre. Cette configuration fournira une large zone de suivi suffisamment précise avec un nombre minimum d'angles morts et permettra une utilisation efficace des stations régulières. Avant de plonger, je recommande d'installer les paramètres OpenVR Advanced , leur interface sera disponible directement dans l'espace VR du menu standard. Ces paramètres amélioreront la résolution, le suréchantillonnage et configureront le chaperon (zone d'activation, couleur, hauteur, visibilité, etc.) Bien sûr, vous pouvez toujours jouer avec le placement des stations de base, changer l'angle ou une petite distance entre elles pour une certaine pièce. Le résultat est impressionnant, selon la norme Steam Home, il est possible de naviguer sans rappeler la téléportation. Dans la plupart des jeux, cette zone est plus que suffisante. En novembre, Vive menace d'ajouter un support pour travailler avec un grand nombre de stations de base, mais il n'est pas encore clair si l'équipement actuel pourra en accepter plus de deux, ou seuls de nouveaux casques et contrôleurs pourront le faire.

Arrête d'être un fantôme

En général, tous les jeux VR peuvent être définis comme un seul sous-genre - «simulateur de fantôme», vous pouvez ramasser des objets, les jeter et ainsi de suite. Il y a des exceptions où vous pouvez voir votre corps immobile, ce qui est très dissonant. D'une manière ou d'une autre, pour dessiner un protagoniste virtuel un corps en mouvement fiable, vous avez besoin de quelque chose de la zone de capture de mouvement. Capturer le mouvement n'est pas le plaisir le moins cher si vous jetez le kinekt à courte vue et similaires, ce qui est inefficace dans un tel domaine de suivi. Deux choses viennent à la rescousse - HTC Vive Tracker et la cinématique inverse (IR). Le premier est nécessaire pour déterminer la position de quoi que ce soit dans la zone de suivi, le second est de recréer la position du corps dans l'espace virtuel, en connaissant la position de seulement 6 points (c'est le minimum pour tout le corps).


Vive Tracker . Un tracker coûte environ 8 mille roubles

Pour un ensemble minimum, vous aurez besoin de 3 de ces trackers. En général, ce sont les mêmes contrôleurs standard, seulement coupés et dans un cas légèrement différent. Chacun de ces trackers est défini dans SteamVR, la seule différence est qu'ils ont besoin de dongles spéciaux (inclus) pour les connecter, bien que vous puissiez les attacher à un casque au lieu de contrôleurs. À l'arrière, il y a une zone de contact pour connecter des boutons personnalisés (vous pouvez également utiliser le connecteur USB sur le tracker). Cela peut être une gâchette de pistolet, un bouton d'activation du sabre laser, n'importe quoi. Les pressions sur ces boutons sont traitées de la même manière que les pressions sur les boutons du contrôleur, du point de vue du développement logiciel, il n'y a pas de différence. En général, ils peuvent être utilisés pour suivre des objets de jeu, tels que des armes ou des outils, même des meubles et des portes, mais nous nous intéressons à la capture de mouvement.



Il est possible de déterminer la position de la tête à l'aide d'un casque, des mains - à l'aide de contrôleurs. 2 trackers doivent être placés sur la chaussure (au-dessus des pieds), le dernier se sentira bien sur la ceinture à l'arrière. Une telle configuration vous permettra déjà de jouer à certains jeux qui prennent en charge cette configuration, mais si nous parlons de développer votre propre logiciel, vous aurez besoin de solutions IR pour animer le personnage. La différence fondamentale entre la cinématique inverse et une ligne droite est que dans le cas d'une ligne droite, la position est calculée, connaissant les angles, et dans le cas de l'inverse, les angles sont calculés, connaissant la position. Ainsi, vous pouvez créer vous-même un modèle très simple, connaissant la position de deux points pour calculer l'intermédiaire, compte tenu de la façon dont le corps humain se plie habituellement. Mais il existe des solutions prêtes à l'emploi telles que Final IK , VRIK et d'autres outils d'animation procédurale. Il existe des studios qui proposent des solutions de ce type. L'un d'eux est IKinema et son produit appelé Project Orion - un logiciel qui vous permet de capturer le mouvement basé sur les données reçues de SteamVR et de le diffuser via le protocole VRPN vers toute autre application (il existe des plugins et des actifs prêts à l'emploi pour Unity et Unreal). Pour une solution économique, il vaut mieux utiliser les outils précédents qui se montrent assez bien.




De plus, déjà dans le moteur, l'animation résultante peut être nettoyée un peu, bien qu'Orion y fasse face, supprime les arrêts de glissement, calcule la compensation de la rugosité du sol virtuel. IKinema a une solution de plugin pour Unreal:


Dans l'ensemble, les plug-ins sont plus faciles à faire face à des tâches similaires, encore plus faciles.
Ces gants, par exemple:


Manus vr

Conclusion

Aujourd'hui, la capture de mouvement devient plus accessible, tout comme la réalité virtuelle, ce qui est certainement agréable. Un certain nombre de jeux sont à venir, dans lesquels il y aura un support pour les trackers et les animations du protagoniste en fonction des mouvements du joueur. Bien sûr, tout cela n'est toujours pas aussi pratique et accessible que nous le souhaiterions, mais maintenant il est possible d'assembler un tel système à un coût relativement faible. Il n'est pas nécessaire de dire que le joueur de masse pourrait se permettre d'équiper ainsi son espace de jeu, mais sous la forme d'une attraction, ce sera un tout nouveau niveau.

Quelques observations:

Pour abandonner le fil, il y avait plus de fils en général.
Après avoir acquis un corps virtuel, il semble que le degré de réalisme augmente, mais voir votre ombre en mouvement dans l'espace virtuel est une autre tâche pour le cerveau, les étourdissements commencent, il est donc préférable de l'éteindre (c'est individuel)

Le suivi du corps et des objets ouvre un grand nombre de possibilités pour créer des mécanismes de jeu et l'effet de l'immersion en général.

Le résultat de l'assemblage d'un tel système sur vidéo au début du post. Également un exemple d'animation de personnage en temps réel: