Drahtlose VR- und Bewegungserfassung auf HTC Vive-Hardware

Vorwort

Ich habe über mein Impulsprojekt geschrieben - einen Bewegungserfassungsanzug, der auf Trägheitssensoren basiert. Zunächst möchte ich mich bei allen bedanken, die auf die eine oder andere Weise ihr Feedback hinterlassen haben und dem Projekt geholfen haben. Ich muss sagen, dass das Projekt nicht viel entwickelt wurde, das Driftproblem nicht durch 9-Achsen-Sensoren gelöst wurde, aber Kompensationen mit einem digitalen Kompass haben viel geholfen, und die Verwendung einer einfachen optischen Verfolgung (zum Beispiel 2 LED-Markierungen am Kopf) ermöglicht es Ihnen, den durchschnittlichen Driftwert zu erhalten. Aber heute geht es nicht darum. Ich möchte über eine relativ kostengünstige Möglichkeit sprechen, Bewegungen für Virtual-Reality-Systeme auf Basis von HTC Vive ohne Kollektivfarm und Lötkolben zu erfassen und den Draht zu entfernen, der unweigerlich den Kopf und den Computer verbindet, was zu erheblichen Unannehmlichkeiten führt. Ich werde Ihnen auch sagen, wie wir es geschafft haben, eine Verfolgungsfläche von ~ 80 Quadratmetern zu erreichen.

Fangen wir an

Das System funktioniert mit HTC Vive-Geräten. Dies ist ein Vollzeithelm, 2 Controller und 2 Basisstationen. Ich empfehle, HTC Vive 2 zu kaufen. Es hat sich gut gezeigt, wahrscheinlich aufgrund aktualisierter Basisstationen. Jetzt wurde der Preis auf 50.000 Rubel gesenkt.

Zusätzlich zum Standard-Set empfehle ich das VIVE Deluxe Audio- Add-On. Es handelt sich nicht nur um Kopfhörer (was bereits praktisch ist), sondern auch um eine äußerst praktische Lösung für eine bequemere Verwendung des Helms. Diese Ergänzung ist insbesondere dann relevant, wenn mehrere Spieler oder Besucher der Attraktion den Helm verwenden. Mit dieser Halterung können Sie das drahtlose System auch sicher montieren, und es sieht cool aus:

VIVE Deluxe Audio . Der Ausgabepreis beträgt 10 Tausend Rubel.

Nieder mit dem Draht

Zuallererst müssen Sie diese „Leine“ brechen und echte Freiheit im VR-Raum ohne schwere und beheizte Laptops fühlen. Dazu benötigen Sie das TPCast- Add-On - ein Gerät, mit dem Sie Vive in den Wireless-Modus versetzen können.

TPCast Optionen

Das gesamte System besteht aus mehreren Modulen, mehr zu jedem:


Passt perfekt zu VIVE Deluxe Audio. Es wird mit kurzen Kabeln USB und HDMI an den Helm angeschlossen, die anderen 2 Kabel (USB und Strom) werden an den Adapter des Akkus angeschlossen.


Als Nächstes müssen Sie die Standard-Vive-Linkbox beiseite legen und das folgende Modul (Sender) über HDMI direkt an den Computer anschließen:

Sie können das Standardkabel oder 10-Meter-HDMI verwenden. Die Stromversorgung über eine Standard-Linkbox muss an den TPCast-Sender angeschlossen werden. Ich muss sagen, dass Sie eine Kombination mit einer Linkbox verwenden können, indem Sie einfach einen Sender anstelle eines Helms anschließen (ohne eines der drei Kabel anzuschließen - USB). Der Sender sollte an einer Stelle im Raum platziert werden, an der der Helm immer sichtbar ist Wenn der Sender mit hohen Frequenzen arbeitet, ist jedes Hindernis ein Hindernis für die Übertragung eines Signals, derselbe Kopf, wenn sich eine Person abwendet. Mit anderen Worten, bieten Sie direkte Sichtbarkeit. Am besten platzieren Sie den Sender genau in der Mitte des Raums an der Decke und senden ihn senkrecht zum Boden.

Dies ist nicht alles, das Kit verfügt auch über einen Router, der an die Internetverbindung des PCs angeschlossen werden sollte. Einfach ausgedrückt befindet sich das Ethernet-Kabel im WAN-Port des Routers und der PC ist über LAN mit dem Router verbunden. Wenn diese Verbindung nicht akzeptabel ist, verwenden Sie eine zusätzliche Netzwerkkarte. Jetzt ist fast alles fertig, es bleibt nur noch das Herunterladen der Software und der Treiber von der offiziellen TPCast-Website:


Nach der Installation werden Sie von der Anwendung aufgefordert, Daten einzugeben, um eine Verbindung zum Zugangspunkt herzustellen. Der Benutzername und das Kennwort sind auf dem Aufkleber auf dem Adapter für den Akku angegeben. Sie müssen nur noch auf Start klicken und SteamVR nach einer erfolgreichen Verbindung starten. Wenn etwas schief gelaufen ist, befindet sich im Menü oben rechts ein Element zum Umschalten des Kanals. Im Allgemeinen kann ein Verbindungsverlust einfach per Knopfdruck wiederhergestellt werden. Sie können den Akku auch im laufenden Betrieb wechseln.



TPCast- Baugruppe. Der Ausgabepreis beträgt 35-40 Tausend Rubel, aber hier sind die Merkmale:

• 2K-Auflösung (normal für HTC Vive)
• 90 FPS
• Verzögerung weniger als 2 ms

Für den Heimgebrauch ist dies natürlich unpraktisch, Sie können den Draht tolerieren, aber für eine kommerzielle Lösung - eine ausgezeichnete Option, insbesondere wenn Sie den Bereich der Verfolgung erweitern.

Jetzt können Sie versuchen, auf Steam Home zu laufen und sich nicht mehr an Kabel, Knicke, Knoten und mehr erinnern, außer dass der Akku aufgeladen ist. Es ist jedoch besser, zusätzliche zu kaufen. Sie reichen für 4-5 Stunden aktiven Gebrauch.

Wir gehen über die Grenzen dessen hinaus, was erlaubt ist

Ohne Draht werden Sie sich schnell beengt fühlen, Sie werden einen kleinen Spaziergang machen wollen, aber in Standard 16 Quadratmetern wird dies nicht funktionieren. Das erste, was Sie brauchen, ist ein Raum (100 Quadratmeter sind geeignet) und mit höheren Decken (3,5 Meter). Dies ist der schwierigste Teil. In der Mitte der Raumdecke befindet sich der TPCast-Sender. An den Seiten sind HTC Vive-Basisstationen unter der Decke montiert. der Abstand zwischen - 5 Metern, so dass sich die Stationen auf einer Linie befinden (senkrecht zu zwei Wänden und parallel zu den beiden anderen), die durch die Mitte des Raums (in der Mitte des Senders) verläuft. Ferner müssen die Stationen in einem Winkel von 30 Grad zueinander geneigt sein (d. H. Sie sind stärker auf den Boden gerichtet).

Stationen müssen zur Synchronisation mit einem Kabel verbunden sein (die Optik funktioniert nicht stabil). Die Kanäle der Stationen sollten auf A und b eingestellt sein. Kalibrieren Sie den Raum nach der Installation mit Standardwerkzeugen. Es ist erwähnenswert, dass es sich beim Erstellen einer Aufsichtsperson (ein blaues Gitter, das die Grenzen eines realen Raums angibt) lohnt, den erweiterten Modus zu wählen, in dem Sie nur die Ecken des Raums angeben können. Das Gitter ist ein gleichmäßiges Quadrat. Der Spielbereich ist am besten in der Mitte platziert. Diese Konfiguration bietet einen großen Bereich mit ausreichend genauer Verfolgung mit einer minimalen Anzahl von toten Winkeln und ermöglicht die effiziente Nutzung regulärer Stationen. Vor dem Tauchen empfehle ich die Installation der OpenVR Advanced-Einstellungen . Die Benutzeroberfläche ist direkt im VR-Bereich im Standardmenü verfügbar. Diese Einstellungen verbessern die Auflösung, das Supersampling und konfigurieren das Chaperon (Aktivierungsbereich, Farbe, Höhe, Sichtbarkeit usw.). Natürlich können Sie immer noch mit der Platzierung von Basisstationen herumspielen, den Winkel oder einen kleinen Abstand zwischen ihnen für einen bestimmten Raum ändern. Das Ergebnis ist beeindruckend, laut Standard-Steam-Home ist es möglich, ohne Rückruf der Teleportation zu navigieren. In den meisten Spielen ist dieser Bereich mehr als genug. Im November droht Vive, Unterstützung für die Arbeit mit einer großen Anzahl von Basisstationen hinzuzufügen, aber es ist noch nicht klar, ob die derzeitige Ausrüstung mehr als zwei aufnehmen kann oder nur neue Helme und Steuerungen dazu in der Lage sein werden.

Hör auf, ein Geist zu sein

Im Allgemeinen können alle VR-Spiele als ein einziges Subgenre definiert werden - „Ghost Simulator“. Sie können Objekte aufnehmen, werfen und so weiter. Es gibt Ausnahmen, in denen Sie Ihren bewegungslosen Körper sehen können, was sehr dissonant ist. Auf die eine oder andere Weise benötigen Sie etwas aus dem Bereich der Bewegungserfassung, um einem virtuellen Protagonisten einen sich zuverlässig bewegenden Körper zu zeichnen. Das Erfassen von Bewegungen ist nicht das billigste Vergnügen, wenn Sie den kurzsichtigen Kinekt und dergleichen wegwerfen, was in einem solchen Bereich der Verfolgung unwirksam ist. Zwei Dinge helfen: HTC Vive Tracker und inverse Kinematik (IR). Die erste wird benötigt, um die Position von irgendetwas im Verfolgungsbereich zu bestimmen, die zweite ist, um die Position des Körpers im virtuellen Raum wiederherzustellen, wobei die Position von nur 6 Punkten bekannt ist (dies ist das Minimum für den gesamten Körper).


Vive Tracker . Ein Tracker kostet ungefähr 8 Tausend Rubel

Für einen Mindestsatz benötigen Sie 3 dieser Tracker. Im Allgemeinen handelt es sich hierbei um dieselben Standardregler, die nur getrimmt sind und sich in einem etwas anderen Fall befinden. Jeder dieser Tracker ist in SteamVR definiert. Der einzige Unterschied besteht darin, dass für den Anschluss spezielle Dongles (im Lieferumfang enthalten) erforderlich sind. Sie können sie jedoch anstelle von Controllern an einem Helm befestigen. Auf der Rückseite befindet sich ein Kontaktbereich zum Anschließen benutzerdefinierter Tasten (Sie können auch den USB-Anschluss am Tracker verwenden). Es kann ein Waffenabzug, ein Lichtschwert-Aktivierungsknopf oder alles sein. Das Drücken solcher Tasten wird wie das Drücken von Tasten auf der Steuerung verarbeitet, aus Sicht der Softwareentwicklung gibt es keinen Unterschied. Im Allgemeinen können sie verwendet werden, um Spielobjekte wie Waffen oder Werkzeuge, sogar Möbel und Türen, zu verfolgen. Wir sind jedoch an der Bewegungserfassung interessiert.



Es ist möglich, die Position des Kopfes mit einem Helm und den Händen zu bestimmen - mit Hilfe von Steuerungen. 2 Tracker sollten auf den Schuh gelegt werden (von oben über den Füßen), der verbleibende fühlt sich am Gürtel hinten gut an. Mit einem solchen Setup können Sie bereits einige Spiele spielen, die diese Konfiguration unterstützen. Wenn wir jedoch über die Entwicklung Ihrer eigenen Software sprechen, benötigen Sie IR-Lösungen, um den Charakter zu animieren. Der grundlegende Unterschied zwischen der inversen Kinematik und einer geraden Linie besteht darin, dass im Fall einer geraden Linie die Position unter Kenntnis der Winkel berechnet wird und im Fall der inversen Linie die Winkel unter Kenntnis der Position berechnet werden. Auf diese Weise können Sie selbst ein sehr einfaches Modell erstellen, indem Sie die Position von zwei Punkten zur Berechnung des Zwischenprodukts kennen, wenn man bedenkt, wie sich der menschliche Körper normalerweise biegt. Es gibt jedoch vorgefertigte Lösungen wie Final IK , VRIK und andere prozedurale Animationswerkzeuge. Es gibt Studios, die Lösungen dieser Art anbieten. Eines davon ist IKinema und sein Produkt namens Project Orion - eine Software, mit der Sie Bewegungen basierend auf den von SteamVR empfangenen Daten erfassen und über das VRPN- Protokoll an jede andere Anwendung senden können (es gibt vorgefertigte Plugins und Assets für Unity und Unreal). Für eine Budgetlösung ist es besser, die vorherigen Mittel zu verwenden, die sich recht gut zeigen.




Darüber hinaus kann die resultierende Animation bereits im Motor ein wenig gereinigt werden, obwohl Orion damit fertig wird, die Rutschstopps entfernt und die Kompensation für die Rauheit des virtuellen Bodens berechnet. IKinema hat eine Plugin-Lösung für Unreal:


Im Großen und Ganzen sind Plug-Ins einfacher, ähnliche Aufgaben zu bewältigen, noch einfacher.
Diese Handschuhe zum Beispiel:


Manus vr

Fazit

Heutzutage wird die Bewegungserfassung immer zugänglicher, ebenso wie die virtuelle Realität, was sicherlich erfreulich ist. Es stehen eine Reihe von Spielen an, in denen Tracker und Animationen des Protagonisten entsprechend den Bewegungen des Spielers unterstützt werden. Natürlich ist all dies immer noch nicht so bequem und zugänglich, wie wir es gerne hätten, aber jetzt ist es möglich, ein solches System zu relativ geringen Kosten zusammenzubauen. Es ist nicht notwendig zu sagen, dass der Massenspieler es sich leisten könnte, seinen Spielraum auf diese Weise auszustatten, aber in Form einer Attraktion wird dies ein ganz neues Level sein.

Einige Beobachtungen:

Um den Draht aufzugeben, gab es im Allgemeinen mehr Drähte.
Nach dem Erwerb eines virtuellen Körpers scheint der Grad an Realismus zuzunehmen, aber um Ihren sich bewegenden Schatten im virtuellen Raum zu sehen, ist eine weitere Aufgabe für das Gehirn. Schwindel beginnt, daher ist es besser, ihn auszuschalten (dies ist individuell).

Das Verfolgen des Körpers und der Objekte eröffnet eine Vielzahl von Möglichkeiten zur Erstellung von Spielmechaniken und zum Effekt des Eintauchens im Allgemeinen.

Das Ergebnis der Zusammenstellung eines solchen Systems auf Video zu Beginn des Beitrags. Auch ein Beispiel für eine Charakteranimation in Echtzeit: