👩🏾‍🎨 📢 💔 Effektive VR-Steuerung 🤨 🐱 🎀

In letzter Zeit müssen sich immer mehr mit Aufgaben im Zusammenhang mit der Interaktion in der virtuellen Realität befassen. Das Thema ist interessant und relevant, da es am unmittelbarsten mit der Funktionalität in einer virtuellen Umgebung zusammenhängt und die Benutzererfahrung insgesamt sowie die Technologie der BP-Helme selbst beeinflusst und die Grenzen der Immersionsstufe erweitert.

Sobald die erste Version der Oculus Rift DK1-Brille auf einer neuen Welle des Interesses an BP auftauchte, traten sofort Probleme mit dem Eingabesystem auf - Tastatur und Maus erwiesen sich als praktisch nutzlose Werkzeuge, und die Steuerung durch Schweben der Augen war eine unzureichende Möglichkeit, mit Umgebungs- und Schnittstellenelementen zu interagieren.

Im mobilen BP hat sich das Touchpad, das in den Samsung Gear VR- Headset-Modellen zu sehen ist, perfekt etabliertsowie drahtlose Joysticks. Aber in der stationären VR gibt es neben der Verwendung klassischer Joysticks (auf diese Geräte kann nicht verzichtet werden, da sie in einer Reihe von Spielgenres auch in der VR die optimale Lösung sind) viel größere Möglichkeiten für Eingabesysteme. Jetzt werden alle drei Hauptakteure - Oculus VR , HTC / Valve und Sony - zusammen mit ihrer Brille bewegungsempfindliche Controller verwenden. Die Position der Gläser und Controller selbst kann im Raum bestimmt werden.

Oculus und Sony konzentrierten sich auf die Implementierung von Helm-Tracking und Controllern, die speziell für den Benutzer in sitzender oder stehender Position entwickelt wurden. Das Vive-Tracking-System arbeitet auf einer Fläche von bis zu 4,5 x 4,5 Metern, sodass sich der Benutzer innerhalb des festgelegten Bereichs bewegen kann.

Viele könnten überrascht sein. Warum wird empfohlen, bewegungsempfindliche Steuerungen und nicht deren Alternativen zu verwenden? Schließlich gibt es Erfassungssysteme für die Feinmotorik von Fingern wie Leap Motion sowie verschiedene Prototyphandschuhe (zum Beispiel die Entwicklung von Khimmerse ).

Anforderungen an Tracking- und Eingabesysteme

Lassen Sie uns zunächst verstehen, was zunächst vom Steuerungssystem in BP benötigt wird.
Und wenn Sie versuchen, die Anforderung in einem Wort zu beschreiben, dann denke ich, dass es das Wort "Natürlichkeit" sein wird. Das Steuerungssystem in der virtuellen Realität sollte so nah wie möglich an der natürlichen Interaktion mit der uns umgebenden objektiven Realität sein, mit deren Objekten wir hauptsächlich mit Hilfe von Händen interagieren.

BP ist insofern interessant, als wir nicht nur die Realität in der Virtualität neu erstellen können, sondern auch die Grenzen der gewöhnlichen Realität erweitern können. Dies kann natürlich auf die Benutzeroberfläche zutreffen, liegt jedoch in diesem Fall etwas außerhalb des Rahmens dieses Themas.

Natürlichkeit impliziert auch eine niedrige Eintrittsschwelle aufgrund eines intuitiven Verständnisses der Funktionsprinzipien.

Es gibt auch Synchronisation - sie ist mit dem Thema Natürlichkeit verbunden und äußerst wichtig. Es geht darum, Benutzeraktionen in real und virtuell zu synchronisieren. Dieser Aspekt betrifft nicht nur die Benutzeroberfläche, sondern vor allem die UX-Selbstwahrnehmung einer Person in der virtuellen Realität.
Dies wird zusammen mit der qualitativ hochwertigen Umsetzung der Arbeit von BP-Punkten durch Tracking-Systeme erleichtert. Je größer die Möglichkeiten zur Verfolgung sind, desto größer ist der Immersionseffekt und desto mehr Möglichkeiten zur Interaktion mit der Umgebung. Bei der Synchronisation geht es jedoch nicht nur um Tracking-Funktionen und Genauigkeit, sondern auch um den stabilen Betrieb.

Und die einfache Antwort auf die Frage, warum Hauptakteure die Verwendung der von ihnen bezeichneten Tracking- und Eingabesysteme anbieten, klingt wie folgt: Mit diesen Systemen können Sie derzeit die vielseitigste, natürlichste, intuitivste und stabilste Interaktion in einer virtuellen Umgebung erstellen, die bereits als Produktlösung für den Einsatz positioniert werden kann jetzt.

Hauptzweifel

Interaktion

Wenn wir über Geräte sprechen, die Plattformbesitzer selbst anbieten, scheint es auf den ersten Blick so, als könnten zwei Controller mit Tasten, die Sie unbedingt in den Händen halten müssen, den Prozess der natürlichen Interaktion mit der Umgebung verschlechtern.

Der Controller in der Hand ist jedoch nichts anderes als ein Werkzeug wie ein Hammer, ein Autolenkrad oder eine Computermaus. Ab einer bestimmten Ebene wird dieses Tool Teil des Benutzers bei der Interaktion mit ihm. Wenn eine Person zum Beispiel seit einiger Zeit ein Auto fährt, beginnt sie tatsächlich, ihre Größe zu spüren. Das Gefühl ihres Körpers dehnt sich bis an die Grenzen der Karosserie aus.

Jüngste Studien zeigen, dass während des Einsatzes von Werkzeugen im Gehirn des Affen Veränderungen in bestimmten neuronalen Netzen auftreten - das Werkzeug ist in das Schema seines eigenen Körpers integriert (eine ständig aktualisierte Karte der Position der Gliedmaßen und der Form des gesamten Körpers) - das Armmodell erstreckt sich bis zur Spitze des Werkzeugs.

Als HTC Vive in VRARlab erschien und wir mit den ersten Tests begannen, stellten wir sofort fest, dass die Autoren in vielen Demonstrationsszenen häufig virtuelle Modelle realer Controller anzeigen, wodurch eine vollständige Synchronisation zwischen dem realen und dem virtuellen Interaktionstool hergestellt wurde. Wenn der Controller real bleibt und sein virtuelles Gegenstück in der Szene sieht, wird ein sehr hohes Maß an Eintauchen erreicht.

, , , , , — .
, , , , . , , .

In anderen Beispielen für Projekte für HTC Vive und andere Brillen werden auf der Website des Controllers verschiedene Objekte angezeigt (Hand, Pistole, Flasche Ketchup usw.). Darüber hinaus ist subjektiv der Unterschied zwischen der Anzeige eines virtuellen Controllers als vollständiges Analogon eines realen oder eines anderen Objekts nicht so groß, wie es zunächst scheinen mag. An bestimmten Stellen vergessen Sie, dass Sie den Controller halten, und bedienen einfach Ihre Hand an den virtuellen Objekten der Szene. Der Controller wird für Sie selbstverständlich.

Versuchen wir nun, die bestehenden Alternativen zu verstehen und zu verstehen, ob sie unter dem Gesichtspunkt der Natürlichkeit und Synchronisation - und dies ist ein wichtiger Punkt - für den letzten großen Verbraucherkreis so gut sind.

Optische Sensoren für die Feinmotorik

In diesem Fall gibt es mehrere Probleme bei der Verwendung einer solchen Lösung . Hier sind einige der kritischsten:

Um mit der virtuellen Umgebung zu interagieren, sollten die Hände immer vor dem Sensor gehalten werden - vor dem Benutzer in einem eher begrenzten Bereich. Dies ist äußerst unnatürlich und für eine lange Arbeitszeit auch körperlich schwierig.
Gegenwärtige Algorithmen zur Bestimmung von Händen sind alles andere als ideal - in einigen Winkeln werden die Hände im Allgemeinen nicht mehr erkannt - eine hohe Eintrittsschwelle aufgrund anhaltender Verfolgungsprobleme verschlechtert die Erfahrung mit der Verwendung der Lösung insgesamt erheblich.

Handschuhe

Natürlich verursacht die Idee von Handschuhen zur Steuerung in VR für viele Menschen Nostalgie für die Blütezeit des klassischen Cyberpunk in Literatur und Kino, aber in der Praxis können Handschuhe viele Probleme mit den oben genannten Sensoren lösen, es gibt andere Probleme mit UX und dem täglichen Gebrauch - unterschiedliche Handgrößen Verschiedene Menschen haben Hygieneprobleme, zusätzliche Vorbereitungszeit vor dem Gebrauch, das Gefühl, ständig in Handschuhen bei positiver Temperatur zu sein, und sogar das Vorhandensein von Drähten, die sich um Ihre Hände wickeln.

Umzug

Eines der wichtigen Probleme, die aktuelle BP-Eingabesysteme haben, ist das Problem, eine Person im virtuellen Raum zu bewegen. Zusätzlich zu dem begrenzten Bewegungsspielraum auf dem HTC Vive erlauben alle anderen Systeme im Allgemeinen keine Synchronisierung der realen Bewegung des menschlichen und des virtuellen Körpers. Das Fehlen einer solchen Synchronisation führt nämlich zu der sogenannten sensorischen Dissonanz, aufgrund derer der Schwindeleffekt auftritt, wenn zu BP gewechselt wird.
Das Problem ist so schwerwiegend, dass sich in vielen Projekten, die speziell für VR entwickelt wurden, die einzige Möglichkeit herausstellte, die Möglichkeit der Freizügigkeit im Weltraum vollständig aufzugeben oder stark zu überarbeiten.

Dies gilt nicht für Situationen, in denen sich der Benutzer beispielsweise im Inneren eines virtuellen Autos oder in einem riesigen Roboter befindet. Es handelt sich um die Simulation einer vollständig freien Bewegung außerhalb einer beliebigen Hülle (klassische FPS-Mechanik).

Es gibt verschiedene Möglichkeiten, um unangenehme Effekte auf der Ebene der Änderung der Bewegungsmechanik zu reduzieren (sich weigern, die Kamera nach links und rechts zu bewegen und sich zum Blickpunkt zu bewegen , sich durch Teleportation von Punkt zu Punkt zu bewegen , die Bewegungspfade und extravagantere Wege zu visualisieren usw.), aber die effektivsten ist die Ablehnung jeglicher freier Bewegung oder Platzierung des Spielers in der "Kabine".

Reiseplattformen

Natürlich gibt es verschiedene technische Lösungen, um natürliche Bewegungen zu simulieren. Zum Beispiel Virtuix Omni . Diese Geräte werden in der Lage sein, ihre Zielgruppe zu finden, aber in der aktuellen Form sind alle vorhandenen Plattformen für eine breite Palette von Verbrauchern schlecht geeignet, um Teil der Produktversion der Brille selbst zu sein - umständliche Installation, Anforderungen zum Entfernen von Schuhen oder spezielle Schuhe für die Verwendung auf der Plattform, Zeit zum Einrichten Spiel, ein ziemlich enger Bereich des Geräts, dies sind nur einige der offensichtlichsten Gründe, warum diese Plattformen in der aktuellen Form wahrscheinlich nicht weit verbreitet werden.

Avatare

Ein weiteres Problem im Zusammenhang mit den aktuellen Optionen von Eingabesystemen, die als Lebensmittelgeschäft positioniert sind, ist die Darstellung von Spieleravataren in der virtuellen Realität. Ein wesentliches Problem ist die eingeschränkte Fähigkeit, den Avatar korrekt zu visualisieren.
Auch hier ist es, wie im Fall von sich bewegenden Systemen, effizienter, sich an aktuelle Beschränkungen anzupassen, als beispielsweise das Verfolgungssystem zu komplizieren und teurer zu machen.

Die Autoren der Toybox-Netzwerksandbox für Oculus Rift haben sich gründlich mit dem Thema der Anzeige von Avataren befasst, was aufgrund der Anwesenheit mehrerer Spieler im Spiel, die miteinander interagieren, äußerst wichtig ist.

Die Entwickler empfehlen dringend, dass Sie nicht die Körperteile des Avatars visualisieren, die die Bewegungen des realen Körpers widerspiegeln sollten (wenn sie im realen Leben auftreten), dies jedoch aufgrund der Einschränkung des Verfolgungssystems nicht können, um den Effekt des Eintauchens nicht zu zerstören.
Verliert der Endbenutzer etwas davon? Kommt darauf an, wie man es schlagen kann. Wenn es sich um ein Spiel handelt, bei dem der Spieler beispielsweise ein Geist ist, wird die Einschränkung der Visualisierung narrativ begründet und die Probleme verschwinden.

In der Geschichte über die Entwicklung einer Quest in der Realität mit Oculus Rift gibt es ein Beispiel dafür, wie anhand einer Erzählung die potenziellen Probleme von Leap Motion begründet und als Spielaufgabe dargestellt wurden.

In vielen Spielen sollte sich der Charakter des Spielers (wie sein wirklicher Körper) nicht frei bewegen. Zum Beispiel wird ein Avatar auf dem Fahrersitz eines Autos platziert, was die Situation teilweise glättet. Und im Toybox-Beispiel funktioniert auch die Spielkonvention, die durch den gewählten visuellen Stil unterstützt wird, vollständig.
Auch der Mangel an Realismus und das Fehlen ganzer Körperteile von Avataren werden aufgrund der Glaubwürdigkeit der Bewegungen des Kopfes und der Hände aufgrund einer qualitativ hochwertigen Verfolgung ausgeglichen.

Bei Oculus Connect 2 gab es zwei großartige Vorträge, in denen diese und viele andere Themen im Zusammenhang mit Eingabesystemen angesprochen wurden. Diese finden Sie weiter unten:

Perspektiven

Ein wichtiger Punkt - ich möchte überhaupt nicht sagen, dass alle Alternativen zwecklos sind. Es ist nur so, dass jetzt und im Jahr 2016 optische Feinmotorsensoren, Handschuhe und andere Arten von Eingabegeräten gegenüber Controllern wie Oculus Touch an einer Reihe wichtiger Parameter für den Endbenutzer verlieren.

Die bekannten alternativen Eingabemöglichkeiten in BP müssen noch viele Probleme lösen, damit sie auch für den Endbenutzer universell und bequem sind, ebenso wie die Controller, die mit den Produktversionen von VR-Punkten geliefert werden. Die Wahrscheinlichkeit, dass die Probleme gelöst werden, ist hoch und für einige Analoga sehr hoch (insbesondere für optische Sensoren zur Handverfolgung). Die derzeitigen Fähigkeiten von Brillen und verwandten Geräten sind jedoch alles andere als ideal. Ihre Entwickler stehen erst am Anfang eines langen und unglaublich interessanten Weges zum vollständigen Eintauchen.

Effektive VR-Steuerung