👩🏿‍🤝‍👨🏻 🧑🏿 🆗 Controles efectivos de realidad virtual 👨‍🎤 👦🏾 ☔️

Recientemente, cada vez más tienen que lidiar con tareas relacionadas con la interacción en la realidad virtual. El tema es interesante y relevante, ya que está más directamente relacionado con la funcionalidad en un entorno virtual y afecta la experiencia del usuario en su conjunto, junto con la tecnología de los cascos VR, ampliando los límites del nivel de inmersión.

Tan pronto como la primera versión de las gafas Oculus Rift DK1 apareció en una nueva ola de interés en BP, surgieron problemas con el sistema de entrada de inmediato: el teclado y el mouse resultaron ser herramientas prácticamente inútiles, y el control a través del movimiento de los ojos era una forma inadecuada de interactuar con el entorno y los elementos de la interfaz.

En el BP móvil, el panel táctil, que se puede ver en los modelos de auriculares Samsung Gear VR , se ha arraigado perfectamenteasí como joysticks inalámbricos. Pero en la realidad virtual estacionaria, además de usar joysticks clásicos (no se puede prescindir de estos dispositivos, ya que en varios géneros de juegos también son la solución óptima en la realidad virtual), existen muchas más posibilidades para los sistemas de entrada. Ahora los tres jugadores principales, Oculus VR , HTC / Valve y Sony , usarán controladores sensibles al movimiento junto con sus gafas. La posición de las gafas y los controladores se puede determinar en el espacio.

Oculus y Sony se centraron en implementar el seguimiento del casco y los controladores más diseñados para el usuario en una posición sentada o de pie, y el sistema de seguimiento Vive funciona en un área de hasta 4.5 por 4.5 metros, lo que permite al usuario moverse dentro del espacio designado.

Muchos podrían sorprenderse. ¿Por qué se sugiere utilizar controladores sensibles al movimiento y no sus alternativas? Después de todo, existen sistemas de captura para las habilidades motoras finas de los dedos, como Leap Motion , así como varios guantes prototipo (por ejemplo, el desarrollo de Khimmerse ).

Requisitos para el seguimiento y los sistemas de entrada

Para empezar, comprendamos lo que se necesita primero del sistema de control en BP.
Y si intenta describir el requisito en una palabra, creo que será la palabra "naturalidad". El sistema de control en la realidad virtual debe estar lo más cerca posible de la interacción natural con la realidad objetiva que nos rodea, con los objetos con los que interactuamos principalmente con la ayuda de las manos.

BP es interesante porque no solo podemos recrear la realidad en la virtualidad, sino también expandir los límites de la realidad ordinaria, y esto, por supuesto, puede aplicarse a la interfaz de usuario, pero en este caso está algo más allá del alcance de este tema.

La naturalidad también implica un umbral de entrada bajo debido a una comprensión intuitiva de los principios operativos.

También hay sincronización: está relacionada con el tema de la naturalidad y es extremadamente importante. Se trata de sincronizar las acciones del usuario en real y virtual. Este aspecto concierne no solo a la IU, sino principalmente a la autopercepción de una persona en realidad virtual.
Y esto, junto con la implementación de alta calidad del trabajo de los puntos BP, se ve facilitado por los sistemas de seguimiento. Cuanto mayores sean las oportunidades de seguimiento disponibles, mayor será el efecto de inmersión y mayores oportunidades de interacción con el medio ambiente. Pero la sincronización no es solo una cuestión de capacidad de seguimiento y precisión, sino también de su funcionamiento estable.

Y la respuesta simple a la pregunta de por qué los principales jugadores ofrecen usar los sistemas de seguimiento y entrada que designan suena así: en este momento, estos sistemas le permiten crear la interacción más universal, natural, intuitiva y estable en un entorno virtual que ya puede posicionarse como una solución de producto para usar. ahora

Principales dudas

Interacción

Si hablamos de dispositivos que ofrecen los propios propietarios de la plataforma, a primera vista podría parecer que dos controladores con botones que definitivamente debe tener en sus manos pueden empeorar el proceso de interacción natural con el entorno.

Pero el controlador en la mano no es más que una herramienta, como un martillo, el volante de un automóvil o el mouse de una computadora. En cierto nivel, esta herramienta se convierte en parte del usuario en el proceso de interactuar con él. Por ejemplo, cuando una persona ha estado conduciendo un automóvil por un tiempo, comienza a sentir realmente su tamaño, la sensación de su cuerpo se expande hasta los bordes de la carrocería del automóvil.

Estudios recientes muestran que al usar herramientas en el cerebro del mono, se producen cambios en ciertas redes neuronales: la herramienta se integra en el circuito de su propio cuerpo (un mapa constantemente actualizado de la ubicación de las extremidades y la forma de todo el cuerpo): el modelo del brazo se expande hasta la punta de la herramienta.

Cuando HTC Vive apareció en VRARlab y comenzamos las primeras pruebas, notamos de inmediato que los autores en muchas escenas de demostración a menudo muestran modelos virtuales de controladores reales, creando una sincronización completa entre la herramienta de interacción real y virtual. Manteniendo el controlador real y viendo su contraparte virtual en la escena, se logra un nivel de inmersión muy grande.

, , , , , — .
, , , , . , , .

En otros ejemplos de proyectos para HTC Vive y otras gafas, se muestran varios objetos en el sitio del controlador (mano, pistola, botella de ketchup, etc.). Además, subjetivamente, la diferencia entre mostrar un controlador virtual como un análogo completo de un objeto real o de otro tipo no es tan fuerte como podría parecer inicialmente. En ciertos puntos, olvida que está sosteniendo el controlador y simplemente opera su mano sobre los objetos virtuales de la escena. El controlador simplemente se convierte en una parte de ti por sentado.

Ahora intentemos comprender las alternativas existentes y si son tan buenas desde el punto de vista de la naturalidad y la sincronización, y este es un punto importante, para el amplio círculo final de consumidores.

Sensores ópticos de captura de motor fino

En este caso, existen varios problemas al usar dicha solución , estos son algunos de los más críticos:

Para interactuar con el entorno virtual, las manos siempre deben mantenerse frente al sensor, frente al usuario en un área bastante limitada. Esto es extremadamente antinatural y también físicamente difícil durante un largo período de trabajo.
Los algoritmos actuales para determinar las manos distan mucho de ser ideales: en algunos ángulos, las manos generalmente dejan de detectarse, un umbral de entrada alto debido a problemas de seguimiento persistentes empeora en gran medida la experiencia de usar la solución como un todo.

Guantes

Por supuesto, para muchas personas, la idea de guantes para controlar la realidad virtual causa nostalgia por el apogeo del ciberpunk clásico en literatura y cine, pero en términos prácticos, los guantes pueden resolver muchos problemas con los sensores anteriores, hay otros problemas con la experiencia de usuario y el uso diario: diferentes tamaños de manos diferentes personas tienen problemas de higiene, tiempo adicional para prepararse antes del uso, la sensación de estar constantemente usando guantes a temperatura positiva e incluso la presencia de cables que se envuelven alrededor de sus manos.

En movimiento

Uno de los problemas importantes que tienen los sistemas de entrada de BP actuales es el problema de mover a una persona en el espacio virtual. En general, además del espacio limitado para el movimiento en HTC Vive, todos los demás sistemas no permiten sincronizar el movimiento real del cuerpo humano y el virtual. Es decir, la ausencia de dicha sincronización conduce a la llamada disonancia sensorial debido a la cual se produce el efecto de mareo al pasar a la PA.
El problema es tan grave que en muchos proyectos especialmente diseñados para la realidad virtual, la única opción resultó ser abandonar por completo o reelaborar en gran medida la posibilidad de movimiento libre en el espacio.

Esto no se aplica a situaciones en las que el usuario, por ejemplo, está en el interior del automóvil virtual o en un robot gigante; estamos hablando de simular un movimiento completamente libre fuera de cualquier carcasa (mecánica clásica de FPS).

Hay varias formas de reducir los efectos desagradables al nivel de cambiar la mecánica del movimiento (negarse a mover la cámara hacia la izquierda y hacia la derecha y moverse hacia el punto de la mirada , moverse por teletransportación de un punto a otro, visualizar las rutas de movimiento y formas más extravagantes , etc.), pero la más efectiva es el rechazo de cualquier movimiento libre o colocación del jugador dentro de la "cabina".

Plataformas de viaje

Por supuesto, hay varias soluciones técnicas para simular el movimiento natural. Por ejemplo, Virtuix Omni . Estos dispositivos podrán encontrar su audiencia, pero en la forma actual, todas las plataformas existentes son inadecuadas para que una amplia gama de consumidores formen parte de la versión del producto de los anteojos: instalación engorrosa, requisitos para quitarse los zapatos o tener zapatos especiales para usar en la plataforma, tiempo para configurar antes juego, un alcance bastante limitado del dispositivo, estas son solo algunas de las razones más obvias por las que es poco probable que estas plataformas en la forma actual se generalicen.

Avatares

Otro tema relacionado con las opciones actuales de los sistemas de entrada, que se posicionan como comestibles, es la representación de los avatares de los jugadores en la realidad virtual. Un problema importante es la capacidad limitada para visualizar correctamente el avatar.
Aquí, nuevamente, como en el caso de los sistemas móviles, es más eficiente adaptarse a las restricciones actuales que, por ejemplo, complicar y hacer que el sistema de rastreo sea más costoso.

Los autores del entorno limitado de la red Toybox para Oculus Rift abordaron a fondo la cuestión de mostrar avatares, lo cual es extremadamente importante debido a la presencia de varios jugadores en el juego que interactúan entre sí.

Los desarrolladores recomiendan encarecidamente que no visualice las partes del cuerpo del avatar, que deberían reflejar los movimientos del cuerpo real (si ocurre en la vida real), pero no pueden, debido a la limitación del sistema de seguimiento, para no destruir el efecto de la inmersión.
¿El usuario final pierde algo de esto? Depende de cómo puedas vencerlo. Si estamos hablando de un juego en el que el jugador es, por ejemplo, un fantasma, la restricción de visualización obtiene una justificación narrativa y los problemas desaparecen.

En la historia sobre el desarrollo de una búsqueda en la realidad usando Oculus Rift, hay un ejemplo de cómo, usando una narración, los posibles problemas de Leap Motion se corroboraron y se presentaron como una tarea de juego.

En muchos juegos, el personaje del jugador (como su cuerpo real) no debe moverse libremente. Por ejemplo, un avatar se coloca en el asiento del conductor de un automóvil, esto suaviza parcialmente la situación. Y en el ejemplo de Toybox, la convención del juego, que es compatible con el estilo visual elegido, también funciona completamente.
Además, la falta de realismo y la ausencia de partes enteras del cuerpo de avatares se suavizan debido a la credibilidad de los movimientos de la cabeza y las manos debido al seguimiento de alta calidad.

Hubo dos grandes conferencias en Oculus Connect 2, que plantearon estos y muchos otros temas relacionados con los sistemas de entrada, que se pueden encontrar a continuación:

Perspectivas

Un punto importante: no quiero decir en absoluto que todas las alternativas sean inútiles. Es solo que ahora y en 2016, los sensores ópticos de motor fino, los guantes y otros tipos de dispositivos de entrada están perdiendo debido a una serie de parámetros importantes para el usuario final frente a controladores como Oculus Touch.

Las opciones de entrada alternativas bien conocidas en BP todavía necesitan resolver muchos problemas para que también sean universales y convenientes para el usuario final, al igual que los controladores que se entregarán con las versiones del producto de los puntos VR. Y la probabilidad de que se resuelvan los problemas es, y para algunos análogos, es bastante alta (especialmente para sensores ópticos para rastrear manos). Pero las capacidades actuales de los anteojos y equipos relacionados están lejos de ser ideales. Sus desarrolladores ahora solo están al comienzo de un camino largo e increíblemente interesante para completar la inmersión.

Controles efectivos de realidad virtual