VR inalámbrico y captura de movimiento en hardware HTC Vive

Prólogo

Solía ​​escribir sobre mi proyecto de impulso : un traje de captura de movimiento basado en sensores inerciales. En primer lugar, quiero agradecer a todos los que dejaron sus comentarios, de una forma u otra, ayudaron al proyecto. Debo decir que el proyecto no recibió mucho desarrollo, el problema de la deriva no se resolvió con sensores de 9 ejes, pero las compensaciones con una brújula digital ayudaron mucho, y el uso de un seguimiento óptico simple (por ejemplo, 2 marcadores LED en la cabeza) le permite obtener el valor de deriva promedio. Pero hoy no se trata de eso. Quiero hablar sobre una forma relativamente económica de capturar movimiento para sistemas de realidad virtual basados ​​en HTC Vive sin una granja colectiva y un soldador, así como sobre cómo deshacerse del cable que inevitablemente conecta la cabeza y la computadora, lo que crea muchos inconvenientes. También le diré cómo logramos lograr un área de seguimiento de ~ 80 metros cuadrados.

Empecemos

El sistema funcionará en el equipo HTC Vive, este es un casco de tiempo completo, 2 controladores y 2 estaciones base, recomiendo comprar HTC Vive 2 , se mostró bien, probablemente debido a las estaciones base actualizadas. Ahora, el precio se ha reducido a 50 mil rublos.

Además del conjunto estándar, recomiendo el complemento VIVE Deluxe Audio , no son solo auriculares (que ya es conveniente), es una solución extremadamente conveniente para un uso más cómodo del casco, especialmente esta adición es relevante cuando varios jugadores o visitantes usan el casco. Además, este soporte le permite montar de forma segura el sistema inalámbrico, y se ve genial:

VIVE Deluxe Audio . El precio de emisión es de 10 mil rublos.

Abajo con el cable

En primer lugar, debe romper esta "correa" y sentir una verdadera libertad en el espacio de realidad virtual sin computadoras portátiles pesadas y calientes. Para hacer esto, necesita el complemento TPCast , un dispositivo que le permite poner Vive en modo inalámbrico.

TPCast Opciones

Todo el sistema consta de varios módulos, más sobre cada uno:


Se monta perfectamente en VIVE Deluxe Audio. Está conectado al casco con cables cortos USB y HDMI, los otros 2 cables (USB y alimentación) están conectados al adaptador a la batería.


A continuación, debe dejar a un lado la caja de enlace Vive estándar y conectar el siguiente módulo (transmisor) directamente a la computadora a través de HDMI:

Puede usar el cable estándar o HDMI de 10 metros. La fuente de alimentación de un linkbox estándar debe estar conectada al transmisor TPCast. Debo decir que puede usar una combinación con un linkbox, simplemente conectando un transmisor en lugar de un casco (sin conectar uno de los tres cables: USB). El transmisor debe colocarse en un punto de la habitación donde el casco siempre estará visible, como el transmisor funciona a altas frecuencias, entonces cualquier obstrucción será un obstáculo para transmitir una señal, la misma cabeza si una persona se da vuelta. En otras palabras, proporcionar visibilidad directa. La mejor opción es colocar el transmisor exactamente en el centro de la habitación en el techo, enviándolo perpendicular al piso.

Esto no es todo, el kit también tiene un enrutador que debe conectarse a la conexión a Internet de la PC. En pocas palabras, el cable de Ethernet está en el puerto WAN del enrutador y la PC está conectada al enrutador a través de LAN. Si esta conexión es inaceptable, use una tarjeta de red adicional. Ahora casi todo está listo, solo queda descargar el software y los controladores del sitio web oficial de TPCast:


Después de la instalación, la aplicación le pedirá que ingrese datos para conectarse al punto de acceso, el nombre de usuario y la contraseña se indican en la etiqueta del adaptador para la batería. Todo lo que queda es hacer clic en Inicio e iniciar SteamVR después de una conexión exitosa. Si algo salió mal, entonces en el menú superior derecho hay un elemento Cambiar canal. En general, la pérdida de conexión es fácil de restaurar con solo tocar un botón, también puede cambiar la batería sobre la marcha.



Asamblea TPCast . El precio de emisión es de 35-40 mil rublos, pero estas son las características:

• Resolución 2K (normal para HTC Vive)
• 90 FPS
• Retraso de menos de 2 ms

Por supuesto, para el uso en el hogar esto no es práctico, puede tolerar el cable, pero para una solución comercial, una excelente opción, especialmente si amplía el campo de seguimiento.

Ahora puede intentar caminar en Steam Home y no recordar el cable, los pliegues, los nodos y más, excepto que la batería está cargada, pero es mejor comprar otros. Son suficientes para 4-5 horas de uso activo.

Vamos más allá de los límites de lo permitido

Sin un cable, rápidamente se sentirá apretado, tendrá que caminar un poco, pero en 16 metros cuadrados estándar esto no funcionará. Lo primero que necesita es una habitación (son adecuados 100 metros cuadrados), y con techos más altos (3.5 metros). Esta es la parte más difícil. En el centro del techo de la habitación se encuentra el transmisor TPCast. A los lados, las estaciones base HTC Vive están montadas debajo del techo. la distancia entre - 5 metros, de modo que las estaciones estén ubicadas en una línea (perpendicular a dos paredes y paralelas a las otras dos), pasando por el centro de la habitación (en el centro del transmisor). Además, las estaciones deben inclinarse en un ángulo de 30 grados entre sí (es decir, están más dirigidas al piso).

Las estaciones deben estar conectadas con un cable para la sincronización (la óptica no funcionará de manera estable), los canales de las estaciones deben configurarse en A y b. Después de la instalación, calibre la habitación con herramientas estándar. Vale la pena señalar que en la etapa de construcción de una chaperona (una cuadrícula azul, que indica los límites de una habitación real), vale la pena elegir el modo avanzado, que le permitirá especificar solo las esquinas de la habitación, la cuadrícula será un cuadrado uniforme. El área de juego está mejor ubicada en el centro. Esta configuración proporcionará una gran área de seguimiento lo suficientemente precisa con un número mínimo de puntos ciegos y permitirá el uso eficiente de las estaciones regulares. Antes de bucear, recomiendo instalar la configuración avanzada de OpenVR , su interfaz estará disponible directamente en el espacio VR en el menú estándar. Esta configuración mejorará la resolución, el supermuestreo y configurará el chaperón (área de activación, color, altura, visibilidad, etc.) Por supuesto, aún puede jugar con la ubicación de las estaciones base, cambiar el ángulo o una pequeña distancia entre ellas para una habitación determinada. El resultado es impresionante, de acuerdo con el estándar Steam Home, es posible navegar sin recordar la teletransportación. En la mayoría de los juegos, esta área es más que suficiente. En noviembre, Vive amenaza con agregar soporte para trabajar con una gran cantidad de estaciones base, pero aún no está claro si el equipo actual podrá aceptar más de dos, o solo los nuevos cascos y controladores podrán hacerlo.

Deja de ser un fantasma

En general, todos los juegos de realidad virtual se pueden definir como un solo subgénero: "simulador de fantasmas", puede recoger objetos, lanzarlos, etc. Hay excepciones donde puedes ver tu cuerpo inmóvil, que es muy disonante. De una forma u otra, para atraer a un protagonista virtual a un cuerpo en movimiento confiable, necesita algo del área de captura de movimiento. Capturar el movimiento no es el placer más barato si descarta el kinekt miope y similares, lo cual es ineficaz en dicha área de seguimiento. Dos cosas vienen al rescate: HTC Vive Tracker y la cinemática inversa (IR). El primero es necesario para determinar la posición de cualquier cosa en el área de seguimiento, el segundo es recrear la posición del cuerpo en el espacio virtual, conociendo la posición de solo 6 puntos (este es el mínimo para todo el cuerpo).


Vive Tracker . Un rastreador cuesta alrededor de 8 mil rublos.

Para un conjunto mínimo, necesitará 3 de estos rastreadores. En general, estos son los mismos controladores estándar, solo recortados y en un caso ligeramente diferente. Cada uno de estos rastreadores se define en SteamVR, la única diferencia es que necesitan dongles especiales (incluidos) para conectarlos, aunque puede conectarlos a un casco en lugar de controladores. En la parte posterior hay un área de contacto para conectar botones personalizados (también puede usar el conector USB en el rastreador). Puede ser un gatillo de pistola, un botón de activación de sable de luz, cualquier cosa. Las pulsaciones de dichos botones se procesan de la misma manera que las pulsaciones de botones en el controlador, desde el punto de vista del desarrollo de software no hay diferencia. En general, se pueden usar para rastrear objetos del juego, como armas o herramientas, incluso muebles y puertas, pero estamos interesados ​​en la captura de movimiento.



Es posible determinar la posición de la cabeza con un casco, con las manos usando controladores. Deben colocarse 2 rastreadores en el zapato (desde arriba de los pies), el restante se sentirá bien en el cinturón en la parte posterior. Tal configuración ya te permitirá jugar algunos juegos que admitan esta configuración, pero si hablamos de desarrollar tu propio software, necesitarás soluciones IR para animar al personaje. La diferencia fundamental entre la cinemática inversa y una línea recta es que, en el caso de una línea recta, se calcula la posición, conociendo los ángulos, y en el caso de la inversa, se calculan los ángulos, conociendo la posición. Por lo tanto, puede hacer un modelo muy simple usted mismo, conociendo la posición de dos puntos para calcular el intermedio, dada la forma en que el cuerpo humano generalmente se dobla. Pero hay soluciones listas para usar, como Final IK , VRIK y otras herramientas de animación de procedimientos. Hay estudios que brindan soluciones de este tipo. Uno de ellos es IKinema y su producto llamado Project Orion , un software que le permite capturar el movimiento en base a los datos recibidos de SteamVR y transmitirlo a través del protocolo VRPN a cualquier otra aplicación (hay complementos y activos listos para Unity y Unreal). Para una solución de presupuesto, es mejor usar los medios anteriores, que se muestran bastante bien.




Además, ya en el motor, la animación resultante se puede limpiar un poco, aunque Orion hace frente a esto, elimina los topes de deslizamiento y calcula la compensación por la rugosidad del piso virtual. IKinema tiene una solución de complemento para Unreal:


En general, los complementos son más fáciles de hacer frente a tareas similares, incluso más fácil.
Estos guantes, por ejemplo:


Manus vr

Conclusión

Hoy en día, la captura de movimiento se está volviendo más accesible, al igual que la realidad virtual, que sin duda es agradable. Vienen varios juegos, en los que habrá soporte para rastreadores y animaciones del protagonista de acuerdo con los movimientos del jugador. Por supuesto, todo esto aún no es tan conveniente y accesible como nos gustaría, pero ahora es posible ensamblar un sistema de este tipo a un costo relativamente bajo. No es necesario decir que el jugador masivo podría permitirse equipar su espacio de juego de esta manera, pero en forma de atracción, este será un nivel completamente nuevo.

Algunas observaciones:

Para abandonar el cable, había más cables en general.
Después de adquirir un cuerpo virtual, parece que el grado de realismo está aumentando, pero para ver su sombra en movimiento en el espacio virtual es otra tarea para el cerebro, comienza el mareo, por lo que es mejor apagarlo (esto es individual)

El seguimiento del cuerpo y los objetos abre una gran cantidad de oportunidades para crear mecanismos de juego y el efecto de la inmersión en general.

El resultado de ensamblar dicho sistema en video al comienzo de la publicación. También un ejemplo de animación de personajes en tiempo real: