🔈 👩🏾‍✈️ 👩🏼‍🍳 Descripción general de los métodos y tecnologías de posicionamiento para la realidad virtual 🥂 🤡 🦃

El seguimiento posicional es una combinación de hardware y software que le permite determinar la posición absoluta de un objeto en el espacio. Esta tecnología es crítica para lograr el efecto de inmersión en la realidad virtual. En combinación con el seguimiento de orientación, es posible medir y transmitir a la realidad virtual los 6 grados de libertad (6-DoF) del mundo real. En el curso de trabajar con tecnologías de realidad virtual en nuestra empresa, adquirimos algo de experiencia en este asunto y nos gustaría compartirla hablando sobre las formas existentes de rastrear la situación para la realidad virtual, así como los pros y los contras de una solución.

Pequeña clasificación

El conjunto de métodos y enfoques para resolver este problema se puede dividir en varios grupos:

Acústica
Radiofrecuencia
Magnético
Óptica
Inercial
Híbrido

La percepción humana impone altas exigencias de precisión (~ 1 mm) y demoras (<20 ms) en los equipos de BP. Los métodos ópticos e inerciales son los más cercanos a estos requisitos, y con mayor frecuencia se usan juntos, complementando entre sí. Considere los principios básicos sobre los cuales se construyen los métodos anteriores.

Métodos acústicos

Los dispositivos de seguimiento acústico utilizan ondas de sonido ultrasónicas (de alta frecuencia) para medir la posición y orientación del objeto objetivo. Para determinar la posición del objeto , se mide el tiempo de vuelo ( tiempo de llegada ) de la onda de sonido desde el transmisor a los receptores, o la diferencia de fase de la onda de sonido sinusoidal durante la recepción y la transmisión. Compañía Intersense posición dispositivo de revelado de seguimiento basado en la ecografía.
Los seguidores acústicos generalmente tienen una frecuencia de actualización baja debido a la baja velocidad del sonido en el aire. Otro problema es que la velocidad del sonido en el aire depende de factores ambientales como la temperatura, la presión barométrica y la humedad.

Métodos de RF

Existen muchos métodos basados en frecuencias de radio. En muchos aspectos, de acuerdo con los principios de determinación de la posición, son similares a los métodos de seguimiento acústico (la diferencia es solo en la naturaleza de la onda). Los más prometedores en este momento son los métodos UWB (Ultra-Wide Band), pero incluso en las mejores soluciones basadas en UWB, la precisión alcanza solo un orden de centímetros ( DW1000 de DecaWave , Dart de Zebra Technologies , Series 7000 de Ubisense y otros). Quizás en el futuro, las startups como Pozyx o IndoTraq podrán lograr una precisión submilimétrica. Sin embargo, las soluciones de seguimiento de posición de UWB aún no son aplicables a la realidad virtual.
Otros métodos para posicionamiento en radiofrecuencias se describen con más detalle en esteartículo .

Métodos magnéticos

El seguimiento magnético se basa en medir la intensidad del campo magnético en varias direcciones. Como regla, en tales sistemas hay una estación base que genera un campo magnético alterno o constante. Dado que la intensidad del campo magnético disminuye al aumentar la distancia entre el punto de medición y la estación base, puede determinar la ubicación del controlador. Si el punto de medición gira, la distribución del campo magnético cambia a lo largo de diferentes ejes, lo que le permite determinar la orientación. Los productos más conocidos basados en el seguimiento magnético son el controlador Razer Hydra y el sistema STEM de Sixense.
La precisión de este método puede ser bastante alta en condiciones controladas (las especificaciones de Hydra se refieren a una precisión posicional de 1 mm y un grado de precisión de orientación), sin embargo, el seguimiento magnético está sujeto a interferencias de materiales conductores cerca del emisor o sensor, de campos magnéticos generados por otros dispositivos electrónicos y ferromagnéticos. materiales en el espacio de seguimiento.

Métodos ópticos

Los métodos ópticos son una combinación de algoritmos de visión por computadora y dispositivos de rastreo, que incluyen cámaras visibles o infrarrojas, cámaras estéreo y cámaras de profundidad.
Dependiendo de la elección del sistema de referencia, existen dos enfoques para el seguimiento de la posición:

El enfoque de afuera hacia adentro implica la presencia de un observador externo fijo (cámara), que determina la posición de un objeto en movimiento por puntos característicos. Utilizado en Oculus Rift (Estrellado), PSVR, OSVR y muchos sistemas de captura de movimiento.
El enfoque de adentro hacia afuera supone la presencia de un sensor óptico en un objeto en movimiento, gracias al cual es posible rastrear el movimiento de puntos relativamente fijos en el espacio circundante. Usado en Microsoft Hololens, Project Tango (SLAM), SteamVR Lighthouse (una opción híbrida, porque hay estaciones base).

Además, dependiendo de la disponibilidad de marcadores ópticos especiales, se aíslan por separado:

El seguimiento sin marcadores generalmente se basa en algoritmos complejos que usan dos o más cámaras, o cámaras estéreo con sensores de profundidad.
, . ( , ), QR-. .

Perspective-n-Point (PnP)

Con el seguimiento óptico, el llamado problema PnP (Perspectiva-n-Point) se resuelve para determinar la posición de un objeto en el espacio, cuando es necesario determinar la posición de un objeto en el espacio 3D desde la proyección en perspectiva del objeto en el plano del sensor de la cámara.

Para un modelo 3D dado del objeto y una proyección 2D del objeto en el plano de la cámara, se resuelve un sistema de ecuaciones. Como resultado, se obtienen muchas soluciones posibles. El número de decisiones depende del número de puntos en el modelo 3D del objeto. Se puede obtener una solución inequívoca para determinar la posición 6-DoF de un objeto con al menos 4 puntos. Para un triángulo, se obtienen de 2 a 4 posibles soluciones, es decir, la posición no puede determinarse sin ambigüedades:

la solución se propone mediante un número suficientemente grande de algoritmos implementados en bibliotecas:

SLAM - Localización y mapeo simultáneos

El método de localización simultánea y construcción de mapas (SLAM) es el método más popular de posicionamiento en robótica (y no solo), que se utiliza para rastrear la posición en el espacio.

El algoritmo consta de dos partes: la primera es el mapeo de un entorno desconocido basado en mediciones (datos de un odómetro o una cámara estéreo), la segunda es la determinación de su ubicación (localización) en el espacio en base a una comparación de las mediciones actuales con un mapa espacial existente. Este ciclo se recalcula continuamente, mientras que los resultados de un proceso participan en los cálculos de otro proceso. Los métodos más populares para resolver el problema incluyen un filtro de partículas y un filtro avanzado de Kalman. De hecho, SLAM es un tema bastante extenso, y no solo un algoritmo específico, y el análisis de todas las soluciones existentes sobre este tema se basa en un artículo separado.
SLAM es conveniente para soluciones móviles de realidad virtual y aumentada. Sin embargo, la desventaja de este enfoque es la gran complejidad computacional, que, junto con las exigentes aplicaciones VR / AR, cargará en gran medida los recursos productivos del dispositivo.

Project Tango de Google y Microsoft Hololens son los proyectos basados en SLAM más conocidos para dispositivos móviles. También se espera soporte para el seguimiento basado en SLAM en productos recientemente anunciados de Intel ( Project Alloy ) y Qualcomm ( VR820 ).
Entre las soluciones de código abierto, podemos distinguir ORB-SLAM , LSD-SLAM , PTAM-GPL .

Seguimiento inercial

Los modernos sistemas de medición de inercia ( IMU ) basados en la tecnología MEMS le permiten seguir la orientación (balanceo, cabeceo, guiñada) en el espacio con gran precisión y demoras mínimas.

Gracias a los algoritmos de fusión de sensores basados en un filtro complementario o un filtro de Kalman, los datos del giroscopio y el acelerómetro se corrigen entre sí con éxito y proporcionan precisión tanto para mediciones a corto plazo como para un período prolongado.

Sin embargo, la determinación de coordenadas (desplazamiento) debido a la doble integración de la aceleración lineal ( cálculo muerto)), calculado a partir de datos sin procesar del acelerómetro, no cumple los requisitos de precisión durante largos períodos de tiempo. El acelerómetro en sí mismo proporciona datos muy ruidosos, y cuando se integra, el error aumenta cuadráticamente con el tiempo.
La combinación del enfoque inercial para el seguimiento con otros métodos que corrigen periódicamente la llamada deriva del acelerómetro ayuda a resolver este problema.

Métodos híbridos

Dado que ninguno de los métodos es perfecto y todos tienen sus puntos débiles, es más razonable combinar diferentes métodos de seguimiento. Por lo tanto, el seguimiento inercial (IMU) puede proporcionar una alta frecuencia de actualización de datos (hasta 1000 Hz), mientras que los métodos ópticos pueden proporcionar una precisión estable durante largos períodos de tiempo (corrección de deriva).

Los métodos de seguimiento híbrido se basan en algoritmos de " Sensor Fusion ", el más popular de los cuales es el Filtro Kalman Extendido ( EKF ).

¿Cómo funciona el faro SteamVR?

El sistema de seguimiento HTC Vive consta de dos estaciones base, sensores ópticos y unidades de medición de inercia (IMU) en los controladores y el casco. Las estaciones base constan de dos láseres giratorios y una serie de LED infrarrojos. Uno de los láseres gira verticalmente, el segundo, horizontalmente. Así, los láseres a su vez "escanean" el espacio circundante. Las estaciones base operan sincrónicamente: en cierto momento, solo uno de los cuatro láseres "escanea" el espacio de rastreo. Para sincronizar el funcionamiento de todo el sistema entre cada encendido láser, todo el espacio circundante se ilumina mediante un pulso de luz infrarroja.

Los sensores en los controladores y el casco registran todos los pulsos ópticos de las estaciones base y miden el tiempo entre ellos. Dado que la velocidad del láser se conoce de antemano (60 Hz), los ángulos de rotación de cada uno de los rayos se pueden calcular a partir del tiempo entre pulsos. Lo que nos da las coordenadas 2D del sensor óptico, conociendo la posición relativa de los sensores en el controlador, puede restaurar fácilmente la posición 3D del controlador en el espacio (tarea PnP). Con la visibilidad simultánea de dos estaciones base, la posición 3D del controlador se puede calcular a partir de la intersección de dos rayos, lo que proporciona resultados más precisos y requiere menos cómputo. El proceso de seguimiento se demuestra más claramente a continuación.

Hace un mes, Valve anunció que abriría su sistema de seguimiento a desarrolladores externos. Puedes leer más sobre esto aquí .

¿Qué método de seguimiento de posición en el espacio es el más prometedor para la realidad virtual / aumentada en su opinión?

Este es el primer artículo de una serie sobre tecnólogos de BP, si hay interés, continuaremos escribiéndolos más.

PD: ¿Por qué no hay un centro de realidad virtual?

Descripción general de los métodos y tecnologías de posicionamiento para la realidad virtual