👇🏻 👽 🧑🏿 Visão geral dos métodos e tecnologias de posicionamento para realidade virtual 👵🏿 🎂 🚋

O rastreamento posicional é uma combinação de hardware e software que permite determinar a posição absoluta de um objeto no espaço. Essa tecnologia é fundamental para alcançar o efeito de imersão na realidade virtual. Em combinação com o rastreamento de orientação, torna-se possível medir e transmitir para VR todos os 6 graus de liberdade (6-DoF) do mundo real. No decorrer do trabalho com tecnologias de realidade virtual em nossa empresa, adquirimos alguma experiência nesse assunto e gostaríamos de compartilhá-la conversando sobre as formas existentes de rastrear a situação da realidade virtual, bem como os prós e contras de uma solução.

Classificação pequena

O conjunto de métodos e abordagens para resolver esse problema pode ser dividido em vários grupos:

Acústico
Radiofrequência
Magnético
Óptica
Inercial
Híbrido

A percepção humana exige alta precisão (~ 1 mm) e atrasos (<20 ms) nos equipamentos da BP. Os métodos ópticos e inerciais são os mais próximos desses requisitos e são mais frequentemente usados juntos, complementando-se. Considere os princípios básicos nos quais os métodos acima são criados.

Métodos acústicos

Os dispositivos de rastreamento acústico usam ondas sonoras ultrassônicas (alta frequência) para medir a posição e a orientação do objeto alvo. Para determinar a posição do objeto , é medido o tempo de chegada da onda sonora do transmissor para os receptores ou a diferença de fase da onda sonora sinusoidal durante a recepção e a transmissão. Empresa Intersense posição do dispositivo desenvolvimento de rastreamento baseado em ultra-som.
Rastreadores acústicos geralmente têm uma baixa taxa de atualização devido à baixa velocidade do som no ar. Outro problema é que a velocidade do som no ar depende de fatores ambientais como temperatura, pressão barométrica e umidade.

Métodos de RF

Existem muitos métodos baseados em frequências de rádio. Em muitos aspectos, pelos princípios de determinação da posição, eles são semelhantes aos métodos de rastreamento acústico (a diferença é apenas na natureza da onda). Os mais promissores no momento são os métodos UWB (Ultra-Wide Band), mas mesmo nas melhores soluções baseadas em UWB, a precisão atinge apenas uma ordem de centímetros ( DW1000 da DecaWave , Dart da Zebra Technologies , Série 7000 da Ubisense e outros). Talvez no futuro, empresas iniciantes como Pozyx ou IndoTraq sejam capazes de atingir uma precisão submilimétrica. No entanto, as soluções de rastreamento de posição UWB ainda não são aplicáveis à realidade virtual.
Outros métodos de posicionamento de RF são descritos em mais detalhes.artigo .

Métodos magnéticos

O rastreamento magnético é baseado na medição da intensidade do campo magnético em várias direções. Como regra, nesses sistemas existe uma estação base que gera um campo magnético alternado ou constante. Como a força do campo magnético diminui com o aumento da distância entre o ponto de medição e a estação base, você pode determinar a localização do controlador. Se o ponto de medição gira, a distribuição do campo magnético muda ao longo de diferentes eixos, o que permite determinar a orientação. Os produtos mais conhecidos baseados em rastreamento magnético são o controlador Razer Hydra e o sistema STEM da Sixense.
A precisão desse método pode ser bastante alta sob condições controladas (as especificações Hydra se referem a precisão posicional de 1 mm e 1 grau de precisão de orientação), no entanto, o rastreamento magnético está sujeito a interferências de materiais condutores próximos ao emissor ou sensor, de campos magnéticos gerados por outros dispositivos eletrônicos e ferromagnéticos materiais no espaço de rastreamento.

Métodos ópticos

Os métodos ópticos são uma combinação de algoritmos de visão computacional e dispositivos de rastreamento, que incluem câmeras visíveis ou infravermelhas, câmeras estéreo e câmeras de profundidade.
Dependendo da escolha do sistema de referência, existem duas abordagens para rastrear a posição:

A abordagem de fora para dentro implica a presença de um observador externo fixo (câmera), que determina a posição de um objeto em movimento por pontos característicos. Utilizado em Oculus Rift (Constrellation), PSVR, OSVR e muitos sistemas Motion Capture.
A abordagem de dentro para fora assume a presença de um sensor óptico em um objeto em movimento, graças ao qual é possível rastrear o movimento de pontos relativamente fixos no espaço circundante. Usado no Microsoft Hololens, no Project Tango (SLAM), no SteamVR Lighthouse (uma opção híbrida, porque existem estações base).

Além disso, dependendo da disponibilidade de marcadores ópticos especiais, eles são isolados separadamente:

O rastreamento sem marcadores geralmente é baseado em algoritmos complexos usando duas ou mais câmeras ou câmeras estéreo com sensores de profundidade.
, . ( , ), QR-. .

Perspective-n-Point (PnP)

Com o rastreamento óptico, o chamado problema PnP (perspectiva-n-ponto) é resolvido para determinar a posição de um objeto no espaço, quando é necessário determinar a posição de um objeto no espaço 3D a partir da projeção em perspectiva do objeto no plano do sensor da câmera.

Para um determinado modelo 3D do objeto e uma projeção 2D do objeto no plano da câmera, um sistema de equações é resolvido. Como resultado, muitas soluções possíveis são obtidas. O número de decisões depende do número de pontos no modelo 3D do objeto. Uma solução inequívoca para determinar a posição 6-DoF de um objeto pode ser obtida com pelo menos 4 pontos. Para um triângulo, são obtidas 2 a 4 soluções possíveis, ou seja, a posição não pode ser determinada sem ambiguidade:

A solução é proposta por um número suficientemente grande de algoritmos implementados nas bibliotecas:

SLAM - Localização e mapeamento simultâneos

O método de localização simultânea e construção de mapas (SLAM) é o método de posicionamento mais popular em robótica (e não apenas), usado para rastrear a posição no espaço.

O algoritmo consiste em duas partes: a primeira é mapear um ambiente desconhecido com base em medições (dados de um odômetro ou câmera estéreo), a segunda é determinar sua localização (localização) no espaço com base em uma comparação das medições atuais com um mapa espacial existente. Esse ciclo é recalculado continuamente, enquanto os resultados de um processo participam dos cálculos de outro processo. Os métodos mais populares para resolver o problema incluem um filtro de partículas e um filtro avançado de Kalman. De fato, o SLAM é um tópico bastante extenso, e não apenas um algoritmo específico, e a análise de todas as soluções existentes nesse tópico se baseia em um artigo separado.
O SLAM é conveniente para soluções móveis de realidade virtual e aumentada. No entanto, a desvantagem dessa abordagem é a grande complexidade computacional, que, juntamente com os exigentes aplicativos de VR / AR, carregará bastante os recursos produtivos do dispositivo.

O Project Tango do Google e Microsoft Hololens são os projetos baseados em SLAM mais conhecidos para dispositivos móveis. Também é esperado suporte para rastreamento baseado em SLAM em produtos recentemente anunciados pela Intel ( Project Alloy ) e Qualcomm ( VR820 ).
Entre as soluções de código aberto, podemos distinguir ORB-SLAM , LSD-SLAM , PTAM-GPL .

Rastreamento inercial

Os modernos sistemas de medição inercial ( IMUs ) baseados na tecnologia MEMS permitem rastrear a orientação ( rotação , inclinação, guinada) no espaço com grande precisão e atrasos mínimos.

Graças aos algoritmos de fusão de sensores baseados em um filtro complementar ou filtro Kalman, os dados do giroscópio e do acelerômetro se corrigem com sucesso e fornecem precisão para medições de curto prazo e por um longo período.

No entanto, a determinação de coordenadas (deslocamento) devido à dupla integração da aceleração linear ( cálculo morto)), calculado a partir de dados brutos do acelerômetro, não atende aos requisitos de precisão por longos períodos de tempo. O próprio acelerômetro fornece dados muito barulhentos e, quando integrado, o erro aumenta quadraticamente ao longo do tempo.
Combinar a abordagem inercial do rastreamento com outros métodos que corrigem periodicamente o chamado desvio do acelerômetro ajuda a resolver esse problema.

Métodos híbridos

Como nenhum dos métodos é perfeito e todos têm seus pontos fracos, é mais razoável combinar diferentes métodos de rastreamento. Portanto, o rastreamento inercial (IMU) pode fornecer uma alta taxa de atualização de dados (até 1000 Hz), enquanto os métodos ópticos podem fornecer precisão estável por longos períodos de tempo (correção de desvio).

Os métodos de rastreamento híbrido são baseados nos algoritmos " Sensor Fusion ", o mais popular deles é o Extended Kalman Filter ( EKF ).

Como o SteamVR Lighthouse funciona?

O sistema de rastreamento HTC Vive consiste em duas estações base, sensores ópticos e unidades de medida inercial (IMUs) nos controladores e no capacete. As estações base consistem em dois lasers rotativos e uma matriz de LEDs infravermelhos. Um dos lasers gira verticalmente, o segundo - horizontalmente. Assim, os lasers, por sua vez, "varrem" o espaço circundante. As estações base operam de forma síncrona: em um determinado momento, apenas um dos quatro lasers “escaneia” o espaço de rastreamento. Para sincronizar a operação de todo o sistema entre cada ativação do laser, todo o espaço circundante é iluminado por um pulso de luz infravermelha.

Os sensores nos controladores e no capacete registram todos os pulsos ópticos das estações base e medem o tempo entre eles. Como a velocidade do laser é conhecida antecipadamente (60 Hz), os ângulos de rotação de cada um dos raios podem ser calculados a partir do tempo entre os pulsos. O que nos dá as coordenadas 2D do sensor óptico, sabendo a posição relativa dos sensores no controlador, você pode facilmente restaurar a posição 3D do controlador no espaço (tarefa PnP). Com a visibilidade simultânea de duas estações base, a posição 3D do controlador pode ser calculada a partir da interseção de dois raios, o que fornece resultados mais precisos e requer menos computação. O processo de rastreamento é demonstrado mais claramente abaixo.

Há um mês, a Valve anunciou que estava abrindo seu sistema de rastreamento para desenvolvedores de terceiros. Você pode ler mais sobre isso aqui .

Qual método de rastreamento de posição no espaço é o mais promissor para a realidade virtual / aumentada na sua opinião?

Este é o primeiro artigo de uma série sobre tecnólogos da BP; se houver interesse, continuaremos a escrevê-los ainda mais.

PS Por que não existe um hub de realidade virtual?

Visão geral dos métodos e tecnologias de posicionamento para realidade virtual