VR sem fio e captura de movimento no hardware HTC Vive

Prefácio

Eu costumava escrever sobre meu projeto de impulso - um processo de captura de movimento baseado em sensores inerciais. Antes de tudo, quero agradecer a todos que deixaram seus comentários, de um jeito ou de outro, ajudaram o projeto. Devo dizer que o projeto não recebeu muito desenvolvimento, o problema da deriva não foi resolvido pelos sensores de 9 eixos, mas as compensações usando uma bússola digital ajudaram muito, e o uso de rastreamento óptico simples (por exemplo, 2 marcadores de LED na cabeça) permite obter o valor médio da deriva. Mas hoje não é sobre isso. Quero falar sobre uma maneira relativamente barata de capturar movimento para sistemas de realidade virtual baseados no HTC Vive sem uma fazenda coletiva e um ferro de solda, bem como como se livrar do fio que inevitavelmente conecta a cabeça e o computador, o que cria muitos inconvenientes. Também vou contar como conseguimos alcançar uma área de rastreamento de ~ 80 metros quadrados.

Vamos começar

O sistema funcionará no equipamento HTC Vive, este é um capacete em tempo integral, 2 controladores e 2 estações base. Recomendo a compra do HTC Vive 2 , ele teve um bom desempenho, provavelmente devido às estações base atualizadas. Agora, o preço foi reduzido para 50 mil rublos.

Além do conjunto padrão, recomendo o complemento VIVE Deluxe Audio , não são apenas fones de ouvido (o que já é conveniente), é uma solução extremamente conveniente para um uso mais confortável do capacete, especialmente essa adição é relevante ao usar o capacete por vários jogadores ou visitantes da atração. Além disso, esta montagem permite que você monte com segurança o sistema sem fio, e parece legal:

Áudio VIVE Deluxe . O preço de emissão é de 10 mil rublos.

Abaixo o fio

Primeiro de tudo, você precisa quebrar essa "trela" e sentir a verdadeira liberdade no espaço de realidade virtual sem laptops pesados ​​e aquecidos por trás. Para fazer isso, você precisa do complemento TPCast - um dispositivo que permite colocar o Vive no modo sem fio.

TPCast Opções

Todo o sistema consiste em vários módulos, mais sobre cada um:


Monta perfeitamente no VIVE Deluxe Audio. Ele é conectado ao capacete com fios curtos USB e HDMI, os outros 2 fios (USB e alimentação) são conectados ao adaptador na bateria.


Em seguida, você deve deixar de lado o linkbox padrão do Vive e conectar o seguinte módulo (transmissor) diretamente ao computador via HDMI:

Você pode usar o fio padrão ou HDMI de 10 metros. A fonte de alimentação de um linkbox padrão deve estar conectada ao transmissor TPCast. Devo dizer que você pode usar uma combinação com um linkbox, apenas conectando um transmissor em vez de um capacete (sem conectar um dos três fios - USB). O transmissor deve ser colocado em um ponto na sala onde o capacete estará sempre visível, como Se o transmissor operar em altas frequências, qualquer obstrução será um obstáculo para a transmissão de um sinal, a mesma cabeça se uma pessoa se afastar. Em outras palavras, forneça visibilidade direta. A melhor opção é colocar o transmissor exatamente no centro da sala, no teto, enviando-o perpendicular ao chão.

Isso não é tudo, o kit também possui um roteador que deve ser conectado à conexão à Internet do PC. Simplificando, o cabo Ethernet está na porta WAN do roteador e o PC está conectado ao roteador via LAN. Se essa conexão for inaceitável, use uma placa de rede adicional. Agora, quase tudo está pronto, resta apenas o download do software e drivers do site oficial do TPCast:


Após a instalação, o aplicativo solicitará que você insira os dados para conectar-se ao ponto de acesso, o nome de usuário e a senha serão indicados no adesivo no adaptador da bateria. Tudo o que resta é clicar em Iniciar e iniciar o SteamVR após uma conexão bem-sucedida. Se algo der errado, no menu superior direito há um item do canal Switch. Em geral, a perda de conexão é fácil de restaurar com o toque de um botão, você também pode trocar a bateria rapidamente.



Montagem TPCast . O preço de emissão é de 35 a 40 mil rublos, mas aqui estão as características:

• Resolução 2K (normal para HTC Vive)
• 90 FPS
• Atraso inferior a 2 ms

Obviamente, para uso doméstico isso é impraticável, você pode tolerar o fio, mas para uma solução comercial - uma excelente opção, especialmente se você expandir o campo de rastreamento.

Agora você pode tentar andar no Steam Home e não se lembrar dos fios, dobras, nós e muito mais, exceto que a bateria está carregada, mas é melhor comprar outros. Eles são suficientes para 4-5 horas de uso ativo.

Nós vamos além dos limites do que é permitido

Sem um fio, você rapidamente se sentirá apertado, fará uma pequena caminhada, mas no padrão de 16 metros quadrados, isso não funcionará. A primeira coisa que você precisa é de uma sala (100 metros quadrados são adequados) e com tetos mais altos (3,5 metros). Esta é a parte mais difícil. No centro do teto da sala está o transmissor TPCast. Nas laterais, as estações base HTC Vive estão montadas sob o teto. a distância entre - 5 metros, de modo que as estações estejam localizadas em uma linha (perpendicular a duas paredes e paralela às outras duas), passando pelo centro da sala (no centro do transmissor). Além disso, as estações precisam ser inclinadas em um ângulo de 30 graus entre si (ou seja, são mais direcionadas para o chão).

As estações devem ser conectadas com um fio para sincronização (a óptica não funcionará de maneira estável), os canais das estações devem ser definidos como A e b. Após a instalação, calibre a sala usando ferramentas padrão. Vale a pena notar que, na fase de construção do acompanhante (uma grade azul indicando os limites de uma sala real), vale a pena escolher o modo avançado, que permitirá especificar apenas os cantos da sala, a grade será um quadrado uniforme. A área de jogo está melhor posicionada no centro. Essa configuração fornecerá uma grande área de rastreamento suficientemente preciso com um número mínimo de pontos cegos e permitirá o uso eficiente de estações regulares. Antes de mergulhar, recomendo instalar as configurações do OpenVR Advanced , sua interface estará disponível diretamente no espaço VR no menu padrão. Essas configurações melhoram a resolução, a superamostragem e configuram o acompanhante (área de ativação, cor, altura, visibilidade etc.) É claro que você ainda pode brincar com o posicionamento das estações base, alterar o ângulo ou uma pequena distância entre elas para uma determinada sala. O resultado é impressionante, de acordo com o Steam Home padrão, é possível navegar sem chamar o teletransporte. Na maioria dos jogos, essa área é mais do que suficiente. Em novembro, o Vive ameaça adicionar suporte para trabalhar com um grande número de estações-base, mas ainda não está claro se o equipamento atual poderá aceitar mais de dois ou apenas novos capacetes e controladores serão capazes disso.

Pare de ser um fantasma

Em geral, todos os jogos de realidade virtual podem ser definidos como um único subgênero - “simulador de fantasmas”, você pode pegar objetos, jogá-los e assim por diante. Há exceções nas quais você pode ver seu corpo imóvel, o que é muito dissonante. De uma forma ou de outra, para desenhar um protagonista virtual em um corpo em movimento confiável, você precisa de algo da área de captura de movimento. Capturar movimento não é o prazer mais barato se você descartar o kinekt míope e outros semelhantes, que são ineficazes nessa área de rastreamento. Duas coisas vêm ao resgate: HTC Vive Tracker e cinemática inversa (IR). O primeiro é necessário para determinar a posição de qualquer coisa na área de rastreamento; o segundo é recriar a posição do corpo no espaço virtual, sabendo a posição de apenas 6 pontos (este é o mínimo para o corpo inteiro).


Vive Tracker . Um rastreador custa cerca de 8 mil rublos

Para um conjunto mínimo, você precisará de 3 desses rastreadores. Em geral, esses são os mesmos controladores padrão, apenas aparados e em um caso ligeiramente diferente. Cada rastreador é definido no SteamVR, a única diferença é que eles precisam de dongles especiais (incluídos) para conectá-los, embora você possa conectá-los a um capacete em vez de controladores. Na parte traseira, há uma área de contato para conectar botões personalizados (você também pode usar o conector USB no rastreador). Pode ser um gatilho de arma, um botão de ativação do sabre de luz, qualquer coisa. Pressionar esses botões é processado da mesma forma que o botão é pressionado no controlador; do ponto de vista do desenvolvimento de software, não há diferença. Em geral, eles podem ser usados ​​para rastrear objetos de jogos, como armas ou ferramentas, até móveis e portas, mas estamos interessados ​​na captura de movimento.



É possível determinar a posição da cabeça usando um capacete, mãos - usando controladores. 2 rastreadores devem ser colocados no sapato (acima dos pés), o restante ficará bem no cinto na parte de trás. Essa configuração já permitirá que você jogue alguns jogos que suportam essa configuração, mas se falarmos sobre o desenvolvimento de seu próprio software, você precisará de soluções de IR para animar o personagem. A diferença fundamental entre a cinemática inversa e uma linha reta é que, no caso de uma linha reta, a posição é calculada, conhecendo os ângulos, e no caso da inversa, os ângulos são calculados, conhecendo a posição. Assim, você pode criar um modelo muito simples, conhecendo a posição de dois pontos para calcular o intermediário, considerando a forma como o corpo humano geralmente se dobra. Mas existem soluções prontas, como Final IK , VRIK e outras ferramentas de animação processual. Existem estúdios que fornecem soluções desse tipo. Um deles é o IKinema e seu produto chamado Project Orion - software que permite capturar movimento com base nos dados recebidos do SteamVR e transmiti-lo via protocolo VRPN para qualquer outro aplicativo (existem plugins e ativos prontos para Unity e Unreal). Para uma solução de orçamento, é melhor usar os meios anteriores, que se mostram muito bem.




Além disso, já no mecanismo, a animação resultante pode ser um pouco limpa, embora o Orion lide com isso, remova as paradas de escorregamento, calcule a compensação pela rugosidade do piso virtual. O IKinema possui uma solução de plugins para o Unreal:


Em geral, os plug-ins são mais fáceis de lidar com tarefas semelhantes, ainda mais fáceis.
Essas luvas, por exemplo:


Manus vr

Conclusão

Hoje, a captura de movimento está se tornando mais acessível, assim como a realidade virtual, o que é certamente agradável. Estão chegando vários jogos, nos quais haverá suporte para rastreadores e animações do protagonista, de acordo com os movimentos do jogador. Obviamente, tudo isso ainda não é tão conveniente e acessível quanto gostaríamos, mas agora é possível montar esse sistema por um custo relativamente baixo. Não é necessário dizer que o jogador de massa pode se dar ao luxo de equipar seu espaço de jogo dessa maneira, mas na forma de uma atração, esse será um nível totalmente novo.

Algumas observações:

Para abandonar o fio, havia mais fios em geral.
Depois de adquirir um corpo virtual, parece que o grau de realismo está aumentando, mas ver sua sombra em movimento no espaço virtual é outra tarefa para o cérebro, a tontura começa, então é melhor desativá-lo (isso é individual)

O rastreamento do corpo e dos objetos abre um grande número de oportunidades para a criação de mecânica de jogo e o efeito da imersão em geral.

O resultado da montagem desse sistema em vídeo no início do post. Também um exemplo de animação de personagem em tempo real: