🔦 👛 🌇 Controles eficazes de VR 🛀🏻 🤾🏾 🥙

Recentemente, mais e mais precisam lidar com tarefas relacionadas à interação na realidade virtual. O tópico é interessante e relevante, pois está mais diretamente relacionado à funcionalidade em um ambiente virtual e afeta a experiência do usuário como um todo, juntamente com a tecnologia dos capacetes da BP, expandindo os limites do nível de imersão.

Assim que a primeira versão dos óculos Oculus Rift DK1 apareceu em uma nova onda de interesse na BP, surgiram imediatamente problemas com o sistema de entrada - o teclado e o mouse eram ferramentas praticamente inúteis, e o controle através do passar dos olhos era uma maneira inadequada de interagir com os elementos do ambiente e da interface.

Na BP móvel, o touchpad, que pode ser visto nos modelos de headset Samsung Gear VR , criou raízes perfeitamentebem como joysticks sem fio. Mas na VR estacionária, além de usar joysticks clássicos (esses dispositivos não podem ser dispensados, já que em vários gêneros de jogos eles também são a solução ideal em VR), há possibilidades muito maiores para sistemas de entrada. Agora, os três principais players - Oculus VR , HTC / Valve e Sony - usarão controladores sensíveis ao movimento junto com seus óculos. A posição dos óculos e dos próprios controladores pode ser determinada no espaço.

A Oculus e a Sony se concentraram na implementação de rastreadores e controladores de capacete mais projetados para o usuário em uma posição sentada ou em pé, e o sistema de rastreamento Vive trabalha em uma área de 4,5 a 4,5 metros, permitindo que o usuário se mova dentro do espaço designado.

Muitos podem se surpreender. Por que é sugerido o uso de controladores sensíveis ao movimento e não suas alternativas? Afinal, existem sistemas de captura para habilidades motoras finas dos dedos, como o Leap Motion , bem como várias luvas protótipo (por exemplo, o desenvolvimento de Khimmerse ).

Requisitos para sistemas de rastreamento e entrada

Para começar, vamos entender o que é necessário, antes de tudo, no sistema de controle da BP.
E se você tentar descrever o requisito em uma palavra, acho que será a palavra "naturalidade". O sistema de controle na realidade virtual deve estar o mais próximo possível da interação natural com a realidade objetiva que nos cerca, com os objetos dos quais interagimos principalmente com a ajuda das mãos.

A BP é interessante, pois não apenas podemos recriar a realidade na virtualidade, mas também expandir os limites da realidade comum, e isso, é claro, pode ser aplicado à interface do usuário, mas, neste caso, está um pouco além do escopo deste tópico.

A naturalidade também implica um baixo limiar de entrada devido a uma compreensão intuitiva dos princípios operacionais.

Há também sincronização - está ligada ao tema da naturalidade e é extremamente importante. Trata-se de sincronizar as ações do usuário em reais e virtuais. Esse aspecto diz respeito não apenas à interface do usuário, mas principalmente à UX, à autopercepção de uma pessoa na realidade virtual.
E isso, juntamente com a implementação de alta qualidade do trabalho dos pontos BP, é facilitado pelos sistemas de rastreamento. Quanto maiores as oportunidades de rastreamento disponíveis, maior o efeito de imersão e mais oportunidades de interação com o ambiente. Mas a sincronização não é apenas uma questão de rastrear recursos e precisão, mas também de sua operação estável.

E a resposta simples à pergunta por que os principais players se oferecem para usar os sistemas de rastreamento e entrada designados soa assim: no momento, esses sistemas permitem criar a interação mais universal, natural, intuitiva e estável em um ambiente virtual que pode ser posicionado como uma solução de produto para uso já agora

Principais dúvidas

Interação

Se falarmos sobre dispositivos que os próprios proprietários da plataforma oferecem, à primeira vista, pode parecer que dois controladores com botões que você definitivamente deve segurar em suas mãos podem piorar o processo de interação natural com o ambiente.

Mas o controle na mão não passa de uma ferramenta, como um martelo, um volante de carro ou um mouse de computador. Em um certo nível, essa ferramenta se torna parte do usuário no processo de interação com ele. Por exemplo, quando uma pessoa está dirigindo um carro há algum tempo, ela começa a sentir seu tamanho, a sensação do seu corpo se expande para as bordas do corpo do carro.

Estudos recentes mostram que, durante o uso de ferramentas no cérebro do macaco, ocorrem mudanças em certas redes neurais - a ferramenta é integrada ao esquema de seu próprio corpo (um mapa constantemente atualizado da localização dos membros e da forma de todo o corpo) - o modelo do braço se estende até a ponta da ferramenta.

Quando o HTC Vive apareceu no VRARlab e iniciamos os primeiros testes, notamos imediatamente que os autores em muitas cenas de demonstração geralmente exibem modelos virtuais de controladores reais, criando uma sincronização completa entre a ferramenta de interação real e a virtual. Mantendo o controlador real e vendo sua contraparte virtual em cena, é alcançado um nível muito grande de imersão.

, , , , , — .
, , , , . , , .

Em outros exemplos de projetos para o HTC Vive e outros óculos, vários objetos são exibidos no site do controlador (mão, arma, garrafa de ketchup etc.). Além disso, subjetivamente, a diferença entre exibir um controlador virtual como um análogo completo de um objeto real ou de algum outro objeto não é tão forte quanto parece inicialmente. Em certos pontos, você esquece que está segurando o controlador e apenas opera sua mão nos objetos virtuais da cena. O controlador apenas se torna parte de você como garantido.

Agora vamos tentar entender as alternativas existentes e se elas são tão boas do ponto de vista da naturalidade e da sincronização - e este é um ponto importante - para o amplo círculo final de consumidores.

Sensores ópticos de captura de motor fino

Nesse caso, existem vários problemas ao usar essa solução , eis alguns dos mais críticos:

Para interagir com o ambiente virtual, as mãos devem sempre ser mantidas na frente do sensor - na face do usuário em uma área bastante limitada. Isso é extremamente antinatural e também fisicamente difícil por um longo período de trabalho.
Os algoritmos atuais para determinar mãos estão longe do ideal - em alguns ângulos as mãos geralmente deixam de ser detectadas - um alto limiar de entrada devido a problemas persistentes de rastreamento piora bastante a experiência de usar a solução como um todo.

Luvas

É claro que, para muitas pessoas, a idéia de luvas para controlar a RV causa nostalgia pelo auge do cyberpunk clássico na literatura e no cinema, mas em termos práticos, as luvas podem resolver muitos problemas com os sensores acima, existem outros problemas com o UX e o uso diário - tamanhos diferentes de mãos pessoas diferentes têm problemas de higiene, tempo extra para se preparar antes do uso, a sensação de estar constantemente em luvas a temperatura positiva e até mesmo a presença de fios que envolvem suas mãos.

Movendo

Um dos problemas importantes que os atuais sistemas de entrada da BP têm é a questão de mover uma pessoa no espaço virtual. Em geral, além do espaço limitado para movimentação no HTC Vive, todos os outros sistemas não permitem sincronizar o movimento real do corpo humano e do virtual. Nomeadamente, a ausência dessa sincronização leva à chamada dissonância sensorial, devido à qual o efeito de tontura ocorre quando se muda para a PA.
O problema é tão sério que, em muitos projetos especialmente projetados para VR, a única opção acabou sendo abandonar completamente ou retrabalhar bastante a possibilidade de livre circulação no espaço.

Isso não se aplica a situações em que o usuário, por exemplo, está no interior do carro virtual ou em um robô gigante - estamos falando de simulação de movimentos completamente livres fora de qualquer shell (mecânica clássica de FPS).

Existem várias maneiras de reduzir efeitos desagradáveis ao nível da alteração da mecânica do movimento (recusando-se a mover a câmera para a esquerda e para a direita e movendo-se para o ponto do olhar , movendo-se através do teletransporte de ponto a ponto, visualizando os caminhos do movimento e formas mais extravagantes etc.), mas o mais eficaz é a recusa de qualquer livre circulação ou colocação do jogador dentro da "cabine".

Plataformas de viagens

Obviamente, existem várias soluções técnicas para simular movimentos naturais. Por exemplo, Virtuix Omni . Esses dispositivos poderão encontrar seu público, mas, na forma atual, todas as plataformas existentes são inadequadas para que uma ampla gama de consumidores faça parte da versão do produto dos óculos - instalação complicada, requisitos para remover sapatos ou sapatos especiais para uso na plataforma, hora de configurar antes jogo, um escopo bastante estreito do dispositivo, essas são apenas algumas das razões mais óbvias pelas quais é improvável que essas plataformas na forma atual se espalhem.

Avatares

Outra questão relacionada às opções atuais de sistemas de entrada, posicionadas como mercearia, é a representação de avatares de jogadores na realidade virtual. Um problema significativo é a capacidade limitada de visualizar corretamente o avatar.
Aqui, novamente, como no caso de sistemas em movimento, é mais eficiente adaptar-se às restrições atuais do que, por exemplo, complicar e tornar o sistema de rastreamento mais caro.

Os autores da sandbox da rede Toybox para Oculus Rift abordaram completamente a questão da exibição de avatares, que é extremamente importante devido à presença de vários jogadores no jogo que interagem entre si.

Os desenvolvedores recomendam fortemente que você não visualize as partes do corpo do avatar, o que deve refletir os movimentos do corpo real (se ocorrer na vida real), mas não pode, devido à limitação do sistema de rastreamento, para não destruir o efeito da imersão.
O usuário final perde alguma coisa com isso? Depende de como você pode vencê-lo. Se estamos falando de um jogo em que o jogador é, por exemplo, um fantasma, a restrição de visualização recebe uma justificativa narrativa e os problemas desaparecem.

Na história sobre o desenvolvimento de uma busca na realidade usando Oculus Rift, há um exemplo de como, usando uma narrativa, os problemas potenciais do Leap Motion foram substanciados, apresentados como uma tarefa do jogo.

Em muitos jogos, o personagem do jogador (como seu corpo real) não deve se mover livremente. Por exemplo, um avatar é colocado no banco do motorista de um carro, o que suaviza parcialmente a situação. E no exemplo da Toybox, a convenção do jogo, que é suportada pelo estilo visual escolhido, também funciona totalmente.
Além disso, a falta de realismo e a ausência de partes inteiras do corpo dos avatares são suavizadas devido à credibilidade dos movimentos da cabeça e das mãos devido ao rastreamento de alta qualidade.

Houve duas ótimas palestras no Oculus Connect 2, que levantaram esses e muitos outros tópicos relacionados aos sistemas de entrada, que podem ser encontrados abaixo:

Perspectivas

Um ponto importante - não quero dizer que todas as alternativas são inúteis. Só que agora e em 2016, sensores ópticos de motores finos, luvas e outros tipos de dispositivos de entrada estão perdendo para vários parâmetros importantes para o usuário final de controladores como o Oculus Touch.

As bem conhecidas opções alternativas de entrada na BP ainda precisam resolver muitos problemas, para que também sejam universais e convenientes para o usuário final, como os controladores que serão entregues com versões de produtos de pontos VR. E a probabilidade de os problemas serem resolvidos é e, para alguns análogos, é bastante alta (especialmente para sensores ópticos para rastreamento de mãos). Mas as capacidades atuais de óculos e equipamentos relacionados estão longe de ser ideais. Seus desenvolvedores agora estão apenas no início de um caminho longo e incrivelmente interessante para concluir a imersão.

Controles eficazes de VR