VR multiplayer: como implementar?

Olá Habr! Depois de examinarmos algumas das maneiras de criar espaços virtuais / 3D para vários usuários em um artigo anterior, voltemos a eles no contexto do treinamento. Como, por exemplo, treinar qualitativamente a mesma equipe, composta por pessoas completamente diferentes, na mesma coisa? Detalhes sob o corte!



Simulações e jogos sérios são um dos tipos mais eficazes de treinamento - esse é um fato universalmente reconhecido. Aqui está um exemplo da indústria médica.



No entanto, com simulações, tudo não é tão óbvio. Muitas empresas modernas incluem várias gerações na sede dos funcionários, e cada uma aprende de uma nova maneira. Um bom exemplo são as companhias aéreas - a idade dos funcionários pode variar de 20 a 60 anos, enquanto a reciclagem constante é um dos requisitos da indústria; Vale ressaltar que muitas vezes é necessário analisar e treinar não uma pessoa, mas uma equipe inteira, por exemplo, verificando a qualidade do trabalho em equipe.

Com tudo isso, como dissemos, inserir o treinamento em VR / 3D em uma infraestrutura moderna é uma tarefa bastante difícil. Aqui, os espaços multiusuários e uma abordagem específica para seu design, descrita na última parte, podem ajudar.

Qualquer simulação é fundamentalmente diferente de passar em um conjunto de testes. A principal diferença é o grau de imersão na situação. Essa diferença geralmente pode ser crítica. Uma pessoa pode conhecer perfeitamente a teoria aprendendo as respostas para testar as perguntas - e se perder em uma situação real que será diferente do que imaginava. É em parte por isso que, de fato, existe o conceito de aprendizado misto. Há coisas sobre as quais não podemos dizer que uma pessoa as aprendeu até que realmente as experimentasse.

Além disso, a variedade desses treinamentos possíveis é muito grande e nem todos exigem algum tipo de, por exemplo, habilidades puramente musculares / reflexas; a própria habilidade de aplicar a teoria também frequentemente requer estar dentro de uma situação, em vez de analisá-la de fora. O exemplo mais simples são ações em situações de emergência ou outras situações estressantes. (Efeito Startle)

Neste exemplo, a situação estressante é a soma de situações específicas, para cada uma delas há instruções claras. Mas é muito difícil avaliar se uma situação específica dessa quantia é conhecida pelo homem.

Fornecemos um mecanismo que permite que você simplesmente execute qualquer conjunto de situações em um ambiente virtual multiusuário; no entanto, a questão permanece - como avaliamos as ações dos usuários em uma simulação desse tipo.

Assumimos que a coleta de dados de treinamento tenha dois objetivos principais:

• Avalie as competências dos alunos;
• Ajude-o a aprender da maneira mais eficaz. Em outras palavras, construir um caminho de aprendizado individual.

Uma parte integrante da aprendizagem combinada é a aprendizagem adaptativa. O sistema analisa o nível de conhecimento e seleciona material teórico ou trajetórias individuais para o aluno. Existem várias opções para analisar informações com base nas quais o sistema faz uma recomendação.

• Baseado em regras de transição

Quando uma pessoa resolve um problema e comete erros várias vezes, o sistema seleciona uma opção de suporte para ele que fecha a lacuna no conhecimento da pessoa.

• Abordagens cognitivas

Uma abordagem baseada na memória para a aprendizagem adaptativa, uma pessoa repete constantemente o material aprendido.

• Baseado no gráfico de tópicos

O professor, ou especialista, cria um gráfico de tópicos e é usado para criar um caminho de aprendizado individual.

Estamos considerando duas abordagens principais - usando o esquema geral de transição dentro do curso e com o gráfico de tópicos.

A primeira abordagem é bastante simples de implementar - simplesmente anexamos à experiência virtual, como uma lição comum, que após a conclusão bem-sucedida, alguns tópicos adicionais são abertos.

O segundo é mais interessante, pois podemos vincular algum tópico do curso a uma parte separada da experiência virtual e avaliar o conhecimento de uma pessoa sobre esse tópico, tendo obtido dados sobre o conhecimento do aluno sobre vários tópicos com base em uma "trilha de VR".

Mas há outra opção e, na nossa opinião, é a mais interessante.

Imagine uma simulação bastante complexa, que inclui vários scripts trabalhando simultaneamente e é multiusuário. O objetivo é avaliar a efetividade / conhecimento de não apenas uma pessoa, mas de toda a equipe; no entanto, não sabemos ao certo se criamos o próprio curso de treinamento. Obviamente, temos certos conjuntos de competências, exercícios etc., mas nós mesmos não podemos avaliar com precisão a eficácia desses materiais.

Podemos marcar alguns resultados de cenários individuais e tentar avaliá-los juntos. Mas há outra opção - registrar a ação de cada aluno no espaço virtual usando o protocolo xAPI - desenvolvido, em parte, precisamente para trabalhar com simulações e jogos sérios.

Ao mesmo tempo, é interessante que gravar uma "faixa" intermediária seja suficiente para aplicar métodos de mineração de dados / ML a ela. Obtemos (especialmente o resultado de várias "trilhas") o perfil de um aluno no qual podemos procurar uma ampla variedade de opções de correlação com nosso curso de treinamento.

Você pode imaginar muitas opções para trabalhar com esse tipo de estatística educacional, é muito difícil listá-las, pois elas dependerão diretamente da estrutura do curso de treinamento e dos requisitos para isso. O mais simples, por exemplo, é um cenário complexo e variável, onde não há uma maneira correta de fazer as coisas, mas há alguma medida de eficácia / trabalho em equipe; nesse caso, você pode gravar várias faixas "ideais" e analisar as discrepâncias com a faixa do aluno. Outra opção é a suposição de que o curso geralmente é formado de maneira imperfeita e, passando para as aulas de RV, os alunos perdem algum ponto teórico. Será fácil diferenciá-lo simplesmente observando todos os erros em uma determinada etapa do cenário complexo.

Falando em mais coisas de "infraestrutura", trabalhar com esses dados requer:

1. A presença de LRS. O padrão xAPI separa rigidamente um banco de dados dessas estatísticas do LMS / análise / processamento. Porém, como estamos falando de quantidades muito grandes de dados, estamos considerando o conceito de armazenamento distribuído de registros educacionais, com várias opções para verificação. Por exemplo, uma variante usando blockchain é possível;
2. Um ambiente razoavelmente rico para visualizar essas estatísticas e trabalhar com elas. Existem poucas ferramentas tradicionais para criar relatórios de progresso aqui, outras ferramentas são necessárias; por exemplo, estamos considerando o Elasticsearch + Kibana, outra opção é o PowerBI.

No momento, continuamos a desenvolver opções semelhantes para trabalhar com estatísticas de aplicativos de RV, embora, é claro, de muitas maneiras essas ainda sejam opções experimentais.

Os autores

A Jedium é uma empresa parceira da Microsoft que trabalha no campo da realidade virtual aumentada e da inteligência artificial. A Jedium desenvolveu uma estrutura para simplificar o desenvolvimento de projetos complexos no Unity, parte dos quais está disponível publicamente no GitHub . A Jedium planeja reabastecer o repositório com novos módulos de estrutura, bem como soluções de integração com o Microsoft Azure.

Vitaliy Chashchin - Desenvolvedor de software com mais de 10 anos de experiência no design e implementação de aplicativos cliente-servidor tridimensionais - do conceito à completa implementação e integração de aplicativos e soluções no campo da realidade virtual. Arquiteto de Sistemas Jedium LLC, MSc em TI.

Alexey Sarafanov

Gerente de Marketing na Jedium LLC.

Sergey Kudryavtsev

CEO e fundador da Jedium LLC.