Possibilidades de usar a tecnologia de vídeo em 360 ° para eventos culturais

Como parte de nosso trabalho no Centro de Design e Multimídia da Universidade ITMO, escrevemos um artigo interessante sobre o uso de tecnologias de realidade virtual para preservar o patrimônio cultural. Eles descreveram muitos de seus “casos” - museus, shows, eventos culturais e também falaram sobre o projeto único de um passeio interativo pela fortaleza de Korela (região de Leningrado), onde reconstrução 3D e vídeo 360 interativo foram combinados pela primeira vez.



A versão em inglês dos materiais será apresentada em maio na conferência internacional “ArtsIT, Interatividade e Criação de Jogos” (Esbjerg, Dinamarca). Aqui está um original russo, ligeiramente adaptado.



Realidade virtual e sua aplicação

Atualmente, as tecnologias de realidade virtual e suas aplicações estão sendo intensamente desenvolvidas. Grandes oportunidades são abertas pelo uso de tais tecnologias na cultura e na arte , pois fornecem o efeito da presença do espectador no centro de eventos culturais. Uma das abordagens promissoras e ativamente ativas para a criação de conteúdo para sistemas de realidade virtual é a tecnologia de vídeo em 360 °, que permite criar vídeos panorâmicos com graus variados de interatividade, onde o espectador controla o ângulo de visualização do vídeo conforme desejar. Esse vídeo pode ser visto em um capacete de realidade virtual (por exemplo, em Oculus Rift , Samsung Gear VR , HTC Viveetc.) e usando um aplicativo especial em um smartphone, enquanto a imagem muda de acordo com a rotação da cabeça do usuário. Você pode assistir a vídeos em 360 ° na tela de um computador pessoal. Neste último caso, o usuário controla a visualização usando o mouse ou o teclado.


Assistindo a vídeos em 360 ° no headset Samsung Gear VR

Muitas empresas grandes (Facebook, Nokia, Samsung, Google etc.) estão atualmente desenvolvendo câmeras para gravar vídeo em 360 °, fones de realidade virtual para vários smartphones e computadores de mesa, bem como vários dispositivos de gravação de som, proporcionando a criação de som surround (binaural) e permitindo a realização de toda uma gama de tecnologias multimídia de 360 ​​°.

A aplicação da tecnologia de vídeo em 360 ° na educação é especialmente relevante. O vídeo interativo em 360 ° pode fornecer interação com o usuário final; portanto, esse método pode ser amplamente utilizado para treinar especialistas em vários campos, onde a presença do centro do evento é necessária para dominar a experiência prática de trabalho. A tecnologia de vídeo em 360 ° permite analisar o trabalho em equipe da equipe durante uma variedade de tarefas, o que leva a um aumento na qualidade do processo educacional.

Um papel importante é desempenhado pelo vídeo panorâmico em 360 ° para preservar e fornecer acesso ao patrimônio cultural. Essa tecnologia oferece uma oportunidade única de ver, com o efeito da imersão, não apenas os arquivos de museus fechados aos visitantes, mas também reconstruir monumentos históricos que foram destruídos pelo tempo ou pelas circunstâncias (reconstrução virtual tridimensional). Além disso, a realidade virtual é uma oportunidade única para as pessoas com deficiência viajarem e caminharem pelo mundo.

Falando sobre o setor de entretenimento no aspecto da tecnologia de vídeo em 360 °, os espectadores podem visitar os maiores festivais culturais, encontrar-se no palco ao lado de seus músicos favoritos ou assistir a uma apresentação teatral da caixa real.
No Centro de Design e Multimídia da ITMO University, está sendo implementado um projeto para o desenvolvimento e aplicação de tecnologias de vídeo em 360 ° na cultura e na arte Video360Production.com . No âmbito deste projeto, foi possível obter determinados resultados necessários para obter conteúdo de alta qualidade, desde o desenvolvimento de dispositivos originais de gravação de vídeo e som em 360 ° até o desenvolvimento de software para resolver uma série de problemas nessa área.

Tecnologia multimídia 360 ° No

momento, estão sendo desenvolvidas câmeras especiais que podem ser usadas para gravar vídeos no formato de vídeo 360 °. No entanto, com a ajuda de ferramentas e software especiais, você pode usar as câmeras existentes para gravar vídeos em 360 °.
Um exemplo marcante dessa abordagem é o todovários projetos que oferecem plataformas especiais para as câmeras GoPro HERO 4. O número de câmeras no equipamento é de 6 a 14 (opções estéreo), dependendo das tarefas. Após a gravação, os fluxos de vídeo são costurados na esfera de vídeo comum usando programas fornecidos separadamente.

Além disso, várias grandes empresas de TI e fabricantes de eletrônicos anunciaram suas próprias soluções totalmente automatizadas para gravar conteúdo para realidade virtual - Google Jump + GoPro Odyssey , Samsung Beyond , Nokia Ozo .



GoPro Odyssey, Nokia OZO e Samsung Projeto Beyond

nossas impressões pessoais sobre a câmera Nokia OZO que descrevemos aqui .

O vídeo em 360 ° é uma direção nova e em desenvolvimento progressivo, que ainda não possui padrões de direção, o que oferece um amplo escopo para a criatividade e o desenvolvimento de novas idéias e abordagens. O efeito de imersão completa é alcançado através de uma câmera com várias lentes, o que permite fotografar tudo o que acontece ao redor. No entanto, isso implica muitas dificuldades, porque muitas leis de direção não se aplicam ao gravar em formato de vídeo em 360 °. A principal diferença principal entre a visualização de vídeo em 360 ° em fones de ouvido de realidade virtual é o fato de o espectador ter a oportunidade de assistir ao conteúdo ao seu redor, o que significa que o diretor terá que fornecer ao espectador a capacidade de selecionar dinamicamente o ângulo de visão e não se concentrar em uma parte específica da tela.

A solução para esse problema é a reflexão detalhada do cenário do ponto de vista de uma mudança de paradigma - deixando no espaço de vídeo 3D. Cada disparo requer uma preparação padrão (definir a luz, os pontos mais favoráveis ​​para a câmera, cenário e localização da cena) e abordagens fora do padrão (especiais e geralmente únicas para cada montagem de câmera, direcionando levando em consideração os recursos de gravação de vídeo em 360 °, orientação correta da câmera, gravação de som surround). Ao gravar shows, para obter maior realismo, o som da câmera ou do microfone estéreo costuma ser combinado com o som do console do diretor.

Assista a eventos culturais com tecnologia multimídia 360 °

A coleção de imagens do projeto video360production.com para fones de ouvido de realidade virtual possui mais de cinquenta vídeos diferentes: shows e festivais de música, passeios por lugares históricos, excursões a museus, apresentações de teatro, vários eventos culturais e processos tecnológicos.


Grupo Bravo, o amor não queima, em formato de vídeo panorâmico


Agrupando "Leningrado" no formato de um vídeo panorâmico


Tecnologia de assentamento de asfalto “Ecohiter”, vídeo promocional panorâmico

Ao gravar shows, é necessário transmitir em alta qualidade imagem e som. Além disso, é necessário considerar a localização da câmera, pois ao gravar em uma câmera de 360 ​​°, conceitos como “frontal” e “traseiro” se tornam irrelevantes. Além disso, às vezes até vinte pessoas estavam presentes simultaneamente na cena, o que complicava a instalação da câmera. As filmagens permitiram que os músicos se olhassem de lado, avaliassem a localização dos músicos durante o show, bem como vissem a reação do público à apresentação. A platéia, por sua vez, com a ajuda dessa filmagem, conseguiu examinar em detalhes o jogo de cada músico e mergulhar na atmosfera criada pela orquestra ou grupo.


Concerto do grupo Picnic no formato de um vídeo panorâmico

Durante as filmagens do famoso grupo russo Picnic, surgiram as seguintes dificuldades: o concerto ocorreu no quarto escuro da sala de concertos sob luzes brilhantes. Essas condições são difíceis para câmeras comuns, porque mesmo na resolução máxima, transmitir uma profundidade de cor realista é uma tarefa bastante difícil.

As gravações em vídeo de shows no formato 360 ° têm uma enorme vantagem sobre as gravações de vídeo padrão, já que o espectador sente o efeito de estar no espaço do palco e tem total autonomia para decidir por si mesmo onde procurar o momento - se deve assistir a peça do guitarrista ou o solista ou até mesmo ver um concerto pelos “olhos” dos músicos, virando as costas para o palco e assistindo a reação animada do público.
Para obter o efeito de imersão completa, você precisa não apenas de uma imagem de alta qualidade, mas também de um som "ao vivo". Não é segredo para músicos e visitantes freqüentes de shows que o som "técnico" no palco esteja longe do que é ouvido no salão. Os engenheiros de som do projeto combinaram o som de um microfone estéreo com uma gravação em estúdio. Como resultado, o som permaneceu de alta qualidade, mas manteve a "vivacidade": enquanto assiste a uma gravação, você pode ouvir como a platéia reage e canta junto.

Além dos grupos musicais, os artistas do projeto video360production.com interagem com os maiores teatros de São Petersburgo, onde foram realizadas várias apresentações e apresentações musicais. Uma oportunidade única é oferecida ao fotografar locais históricos nas cidades e excursões em museus. No Museu de Antropologia e Etnografia. Peter the Great (Kunstkamera) em formato de vídeo em 360 °, antes do início da reconstrução, um grande globo acadêmico ( Gottorp ) foi removido - um presente diplomático ao czar Peter I do duque holandês Karl Friedrich durante a Guerra do Norte.


Gravando um grande globo acadêmico (Gottorp) em formato de vídeo em 360 °

A implementação de um projeto conjunto da ITMO University e do Museu Hermitage do Estado "Presence Points" foi iniciada, no âmbito do qual está planejado apresentar eventos em várias salas do museu usando a tecnologia de vídeo panorâmica.


Gravando o videoclipe “O relógio do pavão” no Museu Hermitage do Estado em formato de vídeo em 360 °

Um interesse crescente entre os visitantes do canal do YouTube criado pelos autores do projeto também está dando um passeio virtual pelos rios e canais de São Petersburgo.

Foi dada especial atenção ao vídeo em 360 ° de vários eventos no Mosteiro Solovetsky. O Mosteiro Solovetsky desempenhou um papel excepcional na história e cultura da Rússia. Nascido no século XV. como um lugar de desertificação dos seguidores espirituais do "pai do monasticismo russo" pr. Sérgio de Radonej, em pouco tempo ele se transformou na capital espiritual, cultural, política e econômica do norte da Rússia. Pelos esforços dos monges Solovetsky, que deram à Igreja Russa uma galáxia de santos ascetas, a fé cristã espalhou-se pelas vastas extensões da região subpolar russa.

As atividades do mosteiro Solovetsky, em um grau decisivo, contribuíram para o influxo da população russa na região do Mar Branco. O mosteiro naval teve uma influência decisiva no desenvolvimento da economia e da parte marinha da Pomerânia. Isso se tornou um pré-requisito para o desenvolvimento de marinheiros árticos russos no Oceano Ártico e a transformação da Rússia em uma grande potência do Ártico.

O afastamento geográfico do Mosteiro Solovetsky dificulta a participação pessoal de muitos dos eventos que ocorrem lá. A gravação desses eventos na tecnologia de vídeo em 360 ° e o acesso a eles via Internet tornam possível, ao usar dispositivos de realidade virtual, sentir-se como um participante desses eventos.
Como resultado do trabalho, mais de 10 cenas foram filmadas no Arquipélago de Solovetsky: Excursão ao Templo da Ascensão em Sekirnaya Gora, Serviço no templo do Mosteiro de Solovetsky, Liturgia de Natal, Vésperas, festa de Natal para crianças no Mosteiro de Solovetsky;


Serviço no templo do mosteiro Solovetsky em formato de vídeo em 360 °


Excursão ao templo da ascensão em Sekirnaya Gora (Ilhas Solovetsky) em formato de vídeo

em 360 ° Interatividade em formato de vídeo em 360 °

Apesar do fato de que a visualização de vídeo em 360 ° em vários fones de ouvido de realidade virtual oferece alta qualidade imersão virtual no conteúdo de vídeo, o próximo passo é a possibilidade de introduzir vários elementos interativos no material de vídeo do formato de vídeo em 360 °.

Esses elementos podem ser:
• Marcas ativas dentro do espaço virtual para movimento ao longo de várias trajetórias capturadas anteriormente na tecnologia de vídeo em 360 °;
• Introdução de vários conteúdos adicionais (imagens, vídeos, hiperlinks, etc.) no vídeo em 360 ° - a função “imagem na imagem”;
• Transição do vídeo em 360 ° para o espaço 3D simulado da realidade reconstruída.

Com base no sistema Unity3D, um tour interativo em formato de vídeo em 360 ° ao redor do Korela Fortress Museum foi implementado no Centro de Design e Multimídia da Universidade ITMO . Este tour de vídeo panorâmico com controles interativos foi projetado para visualização nos fones de ouvido de realidade virtual Oculus Rift.

A interação interativa torna possível escolher a rota: o usuário, em determinados pontos - garfos, tem a oportunidade de escolher a continuação desejada do passeio ou voltar. A orientação sobre o elemento é realizada girando a cabeça, que é rastreada usando o Oculus Rift. Enquanto mantém a mira no elemento selecionado por vários segundos, o elemento é ativado e o próximo segmento de vídeo em 360 ° é iniciado. Para aumentar a visibilidade da interação interativa ao apontar a vista, é iniciada a animação do preenchimento da barra de carregamento circular.


Mapa de movimentos interativos em torno do Museu da Fortaleza de Korela

Existe um guia profissional nos “corredores”, informando sobre objetos na seção passável da pista; nos corredores, o guia não está mais presente, para não duplicar a mesma informação. Se desejar, o usuário pode pular a exibição de uma seção de vídeo pressionando uma tecla no teclado ou usando um elemento interativo.

A segunda forma de interação interativa é a capacidade de mudar de vídeo em 360 ° para uma reconstrução tridimensional virtual da fortaleza. A reconstrução da fortaleza de Korela foi realizada como parte do projeto "Sistema de Informação Multimídia" Fortalezas Antigas do Noroeste "". Um elemento aparece em determinados pontos do tour de vídeo, ativando o qual o usuário se move para a reconstrução 3D, com a possibilidade de movimento livre no espaço de reconstrução virtual usando o mecanismo de gráficos Unity3D. Em locais de reconstrução virtual que coincidem com as reais marcas de pontos estáticas registradas, portais luminosos estão localizados na reconstrução. Depois de entrar nesse portal, o usuário retorna ao ponto correspondente da excursão em vídeo.

Conclusão

As tecnologias multimídia 360 ° são uma nova área tecnológica promissora que permite criar conteúdo interativo de alta qualidade para fones de ouvido de realidade virtual em todas as áreas da atividade humana (cultura, arte, educação, ciência, turismo, publicidade, produção industrial, administração pública, etc.) .

Do ponto de vista da indústria do entretenimento e, principalmente, da criação de longas-metragens no formato 360 °, espera-se desenvolver uma série de novas abordagens e metodologias de processos criativos e tecnológicos que permitirão ao espectador mergulhar em novos níveis virtuais e interativos.
Autores do artigo: Borisov Nikolay, Smolin Artem, Stolyarov Denis, Scherbakov Pavel, Trushin Vasily

Source: https://habr.com/ru/post/pt392565/