Música Surround: Como as Tecnologias VR Transmitem Som

As fotos david pacey / CC As

tecnologias 3D e VR cobrem cada vez mais áreas. Os mais populares são os jogos de computador e a indústria cinematográfica. Em um artigo recente, falamos sobre as possibilidades de usar as tecnologias de realidade virtual na indústria cinematográfica, e também sobre o som 3D e suas perspectivas.

Neste artigo, você aprenderá sobre os recursos de reprodução de som e música em VR, quais problemas os profissionais de áudio enfrentam e como eles podem ser resolvidos.

"O que você percebe é real"

Existem duas maneiras de transmitir informações usando a tecnologia VR. No primeiro caso, os desenvolvedores procuram recriar a imagem o mais próximo possível da realidade. No segundo - gerar um mundo e uma atmosfera completamente diferentes, criar uma ilusão na qual tudo o que acontece é logicamente conectado.

Com o segundo método, tudo é simples: se a situação, os personagens e suas ações não são reais, então as leis deste mundo são diferentes da realidade. É muito mais difícil recriar o que é real em si. A dificuldade está no fato de que em alguns jogos ou vídeos existem momentos estranhos que "tiram" a mente humana dessa ilusão.

Os desenvolvedores e animadores de jogos estão familiarizados com a hipótese, que é chamada de efeito estranho no vale. A essência da hipótese é que um personagem que parece ou age quase como uma pessoa, mas ainda é um pouco diferente dele, nos causa medo ou aversão. Algo semelhante acontece com o som em VR.

Em contraste com a percepção visual, é muito mais difícil determinar qual objeto está à nossa frente. Você pode descobrir seu tamanho aproximado e distância relativa a ele apenas se o objeto emitir sons. Devido ao fato de termos uma rica experiência "auditiva" de perceber o mundo, na realidade virtual, o cérebro compara novas informações com o que realmente está acontecendo conosco.

A voz humana, neste caso, é o fator mais "familiar" para nós: portanto, sua presença no design de som do jogo facilita visivelmente a nossa "imersão auditiva" na realidade virtual. Mas a voz, como o personagem humanóide, está sujeita ao efeito do "vale sinistro". Por exemplo, uma compressão muito alta do som causará "desconfiança" em nossa consciência.

O vídeo abaixo ajuda a entender do que nosso cérebro é capaz. O cérebro recebe todas as informações sobre o movimento de objetos apenas de um sinal de áudio. É recomendável ouvir este e os seguintes vídeos com fones de ouvido e com os olhos fechados.



O som deste vídeo foi criado usando o método de gravação binaural: é realizado através de dois microfones, e o fragmento final deve ser ouvido nos fones de ouvido.

Além do arranjo especial dos microfones, um manequim imitando uma cabeça real ou o chamado disco de Jacklin (na foto abaixo) está envolvido na gravação. Não confunda os conceitos de "binaural" e "estéreo". A gravação estéreo convencional não leva em consideração a distância entre os ouvidos e o reflexo do som da cabeça e das aurículas - fatores que influenciam a distribuição do som.



Disco / CC de Jacklin

Nos capacetes modernos de realidade virtual, essas condições, infelizmente, não são levadas em consideração. Além disso, empresas como o Project Morpheus e o HTC Vive fornecem fones de ouvido VR sem fones de ouvido, convidando os clientes a usar sua tecnologia. O Oculus Rift vem com fones de ouvido da marca, mas aqui deve ser substituído por um modelo de "qualidade superior".

Fones de ouvido com a tecnologia Surround Sound 7.1 são muito populares entre os jogadores. O site da comunidade de jogos Kotaku votou nos melhores fones de ouvido para jogos. Os modelos mais populares foram os fones de ouvido sem fio Astro A50 e Logitech G930 que suportam essa tecnologia. Em outras palavras, a própria comunidade determinou que "alta qualidade" implica um efeito surround.

Portanto, o som binaural é diferente do estéreo. O estéreo (2.0), por sua vez, difere do som surround (7.1): se o som binaural e estéreo exigir métodos especiais de gravação de som, para obter o efeito do som espacial, você precisará reproduzir som através de um grande número de fontes de som. É devido ao número de alto-falantes que um efeito de imersão é criado.

No entanto, para VR, a primeira coisa que importa não é imersão, mas som "realista". Se a gravação binaural for processada através de fones de ouvido 7.1, é improvável que a gravação final atenda às expectativas do ouvinte. Isso significa que métodos padrão não podem resolver esse problema.

O principal é realismo.

Photo pixabay / CC

Para obter um som realista, é necessário levar em consideração a posição do corpo no espaço, além de monitorar a interação com a função de transferência da cabeça (HRTF).

Em VR, o usuário tem a capacidade de se movimentar e fazer movimentos da cabeça em qualquer direção. Assim, se a cabeça, ou melhor, os ouvidos, mudam de posição, o sinal sonoro recebido também deve mudar. A gravação binaural pode aumentar o efeito da imersão na realidade virtual, enfatizando a profundidade dos eventos.

Além dos sons que estamos acostumados a ouvir - os chamados sons diegéticos, também existem sons não-diabéticos: não os ouvimos na vida cotidiana, mas podem fazer parte de um jogo ou filme de computador. Um exemplo é a música de fundo ou o discurso do narrador.

Em um jogo de computador, não estamos interessados ​​na origem da voz e da música. Outra coisa é a realidade virtual. Para ajustar sons não diabéticos ao mundo virtual, você deve usar objetos de conexão. Por exemplo, seria lógico se o narrador falasse no rádio ou no receptor de telefone.

Quanto à música, outras questões surgem aqui. Obviamente, ele pode ser ligado a um rádio para que fique claro de onde vem o som. Mas isso não basta: a música que sai dela parecerá desigual.

Uma das soluções possíveis é o uso de compressão dinâmica juntamente com a amplificação de baixas frequências, causando um “efeito de proximidade”. No vídeo abaixo, Alexander J Turner analisa esse fenômeno em detalhes. Está intimamente relacionado ao dispositivo do microfone: quanto mais próximo o alto-falante estiver dele, mais brilhantes serão as frequências mais baixas e o som será mais saturado.



Os jogos costumam usar composições gravadas em estúdios ou outros espaços acústicos. Esses espaços transmitem vivacidade ao som devido ao fato de o som dos instrumentos ser misturado com reflexos sonoros na sala. Assim, em um concerto no conservatório, não há sensação de que a música esteja esmagando ou invadindo o espaço pessoal. Pelo contrário, sentimos que ela está distante de nós.

No entanto, o VR não usa gravações "muito animadas": o ouvinte não entende de onde vem o som. Uma solução alternativa para esse problema seria gravar músicas em um ambiente neutro, seguido de processamento, para não perturbar o som orgânico. Também pode valer a pena abandonar o som estéreo e reduzir tudo para um som mais centralizado. Você pode compactá-lo um pouco e aplicar as configurações do equalizador. Então a música soa como se não tocasse "em algum lugar lá fora", mas "na nossa cabeça".

O efeito do realismo também pode ser alcançado através de uma ênfase discreta na situação circundante. Por exemplo, no próximo vídeo, você pode sentir tensão visual e sonora. Vale a pena notar que o efeito dos sons diabéticos nesta gravação é mais forte que os sons não-diabéticos, e mais ênfase é colocada no cenário do que no som.



Outro exemplo da mesma abordagem. Apenas alguns sons criam uma atmosfera intensa e intensa.



Assim, o som calibrado de maneira muito limpa e precisa pode parecer artificial. Ao mesmo tempo, mesmo que esteja "sujo", mas cria uma imagem realista - com a ajuda de efeitos sonoros adicionais ou de um ambiente dinâmico - a experiência auditiva será muito mais forte.

Em outras palavras, não se esforce para tornar o som perfeito. É necessário torná-lo o mais realista possível, para que o ouvinte possa sentir as emoções que o criador de uma obra concebeu.

Estamos constantemente atualizados e apenas estudamos materiais interessantes sobre som. Mais recentemente, começamos a preparar resumos temáticos , alguns exemplos e outros materiais sobre o tema - nos links abaixo:

• VR-
• « »,
• « »: Arslab Penaudio

Source: https://habr.com/ru/post/pt397147/