O Google lançou o Resonance Audio SDK - um kit de ferramentas para design de som de jogos, vídeo em 360 graus, aplicativos de RV e AR.
Este não é o primeiro desenvolvimento da empresa nesta área. Em janeiro de 2016,
o Google Cardboard SDK com som surround foi lançado. Sua versão revisada foi
incluída na plataforma Daydream 2.0 VR, atualmente
aberta a desenvolvedores de terceiros.
Uma novidade chamada "Áudio de ressonância" combina as conquistas do Google nessa área e permite implementá-las em várias plataformas, incluindo dispositivos móveis.
Abaixo, falaremos sobre os recursos do Resonance Audio.
Foto Jennifer Boyer CC BYO que isso dá
- O efeito da presença completa . O ângulo de visão da visão humana é em média de 160 a 200 graus, mas com a ajuda das capacidades auditivas, uma pessoa pode formar para si uma imagem completa do espaço. Ao sincronizar a visão virtual e o som virtual, você pode obter um maior efeito de presença na realidade virtual.
- Uso econômico de CPU . A tecnologia Ambisonics funciona aqui - uma versão 3D da gravação Mid-Side . Em palavras simples, permite economizar recursos de computação no processo de "mistura" de centenas de fontes de som virtuais. Além disso, o Unity oferece a possibilidade de cálculos preliminares do efeito de reverberação, dependendo das propriedades acústicas do ambiente virtual.
- Plataforma cruzada . O áudio de ressonância funciona nos sistemas operacionais Android, iOS, Windows, MacOS, Linux; nos motores Unity e Unreal Engine; com biblioteca de áudio FMOD ; Pacote de software Wwise estações de trabalho com som digital. O Google também fornece APIs para C / C ++, Java e Objective-C.
- A formação de meios de som complexos . Usando o SDK, você pode trabalhar com vários parâmetros que afetam a percepção espacial dos sons. Por exemplo, defina a direção de propagação de uma onda sonora. Os desenvolvedores citam a situação com a fonte sonora na forma de uma guitarra virtual: ela soará mais alta se o personagem do jogo estiver na frente dela e mais silenciosa se estiver atrás dela.
Além disso, o SDK fornece uma percepção diferente do som, dependendo das condições ambientais (por exemplo, em espaços abertos e confinados). Ao usar esses recursos, os desenvolvedores poderão criar cenas mais realistas.
Como o áudio de ressonância funciona
A tecnologia permite definir a posição da fonte sonora juntamente com a natureza de sua distribuição e
simula a interação das ondas sonoras com objetos virtuais. Para fazer isso, o Resonance Audio apresenta três tipos de componentes da percepção geral de um efeito sonoro específico.
- Som direto - vai diretamente da fonte ao ouvinte sem interagir com obstáculos. Tem a intensidade mais alta em comparação com outros componentes e diminui à medida que se afasta da fonte.
- Reflexões primárias das superfícies - têm uma intensidade mais baixa, que também depende das propriedades da superfície. Eles permitem avaliar o tamanho e a forma do espaço virtual.
- Seguem-se reflexões secundárias e subsequentes , que chegam com densidade crescente e são sobrepostas ao som direto. Uma imagem mais completa do espaço circundante é construída sobre eles.
Conforme
enfatizado por Chris Hegstrom (Chris Hegstrom), designer de som Microsoft HoloLens, o cérebro humano processa as informações sonoras mais rapidamente do que o visual. O instinto de autopreservação ensinou a pessoa a determinar a distância da fonte sonora, e a formação do efeito de presença se baseia nesse princípio, pelo qual o componente de áudio é amplamente responsável:
O efeito da presença é a diferença entre "Uau, este jogo tem uma animação muito legal de um bug enorme" e "Droga, um bug gigante sobrevoou em mim!"
Usando os recursos do Resonance Audio (
vídeo ), uma pessoa imersa no mundo virtual forma uma espécie de "mapa" do espaço em que está localizada. E a localização aproximada dos objetos que ele não pode ver, uma pessoa determina apenas ouvindo.
O que mais você precisa saber
A importância de trabalhar em tecnologias de som surround é confirmada por experimentos, um dos quais foi
conduzido pelo G'Audio Lab. As pessoas receberam duas demos do jogo - uma com som surround e outra com normal. Após a conclusão do processo do jogo, os entrevistados disseram abertamente que nem pensavam que o som pudesse fazer uma diferença tão grande no sentimento do processo do jogo.
Joel Susal, chefe da divisão de realidade virtual e aumentada da Dolby,
lembra que são efeitos sonoros realistas, como um rangido agudo de uma porta ou o som de passos que se aproximam, que nos fazem instintivamente virar a cabeça para ver a fonte do som e entender que tudo -Então acontece. A tecnologia de som surround enriquecerá a jogabilidade de jogos de realidade virtual e expandirá a área de interação com o ambiente de jogo.
O som surround pode ser usado não apenas em jogos e filmes, mas também em
videoclipes , durante transmissões ao vivo de concertos e partidas esportivas de VR, para que uma pessoa que esteja em casa se sinta parte do evento. O som surround o ajudará a sentir algo que não é tão fácil de sentir, mesmo no mundo real - por exemplo, não apenas vá a um show, mas esteja no palco, ao lado do seu artista favorito.
Outros materiais do nosso "Mundo Hi-Fi":