O efeito do "vale sinistro" na dublagem da realidade virtual

Muitos artistas que trabalham na indústria de jogos estão familiarizados com o efeito "vale sinistro", mas engenheiros e compositores de som geralmente não enfrentam esse problema. No entanto, dado o rápido desenvolvimento da realidade virtual, a situação pode mudar drasticamente. Neste artigo, falaremos sobre como exatamente esse efeito pode afetar os profissionais de áudio. Mas primeiro, vamos descobrir o que é o "vale sinistro"?


Para demonstrar o efeito do "vale sinistro", esse gráfico é mais frequentemente usado. A idéia é a seguinte: quanto mais um objeto inanimado, como um robô, parecer uma pessoa, mais bonito ele parecerá. Entretanto, esse efeito cresce apenas até certo ponto: quando o grau máximo de realismo acaba de ser alcançado, a simpatia é fortemente substituída pelo nojo ou até pelo medo. Em outras palavras, devido à menor inconsistência da realidade, seu personagem se transforma em um monstro. Mais detalhadamente sobre o efeito do "vale sinistro" é descrito no vídeo da série Extra Credits:



Então descobrimos o que os artistas querem dizer com "vale sinistro", mas o que isso tem a ver com áudio?

"Som surround - imitação da realidade ou ilusão?"

O conceito de "vale sinistro" no campo do áudio foi introduzido pela primeira vez por Francis Ramsey em seu relatório "Som surround - uma imitação da realidade ou uma ilusão?" em uma reunião da filial de Chicago da Audio Engineering Society na sede da Shure Incorporated em Niles, Illinois, em maio de 2014. Francis Ramsey é Ph.D. em áudio pela Universidade de Surrey e atualmente é Presidente do Conselho Técnico da AES.

Em uma apresentação brilhante de uma hora e meia (uma gravação completa da qual os membros da AES podem ver aqui) Francis Ramsey fala sobre a evolução do som surround e sobre inúmeras tentativas para obter uma simulação perfeita do espaço acústico natural. Ele também considera várias abordagens para resolver esse problema: do ponto de vista estético e matemático - criando a tecnologia ideal para a síntese do campo de ondas. No caminho, ele faz a pergunta: qual é o propósito do som surround - a abordagem mais próxima da realidade ou a criação de uma ilusão plausível? Isso nos leva ao ponto principal do relatório.

Design de som em realidade virtual: “quase” não conta

Ramsey alega que o som surround começa a estimular cada vez mais áreas do cérebro à medida que atinge o grau máximo de realismo. Por que isso está acontecendo? O fato é que a audição é muito interessada na "naturalidade" do som. Estamos bem cientes de como o som viaja no ambiente. Sabemos como ele reflete, reverbera e como vários objetos podem abafar o som ou alterar seu timbre. Quando o ambiente acústico virtual atinge o auge do realismo espacial e da combinação de timbres, nosso cérebro começa a comparar esse modelo com o ambiente real capturado em nossa memória. E, mesmo que à primeira vista a simulação seja perfeita, a menor falha nos causará uma reação negativa. "O som é quase como real, mas algo está errado com ele", você pensa. "Algo me incomoda."

Como exemplo, vamos assistir ao vídeo de realidade virtual Oculus demonstrando a operação do plug-in de som surround GenAudio AstoundSound 3D RTI. Apesar do fato do posicionamento do áudio ser realmente impressionante, na versão demo do plug-in não há efeitos de bloqueio e absorção sonora completamente (que os criadores não escondem). Assim, você pode ver por si mesmo que impressão essas discrepâncias causam em um ambiente acústico realista. Eles são especialmente bem observados quando o jogador entra na casa, e o murmúrio da fonte no quintal permanece inalterado, embora o som deva ter se tornado mais abafado.



Locução para realidade virtual: o "vale sinistro" da fala em 3D

O relatório, Ramsey, cita os resultados da pesquisa de Glenn Dickins, arquiteto técnico de convergência digital dos Laboratórios Dolby. Deakins explorou a teoria do "vale sinistro" em relação à dublagem. A fala humana está enraizada em nossa consciência da mesma maneira que a aparência e os movimentos humanos, de modo que a percebemos facilmente no espaço tridimensional. Assim, a dublagem em 3D corre ainda mais risco de cair no "vale sinistro". O desvio mínimo da voz do arranjo condicional no espaço pode causar ao ouvinte uma sensação de profundo desconforto.

A relevância da tecnologia de compressão de áudio usada no desenvolvimento de videogames tradicionais é questionável quando se trata de realidade virtual. Isto é especialmente verdade para dublagem. Qualquer jogador pode perceber que as vozes dos personagens soam estranhas, nem mesmo sabendo que a razão para isso é a compressão da gravação. O processo de compressão altera o som da voz para o menor, mas na realidade virtual é ouvido de maneira bem distinta. O menor erro de cálculo - e o áudio está no limite do "vale sinistro".

Trilhas sonoras em realidade virtual: previsão otimista

No meu blog, eu já discuti qual o papel da música no espaço acústico tridimensional da realidade virtual. Mas Francis Ramsay tem uma opinião absolutamente oposta sobre isso. Segundo ele, não é de todo importante para o público que a trilha sonora seja envolvente. Os compositores da indústria de jogos podem dar um suspiro de alívio, porque isso significa que as trilhas sonoras não correm o risco do efeito "vale sinistro".

Referindo-se aos resultados de um estudo de como ouvintes inexperientes e experientes percebem o som surround, Ramsey argumenta que posicionar a música no espaço não é tão importante. Todos os participantes da pesquisa concordaram que a qualidade do som é o fator decisivo para a trilha sonora, mas o volume não a afeta de forma alguma. Isso significa que os ouvintes estão dispostos a acreditar voluntariamente nessa ilusão, independentemente de sua conformidade com as regras da realidade virtual? Nesse caso, os engenheiros de som podem sacrificar com segurança o posicionamento da música fora da tela (ou seja, música cuja fonte não faz parte do mundo virtual) em favor da dublagem por voz e dos elementos de design de som. Ao mesmo tempo, a trilha sonora, como antes, contribuirá para o envolvimento emocional e a imersão no mundo do jogo. Contudo,em outras situações (por exemplo, em filmes), os ouvintes podem perceber trilhas sonoras volumétricas de maneira diferente. De qualquer forma, o papel da voz na música na realidade virtual requer um estudo mais detalhado.

Com outros tipos de música, a situação é muito mais simples. Afinal, a trilha sonora nem sempre cumpre seu papel usual de criar uma atmosfera no jogo. Por exemplo, em visualizadores musicais da realidade virtual, o posicionamento do áudio no espaço não é absolutamente necessário, pois já está em primeiro plano (como se você estivesse apenas ouvindo música). Você pode verificar isso assistindo a uma prévia do visualizador de música Harmonix Music VR do desenvolvedor de séries famosas como Rock Band e Dance Central:



Conclusão

Na conclusão do relatório, Francis Ramsey conclui: em quase tudo relacionado à dublagem da realidade virtual, “quase” não é considerado. Em outras palavras, um som verdadeiramente realista deve ser realmente perfeito. Caso contrário, é melhor recorrer ao áudio estilizado, distorcendo intencionalmente e exagerando os aspectos do som real, do que tentar recriar uma cópia exata dele.

Source: https://habr.com/ru/post/pt385003/