El efecto del "valle siniestro" en la actuación de la voz de la realidad virtual

Muchos artistas que trabajan en la industria del juego están familiarizados con el efecto de "valle siniestro", pero los ingenieros y compositores de sonido generalmente no enfrentan este problema. Sin embargo, dado el rápido desarrollo de la realidad virtual, la situación puede cambiar dramáticamente. En este artículo, hablaremos sobre cómo exactamente este efecto puede afectar a los profesionales de audio. Pero primero, descubramos qué es el "valle siniestro".


Para demostrar el efecto del "valle siniestro", este cuadro se usa con mayor frecuencia. La idea es esta: cuanto más se parece un objeto inanimado, como un robot, a una persona, más bonito parece. Sin embargo, este efecto crece solo hasta cierto punto: cuando se acaba de alcanzar el máximo grado de realismo, la simpatía se reemplaza por asco o incluso miedo. En otras palabras, debido a la menor inconsistencia de la realidad, tu personaje se convierte en un monstruo. En más detalle sobre el efecto del "valle siniestro" se describe en el video de la serie Créditos Extra:



Entonces descubrimos lo que los artistas quieren decir con "valle siniestro", pero ¿qué tiene esto que ver con el audio?

"Sonido envolvente: ¿imitación de realidad o ilusión?"

El concepto de "valle siniestro" en el campo del audio fue introducido por primera vez por Francis Ramsey en su informe "Sonido envolvente: ¿una imitación de la realidad o una ilusión?" en una reunión de la sucursal de Chicago de la Audio Engineering Society en la sede de Shure Incorporated en Niles, Illinois, en mayo de 2014. Francis Ramsey tiene un doctorado en audio de la Universidad de Surrey y actualmente es presidente del Consejo Técnico de AES.

En una brillante presentación de una hora y media (una grabación completa que los miembros de AES pueden ver aquí) Francis Ramsey habla sobre la evolución del sonido envolvente y sobre numerosos intentos de lograr una simulación perfecta del espacio acústico natural. También considera varios enfoques para resolver este problema: desde un punto de vista estético y matemático, creando la tecnología ideal para la síntesis del campo de onda. En el camino, hace la pregunta: ¿cuál es el propósito del sonido envolvente: el enfoque más cercano a la realidad o la creación de una ilusión plausible? Esto nos lleva al punto principal del informe.

Diseño de sonido en realidad virtual: "casi" no cuenta

Ramsey afirma que el sonido envolvente comienza a estimular más y más áreas del cerebro a medida que alcanza el máximo grado de realismo. ¿Por qué está pasando esto? El hecho es que escuchar está muy interesado en la "naturalidad" del sonido. Somos conscientes de cómo viaja el sonido en el medio ambiente. Sabemos cómo se refleja, reverbera y cómo varios objetos pueden ahogar el sonido o cambiar su timbre. Cuando el entorno acústico virtual alcanza el pináculo del realismo espacial y la coincidencia de timbres, nuestro cerebro comienza a comparar este modelo con el entorno real capturado en nuestra memoria. E, incluso si a primera vista la simulación es perfecta, el más mínimo defecto nos causará una reacción negativa. "El sonido es casi real, pero algo está mal", piensas. "Algo me molesta".

Como ejemplo, veamos el video de realidad virtual Oculus que demuestra el funcionamiento del complemento de sonido envolvente GenAudio AstoundSound 3D RTI. A pesar de que el posicionamiento del audio es realmente impresionante, en la versión demo del complemento no hay efectos de bloqueo y absorción de sonido (que los creadores no ocultan). Por lo tanto, puede ver por sí mismo qué impresión causan estas discrepancias en un entorno acústico realista. Se observan especialmente bien cuando el jugador entra en la casa, y el murmullo de la fuente en el patio permanece sin cambios, aunque el sonido debería haberse amortiguado más.



Voz en off para realidad virtual: el "valle siniestro" del discurso en 3D

El informe, Ramsey cita los resultados de la investigación realizada por Glenn Dickins, arquitecto técnico de convergencia digital en Dolby Laboratories. Deakins exploró la teoría del "valle siniestro" en relación con la actuación de la voz. El habla humana está arraigada en nuestra conciencia de la misma manera que la apariencia y los movimientos humanos, por lo que lo percibimos fácilmente en el espacio tridimensional. Por lo tanto, la voz que actúa en 3D tiene un riesgo aún mayor de caer en el "valle siniestro". La desviación mínima de la voz de la disposición condicional en el espacio puede causar al oyente una profunda incomodidad.

La relevancia de la tecnología de compresión de audio utilizada en el desarrollo de los videojuegos tradicionales es cuestionable cuando se trata de la realidad virtual. Esto es especialmente cierto para la actuación de voz. Cualquier jugador puede notar que las voces de los personajes suenan extrañas, sin siquiera saber que la razón de esto es la compresión de la grabación. El proceso de compresión cambia el sonido de la voz al más pequeño, pero en la realidad virtual se escucha con bastante claridad. El menor error de cálculo, y el audio está al borde del "valle siniestro".

Bandas sonoras en realidad virtual: pronóstico optimista

En mi blog, ya discutí qué papel juega la música en el espacio acústico tridimensional de la realidad virtual. Pero Francis Ramsay tiene una opinión absolutamente opuesta sobre esto. Según él, no es para nada importante para el público que la banda sonora esté rodeada. Los compositores de la industria del juego pueden dar un suspiro de alivio, porque esto significa que las bandas sonoras no están en peligro del efecto de "valle siniestro".

Refiriéndose a los resultados de un estudio sobre cómo los oyentes inexpertos y experimentados perciben el sonido envolvente, Ramsey argumenta que posicionar la música en el espacio no es tan importante. Todos los participantes de la encuesta estuvieron de acuerdo en que la calidad del sonido es el factor decisivo para la banda sonora, pero el volumen no la afecta de ninguna manera. ¿Significa esto que los oyentes están dispuestos a creer voluntariamente en esta ilusión, independientemente de su cumplimiento con las reglas de la realidad virtual? Si es así, los ingenieros de sonido pueden sacrificar de manera segura el posicionamiento de la música fuera de la pantalla (es decir, música cuya fuente no es parte del mundo virtual) en favor del doblaje de voz y los elementos de diseño de sonido. Al mismo tiempo, la banda sonora, como antes, contribuirá a la implicación emocional y a la inmersión en el mundo del juego. Sin embargo,En otras situaciones (por ejemplo, en películas), los oyentes pueden percibir las bandas sonoras volumétricas de manera diferente. En cualquier caso, el papel de la voz en off en la realidad virtual requiere un estudio más detallado.

Con otros tipos de música, la situación es mucho más simple. Después de todo, la banda sonora no siempre cumple su papel habitual de crear una atmósfera en el juego. Por ejemplo, en visualizadores musicales de realidad virtual, no es absolutamente necesario colocar el audio en el espacio, porque ya está en primer plano (como si estuviera escuchando música). Puede verificarlo usted mismo viendo la vista previa del visualizador de música Harmonix Music VR del desarrollador de series tan famosas como Rock Band y Dance Central:



Conclusión

En conclusión del informe, Francis Ramsey concluye: en casi todo lo relacionado con la actuación de voz de la realidad virtual, "casi" no se considera. En otras palabras, un sonido verdaderamente realista debería ser realmente perfecto. De lo contrario, es mejor detenerse en el audio estilizado, distorsionando intencionalmente y exagerando aspectos del sonido real, que tratar de recrear su copia exacta.

Source: https://habr.com/ru/post/es385003/