Música envolvente: cómo las tecnologías de realidad virtual transmiten el sonido
Las fotos de david pacey / CC3D y las tecnologías de realidad virtual cubren más y más áreas. Los más populares son los juegos de computadora y la industria del cine. En un artículo reciente, hablamos sobre las posibilidades de usar tecnologías de realidad virtual en la industria del cine, y también hablamos sobre el sonido 3D y sus perspectivas.En este artículo aprenderá sobre las características de reproducción de sonido y música en realidad virtual, qué problemas enfrentan los profesionales de audio y cómo se pueden resolver."Lo que te das cuenta es real"
Hay dos formas de transmitir información utilizando la tecnología VR. En el primer caso, los desarrolladores buscan recrear la imagen lo más cerca posible de la realidad. En el segundo, para generar un mundo y una atmósfera completamente diferentes, para crear una ilusión en la que todo lo que sucede está lógicamente conectado.Con el segundo método, todo es simple: si la situación, los personajes y sus acciones no son reales, entonces las leyes de este mundo son diferentes de la realidad. Es mucho más difícil recrear lo que es real en sí mismo. La dificultad radica en el hecho de que en algunos juegos o videos hay momentos extraños que "sacan" a la mente humana de esta ilusión.Los desarrolladores y animadores de juegos están familiarizados con la hipótesis, que se llama el extraño efecto del valle. La esencia de la hipótesis es que un personaje que se ve o actúa casi como una persona, pero aún es ligeramente diferente de él, nos causa miedo o aversión. Algo similar sucede con el sonido en realidad virtual.A diferencia de la percepción visual, es mucho más difícil determinar qué objeto está frente a nosotros. Puede averiguar su tamaño aproximado y su distancia relativa solo si el objeto emite sonidos. Debido al hecho de que tenemos una rica experiencia "auditiva" de percibir el mundo, en realidad virtual, el cerebro compara nueva información con lo que realmente nos está sucediendo.La voz humana en este caso es el factor más "familiar" para nosotros: por lo tanto, su presencia en el diseño de sonido del juego facilita notablemente nuestra "inmersión auditiva" en la realidad virtual. Pero la voz, como el personaje humanoide, está sujeta al efecto del "valle siniestro". Por ejemplo, una compresión demasiado alta del sonido causará "desconfianza" en nuestra conciencia.El siguiente video ayuda a entender de lo que nuestro cerebro es capaz. El cerebro recibe toda la información sobre el movimiento de los objetos solo de una señal de audio. Se recomienda que escuche este y los siguientes videos con auriculares y con los ojos cerrados.El sonido en este video fue creado usando el método de grabación binaural: se lleva a cabo a través de dos micrófonos, y el fragmento final debe escucharse en los auriculares.Además de la disposición especial de los micrófonos, en la grabación interviene un maniquí que imita una cabeza real o el llamado disco de Jacklin (en la foto a continuación). No confunda los conceptos de "binaural" y "estéreo". La grabación estéreo convencional no tiene en cuenta la distancia entre los oídos y el reflejo del sonido desde la cabeza y las aurículas, factores que influyen en la propagación del sonido.
Jacklin's Disk / CCEn los cascos modernos de realidad virtual, estas condiciones, desafortunadamente, no se tienen en cuenta. Además, compañías como Project Morpheus y HTC Vive suministran auriculares VR sin auriculares, invitando a los clientes a usar su tecnología. El Oculus Rift viene con auriculares de marca, pero aquí se supone que debe ser reemplazado por un modelo de "mayor calidad".Los auriculares con tecnología Surround Sound 7.1 son muy populares entre los jugadores. El sitio de la comunidad de juegos Kotaku votó por los mejores auriculares para juegos. Los modelos más populares fueron los auriculares inalámbricos Astro A50 y Logitech G930 que admiten esta tecnología. En otras palabras, la comunidad misma ha determinado que "alta calidad" implica un efecto envolvente.Entonces, el sonido binaural es diferente del estéreo. El estéreo (2.0), a su vez, difiere del sonido envolvente (7.1): si el sonido binaural y estéreo requiere métodos especiales de grabación de sonido, para lograr el efecto del sonido espacial, debe reproducir el sonido a través de una gran cantidad de fuentes de sonido. Debido al número de altavoces, se crea un efecto de inmersión.Sin embargo, para la realidad virtual, lo primero que importa no es la inmersión, sino el sonido "realista". Si la grabación binaural se procesa a través de auriculares 7.1, es probable que la grabación final no cumpla con las expectativas del oyente. Esto significa que los métodos estándar no pueden resolver este problema.Lo principal es el realismo.
Photo pixabay / CCPara lograr un sonido realista, debe tener en cuenta la posición del cuerpo en el espacio, así como controlar la interacción con la función de transferencia de la cabeza (HRTF).En realidad virtual, el usuario tiene la capacidad de moverse y hacer movimientos de cabeza en cualquier dirección. En consecuencia, si la cabeza, o más bien los oídos, cambian su posición, entonces la señal de sonido entrante también debe cambiar. La grabación binaural puede mejorar el efecto de la inmersión en la realidad virtual, enfatizando la profundidad de los eventos.Además de los sonidos que estamos acostumbrados a escuchar, los llamados sonidos dietéticos, también hay sonidos no diabéticos: no los escuchamos en la vida cotidiana, pero pueden ser parte de un juego de computadora o una película. Un ejemplo es la música de fondo o el discurso del narrador.En un juego de computadora, no nos interesa de dónde provienen la voz y la música. Otra cosa es la realidad virtual. Para adaptar los sonidos no diabéticos al mundo virtual, debe usar objetos de conexión. Por ejemplo, parecería lógico si el narrador habla por radio o por el receptor del teléfono.En cuanto a la música, surgen otras preguntas aquí. Por supuesto, se puede conectar a una radio para que quede claro de dónde proviene el sonido. Pero esto no es suficiente: la música proveniente de él sonará desigual.Una de las posibles soluciones es el uso de compresión dinámica junto con la amplificación de bajas frecuencias, causando un "efecto de proximidad". En el video a continuación, Alexander J Turner analiza este fenómeno en detalle. Está estrechamente relacionado con el dispositivo del micrófono: cuanto más cerca esté el altavoz, más brillantes serán las frecuencias más bajas y el sonido estará más saturado.Los juegos a menudo usan composiciones grabadas en estudios u otros espacios acústicos. Estos espacios transmiten vivacidad del sonido debido al hecho de que el sonido de los instrumentos se mezcla con reflejos de sonido en la sala. Entonces, en un concierto en el conservatorio, no hay sensación de que la música esté aplastando o invadiendo el espacio personal. Por el contrario, sentimos que ella está a cierta distancia de nosotros.Sin embargo, la realidad virtual no utiliza grabaciones "demasiado animadas": el oyente no entenderá de dónde proviene el sonido. Una solución alternativa a este problema sería grabar música en un ambiente neutral, seguido de procesamiento, para no perturbar el sonido orgánico. También puede valer la pena renunciar al sonido estéreo y reducir todo a un sonido más centrado. Puede comprimirlo un poco y luego aplicarle la configuración del ecualizador. Entonces la música sonará como si no se reprodujera "en algún lugar", sino "en nuestra cabeza".El efecto del realismo también se puede lograr a través de un énfasis discreto en la situación circundante. Por ejemplo, en el siguiente video puedes sentir la tensión visual y sonora. Vale la pena señalar que el efecto de los sonidos diabéticos en esta grabación es más fuerte que los sonidos no diabéticos, y se pone más énfasis en la configuración que en el sonido.Otro ejemplo del mismo enfoque. Solo unos pocos sonidos crean una atmósfera intensa e intensa.Por lo tanto, el sonido calibrado de manera demasiado limpia y precisa puede parecer artificial. Al mismo tiempo, incluso si está "sucio", pero crea una imagen realista, con la ayuda de efectos de sonido adicionales o un entorno dinámico, la experiencia auditiva será mucho más fuerte.En otras palabras, no se esfuerce por hacer que el sonido sea perfecto. Es necesario hacerlo lo más realista posible para que el oyente pueda sentir las emociones que concibió el creador de una obra.Estamos constantemente actualizados y solo estudiamos materiales interesantes sobre el sonido. Más recientemente, comenzamos a preparar resúmenes temáticos , un par de ejemplos y otros materiales sobre el tema, a partir de los enlaces a continuación:Source: https://habr.com/ru/post/es397147/
All Articles