Google presentó Resonance Audio SDK, un juego de herramientas para el diseño de sonido de juegos, video de 360 grados, aplicaciones VR y AR.
Este no es el primer desarrollo de la compañía en esta área. En enero de 2016, se lanzó el SDK de Google Cardboard con sonido envolvente. Su versión revisada se
incluyó en la plataforma Daydream 2.0 VR, que actualmente está
abierta a desarrolladores externos.
Una novedad llamada "Resonance Audio" combina los logros de Google en esta área y le permite implementarlos en muchas plataformas, incluidos los móviles.
A continuación hablaremos sobre las características de Resonance Audio.
Foto Jennifer Boyer CC BYQue da
- El efecto de la plena presencia . El ángulo de visión de la visión humana es en promedio de 160 a 200 grados, pero con la ayuda de las capacidades auditivas, una persona puede formarse una imagen completa del espacio. Al sincronizar la visión virtual y el sonido virtual, puede lograr un mayor efecto de presencia en la realidad virtual.
- Uso económico de la CPU . La tecnología Ambisonics funciona aquí: una versión en 3D de la grabación Mid-Side . En palabras simples, le permite ahorrar recursos informáticos en el proceso de "mezclar" cientos de fuentes de sonido virtual. Además, Unity ofrece la posibilidad de realizar cálculos preliminares del efecto de reverberación en función de las propiedades acústicas del entorno virtual.
- Multiplataforma . Resonance Audio funciona en los sistemas operativos Android, iOS, Windows, MacOS, Linux; en motores Unity y Unreal Engine; con biblioteca de audio FMOD ; Paquete de software Wwise Estaciones de trabajo de sonido digital. Google también proporciona API para C / C ++, Java y Objective-C.
- La formación de medios de sonido complejos . Con el SDK, puede trabajar con varios parámetros que afectan la percepción espacial de los sonidos. Por ejemplo, establezca la dirección de propagación de una onda de sonido. Los desarrolladores citan la situación con la fuente de sonido en forma de guitarra virtual: sonará más fuerte si el personaje del juego está parado frente a él y más silencioso si está detrás.
Además, el SDK proporciona una percepción diferente del sonido dependiendo de las condiciones ambientales (por ejemplo, en espacios abiertos y confinados). Al usar estas características, los desarrolladores podrán crear escenas más realistas.
Cómo funciona el audio de resonancia
La tecnología le permite establecer la posición de la fuente de sonido junto con la naturaleza de su distribución y
simula la interacción de las ondas de sonido con objetos virtuales. Para esto, Resonance Audio presenta tres tipos de componentes de la percepción general de un efecto de sonido particular.
- Sonido directo : va directamente de la fuente al oyente sin interactuar con obstáculos. Tiene la mayor intensidad en comparación con otros componentes y disminuye a medida que se aleja de la fuente.
- Reflexiones primarias de las superficies: tienen una intensidad menor, que también depende de las propiedades de la superficie. Le permiten evaluar el tamaño y la forma del espacio virtual.
- Siguen reflexiones secundarias y posteriores , que llegan con una densidad creciente y se superponen al sonido directo. Una imagen más completa del espacio circundante está construida sobre ellos.
Como
enfatizó Chris Hegstrom (Chris Hegstrom), diseñador de sonido Microsoft HoloLens, el cerebro humano procesa la información del sonido más rápido que lo visual. El instinto de autoconservación le enseñó a la persona a determinar la distancia a la fuente de sonido, y la formación del efecto de presencia se basa en este principio, del cual el componente de audio es en gran parte responsable:
El efecto de la presencia es la diferencia entre "Wow, este juego tiene una animación genial de un gran error" y "¡Maldita sea, un error gigante voló sobre mí!"
Usando las capacidades de Resonance Audio (
video ), una persona inmersa en el mundo virtual forma una especie de "mapa" del espacio en el que se encuentra. Y la ubicación aproximada de los objetos que no puede ver, una persona determina solo con escuchar.
¿Qué más necesitas saber?
La importancia de trabajar en tecnologías de sonido envolvente se confirma mediante experimentos, uno de los cuales fue
realizado por G'Audio Lab. A las personas se les dieron dos demos del juego: una con sonido envolvente y la otra con sonido normal. Después de completar el proceso del juego, los encuestados dijeron abiertamente que ni siquiera pensaban que el sonido podría hacer una gran diferencia en la sensación del proceso del juego.
Joel Susal, el jefe de la división de realidad virtual y aumentada de Dolby,
recuerda que son los efectos de sonido realistas, como el crujido de una puerta o el sonido de pasos que se aproximan, que nos hacen girar instintivamente la cabeza para ver la fuente del sonido y comprender que todo -Así sucede. La tecnología de sonido envolvente enriquecerá la jugabilidad de los juegos de realidad virtual y ampliará el área de interacción con el entorno de juego.
El sonido envolvente se puede usar no solo en juegos y películas, sino también en
videos musicales , durante transmisiones en vivo de conciertos y partidos deportivos en realidad virtual, para que una persona que está en casa se sienta parte del evento. El sonido envolvente lo ayudará a sentir algo que no es tan fácil de sentir incluso en el mundo real, por ejemplo, no solo ir a un concierto, sino estar en el escenario, junto a su artista favorito.
Otros materiales de nuestro "Hi-Fi World":