Google a présenté le SDK audio de résonance - une boîte à outils pour la conception sonore des jeux, des applications vidéo à 360 degrés, VR et AR.
Ce n'est pas le premier développement de l'entreprise dans ce domaine. En janvier 2016,
le SDK Google Cardboard avec son surround a été lancé. Sa version révisée a été
incluse dans la plate-forme Daydream 2.0 VR, qui est actuellement
ouverte aux développeurs tiers.
Une nouveauté appelée «Resonance Audio» combine les réalisations de Google dans ce domaine et vous permet de les implémenter sur de nombreuses plateformes, notamment mobiles.
Ci-dessous, nous parlerons des fonctionnalités de Resonance Audio.
Photo Jennifer Boyer CC PARQu'est-ce que ça donne
- L'effet d'une pleine présence . L'angle de vision de la vision humaine est en moyenne de 160 à 200 degrés, mais avec l'aide de capacités auditives, une personne peut se former une image complète de l'espace. En synchronisant la vision virtuelle et le son virtuel, vous pouvez obtenir un plus grand effet de présence dans la réalité virtuelle.
- Utilisation économique du CPU . La technologie ambisonique fonctionne ici - une version 3D de l'enregistrement Mid-Side . En termes simples, il vous permet d'économiser des ressources informatiques dans le processus de "mixage" de centaines de sources sonores virtuelles. De plus, Unity offre la possibilité de calculs préliminaires de l'effet de réverbération en fonction des propriétés acoustiques de l'environnement virtuel.
- Multiplateforme . Resonance Audio fonctionne sur les systèmes d'exploitation Android, iOS, Windows, MacOS, Linux; sur les moteurs Unity et Unreal Engine; avec bibliothèque audio FMOD ; Progiciel Wwise postes de travail sonores numériques. Google fournit également des API pour C / C ++, Java et Objective-C.
- La formation de supports sonores complexes . En utilisant le SDK, vous pouvez travailler avec un certain nombre de paramètres qui affectent la perception spatiale des sons. Par exemple, définissez la direction de propagation d'une onde sonore. Les développeurs citent la situation avec la source sonore sous la forme d'une guitare virtuelle: cela sonnera plus fort si votre personnage de jeu se tient devant et plus silencieux s'il est derrière.
De plus, le SDK offre une perception différente du son en fonction des conditions environnementales (par exemple, dans des espaces ouverts et confinés). En utilisant ces fonctionnalités, les développeurs pourront créer des scènes plus réalistes.
Comment fonctionne la résonance audio
La technologie vous permet de définir la position de la source sonore ainsi que la nature de sa distribution et
simule l' interaction des ondes sonores avec des objets virtuels. Pour ce faire, Resonance Audio introduit trois types de composants de la perception globale d'un effet sonore particulier.
- Son direct - va directement de la source à l'auditeur sans interagir avec les obstacles. Il a l'intensité la plus élevée par rapport aux autres composants et s'apaise à mesure qu'il s'éloigne de la source.
- Réflexions primaires des surfaces - ont une intensité plus faible, qui dépend également des propriétés de la surface. Ils vous permettent d'évaluer la taille et la forme de l'espace virtuel.
- Des réflexions secondaires et suivantes s'ensuivent , qui arrivent avec une densité croissante et se superposent au son direct. Une image plus complète de l'espace environnant est construite sur eux.
Comme l'a
souligné Chris Hegstrom (Chris Hegstrom), concepteur sonore Microsoft HoloLens, le cerveau humain traite les informations sonores plus rapidement que les images. L'instinct de conservation a appris à la personne à déterminer la distance à la source sonore, et la formation de l'effet de présence repose sur ce principe, dont la composante audio est largement responsable:
L'effet de présence est la différence entre "Wow, ce jeu a une animation très cool d'un énorme bug" et "Merde, un bug géant m'a survolé!"
En utilisant les capacités de Resonance Audio (
vidéo ), une personne immergée dans le monde virtuel forme une sorte de «carte» de l'espace dans lequel elle se trouve. Et l'emplacement approximatif des objets qu'il ne peut pas voir, une personne détermine juste en entendant.
Que devez-vous savoir d'autre
L'importance de travailler sur les technologies de son surround est confirmée par des expériences, dont l'une a été
menée par G'Audio Lab. Les gens ont reçu deux démos du jeu - une avec un son surround et l'autre avec un son normal. Après l'achèvement du processus de jeu, les répondants ont déclaré ouvertement qu'ils ne pensaient même pas que le son pouvait faire une si grande différence dans la sensation du processus de jeu.
Joel Susal, le chef de la division de réalité virtuelle et augmentée de Dolby, se
souvient que ce sont des effets sonores réalistes comme un grincement aigu d'une porte ou le bruit des pas qui nous font instinctivement tourner la tête pour voir la source du son et comprendre que tout -arrive aussi. La technologie de son surround enrichira le gameplay des jeux VR et élargira la zone d'interaction avec l'environnement de jeu.
Le son surround peut être utilisé non seulement dans les jeux et les films, mais aussi dans
les clips musicaux , lors des retransmissions VR en direct de concerts et de matchs sportifs, afin qu'une personne à la maison se sente partie prenante de l'événement. Le son surround vous aidera à ressentir quelque chose qui n'est pas si facile à ressentir même dans le monde réel - par exemple, non seulement aller à un concert, mais être sur scène, à côté de votre artiste préféré.
Autres matériaux de notre «Hi-Fi World»: