Musique surround: comment les technologies VR transmettent le son

Les photos de david pacey / CC

Les technologies 3D et VR couvrent de plus en plus de domaines. Les plus populaires sont les jeux informatiques et l'industrie cinématographique. Dans un article récent, nous avons parlé des possibilités d'utilisation des technologies VR dans l'industrie cinématographique, ainsi que du son 3D et de ses perspectives.

Dans cet article, vous découvrirez les caractéristiques de la lecture du son et de la musique en VR, les problèmes rencontrés par les professionnels de l'audio et comment les résoudre.

"Ce que vous réalisez est réel"

Il existe deux façons de transmettre des informations à l'aide de la technologie VR. Dans le premier cas, les développeurs cherchent à recréer l'image le plus près possible de la réalité. Dans le second - générer un monde et une atmosphère complètement différents, créer une illusion dans laquelle tout ce qui se passe est logiquement connecté.

Avec la deuxième méthode, tout est simple: si la situation, les personnages et leurs actions ne sont pas réels, alors les lois de ce monde sont différentes de la réalité. Il est beaucoup plus difficile de recréer ce qui est réel en soi. La difficulté réside dans le fait que dans certains jeux ou vidéos, il y a des moments étranges qui «tirent» l'esprit humain de cette illusion.

Les développeurs de jeux et les animateurs connaissent bien l'hypothèse, qui s'appelle l'effet de vallée étrange. L'essence de l'hypothèse est qu'un personnage qui ressemble ou agit presque comme une personne, mais qui est toujours légèrement différent de lui, nous fait peur ou n'aime pas. Quelque chose de similaire se produit avec le son en VR.

Contrairement à la perception visuelle, il est beaucoup plus difficile de déterminer quel objet se trouve devant nous. Vous ne pouvez connaître sa taille approximative et sa distance relative que si l'objet émet des sons. Du fait que nous avons une riche expérience "auditive" de perception du monde, en réalité virtuelle, le cerveau compare de nouvelles informations avec ce qui nous arrive réellement.

La voix humaine dans ce cas est le facteur le plus «familier» pour nous: par conséquent, sa présence dans la conception sonore du jeu facilite sensiblement notre «immersion auditive» dans la réalité virtuelle. Mais la voix, comme le caractère humanoïde, est soumise à l'effet de la "sinistre vallée". Par exemple, une compression trop élevée du son provoquera une "méfiance" dans notre conscience.

La vidéo ci-dessous aide à comprendre de quoi notre cerveau est capable. Le cerveau reçoit toutes les informations sur le mouvement des objets uniquement à partir d'un signal audio. Il est recommandé d'écouter ceci et les vidéos suivantes avec un casque et les yeux fermés.



Le son de cette vidéo a été créé en utilisant la méthode d' enregistrement binaural: il est effectué à travers deux microphones, et le fragment final doit être entendu sur le casque.

En plus de la disposition spéciale des microphones, un mannequin imitant une vraie tête ou le soi-disant disque de Jacklin (sur la photo ci-dessous) est impliqué dans l'enregistrement. Ne confondez pas les concepts de «binaural» et de «stéréo». L'enregistrement stéréo conventionnel ne prend pas en compte la distance entre les oreilles et la réflexion du son de la tête et des oreillettes - facteurs qui influencent la propagation du son.



Disque de Jacklin / CC

Dans les casques de réalité virtuelle modernes, ces conditions ne sont malheureusement pas prises en compte. De plus, des sociétés telles que Project Morpheus et HTC Vive fournissent des casques VR sans casque, invitant les clients à utiliser leur technologie. L'Oculus Rift est livré avec des écouteurs de marque, mais ici, il est censé être remplacé par un modèle de «meilleure qualité».

Les écouteurs dotés de la technologie Surround Sound 7.1 sont très appréciés des joueurs. Le site de la communauté de jeu Kotaku a voté pour le meilleur casque de jeu. Les modèles les plus populaires étaient les écouteurs sans fil Astro A50 et Logitech G930 qui prennent en charge cette technologie. En d'autres termes, la communauté elle-même a déterminé que la «haute qualité» implique un effet surround.

Ainsi, le son binaural est différent de la stéréo. La stéréo (2.0), quant à elle, diffère du son surround (7.1): si les sons binauraux et stéréo nécessitent des méthodes d'enregistrement sonore spéciales, alors pour obtenir un effet sonore spatial, le son doit être lu via un grand nombre de sources sonores. C'est en raison du nombre d'enceintes qu'un effet d'immersion est créé.

Cependant, pour la réalité virtuelle, la première chose qui compte n'est pas l'immersion, mais le son «réaliste». Si l'enregistrement binaural est traité via des casques 7.1, il est peu probable que l'enregistrement final réponde aux attentes de l'auditeur. Cela signifie que les méthodes standard ne peuvent pas résoudre ce problème.

L'essentiel est le réalisme.

Photo pixabay / CC

Pour obtenir un son réaliste, vous devez prendre en compte la position du corps dans l'espace, ainsi que surveiller l'interaction avec la fonction de transfert de la tête (HRTF).

En VR, l'utilisateur a la possibilité de se déplacer et de faire des mouvements de tête dans toutes les directions. En conséquence, si la tête, ou plutôt les oreilles, changent de position, le signal sonore entrant doit également changer. L'enregistrement binaural peut améliorer l'effet de l'immersion dans la réalité virtuelle, en soulignant la profondeur des événements.

En plus des sons que nous avons l'habitude d'entendre - les sons dits diégétiques, il y a aussi des sons non diabétiques: nous ne les entendons pas dans la vie de tous les jours, mais ils peuvent faire partie d'un jeu informatique ou d'un film. Un exemple est la musique de fond ou le discours du narrateur.

Dans un jeu sur ordinateur, nous ne nous intéressons pas à la provenance de la voix et de la musique. Une autre chose est la réalité virtuelle. Afin d'intégrer des sons non diabétiques dans le monde virtuel, vous devez utiliser des objets de connexion. Par exemple, il semblerait logique que le narrateur parle à la radio ou dans le récepteur téléphonique.

Quant à la musique, d'autres questions se posent ici. Bien sûr, il peut être lié à une radio pour qu'il soit clair d'où vient le son. Mais cela ne suffit pas: la musique qui en sortira semblera inégale.

L'une des solutions possibles est l'utilisation de la compression dynamique associée à l'amplification des basses fréquences, provoquant un «effet de proximité». Dans la vidéo ci-dessous, Alexander J Turner analyse ce phénomène en détail. Il est étroitement lié à l'appareil du microphone: plus l'enceinte est proche de lui, plus les fréquences basses sont lumineuses et le son sera plus saturé.



Les jeux utilisent souvent des compositions enregistrées dans des studios ou d'autres espaces acoustiques. Ces espaces véhiculent la vivacité du son du fait que le son des instruments se mêle aux reflets sonores de la pièce. Ainsi, lors d'un concert au conservatoire, il n'y a aucun sentiment que la musique écrase ou envahit l'espace personnel. Au contraire, nous sentons qu'elle est loin de nous.

Cependant, la VR n'utilise pas d'enregistrements "trop ​​vifs": l'auditeur ne comprendra pas d'où vient le son. Une solution alternative à ce problème serait d'enregistrer de la musique dans un environnement neutre, suivi d'un traitement, afin de ne pas perturber le son organique. Il peut également être utile de renoncer au son stéréo et de tout réduire à un son plus centré. Vous pouvez le compresser un peu, puis lui appliquer les paramètres d'égalisation. Ensuite, la musique sonnera comme si elle ne jouait pas «quelque part là-bas», mais «dans notre tête».

L'effet du réalisme peut également être obtenu en mettant l'accent sur la situation environnante. Par exemple, dans la vidéo suivante, vous pouvez ressentir une tension visuelle et sonore. Il convient de noter que l'effet des sons diabétiques dans cet enregistrement est plus fort que les sons non diabétiques et que l'accent est davantage mis sur le réglage que sur le son.



Un autre exemple de la même approche. Quelques sons seulement créent une atmosphère intense et intense.



Ainsi, un son calibré trop proprement et avec précision peut sembler artificiel. Dans le même temps, même s'il est «sale», mais il crée une image réaliste - à l'aide d'effets sonores supplémentaires ou d'un environnement dynamique - l'expérience d'écoute sera beaucoup plus forte.

En d'autres termes, ne vous efforcez pas de rendre le son parfait. Il faut le rendre le plus réaliste possible pour que l'auditeur puisse ressentir les émotions que le créateur d'une œuvre a conçues.

Nous sommes constamment à jour et étudions simplement des matériaux intéressants sur le son. Plus récemment, nous avons commencé à préparer des résumés thématiques , quelques exemples et d'autres documents sur le sujet - à partir des liens ci-dessous:

• VR-
• « »,
• « »: Arslab Penaudio

Source: https://habr.com/ru/post/fr397147/