L'effet de la "sinistre vallée" dans le jeu de voix de la réalité virtuelle

De nombreux artistes travaillant dans l'industrie du jeu connaissent l'effet de la «sinistre vallée», mais les ingénieurs du son et les compositeurs ne sont généralement pas confrontés à ce problème. Néanmoins, compte tenu du développement rapide de la réalité virtuelle, la situation peut changer radicalement. Dans cet article, nous parlerons de la manière dont cet effet peut affecter les professionnels de l'audio. Mais d'abord, découvrons ce qu'est la "sinistre vallée"?


Pour démontrer l'effet de la "sinistre vallée", ce tableau est le plus souvent utilisé. L'idée est la suivante: plus un objet inanimé, tel qu'un robot, ressemble à une personne, plus il semble joli. Cependant, cet effet ne se développe que jusqu'à un certain point: lorsque le degré maximum de réalisme vient d'être atteint, la sympathie est brusquement remplacée par le dégoût ou même la peur. En d'autres termes, en raison de la moindre incohérence de la réalité, votre personnage se transforme en monstre. Plus en détail sur l'effet de la "sinistre vallée" est décrit dans la vidéo de la série Extra Credits:



Nous avons donc découvert ce que les artistes entendent par «sinistre vallée», mais qu'est-ce que cela a à voir avec l'audio?

"Son surround - imitation de la réalité ou de l'illusion?"

Le concept de «sinistre vallée» dans le domaine de l'audio a été introduit pour la première fois par Francis Ramsey dans son rapport «Son surround - une imitation de la réalité ou une illusion?» lors d'une réunion de la succursale de Chicago de l'Audio Engineering Society au siège de Shure Incorporated à Niles, Illinois, en mai 2014. Francis Ramsey est titulaire d'un doctorat en audio de l'Université de Surrey et est actuellement président du conseil technique de l'AES.

Dans une brillante présentation d'une heure et demie (un enregistrement complet dont les membres de l'AES peuvent voir ici) Francis Ramsey parle de l'évolution du son surround et de nombreuses tentatives pour réaliser une simulation sans faille de l'espace acoustique naturel. Il considère également différentes approches pour résoudre ce problème: d'un point de vue esthétique et mathématique - en créant la technologie idéale pour la synthèse du champ d'onde. En chemin, il pose la question: quel est le but du son surround - l'approche la plus proche de la réalité ou la création d'une illusion plausible? Cela nous amène au point principal du rapport.

Conception sonore en réalité virtuelle: «presque» ne compte pas

Ramsey affirme que le son surround commence à stimuler de plus en plus de zones du cerveau lorsqu'il atteint le degré de réalisme maximal. Pourquoi cela arrive-t-il? Le fait est que l'ouïe est très sensible au «naturel» du son. Nous savons bien comment le son voyage dans l'environnement. Nous savons comment il se reflète, se réverbère et comment divers objets peuvent étouffer le son ou changer son timbre. Lorsque l'environnement acoustique virtuel atteint le sommet du réalisme spatial et de la correspondance des timbres, notre cerveau commence à comparer ce modèle avec l'environnement réel capturé dans notre mémoire. Et, même si à première vue la simulation est sans défaut, le moindre défaut nous causera une réaction négative. "Le son est presque réel, mais quelque chose ne va pas", pensez-vous. "Quelque chose me dérange."

À titre d'exemple, regardons la vidéo de réalité virtuelle Oculus montrant le fonctionnement du plug-in de son surround GenAudio AstoundSound 3D RTI. Malgré le fait que le positionnement de l'audio est vraiment impressionnant, dans la version de démonstration du plug-in, il n'y a absolument aucun effet de blocage et d'absorption sonore (que les créateurs ne cachent pas). Ainsi, vous pouvez voir par vous-même quelle impression ces écarts font dans un environnement acoustique réaliste. Ils sont particulièrement bien observés lorsque le joueur entre dans la maison, et le murmure de la fontaine dans la cour reste inchangé, bien que le son aurait dû devenir plus étouffé.



Voix off pour la réalité virtuelle: la «sinistre vallée» de la parole en 3D

Le rapport, Ramsey cite les résultats des recherches de Glenn Dickins, architecte technique de la convergence numérique aux Dolby Laboratories. Deakins a exploré la théorie de la "sinistre vallée" en relation avec la voix. La parole humaine est enracinée dans notre conscience de la même manière que l'apparence et les mouvements humains, nous la percevons donc facilement dans un espace tridimensionnel. Ainsi, la voix agissant en 3D risque encore plus de tomber dans la "sinistre vallée". La déviation minimale de la voix par rapport à l'arrangement conditionnel dans l'espace peut provoquer une sensation d'inconfort profond pour l'auditeur.

La pertinence de la technologie de compression audio utilisée dans le développement de jeux vidéo traditionnels est discutable en ce qui concerne la réalité virtuelle. Cela est particulièrement vrai pour le doublage. Tout joueur peut remarquer que les voix des personnages semblent étranges, ne sachant même pas que la raison en est la compression de l'enregistrement. Le processus de compression modifie le son de la voix au plus petit, mais en réalité virtuelle, il est entendu très distinctement. La moindre erreur de calcul - et l'audio est au bord de la "sinistre vallée".

Bandes sonores en réalité virtuelle: prévisions optimistes

Dans mon blog, j'ai déjà discuté du rôle de la musique dans l'espace acoustique tridimensionnel de la réalité virtuelle. Mais Francis Ramsay a une opinion absolument opposée à ce sujet. Selon lui, il n'est pas du tout important pour le public que la bande sonore soit surround. Les compositeurs de l'industrie du jeu peuvent pousser un soupir de soulagement, car cela signifie que les bandes sonores ne sont pas menacées par l'effet «sinistre vallée».

Se référant aux résultats d'une étude sur la façon dont les auditeurs inexpérimentés et expérimentés perçoivent le son surround, Ramsey soutient que le positionnement de la musique dans l'espace n'est pas si important. Tous les participants à l'enquête ont convenu que la qualité sonore est le facteur décisif pour la bande sonore, mais le volume ne l'affecte en aucune façon. Est-ce à dire que les auditeurs sont prêts à croire volontairement à cette illusion, quelle que soit sa conformité aux règles de la réalité virtuelle? Si tel est le cas, les ingénieurs du son peuvent sacrifier en toute sécurité le positionnement de la musique hors écran (c'est-à-dire la musique dont la source ne fait pas partie du monde virtuel) au profit des doublages vocaux et des éléments de conception sonore. Dans le même temps, la bande originale, comme avant, contribuera à l'implication émotionnelle et à l'immersion dans le monde du jeu. cependant,dans d'autres situations (par exemple dans les films), les auditeurs peuvent percevoir les bandes sonores volumétriques différemment. Dans tous les cas, le rôle de la voix off dans la réalité virtuelle nécessite une étude plus approfondie.

Avec d'autres types de musique, la situation est beaucoup plus simple. Après tout, la bande originale ne remplit pas toujours son rôle habituel de créer une atmosphère dans le jeu. Par exemple, dans les visualiseurs musicaux de réalité virtuelle, le positionnement audio dans l'espace n'est absolument pas nécessaire, car il est déjà au premier plan (comme si vous écoutiez simplement de la musique). Vous pouvez le vérifier vous-même en regardant l'aperçu du visualiseur de musique Harmonix Music VR du développeur de séries célèbres telles que Rock Band et Dance Central:



Conclusion

En conclusion du rapport, Francis Ramsey conclut: dans presque tout ce qui concerne le doublage de la réalité virtuelle, «presque» n'est pas pris en compte. En d'autres termes, un son vraiment réaliste devrait être vraiment parfait. Sinon, il vaut mieux s'attarder sur l'audio stylisé, déformant et exagérant intentionnellement les aspects du son réel, que d'essayer de recréer sa copie exacte.

Source: https://habr.com/ru/post/fr385003/