Die Wirkung des "finsteren Tals" auf die Sprachausgabe der virtuellen Realität

Viele Künstler, die in der Spielebranche arbeiten, kennen den „Sinister Valley“ -Effekt, aber Toningenieure und Komponisten sind im Allgemeinen nicht mit diesem Problem konfrontiert. Angesichts der rasanten Entwicklung der virtuellen Realität kann sich die Situation jedoch dramatisch ändern. In diesem Artikel werden wir darüber sprechen, wie genau sich dieser Effekt auf Audio-Profis auswirken kann. Aber zuerst wollen wir herausfinden, was das "finstere Tal" ist.


Um die Wirkung des "finsteren Tals" zu demonstrieren, wird diese Tabelle am häufigsten verwendet. Die Idee ist folgende: Je mehr ein lebloses Objekt wie ein Roboter wie eine Person aussieht, desto hübscher erscheint es. Dieser Effekt wächst jedoch nur bis zu einem bestimmten Punkt: Wenn gerade das maximale Maß an Realismus erreicht ist, wird Sympathie scharf durch Ekel oder sogar Angst ersetzt. Mit anderen Worten, aufgrund der geringsten Inkonsistenz der Realität verwandelt sich Ihr Charakter in ein Monster. Ausführlicher über die Wirkung des "finsteren Tals" wird im Video aus der Extra Credits-Reihe beschrieben:



Wir haben also herausgefunden, was Künstler unter „finsterem Tal“ verstehen, aber was hat das mit Audio zu tun?

"Surround Sound - Nachahmung der Realität oder Illusion?"

Das Konzept des „finsteren Tals“ im Bereich Audio wurde erstmals von Francis Ramsey in seinem Bericht „Surround Sound - eine Nachahmung der Realität oder eine Illusion?“ Eingeführt. bei einem Treffen der Chicagoer Niederlassung der Audio Engineering Society am Hauptsitz von Shure Incorporated in Niles, Illinois, im Mai 2014. Francis Ramsey hat einen Doktortitel in Audio von der University of Surrey und ist derzeit Vorsitzender des AES Technical Council.

In einer brillanten anderthalbstündigen Präsentation (eine vollständige Aufzeichnung, die AES-Mitglieder hier sehen können) spricht Francis Ramsey über die Entwicklung des Surround-Sounds und über zahlreiche Versuche, eine fehlerfreie Simulation des natürlichen akustischen Raums zu erreichen. Er betrachtet auch verschiedene Ansätze zur Lösung dieses Problems: aus ästhetischer und aus mathematischer Sicht - indem er die ideale Technologie für die Synthese des Wellenfeldes schafft. Unterwegs stellt er die Frage: Was ist der Zweck von Surround Sound - die Annäherung an die Realität oder die Schaffung einer plausiblen Illusion? Dies führt uns zum Hauptpunkt des Berichts.

Sounddesign in der virtuellen Realität: „fast“ zählt nicht

Ramsey behauptet, dass Surround-Sound immer mehr Bereiche des Gehirns stimuliert, wenn es den maximalen Grad an Realismus erreicht. Warum passiert dies? Tatsache ist, dass das Hören sehr an der "Natürlichkeit" des Klangs interessiert ist. Wir wissen genau, wie sich Schall in der Umwelt ausbreitet. Wir wissen, wie es reflektiert, hallt und wie verschiedene Objekte den Klang übertönen oder seine Klangfarbe ändern können. Wenn die virtuelle akustische Umgebung den Höhepunkt des räumlichen Realismus und der Klangfarbenanpassung erreicht, beginnt unser Gehirn, dieses Modell mit der in unserem Gedächtnis erfassten realen Umgebung zu vergleichen. Und selbst wenn die Simulation auf den ersten Blick fehlerfrei ist, führt der kleinste Fehler zu einer negativen Reaktion. "Der Sound ist fast wie echt, aber etwas stimmt nicht", denken Sie. "Etwas stört mich."

Schauen wir uns als Beispiel das Virtual-Reality-Video von Oculus an, in dem die Funktionsweise des GenAudio AstoundSound 3D RTI-Surround-Sound-Plug-Ins demonstriert wird. Trotz der Tatsache, dass die Positionierung des Audios wirklich beeindruckend ist, gibt es in der Demoversion des Plug-Ins keinerlei Blockierungs- und Schallabsorptionseffekte (die die Entwickler nicht verbergen). So können Sie selbst sehen, welchen Eindruck diese Diskrepanzen in einer realistischen akustischen Umgebung machen. Sie werden besonders gut beobachtet, wenn der Spieler das Haus betritt, und das Rauschen des Brunnens im Hof ​​bleibt unverändert, obwohl der Klang gedämpfter hätte werden sollen.



Voice-Over für die virtuelle Realität: das „finstere Tal“ der Sprache in 3D

In dem Bericht zitiert Ramsey die Forschungsergebnisse von Glenn Dickins, technischer Architekt für digitale Konvergenz bei Dolby Laboratories. Deakins untersuchte die Theorie des "finsteren Tals" in Bezug auf Sprachausgabe. Die menschliche Sprache wurzelt in unserem Bewusstsein auf die gleiche Weise wie die menschliche Erscheinung und Bewegung, so dass wir sie im dreidimensionalen Raum leicht wahrnehmen können. Daher besteht bei 3D-Sprachausgabe noch ein höheres Risiko, in das "finstere Tal" zu fallen. Die minimale Abweichung der Stimme von der bedingten Anordnung im Raum kann dem Hörer ein tiefes Unbehagen bereiten.

Die Relevanz der Audiokomprimierungstechnologie für die Entwicklung traditioneller Videospiele ist in Bezug auf die virtuelle Realität fraglich. Dies gilt insbesondere für die Sprachausgabe. Jeder Spieler kann bemerken, dass die Stimmen der Charaktere seltsam klingen, ohne zu wissen, dass der Grund dafür die Komprimierung der Aufnahme ist. Durch den Komprimierungsprozess wird der Klang der Stimme auf den kleinsten Wert geändert, in der virtuellen Realität ist er jedoch deutlich zu hören. Die geringste Fehleinschätzung - und der Ton ist am Rande des "finsteren Tals".

Soundtracks in der virtuellen Realität: optimistische Prognose

In meinem Blog habe ich bereits diskutiert, welche Rolle Musik im dreidimensionalen akustischen Raum der virtuellen Realität spielt. Aber Francis Ramsay hat eine absolut entgegengesetzte Meinung dazu. Ihm zufolge ist es für das Publikum überhaupt nicht wichtig, dass der Soundtrack Surround ist. Komponisten in der Spielebranche können aufatmen, denn die Soundtracks sind nicht vom „Sinister Valley“ -Effekt bedroht.

In Bezug auf die Ergebnisse einer Studie darüber, wie unerfahrene und erfahrene Hörer Surround-Sound wahrnehmen, argumentiert Ramsey, dass die Positionierung von Musik im Raum nicht so wichtig ist. Alle Umfrageteilnehmer waren sich einig, dass die Klangqualität der entscheidende Faktor für den Soundtrack ist, die Lautstärke ihn jedoch in keiner Weise beeinflusst. Bedeutet dies, dass die Zuhörer bereit sind, freiwillig an diese Illusion zu glauben, unabhängig davon, ob sie den Regeln der virtuellen Realität entspricht? In diesem Fall können Toningenieure die Positionierung von Musik außerhalb des Bildschirms (d. H. Musik, deren Quelle nicht Teil der virtuellen Welt ist) sicher zugunsten von Synchronisations- und Sounddesignelementen opfern. Gleichzeitig wird der Soundtrack nach wie vor zur emotionalen Beteiligung und zum Eintauchen in die Spielwelt beitragen. Jedoch,In anderen Situationen (z. B. in Filmen) können Hörer volumetrische Soundtracks möglicherweise anders wahrnehmen. In jedem Fall erfordert die Rolle von Voice-Over-Musik in der virtuellen Realität eine detailliertere Untersuchung.

Bei anderen Arten von Musik ist die Situation viel einfacher. Schließlich erfüllt der Soundtrack nicht immer die übliche Aufgabe, eine Atmosphäre im Spiel zu schaffen. In musikalischen Visualisierern der virtuellen Realität ist es beispielsweise absolut nicht erforderlich, Audio im Raum zu positionieren, da es bereits im Vordergrund steht (als ob Sie nur Musik hören würden). Sie können dies selbst überprüfen, indem Sie sich die Vorschau des Harmonix Music VR-Musikvisualisierers des Entwicklers berühmter Serien wie Rock Band und Dance Central:



Conclusion ansehen

Zum Abschluss des Berichts kommt Francis Ramsey zu dem Schluss: In fast allem, was mit der Sprachausgabe der virtuellen Realität zu tun hat, wird „fast“ nicht berücksichtigt. Mit anderen Worten, ein wirklich realistischer Klang sollte wirklich fehlerfrei sein. Andernfalls ist es besser, sich mit stilisiertem Audio zu befassen und absichtlich Aspekte des echten Klangs zu verzerren und zu übertreiben, als zu versuchen, die exakte Kopie neu zu erstellen.

Source: https://habr.com/ru/post/de385003/