Google stellte das Resonance Audio SDK vor - ein Toolkit für das Sounddesign von Spielen, 360-Grad-Video-, VR- und AR-Anwendungen.
Dies ist nicht die erste Entwicklung des Unternehmens in diesem Bereich. Im Januar 2016 wurde
das Google Cardboard SDK mit Surround-Sound veröffentlicht. Die überarbeitete Version wurde in die Daydream 2.0 VR-Plattform aufgenommen, die derzeit Entwicklern von Drittanbietern
offen steht .
Eine Neuheit namens "Resonance Audio" kombiniert die Errungenschaften von Google in diesem Bereich und ermöglicht es Ihnen, sie auf vielen Plattformen, einschließlich Mobilgeräten, zu implementieren.
Im Folgenden werden wir über die Funktionen von Resonance Audio sprechen.
Foto Jennifer Boyer CC BYWas gibt es
- Die Wirkung der vollen Präsenz . Der Betrachtungswinkel des menschlichen Sehens beträgt durchschnittlich 160 bis 200 Grad, aber mit Hilfe der Hörfähigkeit kann sich eine Person ein vollständiges Bild des Raums machen. Durch die Synchronisierung von virtuellem Sehen und virtuellem Klang können Sie eine größere Präsenz in der virtuellen Realität erzielen.
- Sparsamer CPU-Einsatz . Hier funktioniert die Ambisonics- Technologie - eine 3D-Version der Mid-Side- Aufnahme. Mit einfachen Worten, es ermöglicht Ihnen, Rechenressourcen zu sparen, während Sie Hunderte von virtuellen Klangquellen "mischen". Darüber hinaus bietet Unity die Möglichkeit, den Hall-Effekt in Abhängigkeit von den akustischen Eigenschaften der virtuellen Umgebung vorläufig zu berechnen.
- Plattformübergreifend . Resonance Audio funktioniert unter den Betriebssystemen Android, iOS, Windows, MacOS, Linux. auf Unity- und Unreal Engine-Engines; mit FMOD- Audiobibliothek; Wwise Softwarepaket digitale Soundarbeitsplätze. Google bietet auch APIs für C / C ++, Java und Objective-C an.
- Die Bildung komplexer Klangmedien . Mit dem SDK können Sie mit einer Reihe von Parametern arbeiten, die sich auf die räumliche Wahrnehmung von Geräuschen auswirken. Stellen Sie beispielsweise die Ausbreitungsrichtung einer Schallwelle ein. Die Entwickler zitieren die Situation mit der Klangquelle in Form einer virtuellen Gitarre: Sie klingt lauter, wenn Ihr Spielcharakter davor steht, und leiser, wenn sie dahinter steht.
Darüber hinaus bietet das SDK eine unterschiedliche Wahrnehmung von Schall in Abhängigkeit von den Umgebungsbedingungen (z. B. in offenen und engen Räumen). Mithilfe dieser Funktionen können Entwickler realistischere Szenen erstellen.
So funktioniert Resonance Audio
Mit dieser Technologie können Sie die Position der Schallquelle zusammen mit der Art ihrer Verteilung festlegen und
die Interaktion von Schallwellen mit virtuellen Objekten
simulieren . Zu diesem Zweck führt Resonance Audio drei Arten von Komponenten der Gesamtwahrnehmung eines bestimmten Soundeffekts ein.
- Direkter Ton - geht direkt von der Quelle zum Hörer, ohne mit Hindernissen zu interagieren. Es hat im Vergleich zu anderen Komponenten die höchste Intensität und lässt nach, wenn es sich von der Quelle entfernt.
- Primärreflexionen von Oberflächen - haben eine geringere Intensität, was auch von den Eigenschaften der Oberfläche abhängt. Mit ihnen können Sie die Größe und Form des virtuellen Raums bewerten.
- Es folgen Sekundär- und Nachreflexionen , die mit zunehmender Dichte eintreffen und dem Direktschall überlagert werden . Darauf wird ein vollständigeres Bild des umgebenden Raums aufgebaut.
Wie
von Chris Hegstrom (Chris Hegstrom), Sounddesigner Microsoft HoloLens,
betont , verarbeitet das menschliche Gehirn Klanginformationen schneller als visuelle. Der Selbsterhaltungstrieb lehrte die Person, den Abstand zur Schallquelle zu bestimmen, und die Bildung des Präsenz-Effekts basiert auf diesem Prinzip, für das die Audiokomponente maßgeblich verantwortlich ist:
Der Effekt der Präsenz ist der Unterschied zwischen "Wow, dieses Spiel hat eine sehr coole Animation eines riesigen Bugs" und "Verdammt, ein riesiger Bug ist über mich geflogen!"
Mit den Funktionen von Resonance Audio (
Video ) bildet eine Person, die in die virtuelle Welt eingetaucht ist, eine Art „Karte“ des Raums, in dem sie sich befindet. Und die ungefähre Position von Objekten, die er nicht sehen kann, bestimmt eine Person nur durch Hören.
Was müssen Sie noch wissen?
Die Bedeutung der Arbeit an Surround-Sound-Technologien wird durch Experimente bestätigt, von denen eines vom G'Audio Lab durchgeführt wurde. Die Leute erhielten zwei Demos des Spiels - eine mit Surround-Sound und die andere mit normalem. Nach Abschluss des Spielprozesses sagten die Befragten offen, dass sie nicht einmal glaubten, dass Sound das Gefühl des Spielprozesses so stark verändern könnte.
Joel Susal, der Leiter der Abteilung für virtuelle und erweiterte Realität von Dolby,
erinnert sich, dass es realistische Soundeffekte wie ein scharfes Knarren einer Tür oder das Geräusch sich nähernder Schritte sind, die uns instinktiv den Kopf drehen lassen, um die Quelle des Sounds zu sehen und das alles zu verstehen -so passiert. Die Surround-Sound-Technologie wird das Gameplay von VR-Spielen bereichern und den Interaktionsbereich mit der Spielumgebung erweitern.
Surround-Sound kann nicht nur in Spielen und Filmen, sondern auch in
Musikvideos während Live-VR-Übertragungen von Konzerten und Sportspielen verwendet werden, sodass sich eine Person, die zu Hause ist, als Teil der Veranstaltung fühlt. Surround Sound hilft Ihnen dabei, etwas zu fühlen, das selbst in der realen Welt nicht so einfach zu fühlen ist - zum Beispiel nicht nur ein Konzert zu besuchen, sondern direkt neben Ihrem Lieblingskünstler auf der Bühne zu stehen.
Weitere Materialien aus unserer „HiFi-Welt“: