Efek dari "lembah menyeramkan" dalam akting suara realitas virtual

Banyak seniman yang bekerja di industri game akrab dengan efek "lembah menyeramkan", tetapi para insinyur dan komponis suara umumnya tidak menghadapi masalah ini. Namun demikian, mengingat pesatnya perkembangan realitas virtual, situasinya dapat berubah secara dramatis. Pada artikel ini, kita akan berbicara tentang bagaimana tepatnya efek ini dapat memengaruhi profesional audio. Tapi pertama-tama, mari cari tahu apa itu "lembah menyeramkan"?


Untuk menunjukkan efek "lembah menyeramkan", bagan ini paling sering digunakan. Idenya adalah ini: semakin benda mati, seperti robot, terlihat seperti orang, semakin cantik rupanya. Namun, efek ini hanya tumbuh hingga titik tertentu: ketika tingkat maksimum realisme baru saja tercapai, simpati diganti secara tajam oleh jijik atau bahkan ketakutan. Dengan kata lain, karena ketidakkonsistenan realitas, karakter Anda berubah menjadi monster. Secara lebih rinci tentang efek "lembah menyeramkan" dijelaskan dalam video dari seri Kredit Tambahan:



Jadi kami menemukan apa yang dimaksud oleh seniman dengan "lembah menyeramkan", tetapi apa hubungannya dengan audio?

"Surround sound - imitasi realitas atau ilusi?"

Konsep "lembah menyeramkan" di bidang audio pertama kali diperkenalkan oleh Francis Ramsey dalam laporannya "Surround sound - tiruan dari kenyataan atau ilusi?" pada pertemuan cabang Chicago dari Audio Engineering Society di markas Shure Incorporated di Niles, Illinois, pada Mei 2014. Francis Ramsey memegang gelar Ph.D dalam audio dari University of Surrey dan saat ini Ketua Dewan Teknis AES.

Dalam presentasi satu setengah jam yang brilian (rekaman penuh yang dapat dilihat oleh anggota AES di sini) Francis Ramsey berbicara tentang evolusi suara surround dan tentang berbagai upaya untuk mencapai simulasi sempurna ruang akustik alami. Dia juga mempertimbangkan berbagai pendekatan untuk memecahkan masalah ini: dari sudut pandang estetika, dan dari sudut pandang matematika - dengan menciptakan teknologi ideal untuk sintesis bidang gelombang. Sepanjang jalan, ia mengajukan pertanyaan: apa tujuan suara surround - pendekatan terdekat dengan realitas atau penciptaan ilusi yang masuk akal? Ini membawa kita ke poin utama dari laporan ini.

Desain suara dalam realitas virtual: "hampir" tidak masuk hitungan

Ramsey mengklaim bahwa suara surround mulai merangsang lebih banyak area otak saat mencapai tingkat realisme maksimum. Mengapa ini terjadi? Faktanya adalah bahwa pendengaran sangat tertarik pada "kealamian" suara. Kami sangat menyadari bagaimana suara berjalan di lingkungan. Kita tahu bagaimana pantulan, reverb, dan bagaimana berbagai objek dapat menghilangkan suara atau mengubah timbre-nya. Ketika lingkungan akustik virtual mencapai puncak realisme spasial dan pencocokan timbre, otak kita mulai membandingkan model ini dengan lingkungan nyata yang ditangkap dalam ingatan kita. Dan, bahkan jika pada pandangan pertama simulasi itu tanpa cacat, cacat sekecil apa pun akan menyebabkan kita bereaksi negatif. "Suaranya hampir seperti nyata, tetapi ada yang salah dengan itu," Anda berpikir. "Sesuatu menggangguku."

Sebagai contoh, mari kita tonton video realitas virtual Oculus yang mendemonstrasikan operasi GenAudio AstoundSound 3D RTI plug-in sound surround. Terlepas dari kenyataan bahwa posisi audio benar-benar mengesankan, dalam versi demo dari plugin sama sekali tidak ada efek penyumbatan dan penyerapan suara (yang tidak disembunyikan pembuatnya). Dengan demikian, Anda dapat melihat sendiri kesan apa yang dihasilkan perbedaan ini dalam lingkungan akustik yang realistis. Mereka terutama diamati dengan baik ketika pemain memasuki rumah, dan murmur air mancur di halaman tetap tidak berubah, meskipun suara seharusnya menjadi lebih teredam.



Voice-over untuk realitas virtual: "lembah menyeramkan" dari pidato dalam 3D

Laporan tersebut, Ramsey mengutip hasil penelitian oleh Glenn Dickins, arsitek teknis konvergensi digital di Dolby Laboratories. Deakins mengeksplorasi teori "lembah menyeramkan" sehubungan dengan akting suara. Ucapan manusia berakar dalam kesadaran kita dengan cara yang sama seperti penampilan dan gerakan manusia, sehingga kita dengan mudah melihatnya dalam ruang tiga dimensi. Dengan demikian, akting suara dalam 3D bahkan lebih berisiko jatuh ke "lembah menyeramkan." Penyimpangan minimum suara dari pengaturan kondisional di ruang dapat menyebabkan pendengar merasa tidak nyaman.

Relevansi teknologi kompresi audio yang digunakan dalam pengembangan video game tradisional dipertanyakan ketika datang ke realitas virtual. Ini terutama berlaku untuk akting suara. Setiap gamer dapat memperhatikan bahwa suara karakternya terdengar aneh, bahkan tanpa mengetahui bahwa alasannya adalah kompresi rekaman. Proses kompresi mengubah suara menjadi yang terkecil, tetapi dalam realitas virtual terdengar cukup jelas. Kesalahan perhitungan sedikit pun - dan audio ada di tepi "lembah yang menyeramkan."

Soundtrack dalam realitas virtual: perkiraan optimis

Di blog saya, saya sudah membahas apa peran musik dalam ruang akustik tiga dimensi realitas virtual. Tapi Francis Ramsay memiliki pendapat yang sangat bertentangan tentang ini. Menurutnya, sama sekali tidak penting bagi penonton bahwa soundtrack harus mengelilingi. Komposer di industri game dapat menarik napas lega, karena ini berarti soundtrack tidak dalam bahaya efek "lembah menyeramkan".

Mengacu pada studi tentang bagaimana pendengar yang tidak berpengalaman dan berpengalaman mempersepsikan suara surround, Ramsey berpendapat bahwa memposisikan musik di ruang tidak begitu penting. Semua peserta survei sepakat bahwa kualitas suara adalah faktor penentu untuk soundtrack, tetapi volumenya tidak mempengaruhinya. Apakah ini berarti bahwa pendengar bersedia untuk secara sukarela percaya pada ilusi ini, terlepas dari kepatuhannya dengan aturan realitas virtual? Jika demikian, insinyur suara dapat dengan aman mengorbankan posisi musik di luar layar (mis., Musik yang sumbernya bukan bagian dari dunia maya) demi sulih suara dan elemen desain suara. Pada saat yang sama, soundtrack, seperti sebelumnya, akan berkontribusi pada keterlibatan emosional dan pencelupan di dunia game. Namun,dalam situasi lain (misalnya, dalam film), pendengar dapat mempersepsikan soundtrack volumetrik berbeda. Bagaimanapun, peran musik voice-over dalam realitas virtual membutuhkan studi yang lebih rinci.

Dengan jenis musik lain, situasinya jauh lebih sederhana. Lagipula, soundtrack tidak selalu memenuhi perannya yang biasa dalam menciptakan suasana dalam game. Misalnya, dalam visualisator musik realitas virtual, memposisikan audio dalam ruang sama sekali tidak diperlukan, karena sudah ada di latar depan (seolah-olah Anda hanya mendengarkan musik). Anda dapat memverifikasi ini sendiri dengan menonton preview visualisasi musik Harmonix Music VR dari pengembang seri terkenal seperti Rock Band dan Dance Central:



Kesimpulan

Dalam kesimpulan dari laporan tersebut, Francis Ramsey menyimpulkan: dalam hampir semua hal yang berkaitan dengan voice acting virtual reality, "hampir" tidak dipertimbangkan. Dengan kata lain, suara yang benar-benar realistis harus benar-benar sempurna. Jika tidak, lebih baik memikirkan audio bergaya, sengaja mendistorsi dan membesar-besarkan aspek suara nyata, daripada mencoba membuat ulang salinan yang tepat.

Source: https://habr.com/ru/post/id385003/