Kemungkinan menggunakan teknologi video 360 ° untuk mewakili acara budaya

Sebagai bagian dari pekerjaan kami di Pusat Desain dan Multimedia di Universitas ITMO, kami menulis artikel menarik tentang penggunaan teknologi realitas virtual untuk melestarikan warisan budaya. Mereka menggambarkan banyak "kasus" mereka sendiri - museum, konser, acara budaya, dan juga berbicara tentang proyek unik dari tur interaktif benteng Korela (wilayah Leningrad), di mana rekonstruksi 3D dan video interaktif 360 digabungkan untuk pertama kalinya.



Versi bahasa Inggris dari materi akan disajikan pada bulan Mei di konferensi internasional "ArtsIT, Interactivity & Game Creation" (Esbjerg, Denmark). Ini adalah asli Rusia, sedikit diadaptasi.



Realitas virtual dan aplikasinya

Saat ini, teknologi realitas virtual dan aplikasinya sedang dikembangkan secara intensif. Peluang besar dibuka dengan penggunaan teknologi seperti itu dalam budaya dan seni , karena mereka memberikan efek kehadiran penonton di pusat acara budaya. Salah satu pendekatan yang menjanjikan dan secara aktif mengembangkan untuk menciptakan konten untuk sistem realitas virtual adalah teknologi video 360 °, yang memungkinkan Anda untuk membuat video panorama dengan berbagai tingkat interaktivitas, di mana penonton mengontrol sudut pandang video sesuai keinginannya. Video semacam itu dapat dilihat di helm realitas virtual (misalnya, di Oculus Rift , Samsung Gear VR , HTC Vivedll.), dan menggunakan aplikasi khusus pada smartphone, sedangkan gambar berubah sesuai dengan rotasi kepala pengguna. Anda dapat menonton video 360 ° pada tampilan komputer pribadi. Dalam kasus terakhir, pengguna mengontrol tampilan menggunakan mouse atau keyboard.


Menonton video 360 ° di headset Samsung Gear VR

Banyak perusahaan besar (Facebook, Nokia, Samsung, Google, dll.) Saat ini sedang mengembangkan kamera untuk merekam video 360 °, headset realitas virtual untuk berbagai smartphone dan komputer desktop, serta berbagai perangkat perekaman suara yang menyediakan penciptaan suara surround (binaural) dan memungkinkan untuk merealisasikan seluruh jajaran teknologi multimedia 360 °.

Penerapan teknologi video 360 ° dalam pendidikan sangat relevan. Video Interaktif 360 ° dapat memberikan interaksi dengan pengguna akhir, oleh karena itu metode ini dapat digunakan secara luas untuk melatih spesialis di berbagai bidang, di mana kehadiran pusat acara diperlukan untuk menguasai pengalaman kerja praktis. Teknologi video 360 ° memungkinkan Anda untuk menganalisis kerja tim staf selama berbagai tugas, yang mengarah pada peningkatan kualitas proses pendidikan.

Peran penting dimainkan oleh video panorama 360 ° untuk melestarikan dan menyediakan akses ke warisan budaya. Teknologi ini memberikan peluang unik untuk melihat dengan efek pencelupan tidak hanya arsip museum yang tertutup bagi pengunjung, tetapi juga merekonstruksi monumen bersejarah yang dihancurkan oleh waktu atau keadaan (rekonstruksi virtual tiga dimensi). Selain itu, realitas virtual adalah peluang unik bagi para penyandang cacat untuk bepergian dan berjalan di seluruh dunia.

Berbicara tentang sektor hiburan dalam hal teknologi video 360 ° - pemirsa dapat mengunjungi festival budaya terbesar, menemukan diri mereka di panggung di sebelah musisi favorit mereka atau menonton pertunjukan teater dari kotak kerajaan.
Di Pusat Desain dan Multimedia Universitas ITMO, sebuah proyek untuk pengembangan dan penerapan teknologi video 360 ° dalam budaya dan seni Video360Production.com sedang diimplementasikan . Dalam kerangka kerja proyek ini, dimungkinkan untuk mencapai hasil tertentu yang diperlukan untuk memperoleh konten berkualitas tinggi, dari pengembangan perangkat rekaman video dan suara 360 ° asli hingga pengembangan perangkat lunak untuk menyelesaikan sejumlah masalah di bidang ini.

Teknologi multimedia 360 °

Kamera khusus saat ini sedang dikembangkan yang dapat digunakan untuk merekam video dalam format video 360 °. Namun, dengan bantuan alat dan perangkat lunak khusus, Anda dapat menggunakan kamera yang ada untuk merekam video 360 °.
Contoh mencolok dari pendekatan ini adalah keseluruhansejumlah proyek yang menawarkan rig khusus untuk kamera GoPro HERO 4. Jumlah kamera di rig adalah dari 6 hingga 14 (opsi stereo), tergantung pada tugasnya. Setelah pemotretan, aliran video dijahit ke bola video umum menggunakan program yang disediakan secara terpisah.

Selain itu, beberapa perusahaan IT besar dan produsen elektronik mengumumkan solusi otomatis sepenuhnya untuk pengambilan gambar konten untuk realitas virtual - Google Jump + GoPro Odyssey , Samsung Beyond , Nokia Ozo .



GoPro Odyssey, Nokia OZO dan Samsung Project Beyond.

Kami menggambarkan kesan pribadi kami tentang kamera Nokia OZO di sini .

Video 360 ° adalah arah baru dan semakin berkembang, yang belum memiliki standar pengarahan, yang menyediakan ruang lingkup luas untuk kreativitas dan pengembangan gagasan dan pendekatan baru. Efek pencelupan sempurna dicapai melalui kamera dengan beberapa lensa, yang memungkinkan Anda mengambil semua yang terjadi di sekitarnya. Namun, ini memerlukan banyak kesulitan, karena banyak hukum pengarah tidak berlaku saat memotret dalam format video 360 °. Perbedaan utama antara melihat video 360 ° dalam headset realitas maya adalah kenyataan bahwa pemirsa memiliki kesempatan untuk menonton konten di sekitarnya, yang berarti bahwa sutradara harus memberikan kepada pemirsa kemampuan untuk secara dinamis memilih sudut pandang, dan tidak fokus pada bagian tertentu dari layar.

Solusi untuk masalah ini adalah perhatian penuh skenario dari sudut pandang perubahan paradigma - meninggalkan ruang video 3D. Setiap pemotretan membutuhkan persiapan standar (pengaturan cahaya, titik paling menguntungkan untuk kamera, skenario dan lokasi adegan), dan pendekatan non-standar (khusus dan sering unik untuk setiap pemasangan kamera, mengarahkan dengan mempertimbangkan fitur perekaman video 360 °, orientasi kamera yang benar, rekaman suara surround). Saat merekam konser, untuk mencapai realisme yang lebih besar, suara dari kamera atau dari mikrofon stereo sering dikombinasikan dengan suara dari konsol sutradara.

Lihat acara budaya dengan teknologi multimedia 360 °

Kumpulan rekaman proyek video360production.com untuk headset realitas virtual memiliki lebih dari lima puluh video berbeda: konser dan festival musik, tur tempat bersejarah, kunjungan museum, pertunjukan teater, berbagai acara budaya, dan proses teknologi.


Bravo Group, Cinta Tidak Membakar, dalam format video panorama


Pengelompokan "Leningrad" dalam format video panorama


Teknologi peletakan aspal "Ecohiter", video promosi panoramik

Saat merekam konser, transmisi harus dilakukan dalam kualitas tinggi, baik gambar maupun suara. Selain itu, perlu untuk mempertimbangkan lokasi kamera, seperti ketika merekam pada kamera 360 °, konsep-konsep seperti "depan" dan "belakang" menjadi tidak relevan. Selain itu, kadang-kadang hingga dua puluh orang secara bersamaan hadir di tempat kejadian, yang mempersulit pemasangan kamera. Rekaman itu memungkinkan para musisi untuk melihat diri mereka sendiri dari samping, mengevaluasi lokasi para musisi selama konser, serta melihat reaksi publik terhadap pertunjukan. Penonton, pada gilirannya, dengan bantuan pemotretan ini mampu memeriksa secara detail permainan masing-masing musisi dan membenamkan diri dalam atmosfer yang diciptakan oleh orkestra atau grup.


Konser grup Piknik dalam format video panorama

Selama pemotretan grup Piknik Rusia yang terkenal, kesulitan berikut muncul - konser berlangsung di ruang gelap ruang konser di bawah sorotan terang. Kondisi ini sulit untuk kamera biasa, karena bahkan pada resolusi maksimum, mentransmisikan kedalaman warna yang realistis adalah tugas yang agak sulit.

Rekaman video konser dalam format 360 ° memiliki keuntungan besar dibandingkan rekaman video standar, karena pemirsa merasakan efek berada di ruang panggung dan memiliki otonomi penuh untuk memutuskan sendiri ke mana harus melihat saat ini - apakah akan menonton gitaris bermain atau melihat solois, atau bahkan melihat konser dengan "mata" para musisi, membalikkan punggung mereka ke panggung, dan menyaksikan reaksi penonton yang semarak.
Untuk mencapai efek perendaman total, Anda tidak hanya membutuhkan gambar berkualitas tinggi, tetapi juga suara "langsung". Bukan rahasia bagi musisi dan pengunjung yang sering datang ke konser bahwa suara “teknis” di atas panggung jauh dari apa yang didengar di aula. Para insinyur suara proyek menggabungkan suara dari mikrofon stereo dengan rekaman studio. Hasilnya, suara tetap berkualitas tinggi, tetapi tetap memiliki "keaktifan": saat menonton rekaman, Anda dapat mendengar bagaimana penonton bereaksi dan bernyanyi bersama.

Selain grup musik, para pelaku proyek video360production.com berinteraksi dengan teater terbesar di St. Petersburg, tempat sejumlah pertunjukan dan pertunjukan musik telah direkam. Kesempatan unik disediakan dengan memotret situs bersejarah di kota dan kunjungan di museum. Di Museum Antropologi dan Etnografi. Peter the Great (Kunstkamera) dalam format video 360 °, sebelum dimulainya rekonstruksi, bola dunia akademik ( Gottorp ) telah dihapus - hadiah diplomatik untuk Tsar Peter I dari Holstein Duke Karl Friedrich selama Perang Utara.


Memotret bola dunia akademik (Gottorp) besar dalam format video 360 °

Implementasi proyek bersama Universitas ITMO dan State Hermitage Museum "Presence Points" telah dimulai, dalam kerangka yang direncanakan untuk menghadirkan acara di berbagai ruangan museum menggunakan teknologi video panorama.


Memotret klip video "The Peacock Clock" di State Hermitage Museum dalam format video 360 °

. Minat yang meningkat di kalangan pengunjung ke saluran YouTube yang dibuat oleh penulis proyek juga berjalan virtual di sepanjang sungai dan kanal St. Petersburg.

Perhatian khusus diberikan untuk merekam video 360 ° dari berbagai acara di Biara Solovetsky. Biara Solovetsky memainkan peran luar biasa dalam sejarah dan budaya Rusia. Lahir di abad XV. sebagai tempat penggurunan pengikut spiritual dari "bapak monastik Rusia" pr. Sergius dari Radonezh, dalam waktu singkat ia berubah menjadi ibukota spiritual, budaya, politik dan ekonomi Rusia Utara. Dengan upaya para biarawan Solovetsky, yang memberi Gereja Rusia sebuah galaksi pertapa suci, iman Kristen menyebar ke seluruh wilayah Subpolar Rusia yang luas.

Aktivitas Biara Solovetsky pada tingkat yang menentukan berkontribusi terhadap masuknya populasi Rusia ke Laut Putih. Biara Angkatan Laut memiliki pengaruh yang menentukan pada perkembangan ekonomi dan bagian laut Pommern. Ini menjadi prasyarat bagi pengembangan pelaut Arktik Rusia di Samudra Arktik dan transformasi Rusia menjadi kekuatan Arktik yang hebat.

Keterpencilan geografis Biara Solovetsky menyulitkan banyak orang untuk mengambil bagian pribadi dalam peristiwa yang terjadi di sana. Memotret peristiwa seperti itu dalam teknologi video 360 ° dan menyediakan akses ke sana melalui Internet memungkinkan, ketika menggunakan gadget realitas virtual, untuk merasa seperti peserta dalam peristiwa semacam itu.
Sebagai hasil dari karya tersebut, lebih dari 10 adegan difilmkan di Kepulauan Solovetsky: Wisata ke Kuil Ascension di Sekirnaya Gora, Layanan di kuil Biara Solovetsky, Liturgi Natal, Vesper, pesta Natal untuk anak-anak di Biara Solovetsky, ukiran biara, berbagai jenis biara dan Pulau Besar Solovetsky.


Layanan di kuil Biara Solovetsky dalam format video 360 °


Ekskursi ke Kuil Ascension di Sekirnaya Gora (Kepulauan Solovetsky) dalam format video 360 °

Interaktivitas dalam format video 360 °

Terlepas dari kenyataan bahwa menonton video 360 ° dalam berbagai headset realitas virtual memberikan kualitas tinggi perendaman virtual dalam konten video, langkah selanjutnya adalah kemungkinan memperkenalkan berbagai elemen interaktif ke dalam materi video dari format video 360 °.

Elemen tersebut dapat berupa:
• Tanda aktif di dalam ruang virtual untuk bergerak di sepanjang berbagai lintasan yang sebelumnya ditangkap dalam teknologi video 360 °;
• Pengenalan berbagai konten tambahan (gambar, video, hyperlink, dll.) Ke dalam video 360 ° - fungsi "gambar dalam gambar";
• Transisi dari video 360 ° ke ruang 3D simulasi dari realitas yang direkonstruksi.

Berdasarkan sistem Unity3D, tur interaktif dalam format video 360 ° di sekitar Museum Benteng Korela dilaksanakan di Pusat Desain dan Multimedia Universitas ITMO . Tur video panorama ini dengan kontrol interaktif dirancang untuk dilihat di headset realitas virtual Oculus Rift.

Interaksi interaktif memungkinkan untuk memilih rute: pengguna, pada titik-titik tertentu - garpu, diberi kesempatan untuk memilih kelanjutan tur yang diinginkan, atau kembali. Bimbingan pada elemen dilakukan dengan memutar kepala, yang dilacak menggunakan Oculus Rift. Sambil menahan pandangan pada elemen yang dipilih selama beberapa detik, elemen tersebut diaktifkan dan segmen video 360 ° berikutnya dimulai. Untuk meningkatkan visibilitas interaksi interaktif saat mengarahkan pemandangan, animasi mengisi bilah pemuatan melingkar diluncurkan.


Peta pergerakan interaktif di sekitar Korela Fortress Museum

Ada panduan profesional di "gang", menceritakan tentang objek di bagian jalur yang bisa dilalui, di gang, panduan tidak lagi ada, sehingga tidak menggandakan informasi yang sama. Jika diinginkan, pengguna dapat melewatkan melihat bagian video dengan menekan tombol pada keyboard atau menggunakan elemen interaktif.

Bentuk kedua interaksi interaktif adalah kemampuan untuk beralih dari video 360 ° ke rekonstruksi virtual tiga dimensi benteng. Rekonstruksi benteng Korela dilakukan sebagai bagian dari proyek "Sistem Informasi Multimedia" Benteng-Benteng Kuno di Barat Laut "." Sebuah elemen muncul pada titik-titik tertentu dari tur video, yang mengaktifkan pengguna untuk pindah ke rekonstruksi 3D, dengan kemungkinan pergerakan bebas di ruang rekonstruksi virtual menggunakan mesin grafis Unity3D. Di tempat-tempat rekonstruksi virtual yang bertepatan dengan tanda-titik statis aktual yang direkam, portal bercahaya terletak di dalam rekonstruksi. Setelah memasuki portal seperti itu, pengguna kembali ke titik yang sesuai dari perjalanan video.

Kesimpulan

Teknologi multimedia 360 ° adalah bidang teknologi baru yang menjanjikan yang memungkinkan Anda untuk membuat konten interaktif berkualitas tinggi untuk headset realitas virtual di semua bidang aktivitas manusia (budaya, seni, pendidikan, sains, pariwisata, periklanan, produksi industri, administrasi publik, dll.) .

Dari sudut pandang industri hiburan dan, terutama, pembuatan film fitur dalam format 360 °, diharapkan untuk mengembangkan sejumlah pendekatan dan metodologi baru dari proses kreatif dan teknologi yang akan memungkinkan penonton untuk membenamkan diri dalam level virtual dan interaktif baru.
Penulis artikel: Borisov Nikolay, Smolin Artem, Stolyarov Denis, Scherbakov Pavel, Trushin Vasily

Source: https://habr.com/ru/post/id392565/