Posibilidades de usar tecnología de video 360 ° para representar eventos culturales

Como parte de nuestro trabajo en el Centro de Diseño y Multimedia de la Universidad ITMO, escribimos un artículo interesante sobre el uso de tecnologías de realidad virtual para preservar el patrimonio cultural. Describieron muchos de sus propios "casos": museos, conciertos, eventos culturales, y también hablaron sobre el proyecto único de un recorrido interactivo por la fortaleza de Korela (región de Leningrado), donde la reconstrucción 3D y el video interactivo 360 se combinaron por primera vez.



La versión en inglés de los materiales se presentará en mayo en la conferencia internacional "ArtsIT, Interactivity & Game Creation" (Esbjerg, Dinamarca). Aquí hay un original ruso, ligeramente adaptado.



Realidad virtual y su aplicación

Actualmente, las tecnologías de realidad virtual y sus aplicaciones se están desarrollando intensamente. El uso de tales tecnologías en la cultura y el arte abre grandes oportunidades , ya que proporcionan el efecto de la presencia del espectador en el centro de los eventos culturales. Uno de los enfoques prometedores y de desarrollo activo para crear contenido para sistemas de realidad virtual es la tecnología de video 360 °, que le permite crear videos panorámicos con diversos grados de interactividad, donde el espectador controla el ángulo de visión del video como lo desea. Tal video se puede ver en un casco de realidad virtual (por ejemplo, en Oculus Rift , Samsung Gear VR , HTC Viveetc.), y usando una aplicación especial en un teléfono inteligente, mientras que la imagen cambia de acuerdo con la rotación de la cabeza del usuario. Puede ver videos de 360 ​​° en la pantalla de una computadora personal. En el último caso, el usuario controla la vista usando el mouse o el teclado.


Mirar videos de 360 ​​° en los auriculares Samsung Gear VR

Muchas grandes empresas (Facebook, Nokia, Samsung, Google, etc.) están desarrollando cámaras para grabar videos de 360 ​​°, auriculares de realidad virtual para varios teléfonos inteligentes y computadoras de escritorio, así como varios dispositivos de grabación de sonido que proporcionan la creación de sonido envolvente (binaural) y permiten realizar una amplia gama de tecnologías multimedia de 360 ​​°.

La aplicación de la tecnología de video 360 ° en educación es especialmente relevante. El video interactivo de 360 ​​° puede proporcionar interacción con el usuario final, por lo tanto, este método puede usarse ampliamente para capacitar especialistas en diversos campos, donde se requiere la presencia del centro del evento para dominar la experiencia laboral práctica. La tecnología de video 360 ° le permite analizar el trabajo en equipo del personal durante una variedad de tareas, lo que conduce a un aumento en la calidad del proceso educativo.

El video panorámico de 360 ​​° desempeña un papel importante para preservar y proporcionar acceso al patrimonio cultural. Esta tecnología brinda una oportunidad única para ver con el efecto de la inmersión no solo archivos cerrados para museos, sino también monumentos históricos reconstruidos que fueron destruidos por el tiempo o las circunstancias (reconstrucción virtual tridimensional). Además, la realidad virtual es una oportunidad única para que las personas con discapacidad viajen y caminen alrededor del mundo.

Hablando sobre el sector del entretenimiento en el aspecto de la tecnología de video 360 °, los espectadores pueden visitar los festivales culturales más grandes, encontrarse en el escenario junto a sus músicos favoritos o ver una representación teatral desde el palco real.
En el Centro de Diseño y Multimedia de la Universidad ITMO, se está implementando un proyecto para el desarrollo y la aplicación de tecnologías de video 360 ° en cultura y arte Video360Production.com . En el marco de este proyecto, fue posible lograr ciertos resultados necesarios para obtener contenido de alta calidad, desde el desarrollo de dispositivos originales de grabación de video y sonido de 360 ​​° hasta el desarrollo de software para resolver una serie de problemas en esta área.

Tecnología multimedia 360 °

Actualmente se están desarrollando cámaras especiales que se pueden utilizar para grabar videos en formato de video 360 °. Sin embargo, con la ayuda de herramientas y software especiales, puede usar las cámaras existentes para grabar videos de 360 ​​°.
Un ejemplo sorprendente de este enfoque es el conjuntouna serie de proyectos que ofrecen equipos especiales para cámaras GoPro HERO 4. El número de cámaras en el equipo es de 6 a 14 (opciones estéreo), según las tareas. Después de disparar, las transmisiones de video se unen en la esfera de video común utilizando programas suministrados por separado.

Además, varias grandes empresas de TI y fabricantes de productos electrónicos anunciaron sus propias soluciones totalmente automatizadas para grabar contenido para realidad virtual: Google Jump + GoPro Odyssey , Samsung Beyond , Nokia Ozo .



GoPro Odisea, Nokia y Samsung OZO Proyecto Más allá de

nuestras impresiones personales de la cámara Nokia OZO hemos descrito aquí .

El video 360 ° es una dirección nueva y de desarrollo progresivo, que aún no tiene estándares de dirección, que proporciona un amplio alcance para la creatividad y el desarrollo de nuevas ideas y enfoques. El efecto de inmersión completa se logra a través de una cámara con varias lentes, que le permite disparar todo lo que sucede a su alrededor. Sin embargo, esto conlleva muchas dificultades, porque muchas leyes de dirección no se aplican cuando se graba en formato de video de 360 ​​°. La principal diferencia fundamental entre ver videos de 360 ​​° en auriculares de realidad virtual es el hecho de que el espectador tiene la oportunidad de ver contenido a su alrededor, lo que significa que el director tendrá que proporcionar al espectador la capacidad de seleccionar dinámicamente el ángulo de visión y no enfocarse en una parte específica de la pantalla.

La solución a este problema es la consideración detallada del escenario desde el punto de vista de un cambio de paradigma, dejando espacio en el video en 3D. Cada disparo requiere una preparación estándar (configuración de la luz, los puntos más favorables para la cámara, el escenario y la ubicación de la escena) y enfoques no estándar (especiales y, a menudo, únicos para cada montaje de cámara, que dirigen teniendo en cuenta las características de la grabación de video de 360 ​​°, la orientación correcta de la cámara, grabación de sonido envolvente). Al grabar conciertos, para lograr un mayor realismo, el sonido de la cámara o del micrófono estéreo a menudo se combina con el sonido de la consola del director.

Ver eventos culturales con tecnología multimedia 360 °

La colección de imágenes del proyecto video360production.com para auriculares de realidad virtual tiene más de cincuenta videos diferentes: conciertos y festivales de música, recorridos por lugares históricos, excursiones a museos, representaciones teatrales, diversos eventos culturales y procesos tecnológicos.


Bravo Group, El amor no arde, en formato de video panorámico


Agrupando "Leningrado" en el formato de un video panorámico


Tecnología de colocación de asfalto “Ecohiter”, video promocional panorámico

Al grabar conciertos, es necesario transmitir en alta calidad, tanto imagen como sonido. Además, es necesario tener en cuenta la ubicación de la cámara, ya que cuando se graba en una cámara de 360 ​​°, conceptos como "frontal" y "posterior" se vuelven irrelevantes. Además, a veces hasta veinte personas estuvieron presentes simultáneamente en la escena, lo que complicó la instalación de la cámara. El metraje permitió a los músicos verse a sí mismos desde un lado, evaluar la ubicación de los músicos durante el concierto, y también ver la reacción del público ante la actuación. El público, a su vez, con la ayuda de este tiroteo pudo examinar en detalle el juego de cada músico y sumergirse en la atmósfera creada por la orquesta o el grupo.


Concierto del grupo Picnic en formato de video panorámico

Durante el rodaje del famoso grupo ruso Picnic, surgieron las siguientes dificultades: el concierto tuvo lugar en el cuarto oscuro de la sala de conciertos bajo luces brillantes. Estas condiciones son difíciles para las cámaras normales, porque incluso con la resolución máxima, transmitir una profundidad de color realista es una tarea bastante difícil.

Las grabaciones de video de conciertos en formato 360 ° tienen una gran ventaja sobre las grabaciones de video estándar, ya que el espectador siente el efecto de estar en el espacio escénico y tiene total autonomía para decidir por sí mismo dónde mirar en este momento, ya sea para ver tocar a un guitarrista o mirar a un solista, o incluso ver un concierto a cargo de los "ojos" de los músicos, volviendo la espalda al escenario y observando la viva reacción del público.
Para lograr el efecto de una inmersión completa, no solo necesita una imagen de alta calidad, sino también un sonido "en vivo". No es un secreto para los músicos y los visitantes frecuentes de los conciertos que el sonido "técnico" en el escenario está lejos de lo que se escucha en la sala. Los ingenieros de sonido del proyecto combinaron el sonido de un micrófono estéreo con una grabación de estudio. Como resultado, el sonido permaneció de alta calidad, pero retuvo la "vivacidad": mientras mira una grabación, puede escuchar cómo reacciona y canta el público.

Además de los grupos musicales, los artistas intérpretes o ejecutantes del proyecto video360production.com interactúan con los teatros más grandes de San Petersburgo, donde se han filmado varias actuaciones y actuaciones musicales. Se brinda una oportunidad única al fotografiar sitios históricos en ciudades y excursiones en museos. En el Museo de Antropología y Etnografía. Peter the Great (Kunstkamera) en formato de video 360 °, antes del comienzo de la reconstrucción, se retiró un gran globo académico ( Gottorp ), un regalo diplomático para el zar Peter I del Holstein Duke Karl Friedrich durante la Guerra del Norte.


Grabando un gran globo académico (Gottorp) en formato de video 360 °

La implementación de un proyecto conjunto de la Universidad ITMO y el Museo de Hermitage del Estado "Puntos de Presencia" ha comenzado, en cuyo marco está previsto presentar eventos en varias salas del museo utilizando tecnología de video panorámico.


Grabando el video clip "The Peacock Clock" en el Museo Estatal del Hermitage en formato de video de 360 ​​°.

Un mayor interés entre los visitantes del canal de YouTube creado por los autores del proyecto también está dando un paseo virtual por los ríos y canales de San Petersburgo.

Se prestó especial atención a grabar videos en 360 ° de varios eventos en el Monasterio Solovetsky. El monasterio Solovetsky desempeñó un papel excepcional en la historia y la cultura de Rusia. Nacido en el siglo XV. como lugar de desertificación de los seguidores espirituales del "padre del monacato ruso" pr. Sergio de Radonezh, en poco tiempo se convirtió en la capital espiritual, cultural, política y económica del norte de Rusia. Por los esfuerzos de los monjes Solovetsky, que le dieron a la Iglesia rusa una galaxia de santos ascetas, la fe cristiana se extendió por las vastas extensiones de la región subpolar rusa.

Las actividades del monasterio Solovetsky en un grado decisivo contribuyeron a la afluencia de la población rusa en la región del Mar Blanco. El Monasterio Naval tuvo una influencia decisiva en el desarrollo de la economía y la parte marina de Pomerania. Esto se convirtió en un requisito previo para el desarrollo de los marinos árticos rusos del Océano Ártico y la transformación de Rusia en una gran potencia del Ártico.

La lejanía geográfica del monasterio de Solovetsky dificulta que muchos participen personalmente en los eventos que tienen lugar allí. Filmar tales eventos con tecnología de video de 360 ​​° y proporcionarles acceso a ellos a través de Internet hace posible, al usar dispositivos de realidad virtual, sentirse como un participante en tales eventos.
Como resultado del trabajo, se filmaron más de 10 escenas en el Archipiélago Solovetsky: Excursión al Templo de la Ascensión en Sekirnaya Gora, Servicio en el templo del Monasterio Solovetsky, Liturgia de Navidad, Vísperas, fiesta navideña para niños en el Monasterio Solovetsky, villancicos monásticos, varios tipos de monasterio y la Isla Big Solovetsky.


Servicio en el templo del Monasterio Solovetsky en formato de video 360 °


Excursión al Templo de la Ascensión en Sekirnaya Gora (Islas Solovetsky) en formato de video 360 °

Interactividad en formato de video 360 °

A pesar de que ver video 360 ° en varios auriculares de realidad virtual proporciona alta calidad inmersión virtual en contenido de video, el siguiente paso es la posibilidad de introducir varios elementos interactivos en el material de video del formato de video 360 °.

Dichos elementos pueden ser:
• Marcas activas dentro del espacio virtual para movimiento a lo largo de varias trayectorias previamente capturadas en tecnología de video de 360 ​​°;
• Introducción de varios contenidos adicionales (imágenes, videos, hipervínculos, etc.) en el video de 360 ​​°: la función "imagen en imagen";
• Transición de video de 360 ​​° a espacio 3D simulado de realidad reconstruida.

Basado en el sistema Unity3D, se implementó un recorrido interactivo en formato de video de 360 ​​° alrededor del Museo de la Fortaleza de Korela en el Centro de Diseño y Multimedia de la Universidad ITMO . Este video tour panorámico con controles interactivos está diseñado para su visualización en los auriculares de realidad virtual Oculus Rift.

La interacción interactiva hace posible elegir la ruta: el usuario, en ciertos puntos - tenedores, tiene la oportunidad de elegir la continuación deseada del recorrido, o regresar. Apuntar a un elemento se hace girando la cabeza, que se rastrea utilizando Oculus Rift. Mientras mantiene la vista en el elemento seleccionado durante varios segundos, el elemento se activa y comienza el siguiente segmento de video de 360 ​​°. Para aumentar la visibilidad de la interacción interactiva al apuntar la vista, se inicia la animación de llenar la barra de carga circular.


Mapa de movimientos interactivos alrededor del Museo de la Fortaleza de Korela

Hay una guía profesional en los "pasillos", que cuenta acerca de los objetos en la sección transitable de la pista, en los pasillos, la guía ya no está presente, para no duplicar la misma información. Si lo desea, el usuario puede omitir la visualización de una sección de video presionando una tecla en el teclado o usando un elemento interactivo.

La segunda forma de interacción interactiva es la capacidad de cambiar de video de 360 ​​° a una reconstrucción virtual tridimensional de la fortaleza. La reconstrucción de la fortaleza de Korela se llevó a cabo como parte del proyecto "Sistema de información multimedia" Antiguas fortalezas del noroeste ". Aparece un elemento en ciertos puntos del recorrido de video, activando el cual el usuario se mueve a la reconstrucción 3D, con la posibilidad de movimiento libre en el espacio de reconstrucción virtual usando el motor gráfico Unity3D. En lugares de reconstrucción virtual que coinciden con las marcas de puntos estáticas registradas reales, se ubican portales luminosos en la reconstrucción. Una vez que ingresó a dicho portal, el usuario regresa al punto correspondiente de la excursión de video.

Conclusión

Las tecnologías multimedia 360 ° son una nueva área tecnológica prometedora que le permite crear contenido interactivo de alta calidad para auriculares de realidad virtual en todas las áreas de la actividad humana (cultura, arte, educación, ciencia, turismo, publicidad, producción industrial, gobierno, etc.) .

Desde el punto de vista de la industria del entretenimiento y, especialmente, la creación de largometrajes en formato 360 °, se espera que desarrolle una serie de nuevos enfoques y metodologías de procesos creativos y tecnológicos que permitirán al espectador sumergirse en nuevos niveles virtuales e interactivos.
Autores del artículo: Borisov Nikolay, Smolin Artem, Stolyarov Denis, Scherbakov Pavel, Trushin Vasily

Source: https://habr.com/ru/post/es392565/