Detrás de escena de la realidad virtual de Nike

Hola Mientras continuaba preparando lenta pero seguramente material sobre chromakey, decidí llamar su atención sobre una traducción de la entrevista sobre cómo se creó el comercial de alta tecnología Nike Hypervenom. Este video te permitirá estar en la piel de un famoso jugador de fútbol y marcar un gol decisivo durante un partido real. Pero lo más importante no es solo disparar con la vista desde los ojos, ¡aquí puedes girar la cabeza! En realidad, el video en sí:



Una historia sobre cómo se creó este video debajo del corte.

Esta es una traducción de un artículo en inglés :

la leyenda del fútbol brasileño Neymar se ha convertido en una estrella en la atracción de videojuegos Nike Hypervenom Phantom. En el video, vemos directamente desde los ojos del jugador de fútbol cómo el delantero corre hacia la meta y marca un gol: este increíble proyecto fue posible gracias a IM360 (una plataforma para trabajar con video panorámico), así como a la interacción de Digital Domain y Immersive Media. Dirigida por Adam Berg, Agencia - Wieden + Kennedy.

- ¿Dónde comenzaste al iniciar un proyecto tan grande?

Chris Fieldhouse (productor de efectos visuales): teníamos muchas tareas que debían resolverse. ¿Será una vista desde los ojos o desde un tercero? ¿Cómo se puede hacer esto? El director Adam Berg nunca trabajó con fotografía panorámica. Así que todos nos sumergimos en el proyecto juntos y comenzamos a pensar cómo implementarlo. Fue un proyecto verdaderamente colectivo. Tuvimos que llevar esta idea desde un concepto creativo hasta la implementación, después de haber ideado cómo hacer todo con precisión desde el punto de vista técnico.

- ¿Cuáles fueron las dificultades para trabajar con lo que ve el observador?

Zhanel Kroshaw (supervisor del estudio de producción de efectos visuales): Los primeros pasos, por supuesto, fueron la creación de la visualización previa. Anteriormente, creamos el video "Evolution of Verse", que estaba completamente basado en computadora, así como el video para Björk, que, por el contrario, consistía completamente en una filmación real, es decir, ya usamos estas herramientas en ambos lados. Primero, realizamos una visualización previa de 360 ​​grados. Adam tenía varias ideas relacionadas con la coreografía y el ataque de Neymar, por lo que la visualización previa ayudó a llegar al resultado final.

Fieldhouse: tuvimos que decidir si sería un chromakey o, después de todo, un estadio real. ¿Filmaremos esto en 2D y luego lo convertiremos a panorama, o haremos inmediatamente todo en panorama? Como resultado, la solución se convirtió en una especie de aleación de todas las opciones. Tuvimos un coordinador de fútbol que nos ayudó a planificar y organizar todos los movimientos: Nike quería que todo fuera lo más realista posible en un partido de fútbol real.



Kroshaw: Con la ayuda de nuestros empleados y bolos, descubrimos una coreografía aproximada de los movimientos de los jugadores, luego la presentamos en forma de un video panorámico, después de lo cual Adam pudo ver todo en gafas de realidad virtual. Fue una excelente manera de planificar todos nuestros próximos pasos. Gradualmente, el equipo de pre-visualización se expandió y todo terminó con los empleados ayudándose mutuamente para perfeccionar los movimientos y las fintas de fútbol, ​​y luego transfiriéndolos a la pre-estandarización.

Fieldhouse: En la oficina, vimos muchos movimientos divertidos: las personas salían, se ponían los cascos en la cabeza desde la cámara y corrían, pateaban un balón de fútbol y se preguntaban cómo se vería toda la animación. Examinamos toda la escena desde todos los ángulos.

Kroshaw: A pesar del hecho de que aproximadamente entendimos qué tipo de construcción necesitaríamos para filmar, aún nos enfrentamos a muchas preguntas. Probamos muchas opciones diferentes, fuimos al campo de fútbol y realizamos pruebas bastante divertidas. Lo principal que debía entenderse era cómo unir las tomas de todas las cámaras en un solo panorama. Quítese todo con seis cámaras montadas en una montura "unicornio" (las cámaras están montadas en una especie de monopié que sobresale de la cabeza hacia adelante a lo largo de la línea de visión) o será algo así como un casco con cámaras alrededor de la cabeza. Teníamos que encontrar una solución que nos diera la mejor resolución y la capacidad de "unir" fragmentos de video



. ¿Y cómo resolvió el problema?

Fieldhouse: necesitábamos hacer un video de la más alta calidad posible, no queríamos simplemente tomar la bolsa GoPro y quitarles todo. Pasamos muchos, muchos, muchos meses planificando y probando la mejor combinación de cámaras y monturas. Nos detuvimos en un híbrido de disparos en 2D en una cámara Alexa y nos unimos a partir de disparos tomados por una serie de cámaras GoPro y Codex. Utilizamos una cámara suspendida en cables sobre un campo. También utilizamos varias cámaras rojas ubicadas en los bordes de la escena.

Kroshaw: Al final, usamos 15 cámaras: Alexa, Codex, tres Red Epic y nueve GoPro.
Fieldhouse: utilizamos una serie de cámaras de 360 ​​grados montadas en cables; También había una serie de cámaras de 360 ​​grados montadas en la cabeza de Neymar. Fue un rodaje muy difícil: solo tres días de rodaje, más dos días para prepararse.

- ¿Hiciste un pegado rápido de marcos en el lugar para ver si te estás moviendo en la dirección correcta?

Kroshaw: Sí, por supuesto. ¡IM360 es simplemente genial! Observamos el tiro para correr de Neymar desde su casco. Hubo una gran cantidad de tomas. Y los chicos de IM360, aunque no al instante, sino que en unos minutos cosieron todo en un solo panorama, luego nos pusimos gafas de realidad virtual e inmediatamente nos encontramos en el lugar de nuestro héroe, marcando un gol. Justo en el lugar, recibimos comentarios de Adam y los chicos de la agencia, y luego filmamos la siguiente toma. Otra tarea difícil fue la repetición de todos los movimientos de Neymar con nuestra estructura suspendida.

Fieldhouse: Este fue un serio desafío técnico para nuestro equipo. Es decir, al principio filmamos un panorama desde el casco de Neymar, luego en cámaras 2D normales, y luego tuvimos que pegarlo rápidamente y ver si todo iba según lo planeado ... ¡Wow tarea!

La plataforma IM360 incluye el kit de herramientas VR: esta es una vista previa instantánea, es decir, puede ver lo que sucede directamente durante el disparo. Realmente queríamos usar esta herramienta, pero desafortunadamente Neymar no podía correr por el campo con una trenza de cables detrás de él, por lo que las circunstancias no nos permitieron hacer todo en tiempo real. Pero aún así, en pocos minutos, obtuvimos fácilmente una toma panorámica aproximada.



Kroshaw: En mis 17 años en la industria de efectos visuales, este fue el proyecto con más seguimiento y composición. Las herramientas de seguimiento resultaron ser realmente invaluables. Cuando terminamos, teníamos innumerables duplicados de cámaras montadas en cables, porque disparar sobre ellas parecía que fueron tomadas por un aficionado: administrar toda la estructura fue extremadamente difícil, por lo que para obtener una buena toma tuvimos que hacer lo mismo una y otra vez .

Tan pronto como comenzó la postproducción, nuestra primera tarea fue hacer un ensamblaje aproximado de todo el video, por lo que lo primero que tuvimos que hacer fue rastrear la cámara principal (calcular el camino de la cámara en el espacio tridimensional mediante puntos de contraste en el video): fue bastante simple. El truco principal era pegar los disparos desde la cámara principal con los disparos desde el casco; después de todo, en el video final necesitábamos el cuerpo de Neymar, y solo podíamos tomarlo de los disparos con cámaras GoPro. Tampoco pudimos utilizar el material de estas cámaras para todo el entorno, ya que la calidad de disparo era insuficiente, además la imagen saltó y se sacudió demasiado. Diré más, cuando veo este material realmente me enfermé. Bueno, si solo miras tus pies, entonces en general se percibe normalmente,pero si comienzas a voltear la cabeza, es una enfermedad de mareo.

Usando la imagen de la cámara en los cables, pudimos lograr una imagen tan suave. Lo que puedes ver ahora es un híbrido, y cada uno de estos jugadores fue "cortado" de la imagen en un elemento separado, del cual luego recolectamos todo esto. Este fue un gran número de fotogramas, porque cada jugador tenía 90 segundos de tiempo de "tiempo aire" de 60 fotogramas cada uno.

Y así, cuando combinamos todas las partes en un solo todo, llegó el momento de agregar efectos gráficos. Paralelamente al trabajo de pegar el video, se estaba trabajando para crear un estadio. Los aficionados fueron fusilados por separado. Obtuvimos 50 plantillas diferentes que, por analogía con el trabajo en las películas "Living Steel y" Rock for Ages ", tuvieron que superponerse en planos separados y, utilizando el software Nuke, multiplicarse en 2.5D en todo el estadio. Ese era el plan original, pero filmamos un panorama, y ​​todas las distorsiones inherentes a él convirtieron milagrosamente nuestro plan 2.5D en polvo. Así que tuvimos que usar Houdini y hacer lo mismo en 3D.

El video contiene una gran cantidad de detalles, comenzando con el propio jugador de fútbol y más allá: jugadores, entrenador, árbitros, multitudes: todo esto es un tiro real sin gráficos. Todo el entorno, la aeronave, todos los efectos y la hierba son gráficos por computadora. La pelota en sí, ahora real, luego computadora, en algunos lugares estaba demasiado borrosa, y tuvimos que reemplazarla con un modelo de computadora. Lo mismo sucedió con el cuerpo de Neymar: en algunos cuadros, disparar con GoPro no se veía muy bien, por lo que a veces los gráficos de computadora también se deslizan por allí.



- ¿Cómo te aseguraste de que el espectador no miraba en la dirección incorrecta? ¿Te gustaría limitar el rango de movimientos posibles y suavizarlos?

Kroshaw: Sí, lo pensamos, porque es poco probable que un jugador de fútbol pueda correr hacia adelante con la cabeza vuelta 180 grados hacia atrás. Pero a pesar de esto, en el video puedes girar la cabeza 360 grados, de todos modos, mientras corres hacia adelante, y el espectador mismo quiere mirar hacia adelante, por lo que probablemente no sea necesaria la restricción.

Fieldhouse: los movimientos suaves de la cámara fueron parte de nuestras pruebas. Varias veces tratamos de hacer el video exactamente como lo vio el espectador, si la cámara simplemente estaba montada en el reproductor, pero parecía que no estabas jugando al fútbol, ​​sino simplemente saltando sobre la cabeza de alguien. Por lo tanto, utilizamos una cámara que pudo darnos una trayectoria suave, y luego simplemente combinamos el disparo y obtuvimos un movimiento suave. Fue bastante divertido, porque constantemente pensamos que valía la pena deshacerse de los idiotas tanto como fuera posible, pero luego, casi al final del proceso, un cliente se acercó a nosotros y nos pidió agregar más sacudidas. Entonces, en resumen, hicimos una imagen extremadamente suave y luego agregamos sacudidas artificiales a un jugador que corría por el campo.



Cuando miras una película desde los ojos de Neymar, automáticamente intentas enfocarte en la pelota. Pero como teníamos un video panorámico, queríamos asegurarnos de que si alguien no mira la pelota, algo interesante sucederá desde todos los lados.

Kroshaw: En la versión original, las personas en las gradas eran bastante oscuras, y en la versión de 360 ​​grados, eran completamente incurables. Por lo tanto, todo terminó con el hecho de que agregamos reflectores luminosos, para que el espectador tuviera algo que ver.

Kroshaw: Los movimientos rápidos y agudos de los brazos y piernas de Neymar son en su mayoría tomas reales.

Fieldhouse: en realidad, esta fue una de las principales razones de nuestra preocupación, ya que entendimos que en el mundo real no podemos conectar seis cámaras Alexa al casco de un jugador de fútbol, ​​por lo que conscientemente llegamos a este límite de calidad. Las características técnicas de GoPro estaban lejos de ser ideales, es decir, entendimos que el desenfoque de movimiento, la velocidad de obturación y todo lo demás es algo con lo que tendremos que trabajar seriamente. A pesar del hecho de que la mayor parte del material es solo una toma real, creamos un doble gráfico de Neymar, que usamos literalmente en unos momentos, para mejorar la calidad del material final. En su mayor parte, esto es cierto para las botas: al final, después de todo, fueron los clientes quienes querían verlos cuando vinieron a pedir un video .

Source: https://habr.com/ru/post/es392209/