Nos bastidores da realidade virtual da Nike

Olá Enquanto continuava a preparar lenta mas seguramente o material sobre chromakey, decidi chamar a atenção para a tradução da entrevista sobre como o comercial de alta tecnologia Nike Hypervenom foi criado. Este vídeo permitirá que você esteja no lugar de um jogador de futebol famoso e marque um gol decisivo durante uma partida real. Mas o mais importante não é apenas fotografar com uma vista dos olhos - aqui você pode torcer a cabeça! Na verdade, o próprio vídeo:



Uma história sobre como este vídeo foi criado sob o corte.

Esta é uma tradução de um artigo em inglês :

a lenda do futebol brasileiro Neymar se tornou uma estrela na atração de videogame Nike Hypervenom Phantom. No vídeo, vemos diretamente dos olhos do jogador de futebol como o atacante corre para o gol e marca um gol - esse incrível projeto foi possível graças ao IM360 (uma plataforma para trabalhar com vídeos panorâmicos), bem como à interação do domínio digital e da mídia imersiva. Dirigido por Adam Berg, Agência - Wieden + Kennedy.

- Por onde você começou iniciando um projeto tão grande?

Chris Fieldhouse (produtor de efeitos visuais): Tivemos muitas tarefas que precisavam ser resolvidas. Será uma visão dos olhos ou de terceiros? Como isso pode ser feito? O diretor Adam Berg nunca trabalhou com fotografia panorâmica. Então, todos nós mergulhamos no projeto juntos e começamos a pensar em como implementá-lo. Foi um projeto verdadeiramente coletivo. Tivemos que levar essa ideia de um conceito criativo para a implementação, tendo chegado a como fazer tudo exatamente do lado técnico.

- Quais foram as dificuldades em trabalhar com o que o observador vê?

Zhanel Kroshaw (supervisor do estúdio de produção de efeitos visuais): Os primeiros passos, é claro, foram a criação da pré-visualização. Anteriormente, criamos o vídeo “Evolution of Verse”, que era totalmente baseado em computador, bem como o vídeo de Björk, que, pelo contrário, consistia inteiramente em filmagens na vida real - ou seja, já usamos essas ferramentas nos dois lados. Primeiro, renderizamos a pré-visualização em 360 graus. Adam teve várias idéias relacionadas à coreografia e ataque de Neymar, de modo que a pré-visualização ajudou a chegar ao resultado final.

Fieldhouse: Tivemos que decidir se seria um chromakey ou, afinal, um estádio real. Filmaremos isso em 2D e depois converteremos em panorama ou faremos tudo imediatamente no panorama? Como resultado, a solução se tornou um tipo de liga de todas as opções. Tivemos um coordenador de futebol que nos ajudou a planejar e organizar todos os movimentos - a Nike queria que tudo fosse o mais realista possível em uma partida de futebol real.



Kroshaw: Com a ajuda de nossos funcionários e pinos de boliche, descobrimos uma coreografia aproximada dos movimentos dos jogadores e, em seguida, a renderizamos na forma de um vídeo panorâmico, após o qual Adam foi capaz de assistir tudo em óculos de realidade virtual. Foi uma ótima maneira de planejar todos os nossos próximos passos. Gradualmente, a equipe de pré-visualização se expandiu e tudo terminou com os funcionários ajudando uns aos outros a aprimorar movimentos e simulações de futebol, transferindo-os para a pré-padronização.

Fieldhouse: No escritório, vimos muitos movimentos engraçados - as pessoas saíam, colocavam capacetes na cabeça da câmera e corriam, chutando uma bola de futebol e se perguntando como seria toda a animação. Examinamos toda a cena de todos os ângulos.

Kroshaw: Apesar de termos entendido aproximadamente que tipo de construção precisaríamos para filmar, ainda enfrentamos muitas perguntas. Tentamos muitas opções diferentes, fomos ao campo de futebol e fizemos testes bastante divertidos. O principal que precisava ser entendido era como costurar as fotos de todas as câmeras em um único panorama. Tire tudo com seis câmeras montadas em uma montagem “unicórnio” (as câmeras são montadas em uma espécie de monopé saindo da cabeça para a frente ao longo da linha de visão) ou será algo como um capacete com câmeras ao redor da cabeça. Tivemos que encontrar uma solução que nos desse a melhor resolução e a capacidade de "costurar" fragmentos de vídeo



- e como você resolveu o problema?

Fieldhouse: Precisávamos fazer um vídeo da mais alta qualidade possível - não queríamos apenas pegar a bolsa GoPro e tirar tudo dela. Passamos muitos, muitos meses planejando e testando a melhor combinação de câmeras e suportes. Paramos em um híbrido de filmagem 2D em uma câmera Alexa e colamos juntos a partir de fotos tiradas por uma série de câmeras GoPro e Codex. Usamos uma câmera suspensa em cabos sobre um campo. Também usamos várias câmeras vermelhas localizadas nas bordas da cena.

Kroshaw: No final, usamos 15 câmeras: Alexa, Codex, três Red Epic e nove GoPro.
Fieldhouse: usamos uma série de câmeras de 360 ​​graus montadas em cabos; havia também uma série de câmeras de 360 ​​graus montadas na cabeça de Neymar. Foi uma filmagem muito difícil - apenas três dias de filmagem, mais dois dias para se preparar.

- Você fez uma colagem rápida de quadros no local para ver se está se movendo na direção certa?

Kroshaw: Sim, claro. IM360 é simplesmente ótimo! Vimos o tiro de corrida de Neymar em seu capacete. Houve um grande número de tomadas. E os caras do IM360, embora não instantaneamente, mas em alguns minutos juntaram tudo em um único panorama, depois colocamos óculos de realidade virtual e imediatamente nos encontramos no lugar de nosso herói, marcando um gol. Bem no local, recebemos feedback de Adam e dos caras da agência e, em seguida, filmamos a próxima cena. Outra tarefa difícil foi a repetição de todos os movimentos de Neymar com nossa estrutura suspensa.

Fieldhouse: Esse foi um sério desafio técnico para nossa equipe. Ou seja, a princípio filmamos um panorama do capacete de Neymar, depois em câmeras 2D comuns, e depois tivemos que colar tudo rapidamente e ver se tudo estava indo conforme o planejado ... Uau, tarefa!

A plataforma IM360 inclui o VR Toolkit - esta é uma visualização instantânea, ou seja, é possível ver o que está acontecendo diretamente durante as filmagens. Realmente queríamos usar essa ferramenta, mas, infelizmente, Neymar não podia atravessar o campo com uma trança de fios atrás dele, então as circunstâncias não nos permitiram fazer tudo em tempo real. Mas, ainda em poucos minutos, conseguimos facilmente uma foto panorâmica aproximada.



Kroshaw: Nos meus 17 anos na indústria de efeitos visuais, esse foi o projeto com mais acompanhamento e composição. As ferramentas de rastreamento acabaram sendo verdadeiramente inestimáveis. Quando terminamos, tínhamos inúmeras cópias de câmeras montadas em cabos, porque filmar nelas parecia ter sido filmado por um amador - gerenciar toda a estrutura era extremamente difícil; portanto, para obter uma boa foto, tivemos que fazer a mesma coisa repetidamente .

Assim que a pós-produção começou, nossa primeira tarefa foi fazer uma montagem aproximada de todo o vídeo, então a primeira coisa que precisamos fazer foi rastrear a câmera principal (calcular o caminho da câmera no espaço tridimensional por pontos contrastantes no vídeo) - era bastante simples. O principal truque era colar as filmagens da câmera principal com as filmagens do capacete - afinal, no vídeo final, precisávamos do corpo de Neymar, e só podíamos tirá-lo de filmagens com câmeras GoPro. Também não podíamos usar o material dessas câmeras para todo o ambiente, pois a qualidade da gravação era insuficiente, além de a imagem ter pulado e tremido demais. Vou dizer mais: ao visualizar este material, acabei realmente ficando doente. Bem, se você olhar apenas para os pés, em geral, é percebido normalmente,mas se você começar a virar a cabeça, é uma doença enjoada.

Usando a imagem da câmera nos cabos, conseguimos uma imagem tão suave. O que você pode ver agora é um híbrido, e cada um desses players foi "cortado" da imagem em um elemento separado, do qual coletamos tudo isso. Era um número enorme de quadros, porque cada jogador tinha 90 segundos de tempo de antena de 60 quadros cada.

E assim, quando combinamos todas as partes em um único todo, chegou o momento de adicionar efeitos gráficos. Paralelamente ao trabalho de colar o vídeo, estava em andamento o trabalho para criar um estádio. Os fãs foram baleados separadamente. Temos 50 modelos diferentes, que, por analogia com o trabalho nos filmes “Living Steel e“ Rock for Ages ””, tiveram que ser sobrepostos em planos separados e, usando o software Nuke, multiplicados em 2,5D pelo estádio. Esse era o plano original, mas filmamos um panorama, e todas as distorções inerentes a ele milagrosamente transformaram nosso plano 2.5D em pó. Então tivemos que usar o Houdini e fazer o mesmo em 3D.

O vídeo contém uma enorme quantidade de detalhes, começando pelo próprio jogador de futebol e mais: jogadores, treinador, árbitros, multidões - tudo isso é um tiro real sem gráficos. Todo o ambiente, o dirigível, todos os efeitos e grama são gráficos de computador. A bola em si - agora real, depois computador - em alguns lugares estava muito embaçada e tivemos que substituí-la por um modelo de computador. O mesmo aconteceu com o corpo de Neymar - em alguns quadros, fotografar com a GoPro não parecia muito bom, então às vezes os gráficos de computador também passam por lá.



- Como você se assegurou de que o espectador não olhou na direção errada? Deseja limitar a variedade de movimentos possíveis e suavizá-los?

Kroshaw: Sim, pensamos sobre isso, porque é improvável que um jogador de futebol possa avançar com a cabeça virada 180 graus para trás. Mas, apesar disso, no vídeo você pode virar a cabeça 360 graus - de qualquer maneira, enquanto corre para a frente, e o próprio espectador quer olhar para a frente, portanto a restrição provavelmente não é necessária.

Fieldhouse: movimentos suaves da câmera fizeram parte de nossos testes. Várias vezes tentamos fazer o vídeo exatamente da maneira que o espectador o via, se a câmera fosse simplesmente montada no player, mas parecia que você não estava jogando futebol, mas apenas pulando na cabeça de alguém. Portanto, usamos uma câmera capaz de nos proporcionar uma trajetória suave e, em seguida, simplesmente combinamos o disparo e obtivemos um movimento suave. Foi bem engraçado, porque pensávamos constantemente que valia a pena livrar-nos dos idiotas o máximo possível, mas, quase no final do processo, um cliente veio até nós e pediu para adicionar mais agitações. Então, em resumo, criamos uma imagem extremamente suave e adicionamos empurrões artificiais a um jogador que atravessa o campo.



Quando você assiste a um filme com os olhos de Neymar, tenta automaticamente se concentrar na bola. Mas como fizemos uma filmagem panorâmica, queríamos ter certeza de que, se alguém não olhar para a bola, algo interessante acontecerá de todos os lados.

Kroshaw: Na versão original, as pessoas nas arquibancadas eram bastante sombrias e, na versão de 360 ​​graus, eram completamente incuráveis. Portanto, tudo terminou com o fato de termos adicionado holofotes luminosos, para que o espectador tivesse algo para olhar.

Kroshaw: Os movimentos rápidos e agudos dos braços e pernas de Neymar são na maioria tiros reais.

Fieldhouse: Na verdade, essa foi uma das principais razões de nossa preocupação, pois entendemos que no mundo real não podemos conectar seis câmeras Alexa ao capacete de um jogador de futebol, então, conscientemente, chegamos a esse limite de qualidade. As características técnicas da GoPro estavam longe do ideal, ou seja, entendemos que o borrão de movimento, a velocidade do obturador e tudo o mais é algo com o qual teremos que trabalhar seriamente. Apesar do fato de a maior parte do material ser apenas de filmagem real, criamos um duplo gráfico de Neymar, que usamos literalmente em alguns momentos, para melhorar a qualidade do material final. Na maioria das vezes, isso é verdade para as botas - no final, afinal, eram os clientes que queriam vê-las quando vinham até nós para pedir um vídeo .

Source: https://habr.com/ru/post/pt392209/