Uma das equipes - os criadores do show de mágica de classe mundial - o Clip Media Group, foi incumbida de criar grandes avatares que repetissem os movimentos dos atores no palco. Para fazer isso, foi necessário filmar os movimentos dos atores (ou travar de maneira diferente - do inglês - captura de movimento), como é feito nos filmes, e depois passá-lo ao animador, que desenha personagens em 3D e os faz repetir os movimentos dos atores. Nessa tarefa há muito conhecida e aparentemente compreensível, havia uma MAS, e essas são as condições sob as quais a captura de movimentos deveria ser realizada ... Imagine: Noite. Pavilhão de filmagem.
Ensaio pré-final. Toneladas de equipamento de luz e de trabalho + palco do transformador + paralelo (simultâneo!) Ensaios de dança, música, grupos de ilusão.
E entre todo esse fluxo de equipamentos e pessoas, foi necessário capturar os movimentos dos personagens principais do show, que se moviam não apenas no avião, mas também subiam pelo palco!
Para resolver uma tarefa mocap não trivial, o uso de um sistema de captura de movimento óptico padrão não foi possível devido às condições de disparo: equipamento de iluminação, fumaça, transformador de palco, prazos para a implantação do sistema no pavilhão de tiro. O uso de sistemas de captura inercial também foi questionado: trajes complexos de heróis, um grande número de equipamentos de trabalho e estruturas metálicas, desvio zero (que é ainda mais perceptível se mais de um ator for capturado).
Se as soluções padrão não se encaixam, é necessário procurar soluções não padronizadas e, é claro, inovadoras - porque o programa usa tecnologias avançadas para mergulhar o espectador na atmosfera mágica do programa "DOZOR" [1]!
E agora, o desafio foi aceito pela nossa equipe de rastreamento SCM!
Um pouco sobre nós
"Você se lembra como tudo começou ..."
Os alunos Nadezhda Kukovyakina e Dmitry Tsaregorodtsev do Departamento de Sistemas de Engenharia de Rádio NRU "MPEI" sob a supervisão de um supervisor Ph.D. Roman Sergeyevich Kulikov decidiu criar um projeto inovador SCM Tracking. Esse perfil combina com sucesso a educação do nosso perfil, a tendência crescente global de tecnologias de realidade virtual e um nicho de mercado de sucesso. Instruções de reposição: telemática esportiva, segurança industrial de pessoal, reabilitação médica.
O projeto foi baseado na pesquisa dos alunos. Tivemos a sorte de entrar no nosso primeiro programa de aceleração “Kaspersky Start”, onde aprendemos a procurar clientes, conduzir entrevistas com eles, testar hipóteses de produtos, criar um plano de negócios e modelo financeiro. Além disso, durante a aceleração, concluímos o protótipo inicial e confirmamos com os clientes em potencial (não apenas os russos) que o mercado precisa do nosso sistema. Ainda mais encorajados pela idéia de criar um sistema de captura de movimento, continuamos a trabalhar no projeto: recebemos uma concessão do programa UMNIK (Fundo de Apoio à Inovação), atraímos investimentos no âmbito do programa de aceleração com raízes francesas NUMA Moscow (agora Winno Moscow), o que nos permitiu obter apoio do Moscow Seed Fund. Com os recursos recebidos, adquirimos a melhor base elementar e desenvolvemos um produto minimamente viável, conduzimos projetos-piloto pagos e participamos de vários eventos do setor na Rússia e no exterior. Além de investimentos e doações, recebemos apoio financeiro participando de concursos de projetos, como o Innovative Radio Electronics (Instituto Central de Pesquisa em Eletrônica) e o Primeiro Prêmio Sino-Russo de Inovação Industrial.
Agora, existem 5 pessoas na equipe de rastreamento do SCM. Conquistas: produto minimamente viável, teste piloto com um estúdio de animação, a primeira venda no âmbito do show “DOZOR. True Magic Show ”, o primeiro investimento, em outubro deste ano, tornou-se morador de Skolkovo.
Um pouco sobre o nosso sistema
Então, por que somos todos iguais? É tudo sobre o nosso sistema de captura de movimento.
Nosso sistema de captura de movimento híbrido consiste em hardware - módulos de rádio inerciais e algoritmos de filtragem integrados a software baseados em modelos de movimento (matemática profunda).
Devido ao fato de nosso sistema ser baseado em sensores de rádio mocap não tradicionais e mesmo com a adição de módulos inerciais, conseguimos lidar com as condições extremas em que era necessário capturar movimentos. Usando o rádio, obtemos as coordenadas / trajetória, e o inercial é responsável pelos ângulos de rotação (rotação). O software permite aumentar a precisão dos dados "brutos" do sistema, o que permite usá-los para capturar movimentos.
Como fizemos
Para começar, realizamos testes em nosso campo de treinamento: simulamos os movimentos de boxeadores e importamos dados de movimento do sistema para o ambiente de animação (esse era o Maya Autodesk). Esse teste nos permitiu garantir aos nossos clientes - Clips Media Group (e para nós, é claro) que estávamos prontos para aceitar o desafio da demonstração de mock-up. Depois que concordamos com os detalhes do trabalho e "apertamos as mãos", a diversão começou.
Estávamos em um conto de fadas, ou seja, no pavilhão, onde os ensaios do show aconteceram!
Noite quente de maio ... Reunimos o sistema, carregamos as baterias e fomos para o pavilhão de filmagens. Fomos recebidos pela equipe do Clips Media Group, uma das tarefas que foi o próprio mocap. Fomos levados ao pavilhão, atualizados, informados de onde e quando posicionar o sistema, apresentados aos atores. Isso pode não parecer tão fabuloso quanto foi para nós. Mas durante toda a noite e a pequena noite em que estávamos no show nos bastidores, nossos rostos não deixaram um sorriso, assistimos ansiosamente o processo, compartilhamos nossas impressões e não conseguimos acreditar que estávamos "do outro lado da tela".
Então, de volta à nossa captura. Foram designados os pontos em que era possível colocar os racks com âncoras - módulos fixos localizados ao redor do perímetro da área de trabalho e em relação aos quais marcadores - módulos anexados ao ator - determinam sua posição.
Como os atores deveriam sobrevoar o palco, construímos tripés de 2 metros de forma que a altura das âncoras fosse de cerca de 4 metros. Prateleiras no valor de 4 peças foram colocadas nos cantos do retângulo dentro do qual a captura foi realizada. Testamos a operação do sistema - as meninas pegaram os módulos nas mãos e andaram pela "área de trabalho" e além.
O fato é que, diferentemente das câmeras, o "ângulo de visão" de nossos módulos (padrão de radiação da antena de rádio) é de quase 360 graus, o que significa que o rastreamento de marcadores continua mesmo fora da área de trabalho.
Quando tudo foi montado (levando em conta nossas bocas abertas e olhares encantados para os ensaios paralelos - levou cerca de 40 minutos), obtivemos permissão para colocar nossos marcadores nos atores. Os atores praticavam movimentos imediatamente em figurinos. Parece que os fatos devem criar algumas dificuldades para a localização dos marcadores, mas para nós eles acabaram tendo muito sucesso! Fixamos os módulos ordenadamente com fita adesiva (fita adesiva é o nosso tudo!) E as baterias se encaixam perfeitamente nos “bolsos” formados no figurino. Além disso, os atores representaram a cena da batalha, e nosso sistema captou seus movimentos.
Depois de todas as tomadas necessárias, montamos nosso sistema, agradecemos aos atores e à equipe que participou da maquete, analisamos um pouco mais os participantes mais persistentes do programa que ficaram no pavilhão à noite e continuaram a trabalhar, e os felizes foram para casa.
A única coisa que restou foi processar os dados recebidos usando nosso software, carregá-los no ambiente de animação e enviá-los ao animador. O animador pega os dados recebidos sobre o movimento e magicamente faz os personagens 3D se moverem, assim como os atores.
O que o espectador vê?
Pairando sobre o palco de um mágico claro e escuro e enormes avatares duplos, com cerca de 8 metros de altura, que repetiam seus movimentos. Não se esqueça de adicionar a batalha de exércitos claros e escuros no próprio palco, música e outros efeitos especiais (sobre os quais você pode escrever um artigo separado ou até mais de um).
Para resumir, foi uma excelente experiência que nos ajudou a testar nosso sistema em condições reais, e o programa resolveu a tarefa não trivial de capturar movimentos.
A participação neste show foi uma das impressões mais vívidas do 2019 de saída para nossa equipe!
Referências:
- https://dozorshow.ru/about.html
- https://www.skm-tracking.com/