Uno de los equipos, los creadores del espectáculo de magia de clase mundial, Clip Media Group, tuvo la tarea de crear grandes avatares que repitieran los movimientos de los actores en el escenario. Para hacer esto, era necesario filmar los movimientos de los actores (o bloquearlos de una manera diferente, desde el inglés, captura de movimiento), como se hace en las películas, y luego pasarlo al animador, que dibujará personajes en 3D y hará que repitan los movimientos de los actores. En esta tarea largamente conocida y aparentemente comprensible hubo un PERO, y estas son las condiciones bajo las cuales se llevaría a cabo la captura de movimientos ... Imagínense: Noche. Pabellón de filmación.
Ensayo prefinal. Toneladas de luz y equipo de trabajo + etapa transformadora + paralelos (¡simultáneos!) Ensayos de danza, música, grupos de ilusión.
Y entre todo este flujo de equipos y personas, fue necesario capturar los movimientos de los personajes principales del espectáculo, que no solo se movían en el avión, ¡sino que también se dispararon por el escenario!
Para resolver una tarea de mocap no tan trivial, el uso de un sistema de captura de movimiento óptico estándar no fue posible debido a las condiciones de disparo: equipo de iluminación, humo, transformador de escenario, límites de tiempo para desplegar el sistema en el pabellón de tiro. También se puso en tela de juicio el uso de sistemas de captura inerciales: trajes complejos de héroes, una gran cantidad de equipos de trabajo y estructuras metálicas, deriva cero (que es aún más notable si se captura a más de 1 actor).
Si las soluciones estándar no se ajustan, entonces debe buscar soluciones no estándar y, por supuesto, innovadoras, ¡porque el programa utiliza tecnologías avanzadas para sumergir al espectador en la atmósfera mágica del programa "DOZOR" [1]!
¡Y ahora, el desafío fue aceptado por nuestro equipo de seguimiento de SCM!
Un poco sobre nosotros
"¿Recuerdas cómo empezó todo ..."
Los estudiantes Nadezhda Kukovyakina y Dmitry Tsaregorodtsev del Departamento de Sistemas de Ingeniería de Radio NRU "MPEI" bajo la supervisión de un supervisor Ph.D. Roman Sergeyevich Kulikov decidió crear un proyecto innovador SCM Tracking. Este perfil combina con éxito nuestra educación de perfil, la creciente tendencia mundial de las tecnologías de realidad virtual y un nicho de mercado exitoso. Direcciones de repuesto: telemática deportiva, seguridad industrial del personal, rehabilitación médica.
El proyecto se basó en la investigación de los estudiantes. Tuvimos la suerte de entrar en nuestro primer programa de aceleración "Kaspersky Start", donde aprendimos a buscar clientes, realizar entrevistas con ellos, probar hipótesis de productos, crear un plan de negocios y un modelo financiero. Además, durante la aceleración, completamos el prototipo inicial y confirmamos con clientes potenciales (no solo rusos) que el mercado necesita nuestro sistema. Aún más alentados por la idea de crear un sistema de captura de movimiento, continuamos trabajando en el proyecto: recibimos una subvención del programa UMNIK (Fondo de Apoyo a la Innovación), atrajimos inversiones bajo el programa de aceleración con raíces francesas NUMA Moscú (ahora Winno Moscú), lo que nos permitió obtener apoyo del Fondo Semilla de Moscú. Con los fondos recibidos, compramos la mejor base elemental y desarrollamos un producto mínimamente viable, realizamos proyectos piloto pagos y asistimos a una serie de eventos de la industria en Rusia y en el extranjero. Además de las inversiones y subvenciones, recibimos apoyo financiero al participar en concursos de proyectos, como el Innovative Radio Electronics (Instituto Central de Investigación de Electrónica) y el Primer Premio a la Innovación Industrial Sino-Rusa.
Ahora hay 5 personas en el equipo de seguimiento de SCM. Logros: producto mínimamente viable, prueba piloto con un estudio de animación, la primera venta en el marco del espectáculo “DOZOR. True Magic Show ”, la primera inversión, en octubre de este año se convirtió en residentes de Skolkovo.
Un poco sobre nuestro sistema
Entonces, ¿por qué somos todos iguales? Se trata de nuestro sistema de captura de movimiento.
Nuestro sistema híbrido de captura de movimiento consta de hardware - módulos de radio inerciales y software - algoritmos de filtrado integrados basados en modelos de movimiento (matemática profunda).
Debido al hecho de que nuestro sistema se basa en sensores de radio mocap no tradicionales e incluso con la adición de módulos inerciales, pudimos hacer frente a las condiciones extremas en las que era necesario capturar movimientos. Usando la radio, obtenemos las coordenadas / trayectoria, y la inercia es responsable de los ángulos de rotación (rotación). El software le permite aumentar la precisión de los datos "en bruto" del sistema, lo que le permite utilizarlo para capturar movimientos.
Como lo hicimos
Para empezar, realizamos pruebas en nuestro campo de entrenamiento: simulamos los movimientos de los boxeadores y los datos de movimiento importados del sistema al entorno de animación (esto fue Maya Autodesk). Esta prueba nos permitió asegurarnos a nuestros clientes, Clips Media Group (y a nosotros, por supuesto) de que estábamos listos para aceptar el desafío del show de maquetas. Después de acordar los detalles del trabajo y "estrechar la mano", comenzó la diversión.
¡Estábamos en un cuento de hadas, concretamente en el pabellón, donde tuvieron lugar los ensayos del espectáculo!
Cálida noche de mayo ... Nos armamos, el sistema, cargamos las baterías y fuimos al pabellón de filmación. Nos recibió el equipo de Clips Media Group, una de cuyas tareas era el mocap. Nos llevaron al pabellón, nos pusieron al día, nos dijeron dónde y cuándo posicionar el sistema, nos presentaron a los actores. Esto puede no sonar tan fabuloso como lo fue para nosotros. Pero durante toda la tarde y la pequeña noche que estuvimos en el show entre bastidores, nuestras caras no dejaron una sonrisa, observamos con entusiasmo el proceso, compartimos nuestras impresiones y no podíamos creer que estábamos "al otro lado de la pantalla".
Entonces, volvamos a nuestra captura. Nos designaron los puntos donde era posible colocar los bastidores con anclajes, módulos fijos que se encuentran alrededor del perímetro del área de trabajo y en relación con los marcadores, módulos que están unidos al actor, que determinan su posición.
Como se suponía que los actores debían volar sobre el escenario, "construimos" trípodes de 2 metros de tal manera que la altura de los anclajes fuera de unos 4 metros. Se colocaron bastidores en la cantidad de 4 piezas en las esquinas del rectángulo dentro del cual se realizó la captura. Probamos el funcionamiento del sistema: las chicas tomaron los módulos en sus manos y caminaron alrededor del "área de trabajo" y más allá.
El hecho es que, a diferencia de las cámaras, el "ángulo de visión" de nuestros módulos (diagrama de radiación de la antena de radio) es de casi 360 grados, lo que significa que el seguimiento de los marcadores continúa incluso fuera del área de trabajo.
Cuando todo estuvo configurado (teniendo en cuenta nuestras bocas abiertas y miradas encantadas de ensayos paralelos, nos llevó unos 40 minutos), obtuvimos permiso para colocar nuestros marcadores en los actores. Los actores practicaron movimientos de inmediato en trajes escénicos. Parece que los trajes deberían dificultar la ubicación de los marcadores, ¡pero para nosotros resultaron ser muy exitosos! Arreglamos los módulos cuidadosamente con cinta adhesiva (¡la cinta adhesiva es nuestro todo!), Y las baterías encajan perfectamente en los "bolsillos" que se formaron en el diseño del vestuario. Además, los actores jugaron la escena de la batalla, y nuestro sistema captó sus movimientos.
Después de realizar todas las tomas necesarias, armamos nuestro sistema, agradecimos a los actores y al equipo que participó en la maqueta, observamos un poco más a los participantes más persistentes del espectáculo que se quedaron en el pabellón por la noche y continuaron trabajando, y los felices se fueron a casa.
Lo único que quedaba era procesar los datos recibidos utilizando nuestro software, subirlos al entorno de animación y enviarlos al animador. El animador toma los datos recibidos sobre el movimiento y mágicamente hace que los personajes en 3D se muevan, al igual que los actores.
¿Qué ve el espectador?
Flotando sobre el escenario de un mago claro y oscuro y enormes avatares dobles, de unos 8 metros de altura, que repitieron sus movimientos. No olvides agregar la batalla de ejércitos claros y oscuros en el escenario, música y otros efectos especiales (sobre los cuales puedes escribir un artículo por separado, o incluso más de uno).
Para resumir, fue una experiencia excelente que nos ayudó a probar nuestro sistema en condiciones reales, y el programa resolvió la tarea no trivial de capturar movimientos.
¡La participación en este espectáculo fue una de las impresiones más vívidas del saliente 2019 para nuestro equipo!
Referencias
- https://dozorshow.ru/about.html
- https://www.skm-tracking.com/