L'une des équipes - les créateurs du spectacle de magie de classe mondiale - Clip Media Group, a été chargée de créer de grands avatars qui répéteraient les mouvements des acteurs sur scène. Pour ce faire, il fallait filmer les mouvements des acteurs (ou verrouiller différemment - à partir de l'anglais - la capture de mouvement), comme cela se fait dans les films, puis le transmettre à l'animateur, qui dessinera des personnages en 3D et leur fera répéter les mouvements des acteurs. Dans cette tâche connue et apparemment compréhensible, il y avait un MAIS, et ce sont les conditions dans lesquelles la capture des mouvements devait être effectuée ... Imaginez: la nuit. Pavillon de tournage.
Répétition préfinale. Des tonnes de matériel d'éclairage et de travail + scène transformateur + parallèle (simultané!) Répétitions de danse, musique, groupes d'illusion.
Et parmi tout ce flot d'équipements et de personnes, il fallait capturer les mouvements des personnages principaux du spectacle, qui se déplaçaient non seulement dans l'avion, mais aussi planaient sur la scène!
Pour résoudre une tâche de mocap non triviale, l'utilisation d'un système de capture de mouvement optique standard n'a pas été possible en raison des conditions de prise de vue: équipement d'éclairage, fumée, transformateur de scène, délais de déploiement du système dans le pavillon de prise de vue. L'utilisation de systèmes de capture inertielle a également été remise en cause: costumes de scène complexes de héros, un grand nombre d'équipements de travail et de structures métalliques, zéro dérive (ce qui est encore plus perceptible si plus d'un acteur est capturé).
Si les solutions standard ne conviennent pas, vous devez rechercher des solutions non standard et, bien sûr, innovantes - car le spectacle utilise des technologies avancées pour plonger le spectateur dans l'atmosphère magique du spectacle «DOZOR» [1]!
Et maintenant, le défi a été accepté par notre équipe de suivi SCM!
Un peu de nous
"Vous souvenez-vous comment tout a commencé ..."
Les étudiants Nadezhda Kukovyakina et Dmitry Tsaregorodtsev du Département des systèmes d'ingénierie radio NRU "MPEI" sous la supervision d'un superviseur Ph.D. Roman Sergeyevich Kulikov a décidé de créer un projet innovant SCM Tracking. Ce profil combine avec succès notre éducation au profil, la tendance mondiale croissante des technologies de réalité virtuelle et une niche de marché réussie. Indications de rechange: télématique sportive, sécurité industrielle du personnel, rééducation médicale.
Le projet était basé sur la recherche des étudiants. Nous avons eu la chance de participer à notre premier programme d'accélération «Kaspersky Start», où nous avons appris à rechercher des clients, à mener des entretiens avec eux, à tester des hypothèses de produits, à créer un plan d'affaires et un modèle financier. De plus, pendant l'accélération, nous avons terminé le premier prototype et confirmé auprès de clients potentiels (pas seulement russes) que le marché avait besoin de notre système. Encore plus encouragés par l'idée de créer un système de capture de mouvement, nous avons continué à travailler sur le projet: nous avons reçu une subvention du programme UMNIK (Innovation Support Fund), nous avons attiré des investissements dans le cadre du programme d'accélération avec des racines françaises NUMA Moscou (aujourd'hui Winno Moscou), ce qui nous a permis d'obtenir le soutien du Moscow Seed Fund. Avec les fonds reçus, nous avons acheté la meilleure base élémentaire et développé un produit peu viable, mené des projets pilotes rémunérés et assisté à un certain nombre d'événements de l'industrie en Russie et à l'étranger. En plus des investissements et des subventions, nous avons reçu un soutien financier en participant à des concours de projets, tels que Innovative Radio Electronics (Central Research Institute of Electronics) et le premier prix d'innovation industrielle sino-russe.
Maintenant, il y a 5 personnes dans l'équipe de suivi SCM. Réalisations: produit peu viable, test pilote avec un studio d'animation, première vente dans le cadre du salon «DOZOR. True Magic Show », le premier investissement, en octobre de cette année est devenu les résidents de Skolkovo.
Un peu sur notre système
Alors pourquoi sommes-nous tous pareils? Il s'agit de notre système de capture de mouvement.
Notre système de capture de mouvement hybride se compose de matériel - modules radio-inertiels et d'algorithmes de filtrage intégrés par logiciel basés sur des modèles de mouvement (mathématiques profondes).
Étant donné que notre système est basé sur des capteurs radio mocap non traditionnels et même avec l'ajout de modules inertiels, nous avons pu faire face aux conditions extrêmes dans lesquelles il était nécessaire de capturer les mouvements. En utilisant la radio, nous obtenons les coordonnées / trajectoire, et l'inertie est responsable des angles de rotation (rotation). Le logiciel vous permet d'augmenter la précision des données "brutes" du système, ce qui vous permet de les utiliser pour capturer des mouvements.
Comment l'avons-nous fait
Pour commencer, nous avons effectué des tests sur notre terrain d'entraînement: simulé les mouvements des boxeurs et importé les données de mouvement du système dans l'environnement d'animation (c'était Maya Autodesk). Ce test nous a permis de nous assurer auprès de nos clients - Clips Media Group (et pour nous, bien sûr) que nous étions prêts à accepter le défi de la maquette. Après que nous nous soyons mis d'accord sur les détails du travail et «nous serions la main», le plaisir a commencé.
Nous étions dans un conte de fées, notamment dans le pavillon, où les répétitions du spectacle ont eu lieu!
Chaude soirée de mai ... Nous nous sommes assemblés, le système, avons chargé les batteries et sommes allés au pavillon de tournage. Nous avons été accueillis par l'équipe de Clips Media Group, dont l'une des tâches était la très mocap. Nous avons été amenés au pavillon, mis à jour, informés où et quand positionner le système, présentés aux acteurs. Cela peut ne pas sembler aussi fabuleux que pour nous. Mais tout au long de la soirée et de la petite nuit que nous avons passée dans les coulisses, nos visages n'ont pas laissé de sourire, nous avons regardé avec impatience le processus, partagé nos impressions et ne pouvions pas croire que nous étions "de l'autre côté de l'écran".
Revenons donc à notre capture. Nous avons été désignés les points où il était possible de placer les racks avec des ancres - modules fixes, qui sont situés autour du périmètre de la zone de travail et par rapport auxquels les marqueurs - modules qui sont attachés à l'acteur - déterminent leur position.
Comme les acteurs étaient censés survoler la scène, nous avons «construit» des trépieds de 2 mètres de manière à ce que la hauteur des ancres soit d'environ 4 mètres. Des racks de 4 pièces ont été placés aux coins du rectangle à l'intérieur duquel la capture a été effectuée. Nous avons testé le fonctionnement du système - les filles ont pris les modules dans leurs mains et se sont promenées dans la «zone de travail» et au-delà.
Le fait est que, contrairement aux caméras, «l'angle de vision» de nos modules (diagramme de rayonnement de l'antenne radio) est de près de 360 degrés, ce qui signifie que le suivi des marqueurs se poursuit même en dehors de la zone de travail.
Lorsque tout a été mis en place (en tenant compte de nos bouches ouvertes et de nos regards enchantés sur les répétitions parallèles - cela a pris environ 40 minutes), nous avons obtenu la permission de placer nos marqueurs sur les acteurs. Les acteurs pratiquaient immédiatement les mouvements en costumes de scène. Il semblerait que les combinaisons devraient poser quelques difficultés pour la localisation des marqueurs, mais pour nous elles se sont avérées très réussies! Nous avons soigneusement fixé les modules avec du ruban adhésif (le ruban adhésif est notre tout!), Et les piles s'intègrent parfaitement dans les "poches" qui se sont formées dans la conception du costume. De plus, les acteurs ont joué la scène de la bataille et notre système a capté leurs mouvements.
Après avoir réalisé tous les plans nécessaires, nous avons mis en place notre système, remercié les acteurs et l'équipe qui ont participé à la maquette, regardé un peu plus les participants les plus persistants de l'émission qui sont restés dans le pavillon la nuit et ont continué à travailler, et les heureux sont rentrés chez eux.
Il ne restait plus qu'à traiter les données reçues à l'aide de notre logiciel, à les télécharger dans l'environnement d'animation et à les envoyer à l'animateur. L'animateur prend les données reçues sur le mouvement et fait magiquement bouger les personnages en 3D, tout comme les acteurs.
Que voit le spectateur?
Survolant la scène d'un magicien clair et sombre et d'énormes doubles avatars, d'environ 8 mètres de haut, qui répétaient leurs mouvements. N'oubliez pas d'ajouter la bataille des armées claires et sombres sur la scène elle-même, de la musique et d'autres effets spéciaux (sur lesquels vous pouvez écrire un article séparé, ou même plus d'un).
Pour résumer, ce fut une excellente expérience qui nous a aidés à tester notre système dans des conditions réelles, et le spectacle a résolu la tâche non triviale de capturer les mouvements.
La participation à ce salon a été l'une des impressions les plus vives du 2019 sortant pour notre équipe!
Références:
- https://dozorshow.ru/about.html
- https://www.skm-tracking.com/