Eines der Teams - die Macher der Weltklasse-Zaubershow "Clip Media Group" - wurde beauftragt, große Avatare zu erstellen, die die Bewegungen der Schauspieler auf der Bühne wiederholen sollten. Dazu mussten die Bewegungen der Schauspieler (oder anders als bei der englischen Motion-Capture-Funktion) aufgenommen und an den Animator übergeben werden, der 3D-Figuren zeichnet und sie die Bewegungen der Schauspieler wiederholen lässt. In dieser seit langem bekannten und scheinbar verständlichen Aufgabe gab es eine ABER, und dies waren die Bedingungen, unter denen die Erfassung von Bewegungen durchgeführt werden sollte ... Stellen Sie sich vor: Nacht. Drehpavillon.
Vorprobe. Tonnenweise Licht und Arbeitsgeräte + Trafobühne + parallele (simultane!) Proben von Tanz-, Musik-, Illusionsgruppen.
Und bei all dem Strom von Ausrüstung und Menschen war es notwendig, die Bewegungen der Hauptfiguren der Show zu erfassen, die sich nicht nur im Flugzeug bewegten, sondern auch über die Bühne schwebten!
Um eine solche nicht triviale Mocap-Aufgabe zu lösen, war die Verwendung eines Standard-optischen Bewegungserfassungssystems aufgrund der Aufnahmebedingungen nicht möglich: Beleuchtungsausrüstung, Rauch, Transformatorszene, Zeitlimits für den Einsatz des Systems im Aufnahmepavillon. Der Einsatz von Inertial-Capture-Systemen wurde ebenfalls in Frage gestellt: komplexe Bühnenkostüme von Helden, eine Vielzahl von Arbeitsgeräten und Metallstrukturen, Null-Drift (was noch deutlicher wird, wenn mehr als ein Schauspieler erfasst wird).
Wenn Standardlösungen nicht passen, müssen Sie nach nicht-standardmäßigen und natürlich innovativen Lösungen suchen - denn die Show nutzt fortschrittliche Technologien, um den Betrachter in die magische Atmosphäre der „DOZOR“ -Show einzutauchen [1]!
Und jetzt wurde die Herausforderung von unserem SCM-Tracking-Team angenommen!
Ein bisschen über uns
"Erinnerst du dich, wie alles begann ..."
Die Studenten Nadezhda Kukovyakina und Dmitry Tsaregorodtsev von der Abteilung für Funktechnische Systeme NRU "MPEI" unter der Aufsicht eines Betreuers Ph.D. Roman Sergeyevich Kulikov entschied sich für ein innovatives Projekt SCM Tracking. Dieses Profil kombiniert erfolgreich unsere Profilbildung, den weltweit wachsenden Trend von Virtual-Reality-Technologien und eine erfolgreiche Marktnische. Ersatzanweisungen: Sporttelematik, Arbeitssicherheit des Personals, medizinische Rehabilitation.
Das Projekt basierte auf studentischer Forschung. Wir hatten das Glück, an unserem ersten Beschleunigungsprogramm „Kaspersky Start“ teilzunehmen, bei dem wir lernten, Kunden zu suchen, Interviews mit ihnen zu führen, Produkthypothesen zu testen, einen Geschäftsplan und ein Finanzmodell zu erstellen. Darüber hinaus haben wir während der Beschleunigung den frühen Prototyp fertiggestellt und potenziellen Kunden (nicht nur Russen) bestätigt, dass der Markt unser System benötigt. Die Idee, ein Bewegungserfassungssystem zu schaffen, hat uns noch mehr ermutigt. Wir arbeiteten weiter an dem Projekt: Wir erhielten ein Stipendium aus dem UMNIK-Programm (Innovation Support Fund) und konnten im Rahmen des Beschleunigungsprogramms mit der französischen Wurzel NUMA Moscow (jetzt Winno Moscow) Investitionen tätigen, die es uns ermöglichten, Unterstützung aus dem Moscow Seed Fund zu erhalten. Mit den erhaltenen Geldern kauften wir die beste Basis für die Grundausstattung und entwickelten ein Produkt mit minimaler Lebensfähigkeit, führten bezahlte Pilotprojekte durch und besuchten eine Reihe von Branchenveranstaltungen in Russland und im Ausland. Neben Investitionen und Zuschüssen erhielten wir finanzielle Unterstützung durch die Teilnahme an Projektwettbewerben wie dem Innovative Radio Electronics (Zentrales Forschungsinstitut für Elektronik) und dem First Sino-Russian Industrial Innovation Award.
Jetzt sind 5 Personen im SCM-Tracking-Team. Erfolge: Minimal rentables Produkt, Pilotversuche mit einem Animationsstudio, erster Verkauf im Rahmen der Show „DOZOR. True Magic Show “, die erste Investition, wurde im Oktober dieses Jahres von den Bewohnern von Skolkovo durchgeführt.
Ein bisschen über unser System
Warum sind wir alle gleich? Es dreht sich alles um unser Motion-Capture-System.
Unser hybrides Bewegungserfassungssystem besteht aus Hardware - Funk-Trägheitsmodulen und softwareintegrierten Filteralgorithmen auf der Basis von Bewegungsmodellen (Tiefenmathematik).
Aufgrund der Tatsache, dass unser System auf nicht-traditionellen Mocap-Funksensoren basiert und auch mit Trägheitsmodulen ausgestattet ist, konnten wir die extremen Bedingungen bewältigen, unter denen Bewegungen erfasst werden mussten. Mit Hilfe des Radios erhalten wir die Koordinaten / Flugbahn und die Trägheit ist für die Drehwinkel (Rotation) verantwortlich. Mit der Software können Sie die Genauigkeit der "Roh" -Daten des Systems erhöhen und damit Bewegungen erfassen.
Wie haben wir das gemacht?
Zuerst führten wir Tests auf unserem Trainingsgelände durch: Wir simulierten die Bewegungen von Boxern und importierten Bewegungsdaten aus dem System in die Animationsumgebung (dies war Maya Autodesk). Mit diesem Test konnten wir unseren Kunden - der Clips Media Group (und natürlich uns) - bestätigen, dass wir bereit waren, die Mock-up-Show-Herausforderung anzunehmen. Nachdem wir uns auf die Details der Arbeit geeinigt und uns die Hände geschüttelt hatten, begann der Spaß.
Wir waren in einem Märchen, nämlich im Pavillon, wo die Proben der Show stattfanden!
Warmer Maiabend ... Wir bauten uns das System zusammen, luden die Batterien auf und fuhren zum Drehpavillon. Wir wurden vom Team der Clips Media Group empfangen, zu deren Aufgaben auch das Mocap gehörte. Wir wurden zum Pavillon gebracht, auf den neuesten Stand gebracht, wo und wann das System zu positionieren ist, und den Schauspielern vorgestellt. Das klingt vielleicht nicht so fabelhaft wie für uns. Aber während des Abends und der kleinen Nacht, in der wir bei der Backstage-Show waren, ließen unsere Gesichter kein Lächeln zurück, wir beobachteten gespannt den Prozess, teilten unsere Eindrücke und konnten nicht glauben, dass wir "auf der anderen Seite des Bildschirms" waren.
Also zurück zu unserer Gefangennahme. Wir erhielten die Punkte, an denen es möglich war, die Gestelle mit Ankern zu platzieren - festen Modulen, die sich um den Umfang des Arbeitsbereichs befinden und in Bezug auf welche Marker - Module, die am Akteur befestigt sind - ihre Position bestimmen.
Da die Schauspieler über die Bühne fliegen sollten, bauten wir 2-Meter-Stative so auf, dass die Höhe der Anker etwa 4 Meter betrug. An den Ecken des Rechtecks, in dem die Aufnahme gemacht wurde, wurden Gestelle in der Menge von 4 Stücken platziert. Wir haben die Funktion des Systems getestet - die Mädchen haben die Module in die Hand genommen und sind durch den "Arbeitsbereich" und darüber hinaus gegangen.
Tatsache ist, dass im Gegensatz zu Kameras der "Betrachtungswinkel" unserer Module (Strahlungsmuster der Funkantenne) fast 360 Grad beträgt, was bedeutet, dass die Verfolgung der Marker auch außerhalb des Arbeitsbereichs fortgesetzt wird.
Als alles vorbereitet war (unter Berücksichtigung unserer offenen Münder und verzauberten Blicke bei parallelen Proben - es dauerte ungefähr 40 Minuten), erhielten wir die Erlaubnis, unsere Marker auf den Schauspielern zu platzieren. Sofort übten die Schauspieler Bewegungen in Bühnenkostümen. Es scheint, dass Anzüge einige Schwierigkeiten bei der Lokalisierung von Markern machen sollten, aber für uns erwiesen sie sich als sehr erfolgreich! Wir haben die Module sauber mit Klebeband befestigt (Klebeband ist alles!), Und die Batterien passen perfekt in die „Taschen“, die sich im Kostümdesign gebildet haben. Außerdem spielten die Schauspieler die Kampfszene und unser System fing ihre Bewegungen auf.
Nachdem alle erforderlichen Aufnahmen gemacht waren, stellten wir unser System zusammen, bedankten uns bei den Schauspielern und dem Team, das am Mockup teilgenommen hatte, und sahen uns die hartnäckigsten Teilnehmer der Show an, die nachts im Pavillon blieben und weiter arbeiteten. Die glücklichen gingen nach Hause.
Das einzige, was noch übrig blieb, war, die empfangenen Daten mit unserer Software zu verarbeiten, sie in die Animationsumgebung hochzuladen und sie an den Animator zu senden. Der Animator nimmt die empfangenen Daten über die Bewegung auf und lässt die 3D-Figuren auf magische Weise sich bewegen, genau wie die Schauspieler.
Was sieht der Betrachter?
Schwebte über der Bühne eines hellen und dunklen Magiers und riesiger Doppel-Avatare, ungefähr 8 Meter hoch, die ihre Bewegungen wiederholten. Vergessen Sie nicht, den Kampf der hellen und dunklen Armeen auf der Bühne selbst, Musik und andere Spezialeffekte (über die Sie einen eigenen Artikel schreiben können, oder sogar mehr als einen) hinzuzufügen.
Zusammenfassend war es eine ausgezeichnete Erfahrung, die uns geholfen hat, unser System unter realen Bedingungen zu testen, und die Show löste die nicht triviale Aufgabe, Bewegungen zu erfassen.
Die Teilnahme an dieser Show war für unser Team einer der eindrücklichsten Eindrücke des ausgehenden Jahres 2019!
Referenzen:
- https://dozorshow.ru/about.html
- https://www.skm-tracking.com/