Mitarbeiter der Seoul University haben eine
Studie zur Simulation der Bewegung von Bipedal-Charakteren basierend auf Gelenkarbeit und Muskelkontraktionen unter Verwendung eines neuronalen Netzwerks mit Deep Reinforcement Learning veröffentlicht. Untergeschnittene Übersetzung der Übersicht.
Ich heiße Jehee Lee. Ich bin Professor an der Seoul National University und Computergrafikforscher mit über 25 Jahren Erfahrung. Ich erforsche neue Wege, die Bewegungen von Mensch und Tier zu verstehen, darzustellen und zu simulieren.
Die Simulation der Bewegungen von Zweibeinern auf der Grundlage der Physik ist seit Mitte der 80er Jahre ein bekanntes Problem auf dem Gebiet der Robotik und Computergrafik. In den 90er Jahren basierten die meisten zweibeinigen Steuerungen auf einem vereinfachten dynamischen Modell (z. B. einem invertierten Pendel), das die Verwendung einer Ausgleichsstrategie ermöglichte, die in einer geschlossenen Gleichung abgeleitet werden kann. Seit 2007 gibt es Steuerungen, die die Ganzkörperdynamik nutzen, um in diesem Bereich schnelle Fortschritte zu erzielen. Es ist bemerkenswert, dass die Theorie der optimalen Steuerung und stochastische Optimierungsmethoden wie CMS-ES die Hauptinstrumente zur Aufrechterhaltung des Gleichgewichts von simuliertem Biped waren.
Allmählich bauten die Forscher detailliertere Modelle des menschlichen Körpers. 1990 hatte das invertierte Pendelmodell weniger als fünf Freiheitsgrade. 2007 war das dynamische Modell eine 2D-Figur, die von Motoren an den Gelenken mit Dutzenden von Freiheitsgraden angetrieben wurde. In den Jahren 2009-2010 erschienen vollständige 3D-Modelle mit 100 Freiheitsgraden.
In den Jahren 2012-2014 erschienen Controller für biomechanische Modelle, die von Muskeln angetrieben wurden. Der Controller sendet zu jedem Zeitpunkt ein Signal an jeden einzelnen Muskel, um ihn zu stimulieren. Muskelkontraktion zieht die anhaftenden Knochen und setzt sie in Bewegung. In unserer Arbeit haben wir 326 Muskeln verwendet, um das Modell zu bewegen, einschließlich aller Hauptmuskeln unseres Körpers, mit Ausnahme einiger kleiner.
Schwierigkeiten bei der Steuerung der Bewegung eines Zweibeiners
Die Anzahl der Freiheitsgrade eines dynamischen Systems hat seit 2007 rapide zugenommen. Frühere Ansätze für das Design von Steuerungen litten unter dem „Fluch der Dimensionalität“ - wenn die erforderlichen Rechenressourcen (Zeit und Speicher) mit zunehmender Anzahl von Freiheitsgraden exponentiell zunehmen.
Wir haben Deep Reinforcement Learning verwendet, um die Probleme zu lösen, die mit der Komplexität des Modells des Bewegungsapparates und der Skalierbarkeit der Kontrolle von Bipedal-Kreaturen verbunden sind. Netzwerke können mehrdimensionale Verwaltungsrichtlinien (eine Funktion, die Zustände Aktionen zuordnet) effizient darstellen und speichern und unsichtbare Zustände und Aktionen untersuchen.
Neuer Ansatz
Die Hauptverbesserung ist, wie wir mit der Muskelaktivierung des gesamten Körpers umgehen. Wir haben ein hierarchisches Netzwerk geschaffen, das in den oberen Schichten lernt, die Bewegung von Gelenken mit einer niedrigen Bildrate (30 Hz) zu simulieren, und in den unteren Schichten lernt, Muskeln mit hohen Frequenzen (1500 Hz) zu stimulieren.
Die Dynamik der Muskelkontraktion erfordert eine größere Genauigkeit als bei einer Skelettsimulation. Unsere hierarchische Struktur eliminiert Unterschiede in den Anforderungen.
Was haben wir erreicht?
Es ist schön zu sehen, wie unser Algorithmus bei einer Vielzahl menschlicher Bewegungen funktioniert. Wir wissen immer noch nicht, wie weit es wirklich ist und versuchen, die Grenzen zu verstehen. Bisher haben wir sie aufgrund der begrenzten Rechenressourcen nicht erreicht.
Der neue Ansatz liefert jedes Mal bessere Ergebnisse, wenn wir mehr Ressourcen investieren (hauptsächlich Prozessorkerne). Der gute Punkt ist, dass Deep Reinforcement Learning nur in der Trainingsphase Rechenaufwand erfordert. Sobald die mehrdimensionale Verwaltungsrichtlinie untersucht wurde, sind Simulation und Verwaltung schnell. Die Simulation des Bewegungsapparates wird in Kürze in interaktiven Anwendungen in Echtzeit funktionieren. Zum Beispiel in Spielen.
Wir verwenden das Hill-Muskelmodell, das de facto der Standard in der Biomechanik ist. Unser Algorithmus ist sehr flexibel, sodass jedes dynamische Modell der Muskelkontraktion darin enthalten sein kann. Mithilfe eines hochpräzisen Muskelmodells können Sie menschliche Bewegungen unter verschiedenen Bedingungen erzeugen, einschließlich Pathologie, Prothesen usw.
Der Musculus rectus femoris. 3D-Oberflächennetz (links). Annäherung mit Wegpunkten (Mitte). Die ungefähren LBS-Koordinaten der Wegpunkte beim Beugen des Knies (rechts).Verwenden von Deep Reinforcement Learning (DRL)
Wir teilen die gleiche Grundidee mit Deepminds Bewegungsforschung, die auf einem Stick-and-Motor-Modell basiert. Überraschenderweise funktioniert der Standard-DRL-Algorithmus gut mit dem Stick-and-Motor-Modell, aber nicht sehr gut mit muskelgetriebenen biomechanischen Modellen.
Bei der letzten Ausstellung von NeurlPS 2018 gab es eine
KI- Herausforderung
für die Prothetik . Im Wettbewerbsmodell gibt es nur mehr als 20 Muskeln, aber selbst für den Gewinner sieht das Ergebnis nicht gut aus.
Dieses Beispiel zeigt die Schwierigkeit, muskelgetriebene Modelle zu lernen. Unser hierarchisches Modell schafft einen Durchbruch und ermöglicht es uns, DRL auf ein biomechanisches Modell einer Person mit einer großen Anzahl von Muskeln anzuwenden.
Projekt in
PDF .
Projekt auf
Github .
Erkundetes Thema: Jehee Lee, Seunghwan Lee, Kyoungmin Lee und Moonseok Park.