Karyawan di Universitas Seoul telah menerbitkan
studi tentang simulasi pergerakan karakter bipedal berdasarkan kerja bersama dan kontraksi otot, menggunakan jaringan saraf dengan Deep Reinforcement Learning. Di bawah terjemahan terpotong dari ikhtisar.
Nama saya Jehee Lee. Saya seorang profesor di Universitas Nasional Seoul dan seorang peneliti grafis komputer dengan pengalaman lebih dari 25 tahun. Saya mengeksplorasi cara-cara baru untuk memahami, mewakili dan mensimulasikan gerakan manusia dan hewan.
Simulasi pergerakan karakter bipedal berdasarkan fisika telah menjadi masalah yang terkenal di bidang robotika dan grafik komputer sejak pertengahan 80-an. Pada tahun 90-an, sebagian besar pengendali berkaki dua didasarkan pada model dinamis yang disederhanakan (misalnya, pada pendulum terbalik), yang memungkinkan menggunakan strategi keseimbangan, yang dapat diturunkan dalam persamaan bentuk-tertutup. Sejak 2007, pengendali telah muncul yang menggunakan dinamika seluruh tubuh untuk mencapai kemajuan cepat di bidang ini. Patut dicatat bahwa teori kontrol optimal dan metode optimisasi stokastik, seperti CMS-ES, adalah alat utama untuk menjaga keseimbangan biped yang disimulasikan.
Secara bertahap, para peneliti membangun model tubuh manusia yang lebih detail. Pada tahun 1990, model bandul terbalik memiliki kebebasan kurang dari lima derajat. Pada tahun 2007, model dinamis adalah sosok 2D yang digerakkan oleh mesin di sambungan dengan puluhan derajat kebebasan. Pada 2009-2010, model 3D lengkap muncul dengan 100 derajat kebebasan.
Pada 2012-2014, pengendali untuk model biomekanik muncul, didorong oleh otot. Pengontrol mengirimkan sinyal ke setiap otot pada setiap saat untuk merangsang mereka. Kontraksi otot menarik tulang yang menempel dan menggerakkannya. Dalam pekerjaan kami, kami menggunakan 326 otot untuk menggerakkan model, termasuk semua otot utama tubuh kita, kecuali beberapa otot kecil.
Kesulitan dalam mengendalikan pergerakan karakter bipedal
Jumlah derajat kebebasan sistem dinamis telah meningkat pesat sejak 2007. Pendekatan sebelumnya terhadap desain pengendali mengalami “kutukan dimensi” - ketika sumber daya komputasi yang diperlukan (waktu dan memori) meningkat secara eksponensial ketika jumlah derajat kebebasan meningkat.
Kami menggunakan Deep Reinforcement Learning untuk menyelesaikan masalah yang terkait dengan kompleksitas model sistem muskuloskeletal dan skalabilitas kontrol makhluk bipedal. Jaringan dapat secara efisien mewakili dan menyimpan kebijakan manajemen multidimensi (fungsi yang memetakan status untuk tindakan) dan mengeksplorasi status dan tindakan yang tidak terlihat.
Pendekatan baru
Perbaikan utama adalah bagaimana kita menangani aktivasi otot seluruh tubuh. Kami telah menciptakan jaringan hierarkis, yang di lapisan atas belajar mensimulasikan pergerakan sendi pada frame rate yang rendah (30 Hz), dan di lapisan bawah ia belajar untuk merangsang otot pada frekuensi tinggi (1500 Hz).
Dinamika kontraksi otot membutuhkan akurasi yang lebih besar daripada dengan simulasi kerangka. Struktur hierarkis kami menghilangkan perbedaan dalam persyaratan.
Apa yang telah kita raih
Sangat menyenangkan untuk melihat bagaimana algoritma kami bekerja pada berbagai gerakan manusia. Kami masih tidak tahu seberapa luas itu sebenarnya dan mencoba memahami batasan-batasannya. Sejauh ini kami belum mencapai mereka karena keterbatasan sumber daya komputasi.
Pendekatan baru ini memberikan hasil yang lebih baik setiap kali kami menginvestasikan lebih banyak sumber daya (terutama inti prosesor). Poin baiknya adalah bahwa Deep Reinforcement Learning hanya membutuhkan biaya komputasi pada tahap pelatihan. Setelah kebijakan manajemen multidimensi dieksplorasi, simulasi dan manajemen dilakukan dengan cepat. Simulasi sistem muskuloskeletal akan segera berfungsi dalam aplikasi interaktif secara real time. Misalnya, dalam game.
Kami menggunakan model otot Hill, yang merupakan standar de facto dalam biomekanik. Algoritma kami sangat fleksibel, sehingga model dinamis kontraksi otot dapat dimasukkan di dalamnya. Menggunakan model otot presisi tinggi memungkinkan Anda menghasilkan gerakan manusia dalam berbagai kondisi, termasuk patologi, prostesis, dan sebagainya.
Otot rektus femoris. Mesh permukaan 3D (kiri). Perkiraan dengan titik arah (tengah). Perkiraan koordinat LBS titik arah saat menekuk lutut (kanan).Menggunakan Deep Reinforcement Learning (DRL)
Kami berbagi ide fundamental yang sama dengan riset gerakan Deepmind, yang didasarkan pada model stick-and-motor. Anehnya, algoritma DRL standar bekerja dengan baik dengan model stick-and-motor, tetapi tidak bekerja dengan baik dengan model biomekanik yang digerakkan oleh otot.
Pada pameran NeurlPS 2018 terakhir, ada tantangan
AI untuk prosthetics . Dalam model kompetitif hanya ada 20+ otot, tetapi bahkan untuk pemenang, hasilnya tidak terlihat terbaik.
Contoh ini menunjukkan kesulitan belajar model yang digerakkan otot. Model hierarkis kami membuat terobosan dan memungkinkan kami untuk menerapkan DRL ke model biomekanis seseorang dengan sejumlah besar otot.
Proyek dalam
PDF .
Proyek di
Github .
Topik yang dijelajahi: Jehee Lee, Seunghwan Lee, Kyoungmin Lee dan Moonseok Park.