Video: sinema "repaints" jaringan saraf di bawah Van Gogh (Munch, Picasso, Kandinsky, gua art)

Google telah menunjukkan bagaimana jaringan saraf menciptakan gambar dengan gaya Van Gogh dan Picasso, tetapi metode ini tidak cocok untuk video: hasil dari perubahan frame-by-frame dalam film akan sulit untuk direkatkan. Ilmuwan Jerman menangani masalah ini - jaringan saraf mereka mengenali objek dalam bingkai, mengingatnya dan menggunakan gaya yang sama untuk menggambar ketika mereka muncul lagi.


Daur ulang bingkai dari film "Ice Age" dengan gaya "Starry Night" oleh Van Gogh

Jaringan saraf melatih menggunakan sejumlah besar gambar. Setiap jaringan tersebut terdiri dari serangkaian lapisan - dari dua hingga 30 - dengan tingkat abstraksi yang berbeda. Sebuah foto atau gambar untuk mendapatkan hasil akhir melewati semua lapisan ini. Pada Juli 2015, Google mendemonstrasikan bagaimana jaringan saraf menciptakan karya seni dari noise acak.



Pada tahun yang sama, sebuah eksperimen dilakukan di Universitas Tübingen, Jerman, yang menunjukkan kemampuan jaringan saraf untuk memalsukan gaya artistik dari para master besar - Van Gogh, Picasso, Munch, dan lainnya. Sebagai kode sumber, semua gambar dan foto digunakan. Hasilnya ada pada gambar di bawah ini. Para penulis percobaan menganggap pencapaian utama sebagai kemampuan untuk mengelola konten dan gaya secara mandiri dalam jaringan saraf.



Sebuah studi oleh para ilmuwan dari University of Tübingen dikutip oleh Alexei Dosovitsky, Manuel Ruder dan Thomas Brox dari University of Freiburg, Jerman. Para ilmuwan telah meningkatkan kemampuan jaringan saraf untuk mengubah bukan gambar individu, tetapi urutan video. Dalam kasus perubahan frame-by-frame, objek di setiap frame dapat diproses secara berbeda, dan hasilnya akan sulit untuk digabungkan. Para ilmuwan mengatasi masalah ini dengan mengajarkan jaringan saraf untuk mengenali objek, memastikan bahwa tampilan mereka tidak terlalu banyak berubah dalam video, dan menggunakan gaya yang sama setiap kali mereka muncul.

Source: https://habr.com/ru/post/id394195/