Vidéo: le réseau de neurones «repeint» le cinéma sous Van Gogh (Munch, Picasso, Kandinsky, art rupestre)

Google a déjà démontré comment le réseau de neurones crée des images dans le style de Van Gogh et Picasso, mais cette méthode n'est pas adaptée à la vidéo: le résultat d'un changement image par image dans le film sera difficile à coller. Les scientifiques allemands ont fait face à ce problème - leur réseau de neurones reconnaît les objets dans le cadre, s'en souvient et utilise le même style pour dessiner lorsqu'ils réapparaissent.


Recyclage des images du film "Ice Age" dans le style de "Starry Night" de Van Gogh

Les réseaux de neurones s'entraînent à l'aide d'un grand nombre d'images. Chacun de ces réseaux se compose d'une série de couches - de deux à 30 - avec un niveau d'abstraction différent. Une photographie ou un dessin pour obtenir le résultat final traverse toutes ces couches. En juillet 2015, Google a démontré comment un réseau de neurones crée des œuvres d'art à partir de bruit aléatoire.



La même année, une expérience a été menée à l'Université de Tübingen, en Allemagne, qui a démontré la capacité du réseau neuronal à imiter le style artistique des grands maîtres - Van Gogh, Picasso, Munch et d'autres. En tant que code source, toutes les images et photos sont utilisées. Les résultats sont dans l'image ci-dessous. Les auteurs de l'expérience ont considéré que la principale réalisation était la capacité de gérer indépendamment le contenu et le style dans le réseau neuronal.



Une étude réalisée par des scientifiques de l'Université de Tübingen est citée par Alexei Dosovitsky, Manuel Ruder et Thomas Brox de l'Université de Freiburg, en Allemagne. Les scientifiques ont amélioré les capacités du réseau neuronal afin de changer non pas les images individuelles, mais la séquence vidéo. Dans le cas de modifications image par image, les objets de chaque image peuvent être traités différemment et le résultat sera difficile à combiner. Les scientifiques ont résolu ce problème en enseignant au réseau neuronal à reconnaître les objets, à s'assurer que leur affichage ne change pas trop dans la vidéo et à utiliser le même style à chaque fois qu'ils apparaissent.

Source: https://habr.com/ru/post/fr394195/