Video: Neuronales Netzwerk „übermalt“ das Kino unter Van Gogh (Munch, Picasso, Kandinsky, Höhlenkunst)

Google hat bereits gezeigt, wie das neuronale Netzwerk Bilder im Stil von Van Gogh und Picasso erstellt. Diese Methode ist jedoch nicht für Videos geeignet: Das Ergebnis einer Einzelbildänderung im Film ist schwer zu verkleben. Deutsche Wissenschaftler haben dieses Problem bewältigt - ihr neuronales Netzwerk erkennt Objekte im Rahmen, merkt sich diese und zeichnet mit demselben Stil, wenn sie wieder erscheinen.


Recycling von Bildern aus dem Film "Ice Age" im Stil von "Starry Night" von Van Gogh

Neuronale Netze trainieren mit einer großen Anzahl von Bildern. Jedes dieser Netzwerke besteht aus einer Reihe von Schichten - von zwei bis 30 - mit unterschiedlichen Abstraktionsebenen. Ein Foto oder eine Zeichnung, um das Endergebnis zu erhalten, durchläuft alle diese Ebenen. Im Juli 2015 demonstrierte Google , wie ein neuronales Netzwerk Kunstwerke aus zufälligem Rauschen erzeugt.



Im selben Jahr wurde an der Universität Tübingen ein Experiment durchgeführt, das die Fähigkeit des neuronalen Netzes demonstrierte, den künstlerischen Stil der großen Meister - Van Gogh, Picasso, Munch und andere - vorzutäuschen. Als Quellcode werden alle Bilder und Fotos verwendet. Die Ergebnisse sind im Bild unten dargestellt. Die Autoren des Experiments betrachteten die Hauptleistung als die Fähigkeit, Inhalt und Stil im neuronalen Netzwerk unabhängig zu verwalten.



Eine Studie von Wissenschaftlern der Universität Tübingen wird von Alexei Dosovitsky, Manuel Ruder und Thomas Brox von der Universität Freiburg zitiert. Wissenschaftler haben die Fähigkeiten des neuronalen Netzwerks verbessert , um nicht einzelne Bilder, sondern die Videosequenz zu ändern. Bei Einzelbildänderungen können die Objekte in jedem Bild unterschiedlich verarbeitet werden, und das Ergebnis ist schwer zu kombinieren. Wissenschaftler haben sich mit diesem Problem befasst, indem sie dem neuronalen Netzwerk beigebracht haben, Objekte zu erkennen, sicherzustellen, dass sich ihre Anzeige im Video nicht zu stark ändert, und jedes Mal, wenn sie erscheinen, denselben Stil zu verwenden.

Source: https://habr.com/ru/post/de394195/