Video: la red neuronal "repinta" el cine bajo Van Gogh (Munch, Picasso, Kandinsky, arte rupestre)

Google ya ha demostrado cómo la red neuronal crea imágenes al estilo de Van Gogh y Picasso, pero este método no es adecuado para el video: el resultado de un cambio cuadro por cuadro en la película será difícil de pegar. Los científicos alemanes hicieron frente a este problema: su red neuronal reconoce objetos en el marco, los recuerda y usa el mismo estilo para dibujar cuando vuelven a aparecer.


Reciclaje de cuadros de la película "Ice Age" al estilo de "Starry Night" de Van Gogh

Las redes neuronales se entrenan utilizando una gran cantidad de imágenes. Cada una de estas redes consta de una serie de capas, de dos a 30, con un nivel diferente de abstracción. Una fotografía o dibujo para obtener el resultado final pasa por todas estas capas. En julio de 2015, Google demostró cómo una red neuronal crea obras de arte a partir del ruido aleatorio.



En el mismo año, se realizó un experimento en la Universidad de Tübingen, Alemania, que demostró la capacidad de la red neuronal para fingir el estilo artístico de los grandes maestros: Van Gogh, Picasso, Munch y otros. Como código fuente se utilizan imágenes y fotos. Los resultados están en la imagen a continuación. Los autores del experimento consideraron que el principal logro es la capacidad de administrar de forma independiente el contenido y el estilo en la red neuronal.



Alexei Dosovitsky, Manuel Ruder y Thomas Brox de la Universidad de Friburgo, Alemania, citan un estudio realizado por científicos de la Universidad de Tübingen. Los científicos han mejorado las capacidades de la red neuronal para cambiar no imágenes individuales, sino la secuencia de video. En el caso de los cambios cuadro por cuadro, los objetos en cada cuadro pueden procesarse de manera diferente, y el resultado será difícil de combinar. Los científicos hicieron frente a este problema enseñando a la red neuronal a reconocer objetos, asegurarse de que su visualización no cambie demasiado en el video y usar el mismo estilo cada vez que aparecen.

Source: https://habr.com/ru/post/es394195/