Vídeo: rede neural “repinta” o cinema sob Van Gogh (Munch, Picasso, Kandinsky, arte em cavernas)

O Google já demonstrou como a rede neural cria imagens no estilo de Van Gogh e Picasso, mas esse método não é adequado para vídeos: será difícil colar o resultado de uma alteração quadro a quadro no filme. Cientistas alemães lidaram com esse problema - sua rede neural reconhece objetos no quadro, lembra-se deles e usa o mesmo estilo para desenhar quando eles aparecem novamente.


Reciclagem de molduras do filme "Era do Gelo" no estilo de "Noite Estrelada" de Van Gogh

As redes neurais treinam usando um grande número de imagens. Cada uma dessas redes consiste em uma série de camadas - de duas a 30 - com um nível diferente de abstração. Uma fotografia ou desenho para obter o resultado final passa por todas essas camadas. Em julho de 2015, o Google demonstrou como uma rede neural cria obras de arte a partir de ruídos aleatórios.



No mesmo ano, foi realizado um experimento na Universidade de Tübingen, na Alemanha, que demonstrou a capacidade da rede neural de falsificar o estilo artístico dos grandes mestres - Van Gogh, Picasso, Munch e outros. Como código-fonte, todas as imagens e fotos são usadas. Os resultados estão na imagem abaixo. Os autores do experimento consideraram a principal conquista a capacidade de gerenciar independentemente o conteúdo e o estilo na rede neural.



Um estudo de cientistas da Universidade de Tübingen é citado por Alexei Dosovitsky, Manuel Ruder e Thomas Brox da Universidade de Freiburg, Alemanha. Os cientistas aprimoraram os recursos da rede neural para mudar não imagens individuais, mas a sequência de vídeo. No caso de alterações quadro a quadro, os objetos em cada quadro podem ser processados ​​de maneira diferente e o resultado será difícil de combinar. Os cientistas lidaram com esse problema ensinando a rede neural a reconhecer objetos, verifique se a exibição deles não muda muito no vídeo e usem o mesmo estilo sempre que aparecerem.

Source: https://habr.com/ru/post/pt394195/