Algún día en el futuro podremos ponernos gafas y caminar por la ciudad, que se representa en tiempo real en el estilo que nos gusta. Luz del sol o neblina, puesta del sol de la tarde, lo que sea. No importa cuán aburrida sea la arquitectura, con gafas será hermosa. El increíble programa
Deep Photo Style Transfer , que se publica en el dominio público, y el
trabajo científico subyacente (arXiv: 1703.07511) abren estas posibilidades de renderizar con la transferencia de estilos.
La transferencia de estilo de una imagen a otra es un viejo problema que los desarrolladores han intentado resolver con bastante éxito en el pasado. Al elegir el modelo adecuado para transferir el estilo, puede transformar bellamente su foto, como si se hubiera tomado en otro momento del día, bajo diferentes luces, en diferentes climas o de una manera especial, procesada artísticamente. Hasta ahora, las técnicas para transferir estilos usando redes neuronales han sido relativamente limitadas: o solo podían funcionar con ciertas escenas, o la plausibilidad de la transferencia de estilos sufría. Los autores del nuevo programa
Deep Photo Style Transfer intentaron resolver todos estos problemas.
La red neuronal Deep Photo Style Transfer está construida de acuerdo con la técnica de transferencia de estilo neuronal descrita por
Gatis , pero se ha rediseñado y mejorado significativamente. La mejora principal es el fotorrealismo. Gatis incluso si la imagen original y la muestra son fotografías, la imagen final todavía se parece a una imagen donde las líneas claras y los bordes se vuelven borrosos y las texturas se superponen a los objetos vecinos. Se ve hermoso, pero no muy real.
Solo espacio de color
El resultado de Deep Photo Style Transfer es estrictamente fotorrealista. Se eliminaron los "efectos de pintura" debido a la prohibición de la distorsión espacial. Aquí, la transferencia de estilos está limitada solo por el espacio de color. En otras palabras, las formas de los objetos siguen siendo exactamente las mismas que en el original. Es por esta razón que en el futuro los "puntos" que se mencionaron al principio del artículo serán posibles. Todos los objetos en la realidad circundante conservarán su forma, solo se verán en un estilo diferente.
Los autores lograron esta tarea utilizando una capa específica de la red neuronal en el espíritu de
la matriz de Kirchhoff (matriz de Laplacia), que representa el gráfico en forma de matriz. Como se muestra mediante la verificación en fotografías con varias escenas, este enfoque suprime con éxito la distorsión, mientras que al mismo tiempo ejerce una influencia mínima en la fiabilidad de las fotografías.
El principio más claramente descrito se manifiesta en dos ejemplos especialmente seleccionados.
Como puede ver, los límites de los objetos se conservan claramente. La conversión tiene lugar solo en el espacio de color. En el primer caso, el estilo de fuego se transfiere a la botella de perfume, y en el segundo caso, la textura de las manzanas cambia según el patrón.
Segmentación semántica
El segundo logro de los autores del programa es resolver el problema de transferir el estilo entre objetos inapropiados en la foto original y la muestra de estilo. Esto se hace a través de la segmentación semántica. Por lo tanto, los estilos de casa se transfieren solo entre casas, y el estilo del cielo afecta solo al cielo. En muchos casos, la segmentación semántica funciona de manera muy eficiente, siempre que la muestra de estilo tenga los mismos objetos semánticos que en la imagen original.
Dos de los enfoques anteriores han proporcionado una conversión de fotos extremadamente realista.
El original
Patrón de estilo
Imagen final
Aquí hay algunos ejemplos más.
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
El original
Patrón de estilo
Imagen final
La calidad de este algoritmo solo puede determinarse mediante una encuesta a los usuarios que evalúan el fotorrealismo y la fiabilidad de la transmisión del estilo. Tal encuesta se llevaría a cabo. Mostró que, en términos de fotorrealismo, Deep Photo Style Transfer supera significativamente los desarrollos presentados anteriormente de Neural Style y CNNMRF, pero inferior al
sistema de reproducción de
color de Pete . La fiabilidad de la transferencia de estilo Deep Photo Style Transfer es mucho mejor que otros métodos.
Los autores del trabajo científico tienen la intención de continuar la investigación para superar las limitaciones existentes de la segmentación de imágenes. También consideran prometedor el procesamiento de fotos en tiempo real utilizando una red neuronal pre-entrenada.