La red neuronal de Google diseña aleatoriamente imágenes en tiempo real

La red neuronal de Google superpone cualquiera de los 32 estilos entrenados en la foto (cinco se muestran aquí). El programa es poco exigente para el hardware y la memoria. El código se publicará en breve

Síntesis de texturas con la transferencia de estilo de una imagen a otra, una técnica bien conocida que tiene 15 años. Fue descrito por primera vez en el artículo " Analogías en imagen " por un grupo de investigadores de Microsoft Research para la conferencia SIGGRAPH 2001, así como en el artículo " Relleno de imagen para síntesis y transferencia de textura " de Mitsubishi Electric Research y la Universidad de California en Berkeley en el mismo año 2001. Ahora es difícil decir cuál apareció antes.

En 2015, la técnica recibió una segunda vida, cuando las redes neuronales se conectaron a la síntesis de imágenes con transferencia de estilo. Ocurrió después de que el trabajo científico " neuroalgorithms estilo artístico " Getisa, Ecker y Bethge de la Universidad Eberhard-Karls de Tübingen, Alemania ( artículo sobre Geektimes ). El trabajo es tan impresionante que el algoritmo descrito se implementó pronto en varios programas informáticos para el mercado de consumo, incluidas aplicaciones móviles como el Russian Prisma (junio de 2016).

El trabajo de Gatis, Ecker y Betge es bueno porque los autores entrenaron a la red neuronal en las obras existentes de artistas famosos: Vincent Van Gogh, Pablo Picasso, Edward Munch y otros. Al mismo tiempo, la red neuronal puede continuar siendo entrenada en otros conjuntos de datos, por lo que esta es una herramienta universal. Es una red neuronal que se ejecuta en el servidor de Prisma y otras compañías que distribuyen aplicaciones móviles para estilizar las fotos de los usuarios.

La red neuronal convolucional de Gatis, Ecker y Betge se basa en la red neuronal VGG de 19 capas de Simonyan y Zisserman, . . «» ( , ..), , (d e ). ( ) , .



. , . , , — .


Ejemplos de imágenes de estilo en las redes neuronales de Gatis, Ecker y Betge

Imagen original: Old Town in Tübingen


Muestra de estilo: pintura "Clown's Head" (1907-1908), Georges Rouault, estilo: expresionismo


El resultado del trabajo de la red neuronal


Este trabajo se considera un avance fundamental en las tecnologías de aprendizaje profundo, porque esta es la primera prueba conceptual de la transferencia del estilo artístico a través de una red neuronal. Lo que se consideraba una visión artística, el estilo del autor y el género del arte, se formaliza y absorbe con éxito por una red neuronal. La inteligencia artificial dominó primero la creatividad real.

La idea de separar el estilo y el contenido de la imagen creó una variedad de redes neuronales, incluso para la generación de imágenes aterradoras.y para generar fotos porno .

Desafortunadamente, las redes neuronales Gatis, Ecker y Betge tienen un inconveniente: dicha red neuronal es demasiado exigente en recursos informáticos. Esto quedó claro después del lanzamiento de las primeras aplicaciones de demostración, que se procesaron en el servidor durante varios minutos.

En trabajos posteriores, incluidos los especialistas rusos , la red neuronal se optimizó significativamente debido a la funcionalidad limitada. Como resultado, la optimización llegó a tal punto que, en lugar de unos pocos minutos, la estilización de la foto comenzó a ocurrir casi instantáneamente. ¡Así que hubo una oportunidad para estilizar incluso videos en tiempo real !

Pero tal estilización tiene un lado negativo de la moneda. El estilo ultrarrápido es posible solo si se toma una imagen para la muestra . Esta es una limitación del algoritmo original, ya que no está vinculado a un estilo. En otras palabras, si desea crear un sistema que pueda transmitir 100 estilos diferentes, debe preentrenar 100 redes neuronales diferentes.

Ahora Google ha contribuido a esta investigación. El 24 de octubre de 2016, los empleados de Google Brain Team publicaron un artículo que describe un algoritmo que funciona tan rápido como los anteriores, pero al mismo tiempo en una única red neuronal universal que puede imponer cualquier estilo adquirido.

De acuerdo adesarrolladores, su algoritmo es simple de implementar y no presenta altas demandas de RAM. Además, después de entrenar en varios estilos, puede combinar varios estilos al mismo tiempo y trabaja en tiempo real. Por ejemplo, aquí hay una fotografía del mismo casco antiguo de Tubinga, en el que se superponen cuatro estilos simultáneamente .



Los investigadores creen que su trabajo abre nuevas posibilidades para el uso creativo de las redes neuronales de estilización. En un futuro cercano, prometen publicar el código fuente del programa para TensorFlow en el blog Magenta , para que todos puedan ejecutar la demostración en su computadora.

En el popular video científico se describen más detalles sobre el diseño de imágenes en la red neuronal .. Fue registrado por dos empleados Nat y Lo en el 20% de su tiempo de trabajo, que Google asigna para los proyectos de su elección.

Source: https://habr.com/ru/post/es398703/