La idea de completar un búho de círculos se realizó con la ayuda de redes neuronales.
Basado en el aprendizaje automático y una red neuronal, el desarrollador Christopher Hesse creó un servicio en línea que puede "dibujar" bocetos para fotografías a todo color.
El sitio web
http://affinelayer.com/pixsrv/index.html Christopher Hesse presenta una red neuronal que puede acabar con los gatos.
Se invita al usuario a dibujar un boceto del gato en la ventana izquierda, hacer clic en "proceso" y ver cómo la red neuronal dibuja la ilustración. La página muestra un ejemplo tan hermoso:
Aparentemente, cuantas más líneas se usen en el boceto y cuanto más se parezca un boceto al conjunto de entrenamiento, mejor la red neuronal creará un dibujo completo basado en él.
Esto es lo que escribe el propio autor:
Recientemente, hice un
puerto de Tensorflow pix2pix en Isola et al, discutido en el artículo
Traducción de imagen a imagen en Tensorflow . Tomé algunos modelos creados previamente e hice una página web interactiva para probar. Se recomienda un navegador Chrome para ver.
El modelo pix2pix funciona entrenando en pares de imágenes, como un boceto de la fachada del edificio y una imagen completa de las fachadas del edificio, y luego intenta generar la imagen de salida adecuada para cualquier imagen transmitida de entrada. Esta idea se origina en el
artículo pix2pix , que se recomienda para leer.
Fachadas
El modelo fue entrenado en muestras de bocetos de fachadas de edificios con imágenes completas de fachadas. Es poco probable que este modelo funcione en bocetos con un área vacía grande, pero si dibuja un número suficiente de ventanas en el boceto, a menudo el modelo da buenos resultados. En la imagen del boceto, los elementos de la fachada se dibujan con rectángulos de colores para indicar no solo los bordes, sino también todos los elementos.
No tenía el nombre de las diversas partes de las fachadas del edificio, así que solo las designé aproximadamente.
edge2cats
El entrenamiento se realizó en aproximadamente 2,000 fotografías de gatos y bocetos con bordes generados automáticamente para estas fotografías. El modelo crea imágenes en color de gatos a partir de bocetos, pero algunos encuentran resultados de pesadilla. Uno de estos que vi
aquí .
Algunas imágenes se ven especialmente espeluznantes, creo, porque los gatos no fueron dibujados correctamente, especialmente detrás de los ojos. El procedimiento para generar bordes automáticamente no era de muy alta calidad, y en muchos casos no reveló los ojos de un gato, lo que afecta la calidad de la base de datos de imágenes preparada para el entrenamiento del modelo.
bordes2zapatos
La capacitación se realizó sobre la base de aproximadamente
50 mil imágenes de zapatos recogidas de Zappos , así como con bordes de contorno generados automáticamente para estas imágenes. Si realmente dibujas bien los bordes de los zapatos, puedes intentar crear un nuevo diseño. Tenga en cuenta que el modelo fue entrenado en objetos reales, por lo que si puede dibujar un boceto 3D mejor, el resultado se verá mejor.
bordes2 bolsos de mano
Por analogía con las anteriores, la capacitación se realizó sobre la base de aproximadamente 137 mil fotografías de bolsas recolectadas de Amazon, con bordes de contorno generados automáticamente para estas fotografías. Si dibuja un zapato aquí en lugar de un bolso de mano, obtendrá una textura de zapato muy extraña.
Implementación
La capacitación y exportación de modelos se realizó utilizando el script
pix2pix.py de
pix2pix-tensorflow . Se realiza una demostración interactiva basada en JavaScript utilizando Canvas API, que interactúa con un servidor que transmite imágenes de Tensorflow. El servidor puede iniciar Tensorflow por sí mismo o reenviar solicitudes a los servicios de Google Tensorflow
Cloud Cloud .
Los modelos entrenados están disponibles en
la sección Conjuntos de datos de GitHub. Los modelos que vienen con la implementación original de pix2pix también deberían estar disponibles. Los modelos se pueden exportar desde ejemplos capacitados utilizando el script pix2pix.py y los enlaces a los modelos exportados se encuentran en el
archivo README en el servidor GitHub.
Los bordes de las fotos de gatos se obtuvieron utilizando el algoritmo de
detección de bordes anidados holísticamente y esta funcionalidad se agregó al script
process.py y las dependencias correspondientes se agregaron a la
imagen de Docker .