Los programadores de Google se propusieron inculcar un gusto artístico en el automóvil y comenzaron con un procesamiento fotográfico estéticamente correcto. La peculiaridad del concepto de belleza es que no tiene criterios claros. La máquina tuvo que crear estos criterios. La capacitación se realizó sobre la base de un sitio de fotografía popular, una base de datos contextual con metadatos para imágenes, y el tema del procesamiento fue imágenes esféricas panorámicas de Google Street View. El conjunto resultante de algoritmos se llama Creatismo , un sistema de aprendizaje profundo para crear contenido artístico.

Los autores del creatismo Hui Fang y Meng Zhang creen que han desarrollado una escala de calificaciones de belleza que los fotógrafos pueden usar para comparaciones objetivas en el futuro. Según los resultados, hicieron lo que llamaron la prueba de Turing para fotógrafos. Los investigadores invitaron a expertos para evaluar una mezcla de las mejores imágenes tomadas por personas y creadas por Creatism, sin mencionar que el conjunto contiene creado por máquinas. El 40% de las obras de inteligencia artificial fueron calificadas como "buenas imágenes con gusto artístico". Los desarrolladores tienen como objetivo ayudar a cualquier fotógrafo aficionado a convertir su foto en una hermosa imagen sin filtros ni configuraciones. Con solo tocar un botón, se inicia Creatism.


Al acercar la transmisión de la luz a la natural y la más "profunda", el algoritmo a veces cometió pequeños errores de pegado panorámico, que se pueden ver en esta foto.

Problemas de transmisión de fotos

La matriz de una cámara digital no puede capturar simultáneamente información en las áreas oscuras de la imagen, para las cuales necesita más exposición (velocidad de obturación) y en la luz, donde hay menos exposición. El rango dinámico es la diferencia en los niveles de exposición entre las partes más oscuras y brillantes de la imagen que se pueden reproducir sin pérdida de información. En áreas completamente negras de la imagen (en sobreexpuesta), así como en información sobreexpuesta (subexpuesta), es imposible recuperarla. Las áreas oscuras de la imagen se pueden aclarar, pero con distorsiones. Con el método HDR, una imagen de varias imágenes tomadas con diferentes exposiciones se combina en un archivo de 32 bits.

La visión de una persona es capaz de capturar una imagen visual con una diferencia de 10-14 grados de iluminación bajo la luz solar brillante (al sol, la pupila no tiene la capacidad de adaptarse a una iluminación diferente) y hasta 24 pasos en la tenue luz de las estrellas (la pupila puede adaptarse a la diferencia de luz). Podemos ver, pero capturar incluso parte de este rango en la foto puede ser difícil. El rango dinámico de una película negativa ordinaria es de aproximadamente 9-11 niveles de exposición, película deslizante - 5-6 pasos, la matriz de una cámara digital - de 8 a 11 para la mayoría de las cámaras digitales. Las cámaras especiales proporcionan 17 o más pasos de disparo. Jugar un rango dinámico real tampoco es fácil. El papel fotográfico, por ejemplo, es capaz de reproducir solo 7-8 niveles de exposición.

Características del creatismo

Para el experimento, se tomaron 15,000 fotografías profesionales de 500px.com con una resolución de al menos 299 x 299 píxeles. Con su ayuda, los desarrolladores le enseñaron al Creatismo a resaltar lo más interesante del panorama. Luego, basado en 40,000 paisajes esféricos panorámicos en los Estados Unidos, Canadá y Europa, el algoritmo fue enseñado a trabajar con color y luz.

Luego, el rango dinámico se fortaleció para cada cuadro, y se aplicó su propia operación "filtro de expresión", que mejora las sombras, la iluminación y el color. Para hacer esto, tradicionalmente para el procesamiento de imágenes, utilizamos el modelo de red neuronal competitiva generativa, un modelo cuando una parte del programa degrada la calidad del original y la otra intenta restaurarlo y aprende "cómo hacerlo".



Para crear la escala de calificación final, tomamos la base de datos AVA, en la que hay 250,000 imágenes, y lo más importante, una variedad de metadatos, que incluyen una gran cantidad de calificaciones estéticas para cada imagen, etiquetas semánticas en 60 categorías, así como etiquetas asociadas con el estilo fotográfico para la clasificación profesional.

Siguiendo los resultados de todas las operaciones de procesamiento, se mezclaron 400 fotos experimentales con 800 fotos AVA y se entregaron a expertos.

El jurado

Se pidió a los expertos en fotografía con educación vocacional y al menos 2 años de experiencia que evaluaran la categoría a la que pertenece la imagen y que hagan una evaluación adecuada:

1. Hecho por una "caja de jabón", como resultó, sucedió. Sin ajustes, sin foco.
2. Una buena foto de un principiante sin experiencia, pero el valor artístico es mínimo.
3. Tiro semi-profesional. El gusto artístico es claramente visible.
4. Hecho por un profesional.

Del Creatismo procesado, el 40% de las imágenes cayeron en la categoría de 3 a 4, es decir, fueron reconocidas como al menos semiprofesionales. El puntaje promedio fue inferior a 3.

Los investigadores han publicado las mejores tomas procesadas por Creatism. Debajo de cada uno, para comparación, se muestra un panorama completo del que se cortó.