Os programadores do Google decidiram instilar um gosto artístico no carro e começaram com o processamento de fotos esteticamente correto. A peculiaridade do conceito de beleza é que ele não possui critérios claros. A máquina teve que criar esses critérios. O treinamento foi realizado com base em um site de fotos popular, um banco de dados de contexto com metadados para imagens e o assunto do processamento foram imagens esféricas panorâmicas do Google Street View. O conjunto de algoritmos resultante é chamado Creatism - um sistema de aprendizado profundo para a criação de conteúdo artístico.

Os autores do creatismo Hui Fang e Meng Zhang acreditam que desenvolveram uma escala de classificações de beleza que os fotógrafos podem usar para comparações objetivas no futuro. Com base nos resultados, eles fizeram o que chamaram de teste de Turing para fotógrafos. Os pesquisadores convidaram especialistas para avaliar uma mistura das melhores fotos tiradas por pessoas e criadas pelo Creatism, sem mencionar que o conjunto contém criadas por máquinas. 40% das obras de inteligência artificial foram classificadas como "boas fotos com gosto artístico". Os desenvolvedores pretendem ajudar qualquer fotógrafo amador a transformar sua foto em uma imagem bonita, sem filtros e configurações. Com o toque de um botão, inicia o Creatism.


Aproximando a transmissão de luz da transmissão natural e da mais "profunda", o algoritmo às vezes cometia pequenos erros de colagem de panorama, que podem ser vistos nesta foto.

Problemas de transmissão de fotos

A matriz de uma câmera digital não é capaz de capturar informações simultaneamente nas áreas escuras da imagem, para as quais você precisa de mais exposição (velocidade do obturador) e na luz, onde há menos exposição. A faixa dinâmica é a diferença nos níveis de exposição entre as partes mais escuras e mais brilhantes da imagem que podem ser reproduzidas sem perda de informações. Em áreas completamente pretas da imagem (em superexposição), bem como em informações superexpostas (subexpostas), é impossível recuperar. As áreas escuras da imagem podem ser esclarecidas, mas com distorções. Com o método HDR, uma foto de várias fotos tiradas com diferentes exposições é combinada em um arquivo de 32 bits.

A visão de uma pessoa é capaz de capturar uma imagem visual com uma diferença de 10 a 14 graus de iluminação sob luz solar intensa (ao sol, o aluno não tem capacidade de se adaptar a diferentes iluminações) e até 24 etapas na penumbra das estrelas (o aluno pode se adaptar à diferença de luz). Podemos ver, mas capturar parte dessa faixa na foto pode ser difícil. A faixa dinâmica de um filme negativo comum é de cerca de 9 a 11 níveis de exposição, filme de slides - 5 a 6 etapas, a matriz de uma câmera digital - de 8 a 11 para a maioria das câmeras digitais. Câmeras especiais oferecem 17 ou mais etapas de disparo. Tocar faixa dinâmica real também não é fácil. O papel fotográfico, por exemplo, é capaz de reproduzir apenas 7-8 níveis de exposição.

Características do Criatismo

Para o experimento, 15.000 fotografias profissionais foram tiradas do 500px.com com uma resolução de pelo menos 299 x 299 pixels. Com a ajuda deles, os desenvolvedores ensinaram o Creatism a destacar os mais interessantes da paisagem. Então, com base em 40.000 paisagens esféricas panorâmicas nos EUA, Canadá e Europa, o algoritmo foi ensinado a trabalhar com cores e luzes.

Em seguida, o alcance dinâmico foi reforçado para cada quadro e foi aplicado o seu próprio “filtro de expressão”, o que melhora sombras, iluminação e cores. Para fazer isso, tradicionalmente para processamento de imagens, usamos o modelo de rede neural competitiva generativa - um modelo quando uma parte do programa degrada a qualidade do original e a outra tenta restaurá-lo e aprende “como fazê-lo”.



Para criar a escala de classificação final, pegamos o banco de dados AVA, no qual 250.000 imagens e, mais importante, uma variedade de metadados, incluindo um grande número de classificações estéticas para cada imagem, rótulos semânticos em 60 categorias, além de rótulos associados ao estilo fotográfico para classificação profissional.

Após os resultados de todas as operações de processamento, 400 fotos experimentais foram misturadas com 800 fotos AVA e fornecidas a especialistas.

O júri

Foi solicitado aos especialistas em fotografia com ensino profissionalizante e pelo menos 2 anos de experiência que avaliassem a categoria em que a foto pertence e fizessem uma avaliação apropriada:

1. Feito por uma "caixa de sabão" - como se viu, aconteceu. Sem configurações, sem foco.
2. Uma boa foto de um iniciante inexperiente, mas o valor artístico é mínimo.
3. Tiro semi-profissional. O gosto artístico é claramente visível.
4. Feito por um profissional.

Do creatismo processado, 40% das imagens se enquadravam na categoria de 3 para 4 - ou seja, eram reconhecidas como pelo menos semi-profissionais. A pontuação média ficou abaixo de 3.

Os pesquisadores publicaram as melhores fotos processadas pelo Creatism. Abaixo de cada um, para comparação, é mostrado um panorama completo do qual foi cortado.