Um dia, no futuro, poderemos colocar óculos - e passear pela cidade, que é renderizada em tempo real no estilo que gostamos. Luz solar ou neblina, pôr do sol à noite, qualquer que seja. Não importa quão monótona a arquitetura seja, com óculos ela será linda. Essas possibilidades de renderização com a transferência de estilos são abertas pelo incrível programa
Deep Photo Style Transfer , publicado em domínio público, bem como pelo
trabalho científico subjacente (arXiv: 1703.07511).
Transferir estilo de uma imagem para outra é um problema antigo que os desenvolvedores tentaram resolver com sucesso no passado. Ao escolher o modelo certo para transferir o estilo, você pode transformar sua foto com beleza - como se ela fosse tirada em outra hora do dia, sob iluminação diferente, em clima diferente ou de maneira especial, processada artisticamente. Até agora, as técnicas para transferir estilos usando redes neurais eram relativamente limitadas - elas só podiam trabalhar com certas cenas ou a plausibilidade de estilos de transferência sofridos. Os autores do novo programa
Deep Photo Style Transfer tentaram resolver todos esses problemas.
A rede neural Deep Photo Style Transfer é construída de acordo com a técnica de transferência de estilo neural descrita por
Gatis , mas foi significativamente reprojetada e aprimorada. A principal melhoria é o fotorrealismo. Gatis, mesmo que a imagem original e a amostra sejam fotografias, a imagem final ainda se assemelha a uma imagem em que as linhas e bordas claras ficam embaçadas e as texturas são sobrepostas aos objetos vizinhos. Parece bonito, mas não muito real.
Apenas espaço de cores
O resultado do Deep Photo Style Transfer é estritamente fotorrealista. "Efeitos de pintura" eliminados devido à proibição de distorção espacial. Aqui, a transferência de estilos é limitada apenas pelo espaço de cores. Em outras palavras, as formas dos objetos permanecem exatamente as mesmas do original. É por esse motivo que, no futuro, os “pontos” mencionados no início do artigo serão possíveis. Todos os objetos na realidade circundante manterão sua forma, eles terão apenas um estilo diferente.
Os autores realizaram essa tarefa usando uma camada específica da rede neural no espírito da
matriz de Kirchhoff (matriz da Lapônia) - representando o gráfico na forma de uma matriz. Conforme mostrado pela verificação em fotografias com várias cenas, essa abordagem suprime com êxito a distorção, ao mesmo tempo em que exerce uma influência mínima na autenticidade das fotografias.
O princípio mais claramente descrito se manifesta em dois exemplos especialmente selecionados.
Como você pode ver, os limites dos objetos são claramente preservados. A conversão ocorre apenas no espaço de cores. No primeiro caso, o estilo de fogo é transferido para o frasco de perfume e, no segundo caso, a textura das maçãs muda de acordo com o padrão.
Segmentação semântica
A segunda conquista dos autores do programa é resolver o problema de transferir o estilo entre objetos inadequados na foto original e a amostra do estilo. Isso é feito através da segmentação semântica. Portanto, os estilos de casa são transferidos apenas entre casas, e o estilo do céu afeta apenas o céu. Em muitos casos, a segmentação semântica funciona de maneira muito eficiente, desde que a amostra de estilo tenha os mesmos objetos semânticos da imagem original.
Duas das abordagens acima forneceram uma conversão de fotos extremamente realista.
O original
Padrão de estilo
Imagem final
Aqui estão mais alguns exemplos.
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
O original
Padrão de estilo
Imagem final
A qualidade desse algoritmo só pode ser determinada por uma pesquisa de usuários que avaliam o fotorrealismo e a confiabilidade da transmissão de estilo. Essa pesquisa seria realizada. Ele mostrou que em termos de fotorrealismo, a Deep Photo Style Transfer supera significativamente os desenvolvimentos anteriormente apresentados do Neural Style e CNNMRF, mas inferiores ao
sistema de renderização de
cores Pete . A confiabilidade da transferência do estilo Deep Photo Style Transfer é muito melhor do que outros métodos.
Os autores do trabalho científico pretendem continuar as pesquisas para superar as limitações existentes da segmentação de imagens. Eles também consideram promissor o processamento em tempo real de fotos usando uma rede neural pré-treinada.