As redes neurais aprenderam a colorir vídeos em preto e branco.

Algumas semanas atrás, no Geektimes , foi publicado material que as redes neurais aprenderam a colorir fotos em preto e branco. As redes neurais têm sido capazes de fazer muito, não apenas trabalhando com fotos. Mas esta é provavelmente uma das demonstrações mais reveladoras dos recursos de rede. Ainda mais reveladora é a “personalização de imagem” da DeepDream AI do Google, embora as imagens resultantes sejam um pouco ... psicodélicas , digamos.

Agora, a rede neural foi ensinada a colorir filmes em preto e branco. Isso foi relatado pelo usuário mar_cnu . A ferramenta correspondente para colorir filmes em preto e branco foi criada precisamente por seus esforços. E embora o resultado não possa ser chamado de ideal, tudo é muito bom.

Como material de origem, ele escolheu o trailer do antigo filme francês de 1964. Aqui está o trecho de origem:



O desenvolvedor explicou sua escolha pelo fato de o trailer ter tudo o que você precisa - a selva, o rio, as pessoas, as casas, as estradas. Aqui está o que aconteceu após o processamento do vídeo:



Como você pode ver, o resultado não é perfeito, como mencionado acima. Mas uma das razões para isso pode ser o próprio vídeo original. É confuso, como todos os filmes da época, muitas vezes tudo se funde na "imagem", por isso é lógico que o programa tenha dificuldades.

Tudo isso foi feito da seguinte maneira:

1. Encontrou o vídeo original;
2. A fonte é convertida usando este serviço ;
3. Execute o script

de arquivo de vídeo in / *
fazer
echo "$ file"
th colorize.lua "$ file" «cor - $ {file}% .jpg .png»
feito O

4. ffmpeg -i «cor-frame 04d%. png ”-c: v libx264 colorvideo.mp4
5. ffmpeg -i blackandwhitevideo.webm audio.mp3
6. 6) ffmpeg -i colorvideo.mp4 -i audio.mp3 -c: v libx264 -c: a copy -strict

Para um serviço, como os usuários notaram corretamente, a tarefa mais difícil é implementar uma transição suave entre os quadros individuais. Se você pausar o vídeo, geralmente conseguirá “capturar” um quadro com cores quase perfeitas. Mas fazer uma transição suave entre os quadros é uma tarefa difícil separada.

Source: https://habr.com/ru/post/pt393425/