Les réseaux de neurones ont appris à coloriser les vidéos en noir et blanc.

Il y a quelques semaines, à Geektimes , des documents ont été publiés selon lesquels les réseaux de neurones ont appris à colorier des photos en noir et blanc. Les réseaux de neurones ont depuis longtemps pu faire beaucoup, pas seulement travailler avec des photos. Mais c'est probablement l'une des démonstrations les plus révélatrices des capacités de mise en réseau. Encore plus révélatrice est la «personnalisation de l'image» du DeepDream AI de Google, bien que les images résultantes soient quelque peu ... psychédéliques , disons.

Maintenant, le réseau neuronal a appris à colorer les films en noir et blanc. Cela a été signalé par l'utilisateur mar_cnu . L'outil correspondant pour la coloration des films en noir et blanc a été créé précisément par ses efforts. Et bien que le résultat ne puisse pas être qualifié d'idéal, tout est plutôt bon.

Comme source, il a choisi la bande-annonce du vieux film français de 1964. Voici l'extrait de source:



Le développeur a expliqué son choix par le fait que la remorque a tout ce dont vous avez besoin - la jungle, la rivière, les gens, les maisons, les routes. Voici ce qui s'est passé après le traitement de la vidéo:



Comme vous pouvez le voir, le résultat n'est pas parfait, comme mentionné ci-dessus. Mais l'une des raisons peut être la vidéo originale elle-même. C'est flou, comme tous les films de cette époque, souvent tout se confond dans la "photo", il est donc logique que le programme ait des difficultés.

Tout cela a été fait comme suit:

1. Trouvé la vidéo originale;
2. La source est convertie à l'aide de ce service ;
3. Exécutez le script

pour le fichier dans la vidéo / *
do
echo "$ file"
th colorize.lua "$ file" "color - $ {file% .jpg} .png"
done

4. ffmpeg -i "color-frame% 04d. png ”-c: v libx264 colorvideo.mp4
5. ffmpeg -i blackandwhitevideo.webm audio.mp3
6. 6) ffmpeg -i colorvideo.mp4 -i audio.mp3 -c: v libx264 -c: une copie -strict

Pour le service, comme les utilisateurs l'ont correctement noté, la tâche la plus difficile est d'implémenter une transition en douceur entre les images individuelles. Si vous mettez la vidéo en pause, vous parvenez souvent à «attraper» un cadre aux couleurs presque parfaites. Mais effectuer une transition en douceur entre les images est une tâche difficile distincte.

Source: https://habr.com/ru/post/fr393425/