Las redes neuronales aprendieron a colorear videos en blanco y negro.

Hace un par de semanas, en Geektimes , se publicó material que las redes neuronales aprendieron a colorear fotos en blanco y negro. Las redes neuronales han podido hacer mucho, no solo trabajar con fotos. Pero esta es probablemente una de las demostraciones más reveladoras de las capacidades de red. Aún más reveladora es la "personalización de imagen" de DeepDream AI de Google, aunque las imágenes resultantes son algo ... psicodélicas , digamos.

Ahora se ha enseñado a la red neuronal a colorear películas en blanco y negro. Esto fue informado por el usuario mar_cnu . La herramienta correspondiente para colorear películas en blanco y negro fue creada precisamente por sus esfuerzos. Y aunque el resultado no se puede llamar ideal, todo es bastante bueno.

Como material de origen, eligió el trailer de la vieja película francesa de 1964. Aquí está el fragmento de origen:



El desarrollador explicó su elección por el hecho de que el trailer tiene todo lo que necesita: la jungla, el río, las personas, las casas y las carreteras. Esto es lo que sucedió después de procesar el video:



Como puede ver, el resultado no es perfecto, como se mencionó anteriormente. Pero una de las razones de esto puede ser el video original en sí. Es difuso, como todas las películas de aquellos tiempos, a menudo todo se fusiona en la "imagen", por lo que es lógico que el programa tenga dificultades.

Todo esto se hizo de la siguiente manera:

1. Encontré el video original;
2. La fuente se convierte utilizando este servicio ;
3. Ejecute el script

para el archivo en video / *
do
echo "$ file"
th colorize.lua "$ file" "color - $ {file% .jpg} .png"
done

4. ffmpeg -i "color-frame% 04d. png ”-c: v libx264 colorvideo.mp4
5. ffmpeg -i blackandwhitevideo.webm audio.mp3
6. 6) ffmpeg -i colorvideo.mp4 -i audio.mp3 -c: v libx264 -c: una copia -strict

Para un servicio, como los usuarios han señalado correctamente, la tarea más difícil es implementar una transición sin problemas entre cuadros individuales. Si pausa el video, a menudo logra "atrapar" un cuadro con colores casi perfectos. Pero hacer una transición suave entre cuadros es una tarea difícil por separado.

Source: https://habr.com/ru/post/es393425/