Morty, estamos en UltraHD! Cómo ver cualquier película en 4K, completándola a través de una red neuronal poco conocida

Probablemente hayas escuchado acerca de la tecnología Yandex DeepHD, con la ayuda de la cual, de alguna manera, una vez más mejoraron la calidad de los dibujos animados soviéticos. Por desgracia, aún no está disponible públicamente, y nosotros, los programadores comunes, es poco probable que tengamos la fuerza para escribir nuestra propia decisión. Pero personalmente, como propietario de una pantalla Retina ( 2880x1800 ), recientemente realmente quería ver a Rick y Morty. ¡Cuál fue mi decepción cuando vi cómo 1080r se ve jabonoso en esta pantalla, en la que existen los originales de esta serie animada! (Esta es una calidad excelente y generalmente suficiente, pero créanme, la retina está tan organizada que la animación con sus líneas claras en 1080p parece jabonosa, como 480p en un monitor FHD)

Decidí firmemente que quiero ver esta serie animada en 4K, aunque no puedo escribir redes neuronales. Sin embargo, se encontró una solución! Curiosamente, ni siquiera tenemos que escribir código, solo necesitamos ~ 100 GB de espacio en disco y un poco de paciencia. Y el resultado es una imagen 4K clara que se ve más decente que cualquier interpolación.

Preparación

Primero, debe comprender de inmediato que no hay tecnología de acceso abierto para aumentar el video utilizando redes neuronales. En general Pero hay varios proyectos que pueden ampliar fotografías. ¡Y si es así, recodifiquemos nuestro video en un gran grupo de cuadros!

Esto se puede hacer a través de Adobe Premiere Pro u otro programa para trabajar con video, pero estoy seguro de que no todos lo tienen instalado. Por lo tanto, usemos la utilidad de consola ffmpeg . Tomé el primer episodio de la primera temporada y comenzó:

$ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg

10 , . 26 .

!

?

, - — Let's Enhance, waifu2x ( ) Mail.ru Vision.

.

Mail.ru Vision Let's Enhance , , , , 31000 , , . waifu2x, , . - « » — .

Github , … ! , , , , . , !

Adobe Photoshop!

, true story , . Adobe , !

, > … « 2.0».



! , Let's Enhance. ( 8 ):



— , ?
, ! Actions, , . , .

« ». — ! , 4 82 .

,

ffmpeg.

, , :

ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3

4-. , !

ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4

: -r , , !

!

« » 4. . , -, … . , Photoshop . , Action, , . - . , , — , ?