Morty, wir sind bei UltraHD! So schauen Sie sich einen Film in 4K an und vervollständigen ihn über ein wenig bekanntes neuronales Netzwerk

Sie haben wahrscheinlich schon von der Yandex-Technologie DeepHD gehört, mit deren Hilfe sie die Qualität der sowjetischen Cartoons erneut verbessert haben. Leider ist es noch nicht öffentlich verfügbar, und wir, normale Programmierer, werden wahrscheinlich nicht die Kraft haben, unsere eigene Entscheidung zu schreiben. Aber ich persönlich wollte als Besitzer eines Retina-Displays ( 2880 x 1800 ) kürzlich unbedingt Rick und Morty sehen. Was war meine Enttäuschung, als ich sah, wie 1080r auf diesem Bildschirm, auf dem die Originale dieser Zeichentrickserie existieren, seifig aussieht! (Dies ist von ausgezeichneter Qualität und normalerweise völlig ausreichend, aber glauben Sie mir, die Netzhaut ist so angeordnet, dass die Animation mit ihren klaren Linien in 1080p seifig aussieht, wie 480p auf einem FHD-Monitor.)

Ich habe mich entschieden, diese Zeichentrickserie in 4K zu sehen, obwohl ich absolut nicht weiß, wie man neuronale Netze schreibt. Es wurde jedoch eine Lösung gefunden! Seltsamerweise müssen wir nicht einmal Code schreiben, wir brauchen nur ~ 100 GB Speicherplatz und ein wenig Geduld. Das Ergebnis ist ein klares 4K-Bild, das anständiger aussieht als jede Interpolation.

Vorbereitung

Zunächst müssen Sie sofort verstehen, dass es keine Open-Access-Technologie gibt, um Videos mithilfe neuronaler Netze zu verbessern. Im Allgemeinen. Es gibt jedoch mehrere Projekte, mit denen Fotos vergrößert werden können. Und wenn ja, lassen Sie uns unser Video in eine riesige Reihe von Frames umcodieren!

Dies kann über Adobe Premiere Pro oder ein anderes Programm für die Arbeit mit Videos erfolgen, aber ich bin sicher, dass nicht jeder es installiert hat. Verwenden wir daher das Dienstprogramm ffmpeg console. Ich nahm die erste Folge der ersten Staffel und es begann:

$ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg

10 , . 26 .

!

?

, - — Let's Enhance, waifu2x ( ) Mail.ru Vision.

.

Mail.ru Vision Let's Enhance , , , , 31000 , , . waifu2x, , . - « » — .

Github , … ! , , , , . , !

Adobe Photoshop!

, true story , . Adobe , !

, > … « 2.0».



! , Let's Enhance. ( 8 ):



— , ?
, ! Actions, , . , .

« ». — ! , 4 82 .

,

ffmpeg.

, , :

ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3

4-. , !

ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4

: -r , , !

!

« » 4. . , -, … . , Photoshop . , Action, , . - . , , — , ?