Morty, estamos no UltraHD! Como assistir a qualquer filme em 4K, completando-o através de uma rede neural pouco conhecida

Você provavelmente já ouviu falar da tecnologia Yandex DeepHD, com a ajuda da qual eles de alguma forma melhoraram a qualidade dos desenhos animados soviéticos. Infelizmente, ele ainda não está disponível ao público e é improvável que nós, programadores comuns, tenhamos forças para escrever nossa própria decisão. Mas, pessoalmente, como proprietário de uma tela Retina ( 2880x1800 ), recentemente eu realmente queria ver Rick e Morty. Qual foi minha decepção ao ver como 1080r parece ensaboado nessa tela, na qual existem os originais desta série animada! (Essa é uma qualidade excelente e geralmente o bastante, mas acredite, a retina é tão organizada que a animação com suas linhas claras em 1080p parece ensaboada, como 480p em um monitor FHD)

Decidi firmemente que quero ver esta série animada em 4K, embora eu absolutamente não saiba escrever redes neurais. No entanto, uma solução foi encontrada! Curiosamente, nem precisamos escrever código, precisamos apenas de 100 GB de espaço em disco e um pouco de paciência. E o resultado é uma imagem 4K clara que parece mais decente do que qualquer interpolação.

Preparação

Primeiro, você precisa entender imediatamente que não há tecnologia de acesso aberto para aumentar o vídeo usando redes neurais. Geralmente. Mas existem vários projetos capazes de ampliar fotografias. E se sim, vamos recodificar nosso vídeo em um monte de quadros!

Isso pode ser feito através do Adobe Premiere Pro ou outro programa para trabalhar com vídeo, mas tenho certeza de que nem todo mundo o instala. Portanto, vamos usar o utilitário ffmpeg console. Eu peguei o primeiro episódio da primeira temporada e ele começou:

$ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg

10 , . 26 .

!

?

, - — Let's Enhance, waifu2x ( ) Mail.ru Vision.

.

Mail.ru Vision Let's Enhance , , , , 31000 , , . waifu2x, , . - « » — .

Github , … ! , , , , . , !

Adobe Photoshop!

, true story , . Adobe , !

, > … « 2.0».



! , Let's Enhance. ( 8 ):



— , ?
, ! Actions, , . , .

« ». — ! , 4 82 .

,

ffmpeg.

, , :

ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3

4-. , !

ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4

: -r , , !

!

« » 4. . , -, … . , Photoshop . , Action, , . - . , , — , ?