我们在UltraHD Morty中! 如何以4K观看电影

您可能已经听说过Yandex的DeepHD技术,它们曾经被用来提高苏联旧动画片的质量。 不幸的是,它还没有公开,我们,普通的程序员,还没有献身精神来编写我们自己的解决方案。 但是我个人真的很想在我的2880x1880 Retina显示器上观看Rick和Morty。 我感到非常失望,因为即使是1080p视频(该系列的最高视频)在Retina显示器上看起来也很模糊! 别误会,1080p通常就足够了,但是Retina的设计方式使得动画中1080p具有明显轮廓的动画看起来非常模糊,就像FullHD显示器上的480p。

我决定即使我不能编写神经网络,也想在4K中看到Rick和Morty。 而且,令人惊讶的是,我找到了解决方案。 您甚至不需要编写任何代码:您所需的只是大约100GB的可用空间和一点耐心。 结果是清晰的4K图像,看起来比任何插值都要好。



准备工作


首先,我们需要了解不存在使用神经网络将视频放大的技术。 或者至少它不是公开可用的。 既然如此,我们需要将视频转换为一堆静止帧!

Adobe Premiere Pro或任何其他视频编辑套件都可以执行此操作,但是由于可能未在很多PC上安装它,所以我使用了控制台实用程序ffmpeg 。 拿走了第一辑的第一集,我走了:

$ ffmpeg -i RiM01x01_4K.mp4 -q:v 1 IM/01x01_%05d.jpg 

为什么是jpg而不是PNG?
一个公平的问题。 事实是,要生成31,000个PNG会占用很多空间。 如此之多以至于牺牲一点质量是值得的。 同样,= q:v 1参数表示我们正在以尽可能最高的质量输出JPG。

大约10分钟后,我们得到一个装满图像的巨大文件夹。 对我而言,它占用了全部26GB的空间

现在,我们只需要处理其中的每一个!

怎么了


我找到了三个效果不错的选项-相当著名的Let's Enhance ,面向动漫的waifu2x和Mail.ru Vision。

稍后将显示示例。

Mail。 Waifu2x是开源的,但结果却很差-很多杂音和伪影。 毕竟,瑞克和莫蒂不是动漫。

我差点辞职去挖掘GitHub和主题论坛,但是……救世主出现了! 我找到了一种可以在本地机器上运行的解决方案,可以在不到一秒钟的时间内处理一张图像,并且可以提供高质量的图像。 您将不敢相信谁再次来过我们!

Adobe Photoshop!

不,我不会讲一个有关如何使用几个滤镜增强照片效果的故事。 Adobe实际上训练了一个适当的神经网络,当您在应用程序中放大图像时,它可以“完成”图像!

首先,我们需要打开源图像,转到顶部菜单,然后选择图像-图像大小,然后选择“保留详细信息2.0”重采样选项。



结果出乎意料的好! 可能仅追随Let's Enhance。 比较如下(图像放大了800%):



现在呢? 手动处理每一帧?
当然不是! Photoshop具有“动作”工具,该工具可以先记录一系列动作,然后将其应用于整个图像文件夹。 该过程是Google的粗略搜索。

我离开笔记本电脑处理一整夜的31,000帧图像时,出现了一条简单的指令:“放大2倍并保存”。 第二天早上一切准备就绪。 我还有一个充满图像的文件夹,但是现在是4K,占用了82GB的磁盘空间

返回视频


ffmpeg再次营救。

首先,我们记得我们忘记了音轨并将其从原始文件中提取出来:

 ffmpeg -i RiM01x01_1080p.mp4 -vn -ar 44100 -ac 2 -ab 320K -f mp3 sound.mp3 

然后,我们将声音文件和所有4K图像放入文件夹中。 现在我们准备好进行最后的剪辑了!

 ffmpeg -i 01x01_%05d.jpg -i sn.mp3 -vcodec libx264 -preset veryslow -crf 10 -r 23.976 RiM_01x01_4K.mp4 

注意 :-r之后, 指定原始帧确切帧速率 ,否则音轨将与视频不对齐!

大功告成!


现在,我们拥有4K中的Rick和Morty的第一集。 这是示例视频 。 当然,整个过程有点业余,但是这种方法具有很大的优势。 将图像导入Photoshop时,我们可以手动对其进行修补以使其正确。 调整焦点,基于几个框架调整色彩平衡,将其写入动作,应用于整个视频,然后-瞧! 完美的结果,无需太多数学技巧。 这使“奇迹升级”更加接近普通用户。 几百年来一直在开发的最复杂的技术,不能在没有特殊知识的情况下快速使用-如果不是未来,它将是什么?

Source: https://habr.com/ru/post/zh-CN441918/


All Articles