简而言之，是百年大作的色彩

剧情简介

彩色电影在今年之前花费了数十万美元，需要大量专家的参与，并且花费了大量时间。 现在一切都变了。 Deoldify项目的开发已经达到一种状态，可以通过放松面板来轻松地观察其工作结果。 从本文中，您将找到一个成功的实验过程的细节，该实验是由一个人在几周内完成的，免费的彩色电影着色。

10开始

这个故事就像任何其他类似的故事一样开始。 奢侈的youtube推荐算法产生了引起我注意的东西，并且产生了最意想不到的进一步后果。 倒数第二次的时间导致了被遗忘武器频道的坚持。 当时很难理解为什么会给我这样的报价，但很可能是这样的：

1. user_id在RDR2上观看视频。
2. RDR2中有一支火山手枪。
3.在“被遗忘的武器”频道上，有关于火山手枪的评论。
4.对RDR2感兴趣的人经常想了解火山手枪。
5.一千个魔鬼，但是被遗忘的武器会来找他！

不到两天后，我已经学习了有关制造各种枪支的游击党文献，浏览了来自第三国的卡拉穆特鲁克的照片，并观察了削减房屋后备箱的难度。 选择之间的折磨：购买半玩具并将其置于正确的状态，或在五金店中组装一组零件。 最终，商店的抽奖活动因法律原因而获胜。 幸运的是，“为什么”这个问题没有答案，朝着这个方向采取的积极行动也就没有了。

并包装..

这次，没有明显的理由来看看彩色的查理·卓别林。 神经网络的响应路径是神秘的。 观察到的视力起先引起混乱和疑问，然后引起剧烈的精神流涎。 与以前令人遗憾的自动着色尝试相反，该视频序列被认为是完全可信的景象。 挖掘当然是什么，但是：

一个 没有怪异的烦恼
b。 确实有图像深度的感觉，消除了现代大脑对黑白图像的感知复杂性

好奇心一直拖延着，已经在github上研究了一个项目。 在几张照片上测试了云版本之后，看了视频之后，我显然开始对我产生了一些渴望。 将过去的真实证据返回到当前媒体环境的能力，而无需投资数十万美元，嗯，这有一些令人兴奋的东西，足以激发冷静的头脑。

“我们试试吧，”这个神圣的短语，胆怯地发音，但是在灵魂深处的某个地方，已经有一种理解，即好故事已经开始的内核。

瞄准

好吧，假设电动机，动作。 我们将第一个视频序列播放4分钟。 首先是什么？ 消除照相机和胶卷的剧烈晃动，默认情况下始终采用这种材料。 它寻找在视频编辑器之外具有广泛控制范围的可用选项。 由于必须使用一整套不同的软件工具，因此任何标准视频编辑包的使用都立即消失了。 只有带有文件的单帧，只有硬核。 并且，当然，不仅需要以某种方式稳定，而且还必须在电影上保持稳定，以模仿摄像机的有限且平稳的运动。 至少某些信任是由python的单个模块引起的。 好吧，好的，这意味着代码将立即生效。

稳定。 有点长，好吧。 哇，很酷，事实证明，是的，您需要什么，当然，您需要完成一个文件，但是否则我们为什么在这里？ 进一步自我开花。 我们放了它，放了它，放了另一个，再次发生冲突，仍然放了它，放在顶部，在一边，不放弃，也许是手册读了，看来，它走了，不，删除目录，再一次，哦，就是这样，很好，最后。 启动。 该死的，东西很长。 但是颜色，颜色，哇，您是对的，但是在所有这些方面，这都是有道理的，值得继续。

现在呢 可能在2019年，帧插值并不是一件出色的事情，您可以挖掘一个项目以有条件地进行专业使用。 但是，是的，再次成功，可以免费获得这样的项目。 我们放它，放它...启动。 该死的，事情再也不快了。 但是，帧之间如何平滑，平滑地相互替换，这是一个奇迹，就像通常的24帧一样。

那么，结果出来了，一切都完成了吗？ 这里的整个输送机都可以使用了，您只需要在上面扔东西就可以得到结果？

::解决::

暂时困难

在处理的每个阶段，记录所花费的时间。 至少可以说，我推断了90分钟：沮丧感攻击。 我什至检查了几次测量和计算，因为获得的数字将最初的想法从“快易趣”变成了“长难易”。 尽管后来这个公式中的另外两个词会变得更糟，但是已经有一些事情需要认真考虑。

因此，选定的胶片将需要4个小时的稳定，420个小时的开花和30个小时的帧插值。 是的...嗯，谢谢你，查理。

卓做点什么？ 八核mac mini 2012是您唯一可以利用的东西。 在我眼前是一段视频，视频显示了在PS4上运行Linux的情况。 由于无法回滚固件更新，这些牙齿激怒了他们，这使他们感到自豪，因为他们坚信不需要越狱。 ¿所有这些python项目在那里都将如何工作？ ¿是否可以在GPU上访问计算？ 我注定不会研究这些问题。

它要么投降，要么谦卑地发射并等待。 投降不是一种选择。 也要等几个星期。 但是没有其他选择。

稳定它

最终，残酷的现实开始进入一个舒适的世界。 除了硬件问题外，还会出现软件问题。 在测试影片剪辑的测试默认设置中起作用的东西在一部完整的电影中到处都开始失败。 （没想到吧？）

我必须对自己承认，是时候该换拖鞋换橡胶靴了，最好将袖子卷起来，因为我不愿意，但是不能避免浸入模块的内部。

主要困难是场景的改变。 该项目旨在仅处理上下文不变的短片段。 在研究了正在发生的事情以及如何发生之后，找到了一个粗糙的补丁，它的意思是在高帧偏移时关闭稳定功能。 如果没有此补丁，则负面影响会表现为下一场景从边缘某处平滑过渡到黑场。

最后没有出现脚本，而没有启动完成的脚本，其本质在于预剪裁帧并设置最佳值。 给定的代码没有价值，因为它基本上重复了模块作者的示例，但是您需要用一些内容来稀释文本。

确实有一个有趣的发现：对于几个场景，裁剪是线性渐缩的，这产生了近似效果，但实际上隐藏了场景中完全荒谬的跳帧。 如果立即设置狭窄的作物，则会丢失大量信息，在最终版本中，由于“放大”与戏剧性的节奏相结合，因此观众不会注意到任何可疑的内容。

亲爱的长

计算机通常被带到厨房，因为通常在负载下绝对安静的mac mini一直在发出很大的声音。 这些小玩意的所有者很少能听到这种声音，因为他们认为是风扇的噪音（在很重的负载下可以听到）只是速度的一半。 开花开始。

为了了解如何处理传入的数据，并以正确的格式，顺序和视图放置它们，必须对项目文件进行一些修补。 尽管我们不得不编写一个小脚本来运行，但是我们假设该项目无需文件即可运行。 问题只能出现在render_factor参数上。

对结果的影响如下：
0-7全麦粥
8-12种过饱和的颜色，粗糙的颜色（对于较差的场景，它至少会产生一些效果）
13-18对于无法识别的场景来说是一件值得一试的事情
19-20实验（我们将从白桦树皮执行母线槽）
最佳数是21
> = 22饱和度开始丢失，使用意义降低

该数字越小，内存消耗越低，计算速度越快。

是啊 第二天，我的脑海中浮现出i7处理器具有Turbo模式的记忆，甚至以某种方式对其工作进行了检查。 找到了有关如何在Windows下激活它的信息，并且测试实用程序开始显示更强大的核心频率值。 处理器温度在85-99°C的范围内跳跃。 将一锅水放在上面以除热。 从下方看笔记本电脑的散热器。 如果每天较早处理5％的帧，则在加速模式下该值变为7％。 至少有些快乐。

冒险等待着我们

任何程序都可能失败。 当然，开花下降了。 好了，重新启动。 然后传来“哦”。 有时，实验的版本会落入产品中，因此，当我修补项目模块时，我很分心，忘了看每条指令的整个链和含义，并认为修补已完成。 该项目最初删除了临时文件夹，创建了一个新文件夹，并在其中添加了从视频中提取的帧...通常，您已经猜到了包含当天结果的文件夹对我来说是吹牛。

然后是R.saver，我们花了几个小时而不是开花来扫描磁盘，这是渲染时间的负值。 我们将保存的内容传递到另一台计算机。 而且，当然，事实证明，由于没有立即发现问题，因此一堆文件没有完整的内容。 我们必须编写一个检查器，以便首先估计损失，其次要编制帧列表以重新开花。

Smaku补充说，开花会删除原始帧，重新启动需要处理的内容和不需要的内容时不要混淆。 一个文件夹没有稳定的框架是不正常的，而不是“好吧，出了什么问题”和“如果这样，您总是可以再次稳定”。 好吧，是的，花费时间就可以实现一切。

事务，后顾之忧

好的，似乎生活有所改善，迷你剪辑悄悄地嗡嗡作响，您已经可以计划进一步的工作并编写用于后期处理的脚本。

观赏开花的材料，除了喜悦之外，还引起了烦恼。 有两件令人不愉快的事情。 首先，色调在帧之间疾驰，这很可能是由于光源亮度不均匀造成的。

其次，出现了一堆重复的帧。 似乎是为什么，但是，显然，家用视频播放器并没有以低于24帧/秒的速度发疯。

存在问题，需要以某种方式解决它们。 很明显，帧流需要分解为场景。 要调整色调/亮度，您需要设置边框。 并且为了不与重复的框架一起删除文本，有必要将框架分为文本和非文本。

长期的实验开始确定人员的相似性。 你好，opencv，你是什么？
让我们跳过烦人的事情（它们将在代码中可见），版本数，尝试过的方法（对于辅助功能的数量可见）。

我将尝试解释最终版本。

我们依次加载两个帧。 我们稍微模糊了一下，魔鬼知道为什么，但是如果是这样，则实验表明结果有所改善（也许消除了噪声的影响）。 在框架中找到关键点并进行比较。

对不熟悉opencv的人的解释：

搜索关键点（keypoints，kp）-突出显示图像更改时保持不变的特征。 非常粗鲁，但很简单，可以想象成一系列的微哈希。

ORB是许多关键点突出显示方法之一。

des-描述，关键点的参数描述。

BFMatcher-辣根，用于使用des比较关键点。 它的任务是在两个阵列中选择相同的点，并计算每个绕组点与其原始位置的偏离量。 对不起，我的我的英格尔兹。

结果表明，这些点的位移的总距离越小，框架越相同。

如果分数大于魔术数字，则值得进行其他检查，也许这真的是另一回事了吗？ 首先，让我们检查是否有两个文本框，首先，我们需要此功能，其次，如果帧的类型已更改（文本-> not_text），则场景肯定已更改。 将彩色图像减少到单调并将不健康的人发送到文本检测（尽管is_text更加美观）。

如果您试图描述本质，那就是在寻找闭合回路，如果事实证明我们有许多回路的尺寸落入了我们的魔术期望中，那么很有可能这就是文字。 您可能会猜到，此代码代替了is_text，尽管非常大的字母和诸如黑水眩光的场景也失败了，但可以认为它是成功的。 用言语，将很难在“简单但有效”和“确实有效但过分杀伤”的不同选项之间传达所有的看法。 某种工程上的麻烦使我们离解决“所有边缘上的黑色条纹=文本”的解决方案相去甚远。

如果文本在这里没有味道，则我们尝试比较黑白直方图，如果怀疑加剧，则我们比较彩色直方图，如果直接非常可疑，则我们在一帧中进行比较，因此可以肯定。

在这里，纯粹是实际的操作：如果脚本想要制作一个简短的场景，那么将这个场景添加到前一个场景中似乎更好。 并且，如果场景中有超过90帧，这将增加对场景进行进一步处理的时间。

寻找某种补偿音调的方法并不容易。 显然，只有一篇科学文章和相关项目是Google。

有一个小问题。 这是Matlab。 由于某些原因，我真的不想立即放这个怪物并将我拖到GNU Octave。 当然，代码不是完全兼容的，我不得不弄清楚如何读写图片，满足那些在Octave中工作不同的功能的期望，总的来说，该语言与主流语言并不完全一致，而且我不得不深入研究不同的Matanov细微差别。迷路了

当它最终工作时，处理速度可以说是最少的烦恼。 每帧20秒。 即使在旧处理器上，这也太过分了。 好吧，让我们看看Matlab的情况。 “选择一个包裹。” 恩，但是xs我需要什么，让我们使用DSP。 并且，启动！ “您的版本中未安装图像处理包。” 好吧，好的，我还有免费的注册地址。

终于开始了，甚至比八度音速快得多，但是这次仍然太长了，无法与开花相提并论，其次，收到的校正结果没有达到我的期望。

如果您想做某事，请自己做。 我不想自己做，但必须这样做。 终于沉迷于成瘾，终于在opencv中找到了至少对我有帮助的东西。 发现了一组用于拼接全景照片的类，其中包括一种用于校正光线和色调差异的机制。 并不是您所需要的，但至少是一种选择。

在使用这个东西的唯一（是！）示例进行长时间实验之后，终于得到了有用的代码。

所有的魔术就是通过实验建立一个适合我目的的课程，并弄清楚口罩的格式。 这很明显：向补偿器提供图像，以计算总曝光量的平均值和每个色彩通道的水平，然后将其重新分配给转换源。

第一个结果不适合我。 , . , , . - . , .

.

, . « , ». , , , .

, , , , . small_wb , run, , , , - - . , . , .

. , , , . . .

, , . , - . , . , . , , .

github.com/sniklaus/3d-ken-burns

, , . 但是 . «». «», , , . .

opencv.

, . , .

, , , , , .

, , -, . , -. , , . , , , , . - . : . , , , . , , , , (, ) mac mini .

, , , .

. , - . , , .

, , . - , . , , . , , , / . , « , ».

, , (, , ?), / . , . «». , , 2014. « ». - , . , «», « ?», - . ?？ ? ? . ! !

. , «», ? , .

3 , . - . , , . , . «---» - . .

,

GPU- . . , .

, , . . . , . , , , 720 400 . , . . , Pentium 133 ( Cyrix 100, ). , . . , , , . ? . , , .

2 , , . , , 12 , .

, , ssd . , , - , .

, . ! ? , - GPU. , , , «if APU available», APU , , ? 不行

我们会毫不犹豫地超频并​​获得免费的1 GHz，很长一段时间内选择的散热器及其成本已经得到回报。 我们放了一个调色师。 我们开始。 oom！ CUDA内存不足。 酷，太好了，我们会在早上弄清楚。

早晨，没有记忆。 Google报告此错误意味着可用视频内存的大小小于必需的大小。 我真的不想相信它，因为这不应该是真的。 毕竟，我买了一个带有精简内存的视频卡版本，这不会错，不，我不会，但是我永远不会误会。

实验从强制清理内存，更改参数开始，希望这样的事实是，丢弃不会立即发生，输出中会有几帧出现。 当然，可以以一个周期开始开花重新开始，但是发射的准备时间约为2分钟，这没有任何意义。

突然，调试脚本开始正常运行，并且处理过程开始进行，我不知道自己在那儿做了什么，我决定不动任何东西，只准备好我的彩色相框。 其余60％​​的帧在5小时后结束。 直到今天，微型汽车的处理才刚刚开始，哦，糟糕的微型汽车。

才刚刚开始

运行场景搜索脚本并填写目录。 我们过去，检查是否有错误的方式，我们将其修复。 总的来说，一切都很好。 接下来，您需要清理重复的帧，以免在进一步操作中浪费时间。 一针见血，如何确保该脚本仅删除必要的内容，并且不会丢失任何内容。 如果您从逻辑上考虑，那么添加额外的帧应该不会造成混乱，而应具有某种算法。 当然，您不应附属于它，但应考虑到它。 我们这样做：将没有重复帧的所有场景复制到另一个文件夹，然后使用文件管理器目录的比较将每个文件夹与原始文件夹进行比较。 如果目视观察到已删除文件中的重复节奏，则我们认为一切正常。 乍一看。

仅半小时，您就可以走得更远。 我们开始音调补偿。 几个小时后，我们尝试享受结果，但享受不到一半。 一小部分场景色彩不佳。 音调补偿中的一小部分场景仍然出现问题。 如果第二个可能，或者只是补偿之前的值，或者尝试在不使用白平衡的情况下使色调均匀。 重新开花更加困难。 有些场景通过减少render_factor参数得到了改善，其余的场景根本没有让步。 该算法在训练模型中根本找不到任何相似之处，并且产生了奇怪的结果。 我必须使用不同的render_factor为每个这样的场景多次着色，然后选择最佳帧，以使其至少在某种程度上类似于真实情况。 很难传达出这种活动使大脑筋疲力尽。 我必须编写脚本来收集单独文件夹中每个帧的选项，从而提高了工作效率并减少了滥用流。

在继续之前，您需要剪切掉多余的文本并在某些地方重新排列几个场景。 视频编辑采取了一些简单的方法。 我们将带有框架的文件夹结构直接加载到当前编辑器中。

我们删除场景，交换它们，将更新的结构卸载到新文件夹中的磁盘上。

现在您可以将12 fps转换为24 fps。

我们为项目打补丁以使用单个框架，否则它将正常工作。 我们开始，看看结果。 伴随着“哇”，出现了一个新问题，一些场景中充满了伪影，因为要从24个帧中获得12个帧，您需要专门训练模型。

有两种选择。 你们两个都不喜欢。 手动删除失败的框架，或进行模型训练。 就是说，或者花费很多时间，或者花费未知的时间而无法预测结果。 清晰占了上风。

好吧，观看超过200,000帧。 有什么困难？ 您无法删除所有不良帧。 有必要完全去除那些击中眼睛的东西，并让它们看起来像是不可见的。 也就是说，尝试，重复，暴力破解正确的组合。 在框架的后半部分的某个地方，有机神经网络也进行了学习，并且在什么时候等待缺陷，应该删除哪些框架以及不应该触摸哪些框架时变得很直观。 只有4天，我们的版本很流畅。

我们收集视频文件。 我们看。 好像还好 但是似乎有些干扰。 这是什么 哇，哇，重复的镜头，但是如何，在哪里，为什么呢？ 很明显，这种飞旋镖是从过去飞来的。 稳定时，也处理重复的帧，并以运动弧线分别输入每个帧，从而为每个帧添加唯一的偏移量。 重复搜索算法合理地认为这些是不同的帧，因为它们被移动了，所以一切都是合乎逻辑的。

太好了 但是，在不尝试编写至少一点代码的情况下，不要再次查看所有框架吗？

实验从比较相似图像的算法开始。 困难之处在于它们中的大多数都允许您报告图片完全不同或相对相似。 对我来说，一个场景中真正不同的帧几乎相似，因此有必要捕获胶印副本的图像。 所有久经考验的算法都会干扰一个堆，并且两者都会干扰。

skimage的Compare_ssim可能会带来一些好处。 我不会假装我记得它是什么，至少有时它给出了正确的结果并允许立即识别出某些重复项。 我不得不用眼睛寻找其余的东西。 第二天，我的自然神经网络受到训练，注意到了不起眼的事物。 在这一点上，我已经被专业的变形所折磨：吸引我眼球的黑白图像被认为是不完整的工作，并且任何第三方视频内容的抽搐都被称为“再次重复！”。

放下视频的下一个版本，观看。 据了解，某些场景具有酸饱和度。 这又是一个问题，因为您不能仅仅将所有场景的饱和度降低到一般值，相反，其中一些场景并不是很明亮。

饱和挑战开始了。 更改此参数很容易，但是要进行充分测量却非常困难。 从理论上讲这是可以理解的；实际上，这只是被证实了。 在明亮的场景中进行测试时，会遇到任何比较幼稚的方式来比较帧的饱和度，这些场景都是明亮的，但是它们的速率是正常的或褪色的，但是它们的速率却很高。

到最后，至少可以以某种方式诞生一个可行的解决方案。

在像素饱和度扩散的中位数上，我们添加了饱和度的标准偏差，并获得了帧的条件最大饱和度。 这是不完善的，但是使用这种测量方法，饱和度均衡开始起作用。 只剩下用多项式correction_value = f（measured_value）了 。 我们用手“冻结”->“给出令人愉悦结果的校正值”在测试数据上绘制板，然后将板驱动到任何可以近似的工具中。

总饱和度校正功能：

我们从空间BGR（opencv的默认视图）传递到HSV。 我们用一个数来表征饱和度矩阵。 我们计算饱和度的增益/衰减。 我们切断了该范围的出发时间。 将调整后的饱和度矩阵与原始亮度和色调合并，返回到BGR空间。

版本何时发布？

好吧，看来视频终于准备好了。 你可以做音乐。

由于现有的音乐伴奏中没有一个适合我，因此除了自己做某事外别无其他。

从一开始就出现了一个愚蠢的问题：一半的磁盘被不同状态的电影备份所阻塞。 而且该程序原本应该用来制作音乐，但它需要数十GB的音轨库。 我以为：“可能出什么问题了？”并删除了预备份备份，因为我在两个磁盘上拥有预备份备份，而且我并没有丢失任何重要内容，而且不太可能需要重做任何事情。

在处理音乐的第三天，失去饱和度的场景数量将不再被忽略。 一些框架完全变成黑白，在此之前这些框架是最亮的。 有趣的是，这可能是什么？ 原始表外的三阶多项式会突然飞向太空吗？ 真是令人惊讶，对吧？ 应该注意的是，在饱和度校正后，我不想再次查看整个电影，我将自己局限于每个场景中的一帧，这给人一种对结果足够虚幻的感觉。

向饱和度校正代码添加边界条件没有问题。 问题是缺少源，您无法从中获得与声音同步已经完成的相同帧序列。

有两种选择：以凉爽的声音将弯曲的图片释放到世界中，或者返回两步。 遗憾的是偶然失去了完美的同步，但是整个工作的重点都是彩色的。

我们重复重复的清理，重新安装，调整饱和度，当然，我们会在声音上产生强烈的不同步，开始过分跟踪音轨的关键点，我们为魔术同步几乎消失而感到沮丧。 所以又过去了一周。

关于音乐

免费编写新音乐完全不是一种选择，但是从可用的伴奏选项中选择某些内容（尽管其中至少有5种）也缺乏诚实性。 在搜索免费曲目的过程中，我遇到了一件有趣的事情。

filmstro.com

从描述中可以清楚地看出，它允许您在替代其他人的曲目和从头开始创作之间进行某些操作。 它具有广泛的成分库，每种成分都可以表示为来自条件果味循环的项目。 一种成分的所有轨迹都分为三部分：强度，深度，电压。 通过更改该部分的“强度”，可以更改已激活轨道的数量。 总计：一个乐曲平均包含11个声音选项，这些声音选项是各部分相互影响的结果。 借助视频序列中关键点的排列，构图声音的变化与屏幕上发生的事情相关。 这样的doshirak。 好吃，如果您不知道它是怎么发生的。

关于YouTube

最后，您可以制作频道并上传视频。 似乎一切都结束了，您可以放松了。 但是现实并没有放过，如果可以随意将原始视频视为高清，那么在上传之后，它的质量令人反感。 从种种迹象和观点来看，从互联网上可以看出，Google有意对所有新频道使用非常低的比特率。 幸运的是，好的建议流传到某处：以1440p的速率填充，好像这使youtube在钳位时要格外小心。 该委员会确实提供了帮助，至少变得值得关注。

下载后，有关使用他人视频的投诉立即泛滥。 非常有趣的是，事实证明，出色的Youtube在公共领域仍然没有有效的作品数据库，我们将通过提出异议来帮助他。

结果： www.youtube.com/watch?v=r3NQyCInZiQ
以原始质量的下载链接： drive.google.com/uc?id=1dEPcjKbjNowxsfaNcbV6DsbAr3kbACKH&export= download

奥托罗

总的来说，我喜欢发生的事情。 有薪专家团队将制作糖果。 在这种情况下：正常帧的70％，差帧的20％，史诗的10％。 免费，自动。 我必须解决的所有问题仅是因为这是第一次完成。 下一部上色的胶片将变得更加容易。 我不知道会是什么样，在无声电影时代，我还没有遇到过其他要求将其转移到我们的元事件中的作品。 可能是早期电影中出现的声音，这意味着有必要恢复声音，将其调至20-20 KHz，并将其转换为立体声。 您可以接触到许多不同的神经网络=）如今，开花的质量高度依赖于原始材料，保留的灰色阴影越多，清晰度越高，结果越好。 下一代此类工具很可能会合成新的高质量图像，并且无法使颜色适合旧的轮廓线，这类似于通过绘图模仿照片的项目。 同时，为了获得出色的效果，您需要拉伸黑白图像，并分别在与目标影片相对应的视频资料上训练颜色指示符。

我们的生活在越来越快地变化，我们进入另一个现实的时间框架正在缩小。 我们正在编写神经网络，以便跟踪神经网络正在发生的所有新事物。 但是我们的时间越来越少。 就在半年前，他们问我是否可以自动制作真实色彩的任意照片，我的回答是：“不，那仍然很棒。”