夜视：Pixel手机在黑暗中如何看待

左：iPhone XS（ 全分辨率照片 ）。 右：Pixel 3 Night Sight（ 全分辨率照片 ）。

Night Sight是Pixel Camera应用程序的一项新功能，即使在光线很小甚至看不到眼睛的情况下，Night Sight也可以让您在非常低的光线下拍摄清晰清晰的照片。 它可以在所有三代Pixel手机的主摄像头和前置摄像头上使用，并且不需要三脚架或闪光灯。 在本文中，我们将讨论为何在低光下拍照如此困难，讨论了叠加在HDR +格式上并允许Night Sight正常工作的计算摄影和机器学习技术。

为什么在弱光下拍照比较困难？

每个在光线不足的地方拍照的人都熟悉图像中的噪点，看起来像随机的亮度在像素之间变化。 对于带有小透镜和光矩阵的智能手机相机，噪声的主要来源是进入透镜的光子数量的自然波动，称为散粒噪声 。 任何摄像机都会遭受它的困扰，即使具有理想的矩阵质量，它也将始终存在。 但是，矩阵不是理想的，因此，当转换由进入像素的光产生的电荷时，会产生第二个噪声源-读取噪声。 其他来源也有助于信噪比（SNR），显示多少图像保持无噪声。 幸运的是，SNR与曝光时间的平方根成正比（或更快），因此，曝光度越高，图片越清晰。 但是，在昏暗的灯光下，保持静止状态足够长的时间以拍摄出好照片非常困难，而且您拍摄的内容也可能会停滞不前。

2014年，我们引入了HDR +计算摄影技术，通过一次拍摄几张照片来改善这种情况，然后以编程方式将它们对齐并合并在一起。 HDR +的主要目标是改善动态范围，即在各种光照条件下（例如，在日落或人像背光的情况下）拍照的能力。 各代Pixel手机都使用HDR +。 事实证明，合并多个图像还可以减少散粒噪声和读取噪声的影响，因此可以提高暗光下的SNR。 为了在握手和物体移动的情况下保持图像的清晰度，我们使用较短的快门速度。 我们还将丢弃尚未找到良好对齐方法的图像部分。 HDR +可以产生清晰的图像并收集更多的光线。

“黑暗”将有多深？

但是，如果在低光下拍摄和合并多帧可以得到更清晰的照片，为什么不使用HDR +来获得几十张图像，以便实际上我们可以在黑暗中看到？ 让我们从“黑暗”的定义开始。 摄影师在讨论场景的照度时，经常在套房中对其进行测量。 照度是入射到表面单元上的光量，以每平方米流明为单位。 为了让您大致了解照明水平，下面是一个方便的表格：

• 30000-人行道被太阳照亮。
• 10000-人行道上晴朗的一天，在树荫下。
• 1000-令人沮丧的一天在人行道上。
• 300-办公室照明。
• 150-在家餐桌照明。
• 50-在餐厅内用餐。
• 20-带有大气照明的餐厅。
• 10-查找配对袜子所需的最低照明度。
• 3-根据灯笼的人行道。
• 1-最小的阅读报纸的光。
• 0.6-满月下的人行道。
• 0.3-在地板上找不到钥匙。
• 0,1-没有手电筒就不可能在房子里四处走动。

拍摄一张照片的智能手机相机在30勒克斯的光照水平下开始遇到困难。 具有几帧并结合在一起的手机可以达到3 lux，但在较暗的条件下它们无法应付，只能依靠闪光灯。 借助Night Sight技术，我们力求使用智能手机，一按快门释放按钮且不使用闪光灯，将照片质量从3 lux提高到0.3 lux。 为此，需要几个关键元素，其中最重要的是获取更多帧。

我们得到数据

增加帧的曝光时间会增加SNR，并使您获得更清晰的图像，但是会导致两个问题。 首先，Pixel手机的默认拍摄模式使用零延迟协议（ZSL），该协议会限制曝光时间。 相机应用程序一启动即开始拍摄，并将照片存储在环形缓冲区中，该缓冲区会不断删除旧帧，从而为新帧腾出空间。 按下快门按钮时，相机会发送最后的9-15帧来处理HDR +或Super Res Zoom软件。 这样一来，您就可以准确捕获所需的时刻-因此就是“零延迟下降”。 但是，由于我们为您提供帮助，因此我们将这些图像显示在屏幕上，HDR +将最大快门速度限制为66毫秒，而不管照明级别如何，这使得取景器可以保持至少15帧/秒的频率。 对于需要较慢快门速度的较暗场景，Night Sight使用正释放延迟（PSL）技术，并在拍摄照片之前等待按下按钮。 要使用PSL，您需要在按下按钮后将手机保持静止一会儿，但是此模式可以提高快门速度，从而改善恶劣照明条件下的SNR。

增加每帧快门速度的第二个问题是由于手抖动或场景物体移动而造成的模糊。 在像素2和3上可用的光学图像稳定（AIS）可以降低中等快门速度（最高1/8 s）时的抖动效果，但对于慢快门速度或移动被摄对象没有帮助。 为了消除不受AXIS约束的模糊，Pixel 3默认包括“运动测光”模式，该模式使用光流测量最近的场景运动并选择使模糊最小化的快门速度。 像素1和2默认情况下不使用此模式，但是，所有三部手机在Night Sight模式下均使用此技术，在不移动的情况下将每帧的快门速度提高至333 ms。 在没有OSI的Pixel 1上，我们不会大幅提高快门速度（对于没有OSI的自拍相机，其增加幅度将更为适中）。 如果照相机稳定（靠在墙上，放在三脚架上），则每帧的快门速度可以提高到一秒钟。 除了改变逐帧曝光之外，我们还改变帧数，从手机在三脚架上的情况下为6，到手持拍摄的情况下为15。 这些框架限制可防止用户疲劳（以及取消按钮的需要）。 因此，根据您所拥有的Pixel手机，相机的选择，握手，场景的移动和场景的亮度，Night Sight模式从15帧（快门速度为1/15 s或更短）开始，到6帧（快门速度不超过1秒）。 1秒

在检测运动时使用短快门速度的具体示例：


左：并排放置的两台Pixel 3手机之一连续拍摄15帧。 在中央：关闭了运动测量的夜视拍摄，这迫使手机使用73毫秒的快门速度。 狗的头模糊。 右：启用运动测量的夜视仪；使用48毫秒的快门速度。 模糊明显更少。

将手机放在三脚架上时使用长时间曝光的示例：


左：用夜视仪拍摄的夜空的一部分（ 全图 ）。 双手有点发抖，因此Night Sight选择了333 ms×15帧= 5.0秒。 右：三脚架上的照片 （ 整个照片 ）。 没有记录到抖动，因此Night Sight使用了1.0 s×6帧= 6.0 s。 可以看到天空更清晰，噪音更少，可见更多的恒星。

对齐和合并

平均帧以减少噪声的想法与数字图像技术本身一样古老。 在天文摄影中，这称为曝光堆叠 。 尽管技术本身很简单，但是最困难的部分是手持拍摄时正确对齐图像。 我们从2010年开始使用Synthcam应用程序处理此主题。 它会不断拍摄照片，并以低分辨率实时对齐并合并它们，并显示最终结果， 随着您观看时间越长，它越清晰 。

夜视仪使用类似的原理，但是具有完整的矩阵分辨率，而不是实时的。 在Pixel 1和Pixel 2手机中，我们使用经过修改和调整的HDR +合并算法，即使在嘈杂的场景中，也可以增强检测和拒绝不正确对齐的帧部分的能力。 在Pixel 3上，我们使用Super Res Zoom ，它会根据您是否放大图像进行调整。 尽管后者是为高分辨率而设计的，但由于它可以平均堆叠几张照片，因此它也可以减少噪音。 与HDR +相比，Super Res Zoom在某些夜景中可提供更好的效果，但在Pixel 3手机上需要更快的处理器。

顺便说一下，所有这一切都在几秒钟内发生在手机上。 如果您快速切换到照片列表（在等待拍摄完成之后！），您将看到HDR +或Super Res Zoom完成工作后图像如何“出现”。

其他困难

尽管描述的基本思想听起来很简单，但是在没有足够照明的情况下，发现一些Night Sight开发技巧非常困难：

1.自动白平衡（ABB）在弱光下无法正常工作

即使在有色照明（或太阳镜）下，人们也能很好地感知事物的颜色，从而显示出颜色的恒定性 。 但是，当我们用一种光线拍摄照片，然后用另一种光线拍摄照片时，此过程通常会失败。 这张照片看起来像是在给我们着色。 为了纠正这种效果，相机的感知会改变图像的颜色，以部分或完全考虑背光的主要颜色（有时称为色温 ），从本质上改变图像的颜色，从而使场景看起来以中性白突出显示。 此过程称为自动白平衡 。

问题在于，这个问题是指数学家称其为不正确姿势的那些问题。 相机上捕获的雪真的是蓝色的吗？ 还是白雪被蓝天照亮了？ 显然是最后一个选择。 这种歧义使白平衡的搜索复杂化。 在Night Sight以外的其他模式下使用的ABB算法效果很好，但是在光线较差或有色的照明设备（例如钠放电灯 ）中，很难分辨出背光的颜色。

为了解决这些问题，我们开发了基于训练的 ABB 算法 ， 该算法经过训练，可以将平衡良好的图片与平衡不良的图片区分开。 当照片平衡不佳时，该算法可能会提供色移选项，以使照明显得更中性。 要训​​练该算法，有必要使用Pixel设备拍摄许多不同场景的照片，并手动调整它们的平衡，并在显示器上以经过良好校准的颜色查看照片。 您可以通过比较同一场景和光线不足的情况来查看算法的操作，该场景的照片是使用Pixel 3使用不同方法制作的：


左图：默认情况下，相机中的平衡器不知道该小屋的照明在温哥华海岸上呈黄色（ 全摄 ）。 正确：我们的学习算法做得更好（ 全图 ）。

2.在太暗的场景上标记阴影

夜视仪的目的是拍摄如此黑暗的场景，以至于用肉眼很难辨认，从而开发出超能力！ 与这个问题有关的事实是，在光线不足的情况下，人们会停止区分颜色，因为视网膜中的视锥细胞停止工作，使所有物体都无法分辨光的波长。 在晚上，场景不会失去其颜色，我们只是停止区分它们。 我们希望Night Sight中的照片具有彩色-这是超能力的一部分，并且可能会引起其他冲突。 最后，我们的魔杖的空间清晰度有限，因此物体在夜间显得模糊。 我们希望夜视仪中的照片清晰明了，并具有更多细节，您无法分辨。

例如，如果您将DSLR放在三脚架上并设置很高的快门速度（几分钟），或者将几张照片以更短的快门速度叠加在一起，那么夜景照片将看起来像是第一天的照片。 阴影中的细节将是可区分的，场景将是多彩而清晰的。 请看下面由数码单反相机拍摄的照片； 星星是可见的，所以必须是夜晚，但是草是绿色的，天空是蓝色的，月亮投下了看起来像阳光的树木的阴影。 效果令人愉快，但并非总是必要的-如果您与朋友分享这样的照片，他将对您的制作方式感到困惑。


优胜美地山谷在晚上。 佳能单反，28mm f / 4镜头，3分钟快门速度，ISO 100（ 全图 ）

几百年来，艺术家已经知道如何使照片看起来像一个夜晚：


约瑟夫·赖特（Joseph Wright），《解释太阳系模型的哲学家》，1766年。艺术家使用从白色到黑色的多种颜色，但绘制的场景显然是黑暗的。 他是如何实现的？ 增强的对比度，黑暗中环绕着场景，阴影变黑，其中看不到任何细节。

在Night Sight中，我们使用类似的技巧，特别是使用S形曲线标记阴影。 但是，要在“神奇的超级大国”和提醒您拍摄照片的时间之间找到平衡点是非常困难的。 以下是部分成功的照片：


像素3，在三脚架上使用Night Sight 拍摄 6秒钟（ 全图 ）

用夜视仪拍摄时有多黑？

当光照差于0.3 lux时，自动对焦将开始失败。 如果看不到车钥匙躺在地板上，则您的智能手机也无法对焦。 为此，我们在Pixel 3手机的夜视模式中添加了两个手动对焦按钮：“关闭”对焦距离刚好超过一米，“远”对焦距离是4米。 后者是镜头的超焦距，也就是说，距离无限远一半（2 m）的所有物体都应聚焦。 我们还在努力提高低光下的夜视自动对焦能力。 如本文所述，您仍然可以在0.3 lux以下的光照下甚至是天文摄影下拍摄精美的照片，但是为此，您将需要一个三脚架，手动对焦和一个使用Android Camera2 API的特殊应用程序。

我们能走多远？ 最后，在一定的照明水平下，读取噪声使传感器收集的光子盖过了阴影。 还有其他噪声源，包括暗电流 ，该噪声与快门速度成正比，并且取决于温度。 为避免这种影响，生物学家将其相机冷却至低于-20°C的温度以拍摄荧光动物的照片-但我们不建议您使用Pixel手机这样做！ 噪声太大的图像也很难对齐。 即使我们解决了所有这些问题，风还是在吹，树木在摆动，星云在移动。 非常慢的快门速度很难采取。

如何充分利用夜视仪

Night Sight不仅可以在低光下拍摄很酷的照片：使用也很有趣，因为即使您几乎什么也没看见，它也可以拍摄照片。 当场景太暗时，我们将显示芯片的图像，以至于使用Night Sight时，照片效果会更好-但不仅限于这些情况。 日落之后，在城市的一场音乐会上，Night Sight会立即拍摄干净，低噪点的照片，并使它们比现实明亮。 这是通过夜视仪和A / B比较拍摄的一些示例照片。 以下是使用夜视仪的一些技巧：

• 夜视仪无法在完全黑暗的环境中工作，因此请选择光线不足的场景。
• 柔和均匀的照明效果比锐利效果好，可产生暗影。
• 为避免眩光，请尽量使明亮的光源不可见。
• 要提高快门速度，请单击对象的图像，然后滑动快门速度滑块 。 再次单击以取消。
• 要减少曝光，请拍摄照片并在照片编辑器中将其变暗。 噪音会更少。
• 如果场景太暗以至于无法对焦，请单击对比边框或光源的边框。
• 如果这不起作用，请使用“关闭”和“远”按钮。
• 为了使清晰度最大化， 请将手机靠在墙壁或树木上，然后将其放在桌子或石头上。
• Night Sight也可用于A / B相册中的自拍照，并具有背光屏幕的功能。

手动对焦按钮（仅适用于Pixel 3）。

Night Sight在Pixel 3上工作得最好。我们在Pixel 2和原始Pixel上都做到了这一点，尽管由于缺乏光学稳定性，后者使用更快的快门速度。 此外，自动白平衡器在Pixel 3上进行了训练，因此在较旧的手机上无法正常工作。顺便说一下，我们使夜视模式下的取景器更亮，以便您更容易对准目标，但是它以1/15 s的快门速度工作，因此会产生嘈杂的声音，并且不会影响最终照片的质量。因此，给他一个机会-瞄准并按下扳机。通常，您会感到惊喜！