在阅读完所有有关Google夜景摄影新功能的赞美评论“ Night Sight”之后，您可以确定该公司刚刚发明了彩色胶卷，这一事实可以原谅。 昨晚没有出现夜间拍摄模式，并且基于它们的许多技术已经存在了很多年。 但是Google在将计算摄影技术与前所未有的机器学习功能相结合方面做出了令人赞叹的工作，以超越我们之前所见的界限。 让我们看一下连续拍摄几张微光摄影技术的历史，思考一下Google如何使用它，并假设AI对它有何贡献。
弱光摄影的困难
所有相机都在低光下拍照。 如果图像中每个像素没有足够的光子，则噪声很容易占主导地位。 将快门打开更长的时间以收集更多的光线并获得有用的图像也会增加噪点。 更糟糕的是，没有稳定的三脚架很难获得清晰的图像。 增大增益（ISO）将使画面更亮，但同时也会增加其中的噪波量。
传统策略是在较大的传感器中使用较大的像素。 不幸的是，在电话的摄像头中，传感器以及像素很小-它们在良好的光线下可以很好地工作，但是当光线水平降低时，它们很快就会失效。
结果，电话摄象机的开发者有两种选择来改善在弱光下获得的图像。 第一种是使用多张图像将它们合并为一个图像，同时降低噪声。 这种策略在移动设备中的早期实现是iPhone的DxO ONE附件中的SRAW模式。 他将四张RAW图像合并为一张增强图像。 第二种选择是使用巧妙的后处理（最新版本通常配备机器学习功能）以减少噪音并改善图像。 Google Night Sight使用这两种方法。
一次拍摄多张图像
目前，我们已经习惯了手机和相机如何将多个图像组合为一个，主要是为了改善动态范围。 无论是像大多数公司那样用
括号括起来的一组图像，还是使用短暂曝光的多张图像的Google提供的HDR +，您都可以获得出色的图像-如果可以将由于移动物体的几幅图像合并而产生的伪影最小化。 通常，为此选择一个最能描述场景的基础帧，其他帧的有用部分将叠加在该场景上。 华为，谷歌和其他公司也使用这种方法来创建增强的
长焦照片。 当苹果公司解释说他们与
BeautyGate的混乱是由于在照片处理过程中选择了错误的基本框架时，我们最近看到了选择正确的基本框架的重要性。
很明显，为什么Google决定结合使用多种图像的这些方法来在低光下获得更好的照片。 同时，该公司在图像处理领域引入了多种创新技术。 最有可能的原因是Mark Livoy的Android应用程序，
SeeInTheDark和他2015年的著作“使用手机获取极端图像”。 Livoy是斯坦福大学计算摄影的先驱，现在在Google从事相机技术工作时已获得荣誉工程师的头衔。 SeeInTheDark（是iOS的SynthCam应用程序的早期工作的延续）是使用标准手机来累积帧，更改每个帧以使其与键入的图像匹配，然后应用各种技术来减少噪点和改善图像，从而获得令人惊讶的高质量低图像。照明。 2017年，谷歌程序员弗洛里安·坎茨（Florian Kantz）使用了其中一些概念，
展示了即使在非常低的光线下，如何使用手机也能捕获专业品质的图像。
覆盖多个弱光图像是一种众所周知的技术。
自从数码摄影技术问世以来，摄影师已经叠加了几张图像以提高在弱光下拍摄的图像的质量（我怀疑有人用胶卷来做到这一点）。 对于我来说，我首先手动进行操作，然后使用棘手的Image Stacker软件工具。 由于最早的数码单反相机在高ISO情况下是无用的，因此获得正常夜间拍摄的唯一方法是拍摄几帧并覆盖它们。 一些经典的拍摄，例如星迹，最初是用这种方式拍摄的。 如今，在使用数码单镜反光相机和无反光镜相机时，它已不再常用，因为现代型号内置了出色的工具，可支持高ISO并减少长时间曝光所产生的噪音。 在我的尼康D850上，您可以将快门打开10至20分钟，但仍然可以得到非常合适的照片。
因此，谨慎的做法是电话制造商也应这样做。 但是，与耐心的摄影师使用三脚架进行星迹追踪不同，普通电话用户需要立即获得满足，并且他们几乎永远不会使用三脚架。 因此，电话还有其他困难，需要在弱光下快速获取图像并使相机抖动（理想情况下是由于对象移动）造成的模糊最小化。 甚至许多顶级机型上可用的光学稳定器也有其自身的局限性。
我不确定哪家手机制造商是第一家使用多张照片来拍摄低光图像的人，但是我是第一家使用华为Mate 10 Pro的人。 在“夜间拍摄”模式下，他在4-5秒钟内拍摄了几帧，然后将它们合并为一张照片。 由于华为的实时预览保持打开状态，因此您可以看到它如何使用几种不同的曝光选项，基本上可以创建带有包围的几帧。
在描述第一个HDR +的工作中，Livoy声称具有不同曝光度的帧更难对齐（为什么HDR +使用具有相同曝光度的多个帧），因此，很可能Google的Night Sight（如SeeInTheDark）也使用了具有相同曝光度的多个帧。 但是，Google（至少在应用程序的预发行版本中）不会在屏幕上实时显示图片，因此我只能推测。 三星在Galaxy S9和S9 +中使用了与主双光圈镜头不同的战术。 它可以在弱光条件下切换到令人印象深刻的f / 1.5，以改善图像质量。
华为与谷歌低调对比
我还没有Pixel 3或Mate 20，但是我可以使用带有Night Shot的Mate 10 Pro和带有Night Sight的预发行版的Pixel 2。 所以我决定自己比较一下。 在试验中，谷歌显示出更少的噪音和更清晰的画面，显然超越了华为。 这是测试序列之一：
下午华为Mate 10 Pro
下午的Google Pixel 2
在Mate 10 Pro上没有Night Shot模式的情况下，几乎可以在完全黑暗的环境中拍摄同一场景，这就是您所能获得的。 快门打开6秒钟，因此可见模糊
在华为Mate 10 Pro上使用Night Shot在近乎完全的黑暗中拍摄。 EXIF数据显示ISO3200和总共3秒钟的曝光时间。
与像素2上的Night Sight的预发布版本相同的场景。颜色更准确，图像更清晰。 EXIF显示ISO5962，曝光时间为1/4 s（可能是几帧）。机器学习是Night Sight的秘密组成部分吗？
考虑到多张图像重叠了多长时间，以及照相和电话制造商已经使用了多少种该技术，为什么Google的Night Sight看起来比其他图像好得多，这很有趣。 首先，即使Livoy的原始作品中的技术也非常复杂，因此Google不得不对其进行改进的岁月也应该使该公司有了良好的开端。 但是该公司还宣布，Night Sight使用机器学习技术根据帧中的内容选择正确的颜色。
听起来很酷但是有雾。 尚不清楚该技术是否区分单个对象，知道它们的颜色应该是单声道的，还是相应地绘制著名的对象，还是像智能自动曝光算法那样识别普通的场景类型，并决定这种场景的外观（绿色叶子，白色雪，蓝天）。 我相信最终版本发布后，摄影师将获得使用此功能的更多经验，我们将能够找到该技术如何使用MO的详细信息。
MO可以派上用场的另一个地方是曝光的初始计算。 如Google的SIGGRAPH所描述的那样，潜在的Night Sight HDR +技术依靠一组手工标记的数千张照片来帮助她选择正确的曝光。 在此方面，MO可以带来一些改进，尤其是在场景对象嘈杂且难以区分的弱光条件下执行曝光计算时。 Google还
尝试使用神经网络来改善手机上的照片质量，因此，当其中一些技术开始实施时，这并不令人感到惊讶。
无论Google使用这些技术的任何组合，其结果绝对是当今可以在低光下拍摄的所有相机中最好的。 我想知道华为P20系列是否能够提供任何东西，以使其Night Shot技术的质量更接近他们在Google所做的工作。