iPhone 11相机内幕:第1部分:全新相机



上个月,我们已经了iPhone 11和11 Pro相机的硬件和软件方面的新功能。 您可能已经注意到设备中发生的更改非常适中。 所有注意力都集中在软件图像处理上。

的确如此:新iPhone图像质量的显着提高应主要归功于软件的改进。 我花了一些时间研究从iPhone 11获取图像的过程,显然,这是与iPhone 11系列中的相机相关的最重大改进之一。

什么是照片?


听起来我们决定首先采用这种哲学,或者编写脚本在iPad上宣传照片。 但是,为了强调iPhone 11相机的独特功能,我们首先需要了解摄影的期望。

一段时间以来,您的照片尚未被您拍摄。 亲爱的读者,这并不是朝着您的方向讲话:当您用手指按下快门按钮时,iPhone 11会拍摄一张您在触摸屏幕之前已经拍摄的照片,以减少可察觉的延迟。



这是通过一种照片的环形缓冲区完成的,该缓冲区在您打开“相机”应用程序后即开始工作。 当您按下快门按钮时,iPhone 11从该缓冲区中选择最清晰的照片。 并保存照片,正如用户认为的那样,他对伪造一无所知。 不,不-您刚刚暗示过,帮助相机从照片中选择了一张。

当然,您可以说这是一个故意的步骤。 没有您的动作,就不会有照片。



但是,所得照片不是单次曝光的结果。 iPhone 11拍摄了许多照片-正如他们在Apple演示中所说的dofiga-并巧妙地将它们组合在一起。

去年,iPhone XS引入了智能HDR模式,将曝光过度和曝光不足的照片结合在一起,以确保增加阴影或曝光过度的图像片段的细节。 HDR是“ 扩展的动态范围 ”,几十年来,它一直是摄影技术无法实现的梦想。

智能HDR更智能


自从人们首次将卤化银涂到印版上拍照以来,我们就对照片在明亮和黑暗区域中固定细节的能力有限感到失望。


很难立即为背景和建筑物本身选择正确的曝光。 右侧的图像类似于眼睛所见。

我们的眼睛实际上表现良好。 它们在动态范围内大约有20种曝光量。 相比之下,最新,最出色的相机之一索尼A7R4可以采取15个步骤。 iPhone 11大约有10。

在数字时代之前很久,使用胶卷的摄影师从胶卷底片(13步)移到纸片(8步)时面临类似的问题。 为了使照片冲印,我不得不欺骗和躲避。


大提顿国家公园的铁顿岭和蛇河,1942年,安塞尔·亚当斯。 这张照片需要经过老式处理才能从HDR中获得我们所知道的外观

如今,经验丰富的摄影师可以使用编辑从单个RAW图像恢复动态范围。 这是一个手动过程,在困难的情况下,您可能会遇到光电矩阵的限制。




编辑时,从iPhone 11 Pro的狡猾曝光中获得可接受的图像。 iPhone 11 RAW文件具有令人印象深刻的动态范围。

Smart HDR使用完全不同的方法,使用“技巧”来增加DD。 您不需要15速传感器就可以同时在明暗区域捕获更多细节。 您需要一个可以足够快地拍照的矩阵,以及可以将它们组合在一起的智能软件。 “编辑”是实时进行的,无需摄影师的参与。

就像我们去年写的那样,这种方法需要权衡取舍。 如果我们将iPhone 11的矩阵调整为以较小的曝光量快速拍摄,我们将收到带有噪点的图像-这已得到iPhone XS和XR的RAW文件的确认。 因此,我们需要降低噪音,其副作用是细节的损失。


在Lightroom中原始且强大的降噪功能。 墙上的砖变成了水彩。

有趣的是,这种降噪导致Apple指控每次拍摄都要使用皮肤平滑滤镜。 实际上,所有纹理均已平滑。 因此,在大多数情况下,照片会变得更加美丽,但是,细节可能会丢失。 照片看起来模糊:


iPhone XS RAW对比Smart HDR HEIC

这使RAW拍摄成为使用iPhone的老练摄影师的诱人选择。 详细信息已保存,使用Halide Smart RAW或手动编辑等工具,几乎可以消除噪点。 在RAW编辑器中,几乎可以像在Smart HDR中一样恢复动态范围。 我更喜欢iPhone XS / XR照片的“处理过的”外观。


智能hdr


编辑的图像iPhone XS RAW

但是,在iPhone 11问世之后,我立即注意到与之前的产品相比,其质量有了极大的提高。 智能HDR变得更加智能。

在iPhone XS和XR上,智能HDR有时走得太远,使纹理平滑或使突出显示的区域过于平坦。 有时他根本无法应付,并拒绝将曝光过度的照片简单地曝光过度。


iPhone XS上的Smart HDR愚蠢示例

这是经典的HDR问题。 有时,您可以通过获取没有对比度的纯平图像来恢复动态范围。 在最坏的情况下,照片只是被破坏了。 Smart HDR对背光非常有偏见,因此很容易识别使用iPhone XS和XR拍摄的照片。


框架不是很平整。 在iPhone XS RAW的照片上,有足够的动态范围,但无法摆脱颗粒感

iPhone 11相机知道有时您想要过度曝光。 这就是更智能的Smart HDR。

魔鬼细节


iPhone 11的照片显示了惊人的细节:


来自手机的普通照片

(对于本文,我将评估在iPhone 11上拍摄的普通照片。从iOS 13.2版开始,Apple有时会使用Deep Fusion处理,我们将在以后的文章中进行讨论)。

细节是我们始终缺乏的图片。 对清晰度的追求几乎是非理性的,对增加百万像素数的需求无穷无尽,并且不断讨论获得可接受的镜头所需的矩阵尺寸。

iFixit (以及我们的拆解产品 )上,可以看出iPhone 11矩阵的大小和百万像素的数量与XS相同。 苹果正在采取什么措施来实现这一目标呢?

两件事已经改变。

配套设备


硬件变化很小,但是在引擎盖下(在镜头下?)已经进行了一些明显的改进。 特别是,ISO范围得到了改善,主相机增加了33%,远摄镜头增加了42%。

什么是ISO? 这是对光的敏感性的量度。 在上个世纪,它代表了胶片的敏感性。 例如,高于800的ISO非常敏感,甚至暴露于机场X射线。



今天,ISO是一个矩阵设置。 如果光线不足,可以增加ISO。 结果,您可以以较高的快门速度拍摄照片,它们的显示效果会更清晰。 折衷方案是提高ISO会增加噪音量。 需要加强降噪功能,从而减少了零件数量。

许多人认为,仅在夜间模式下才需要增加iPhone 11的最大ISO,但是提高范围也可以显着改善日常噪音。 要了解两者之间的差异,无需最大程度地使用新的ISO。 您会在大多数图片中看到它。

仅有一个例外:iPhone 11的最低ISO有所提高,这意味着从根本上讲它比iPhone XS和XR嘈杂。 但是:


iPhone XS RAW和iPhone 11 Pro RAW,处于基本ISO级别(XS为20,iPhone 11为32)。 很容易注意到在黑暗建筑物顶部的广告牌和太阳能电池板上的详细改进。 取自三脚架。

显然,该矩阵给出了更多细节,并带有少量附加噪声。

同时,设备也有其局限性。 人们将iPhone 11与DSLR或其他大型相机的拍摄结果进行了比较,但这是iPhone 11的矩阵与Sony A7R4的矩阵相比的样子:



是的,要取得好成绩需要魔术。 而今年,魔术变得更加困难。 或者,更确切地说,更狡猾。

重大改进:选择性后处理


编辑照片时,您可以决定对整个图像应用滤镜,例如,使场景更明亮或提高清晰度。 但是,您可以有选择地对图像的一部分应用效果,因为杂志通常会平滑模型的皮肤,使其看起来更平滑。

苹果在拍照过程中增加了类似的修饰。 iPhone 11会自动将图像拆分为多个部分,并对它们施加不同强度的降噪效果。 您可能无法在此图像中看到降噪结果:



如果强烈扭曲对比度,则可以在云中看到“水彩”伪像:


由HEIC和RAW处理

在天空中,可以更积极地消除噪音。 由于天空通常具有均匀的表面,因此iOS决定可以应用更强的降噪功能,从而使天空平滑而没有任何颗粒。

在其他区域,适用其他降噪级别。 相机认为值得的仙人掌和其他物体几乎没有经过处理。

但是,这项技术并不完美。 在原始的灌木丛上,不是很清晰,但丢失了细节。 iOS不知道仙人掌在哪里,天空在哪里。 它显然根据零件的原始数量应用降噪功能。


计算机查看细节的一种方式

认识到脸部之后,iOS的行为就完全不同了。 她可以特别保留皮肤,头发和衣服的纹理细节。




编辑以突出显示语义标记保留纹理的区域。 背景装饰相当大地模糊,但相机特别小心,以使我的朋友克里斯的皮肤和头发纹理保持在图像中。 它后面的灰色窗框具有丰富的纹理,完全变成了“水彩”。

苹果将​​其称为“照片分割”。 他们使用机器学习将照片分解成碎片,并分别处理每张照片。 令人印象深刻的是所有这些都是立即完成的。


iOS 13可以特别突出头发,牙齿,眼睛,皮肤等。

这种有针对性的后处理使iPhone 11成为了全新的相机。 去年的Smart HDR并非如此。 处理过程中的一项新更改将编辑您拍摄的所有图像,以保存图像的某些区域或平滑纹理。

在iPhone 11的夜间模式下,您还可以注意到某些区域中细节的消失。 但是,这通常发生在您不太在意的图像部分。 夜间模式在某种程度上令人惊讶甚至神秘,能够获得比通常模式更清晰的图像,并且可以保存相机在处理过程中选择的部分图像细节。

具有讽刺意味的是,去年的Beautygate丑闻被证明是错误的,因为今年iPhone 11确实使图像的某些部分比其他部分对齐。 但是,由于该相机现在已经足够智能,可以选择性地进行操作,并且可以在您不注意的地方进行操作,因此今年没有出现丑闻。 图像看起来更清晰,更柔和。

改善降噪


很难客观地比较iPhone 11和iPhone XS如何消除噪音(无法关闭语义标记),似乎iPhone 11减少噪音更好地保留了细节。

可以假设新的降噪系统使用机器学习来填充可能会丢失的部分,就像当今的许多技术一样。 但是,这样的改进还是值得欢迎的。

后处理和超广角镜头


我们已经提到过,由于无法从超广角镜获得RAW文件而感到不安。 也许此修复软件更新。 在下一张照片中,您可以看到所有细节几乎都是模糊的:



超广角镜头是三个后置镜头中最慢的镜头,因此必须使用较高的ISO值。 如果您想实时查看他们的工作结果,请在日落开始后立即通过“相机”应用程序旋转此新的时尚变焦轮。 降至0.9倍以下时,您将开始注意到例如地毯的质地如何消失。


随着光量的减少,超广角镜头的结果变得非常模糊,并产生许多降噪伪像

USL有一个独特的困难:色差,或者简单地说是紫色边缘。 对于远摄镜头,这个问题不太明显,但是我们可以在RAW中观察到。 在香港植物园拍摄的这张照片中,请注意叶子上略带粉红色紫色的边缘,以防日光照射:



摄影师使用“快速镜头”(具有大光圈;从f / 2.0到f / 0.95的范围拍摄)已经习惯于此,数值越小,光圈越大。 镜头进入的光线越多,遭受这种影响的可能性就越大。 幸运的是,在Lightroom等应用程序中,您可以删除这些边缘。 现在,Apple的自动后处理功能可以保存这种色差图像。


快速应用Apple Magic后,结果看起来要好得多。

如果您有在超广角镜头上制作RAW的示例,我想在不进行校正的情况下进行查看。 从鱼眼失真到边缘效果,无处不在,我想看到(丑陋的)事实。

DSLR的令人信服的对手?


今年发生的变化非常令人印象深刻。 得益于硬件的改进,每帧的语义校正,更新的Smart HDR以及对噪声消除算法的调整,iPhone 11和11 Pro已成为智能手机相机中真正的宝座。

过去,iPhone为社交网络拍摄了精美的照片,但是在大屏幕上观看时,它们经不起竞争。 因此,我经常在旅途中携带“大”相机。

但是,在帧处理方面的这些重大改进使我们可以说iPhone 11是第一款真正与相机竞争的iPhone。


这只是缩小了50%的iPhone 11 Pro主镜头的镜头。 是的

由于采用了巧妙的处理算法,清晰度和细节达到了适合在高分辨率屏幕上打印和查看的水平。

下面的镜头之一是用4,000美元的Sony A7R4相机-于9月发布的最新旗舰全画幅相机-在1,400美元的G-Master镜头上,其焦距接近iPhone的广角镜头(相机为24毫米,iPhone为26毫米)。 第二帧使用带52mm远摄镜头的iPhone 11 Pro拍摄。



也许您会了解它们中的哪一台是由哪台摄像机构成的,但是问题不在于实现奇偶校验,而在于何时实现“相当好的”质量。 相机制造商需要加倍努力。

显然,索尼的初始框架要大得多,但与iPhone 11上的12百万像素相比,它具有61百万像素的传感器。为了使它与索尼的框架保持一致,必须将iPhone 11缩小一些。

这是否意味着不再需要RAW?


不行

似乎所有这些细节都使用RAW拍摄毫无意义。 毕竟,如果我们能够毫无干扰地获得所有细节,那有什么意义呢?

但是,在iPhone 11上拍摄RAW的感觉依然存在-如果您需要从这种小巧但功能强大的相机中吸取更多的钱。

RAW仍隐藏更多细节

这可能会让您感到惊讶,但是可以:RAW仍然隐藏更多细节。 这一点在语义标记和降噪算法并不重要的小细节上尤其明显,并且当Smart HDR与部件的合并过分时:


左-Smart HDR,右-编辑的RAW

是的,细节仍然可以更好地存储在RAW中。 在不缩放的情况下查看框架的这一部分。 在毛衣,头发,草乃至树木上:


智能HDR与RAW

是的,可以使用粗砂。 但是我认为,几乎在任何拍摄条件下都会出现细微的颗粒感,只能改善图像质量。


该图像中的颗粒感会烦人或为其添加魅力吗?

当然,您可以随时使用自己喜欢的应用程序以消除噪声。 但是,这只是可能性之一-与只有一幅图像已将所有噪点都被不可挽回地去除,并带有一部分细节和纹理的情况不同。

编辑灵活性


将图片保存为JPEG或HEIC时,该算法会抛出大量可用于编辑的数据。在明暗区域工作有时会露出奇怪的区域和物体的面孔:





有时,在还原突出显示的区域时,天空看起来很奇怪; RAW文件中包含的其他数据使您可以创建自然的渐变色:





现在,iPhone 11上的RAW文件趋向于明亮而平坦的图片。尽管外观看起来过度曝光,但对曝光度的低估并不会产生任何新的细节,而这些细节可能会在突出显示的区域中丢失:





对于专业人士,我将水平设为初始状态:



不需要HDR。美观且平滑地减少突出显示的区域。

与Smart HDR相似曝光的JPEG或HEIC看起来类似,但在编辑时灵活性较差。

白平衡编辑超级强大


相机面临着各种各样的照明,它们不得不猜测图像是白色的。您可以在圣诞节时拍下美丽的雪景照片,然后发现照片中的雪将是蓝色或黄色。相机被白色雪地上的蓝色反射或日落的橙色光芒所迷惑。

如果您使用“相机”应用程序拍摄照片,则照片中将内置白平衡,并且无法更改。您可以通过调整色调或色调[色调/色调]来更改所有颜色,但是您不能在事后指定白平衡。您可以在RAW文件中执行此操作,它使您能够以完全不同的心情拍摄富有表现力的照片:





或者使用非常有创意的方法来实现色彩和色彩平衡,创建与subreddit / r / outrun完美契合的框架[专为霓虹灯和镀铬/约80年代的复古主义美学而设计。翻译:]





相机为我们独立编辑图片的次数越多,您越想放弃相机所赋予的美感,而将所有东西都掌握在自己手中。毕竟,摄影毕竟是一门艺术!

无需选择


如果这一切听起来有些混乱,那么我们决定让您有机会同时享受这两个世界的最佳方法-处理的神奇之处和RAW的无限可能性-让您一次进入两个世界。诸如Halide之类的应用程序可以同时拍摄RAW和处理的JPEG,因此您以后可以选择自己喜欢的内容。除非您使用超广角镜头拍摄。

卤化物1.15:越来越聪明


Halide 1.15具有一个新设置:“启用智能处理”。这使相机可以根据需要处理图像,并从图像中挤出整个动态范围。

唯一的缺点是,您需要在RAW中禁用图像,因为不可能同时在RAW中拍摄并进行图像处理(此限制不受我们的限制)。









新设置适用于运行iOS 13的设备,其结果最好在iPhone XS,XR,11和11 Pro上看到。从iOS 13.2开始,深度融合仅在iPhone 11和11 Pro上可用。

我们非常想让您立即使用RAW图像和经过充分处理的图像,以找出自己最喜欢的图像。

Source: https://habr.com/ru/post/zh-CN476232/


All Articles