似乎已经存在了将近两个世纪的摄影机，这似乎不应该给工程师提供添加“其他”的机会。 现代相机可以拍摄高质量的视频，将照片上传到云中并捕捉地理标签。 我们可以拍摄全景图和360°影像，观看星星并放慢速度。 但是，不断前进的步伐并不会停滞不前，而是在不断思考的推动下冲向未来。
今天将要讨论的技术本质上并不是新技术。 但是它的实现方式绝对值得考虑。 这将是一个有趣的光场镜头，可与任何数码单反相机一起使用。
什么是光田？它和什么一起吃？
光场一词本身是由苏联物理学家格顺（Gershun）于1936年在其关于光的辐射特性的工作中提出的。
光场是矢量函数，它描述沿任何方向通过空间中某个点的光。
空间中给定点的光线（或更确切地说，它的方向）可以由五个参数（所谓的5D曲线函数）描述：
x ，
y ，
z坐标以及两个角度
θ和
ϕ 。 通过积分从各个角度获得的场矢量，我们可以获得总照度值。 对太空中的光线有完整的描述，我们可以从任何角度准确确定例如物体的外观。
光场理论的实际应用是什么？ 最有趣的领域之一是光场相机。 与传统的摄像机不同，它记录物体点处的光强度，而光场的摄像机还考虑到光线的方向，出射点和这些点。 换句话说，我们捕获了从物体发出的“个体”光线。 反过来，这又使您可以获取空间中物体的物理坐标和深度图。
光场摄像机如何布置？
我们已经知道，这种类型的照相机不仅应记录强度，而且还应记录从物体发出的光线的方向。 一种实现方法是在光学传感器前面使用一排透镜。 这些镜头收集来自场景特定部分中的物体的光线，并将其聚焦在传感器上。
重要的是要了解，在这种情况下，镜头的主镜头不再将图像聚焦在传感器上。 而是将光线投射到镜头阵列的平面上（在传统相机中，传感器恰好位于该平面上），镜头阵列通过，然后才落到传感器上，从而形成场景各个部分的镶嵌图像。
该图示出了这种透镜的操作的简化图。 归功于光学系统的狡猾组织，最终，我们得到的不是一个物体，而是许多物体的图像，每一个这样的图像都会从其唯一的角度创建物体的唯一表示。
然而，该方案具有许多缺点，例如制造成本高，校准的复杂性，光圈控制和其他系统参数。 这种相机最著名的例子之一就是Lytro的产品-Lytro Illum相机（该项目似乎被冻结了）
您能简化一点吗？
可以的 我想在本文中讨论的镜头不包含微透镜阵列。 取而代之的是，使用一种系统，该系统是具有矩形截面的镜“通道”（镜盒），在该系统中，由于多次反射，形成了所谓的万花筒图像，该图像由照相机传感器以常规方式记录。
一家小型德国公司正在发展。 该镜头正处于全面运作的原型阶段，其操作原理非常简单。
系统获得的图像如下所示：
这里的元素是镜像的。 这种不寻常的万花筒图片是“镜通道”中光线反射的结果。
这就是这对恢复的元素的绝对差异的样子（亮像素表示值的较大差异）：
换句话说，我们只有立体声对。 或者说是立体声九（3x3元素）。 更改通道的几何参数，我们可以获得5x5甚至更大的尺寸，但是，这在现实生活中甚至毫无意义，甚至有害。
因此，我们有一组形成万花筒图像的图片。 接下来呢？
这是温暖的模拟光学硬件结束，而寒冷的数字软件开始的地方。
标定
无论使用哪种应用，都必须还原图像（您需要校准整个光学系统，并将获得的校准数据应用于图片）。 这个过程非常繁琐，但是很重要，因为万花筒图像的各个元素必须彼此“协调”（元素的微小/几个像素/差异可能会严重破坏结果和印象）。 关于校准的主题有很多著作，因此揭示细节是没有意义的。 您只需要记住，校准对于任何立体声应用都非常重要。
深度图
收到“偶数”图片后，我们可以构建深度图。
这也许是管道中最重要和最困难的部分。 最终应用程序的质量取决于深度图的质量。 深度图的质量又取决于校准的质量，所选算法和场景的“复杂性”。
但是不管使用哪种算法，任务始终是相同的-查找左右图像的对应点（在我们的示例中为+ 7张图像），并计算它们之间的距离（视差）。 距离值将是给定像素的深度值的倒数。
如果可以同时使用两个图像，为什么还要使用9个图像？ 显然，使用更多图像，我们可以获得有关场景的更多信息，并且可以部分解决现有的深度图估计算法的一些问题。
这些算法的经典问题包括：
- 无纹理的单调，单色表面-该算法在寻找匹配项时根本没有“捕捉”到的东西
- 重叠的对象（从一个角可见，从另一个角不可见）
- 镜面或光泽表面上的阴影和反射
- 诸如单元格和条纹之类的规则结构带来了问题，因为并不总是清楚图像A的哪个单元格对应于图像B的单元格。
- 图像边框-与重叠对象的问题类似的问题。 在图像的边界，信息不可避免地从任何角度丢失。
用于构建深度图的质量很多，算法也不是很多。 现在，最有前途的发展是使用经典方法和各种机器学习技术（CNN，DNN）的混合方法领域。 与往常一样，算法的选择是速度和质量之间的折衷。 幸运的是，在摄影中，我们可以负担得起实时退出，并获得更好的深度图。
对于我们的示例，深度图如下所示：
后期重点
我们得到了深度图，现在该怎么办？ 有关对象的远程性的信息通常很有用。 一种流行的应用是后期焦点。
失去焦点是摄影师的问题之一。 您是否注意到原始图像中的整个场景都清晰可见？ 这是基于深度图的后聚焦的样子：
应该注意的是，通过这种方法，我们实际上摆脱了光学系统的物理特性。 例如，这允许使用多种技巧在算法上创建图像。 或以编程方式更改清晰描绘的空间的深度（景深）。
其他应用
后聚焦是主要的应用，但不是唯一的应用。 通常，此镜头可以看作是一组虚拟摄像机（9个）。 因此，它适用于您可以想象到的所有摄像机应用程序，例如：
- 偏光滤镜-9个图像元素中的每个都有自己的给定方向的偏光滤镜。 这使您可以一次拍摄9张具有不同偏振光的图像，甚至可以创建偏振方向平滑变化的视频系列
- HDR（高动态范围）-相同的原理：9种不同的滤镜+最佳亮度“组合”算法
- 观点转变
- 基于深度的编辑-允许您将各种滤镜应用于不同的深度。 例如，将背景设为黑白，突出显示前景。
- 分割-选择距离一定的对象
- 距离测量-图片的标尺。 它对于视差更容易计算的“浅”场景特别有效。
- 工业应用-评估生产质量和监控的各种方法
结论
这款镜头最终成本的问题仍然悬而未决，但一些物理参数已经确定。 已知长度不应超过20厘米，质量不得超过800克。 据说此设备将主要与Sony，Canon和Nikon相机兼容。
文章之外还保留了一些重要主题，例如带取景器的标准相机的实际使用，分辨率（超分辨率）的恢复，处理算法以及与图形编辑器的集成。 我下次再说。
感谢您的关注！