主动照明单像素相机加速了50倍


使用新型带背光的单像素相机拍摄的照片样本,仅来自随机伯努利分布(M = 50)的50个模板

在传统的数码摄影中,通常使用会产生光通量并将其引导至光敏元件矩阵(即数码相机的CCD或CMOS传感器)的镜头。 人们认为,矩阵中的元素越多,照片效果越好:2000万个元素要比1300万更好。 这是摄影质量的主要指标之一,还包括镜头的光圈比和元件本身的密度(密度越低,矩阵的物理尺寸越大,元件产生的失真和干扰越小)。

但是,如果相机根本没有镜头,并且感光矩阵由1(一个)像素组成,该怎么办? 现代数字信号处理技术确实允许您使用单个光敏元件非常迅速地收集和处理光通量。 在这种情况下,相机不需要镜头或大矩阵。 即,照相机设备被计算机计算所代替。

单像素摄影是一种称为计算摄影的新方法的一部分。 这还包括用于操纵光束的其他创新计算方法:粘合全景图,由于使用不同快门速度进行多次曝光而扩大的动态范围,光场相机甚至臭名昭著的狭缝摄影都可以归为此类。

在计算摄影中,对象需要进行测量 ,然后将其解码以生成图像。 基本任务之一是完全摆脱镜头,因为这是相机最昂贵,最重的部分。 使用足够强大的处理器,就不需要镜头。

计算摄影最有前途的领域之一是压缩感测。 正是这种技术的使用使得构建单像素相机成为可能,该技术在2008年的文献中首次被描述 。 最初的单像素相机模型是一台光学计算机,由一个光敏二极管, 数字微镜 (DMD),两个镜头和一个模数转换器组成。


实验室中单像素相机的原始模型(2008年)

尽管具有一个光电二极管的原始设计,但相机在拍摄时仍能很好地识别出物体。 在这种情况下,数字微镜充当空间光调制器(PMS)-任何单像素相机的必要元素。 在PMS的作用下,可以存在另一种在计算机的控制下对光束施加一定空间调制的设备。 因此,对信号进行编码,并在对其进行注册和记录后,将其解码回并形成图像。


在2008年的模型中,光电二极管以黑白和彩色图像(256×256像素,第二张和第三张照片)的形式重建测量结果。 在第一张图片-原始图片中

单像素相机需要进行数千次连续测量,而速度是关键因素。 测量越快越好(希望在测量过程中物体不移动)。

技术进步并没有停滞不前,最新一代的传感器能​​够比以前的传感器更快地记录信号,这为创建更高质量的单像素相机开辟了新的可能性。 2017年3月20日,最新一期的《 IEEE Transactions on Computational Imaging 》杂志描述了一种现代的带对象照明的单像素相机 ,其工作时间为皮秒。

麻省理工学院媒体实验室的科学工作的作者解释说,皮秒间隔使我们能够以毫米分辨率区分进入传感器的各个光子与物体的不同点。 同时,传感器从该光子中记录的信息不仅仅是到达的事实(与常规像素不同),因此作为PMS所需的掩模更少。

皮秒间隔或更短的单像素相机是较早创建的,但是它们的感光度较低。 单光子雪崩光电二极管(SPAD)表现出良好的灵敏度-在现代CMOS的水平上,但是速度很慢,两次测量之间只有几十皮秒的速度。

一项新的科研成果描述了一种结合了先前创建的所有单像素相机优点的设备:该设备工作在皮秒级,并显示出类似于SPAD的灵敏度。 实验表明,要在这样的时间尺度上获得高质量的图像,与传统的单像素相机相比,它们需要的背光图案要少50倍。 也就是说,您可以更快地形成图像50倍。


2017年样品的超快单像素相机的工作原理:(a)调制波前的背光; (b)通过超快速的全向传感器测量反射光子的到达时间

摄像机的工作原理如图所示。 必须理解,被摄物体的每个点都反射一个光锥。 通过记录来自圆锥体的光子,我们可以得出关于整个物体的形状以及到每个点的距离的结论。


来自光锥的光子在空间中不同点的配准(上方)和信号分析(下方)

相机显示出出色的照片质量。 以下示例将示例照片(上)与具有50和2500背光图案的传统单像素相机(第二行)以及新型单像素相机(第三和第四行)进行比较。 如在传统的单像素相机的实验中那样,从{-1,1}中的随机伯努利分布中选择背光源图案。 请注意,新相机的样本中仅使用了50种花样。



如您所见,在新开发的产品中,即使背光图案急剧减少,拍摄质量也要高得多。

具有主动背光的单像素相机的上述设计在许多技术特征方面明显优于类似的单像素相机。 这使人们有可能期望在将来,这种便宜的无移动部件的相机能够在日常家用电器中找到实际应用。

该科研成果于2017年3月20日发表在《 IEEE Transactions on Computational Imaging》杂志上 (doi:10.1109 / TCI.2017.2684624, pdf )。

Source: https://habr.com/ru/post/zh-CN402727/


All Articles