看到几乎不可见的颜色，也可以看到：通过漫射器可视化对象的技术

超人最著名的能力之一就是超视力，它使他能够观察原子，在黑暗中和很远的距离看到物体，也可以穿透物体。 这种功能很少在屏幕上展示出来，但是确实如此。 在我们的现实中，通过应用一些科学技巧，也可以透视几乎完全不透明的对象。 但是，直到最近，接收到的图像始终都是黑白的。 今天，我们将熟悉一项研究，来自美国杜克大学的科学家能够使用一次曝光就可以对隐藏在不透明墙壁后面的物体进行彩色拍照。 这项超级技术是什么？它如何工作？可以在哪些领域应用？ 研究小组的报告将告诉我们这一点。 走吧

学习基础

尽管使散射介质中的物体可视化的技术可能有很多“麻烦”，但该技术的实施仍存在许多问题。 主要的一个事实是，光子通过散射体的路径变化很大，从而导致另一面出现随机的斑点图案* 。

斑点*是由具有随机相移和/或一组随机强度的相干波的相互干扰形成的随机干涉图。 通常，它看起来像在深色背景上的一组亮点（点）。

近年来，已经开发了几种可视化技术来规避扩散器的影响并从斑点图案中提取有关对象的信息。 这些技术的问题是它们的局限性-您需要对物体有一定的了解，可以使用散射介质或物体等。

同时，据科学家称，还有一种更先进的方法-具有记忆效应（ME）的可视化。 此方法使您无需事先了解对象自身或散射介质即可可视化对象。 众所周知，每个人都有缺点，ME方法也不例外。 为了获得高对比度的斑点图案并因此获得更精确的图像，照明应为窄带，即 小于1 nm。

也有可能超越ME方法的局限性，但是同样，这些技巧还包括将光源或物体接入漫射器或直接测量PSF * 。

PSF *是点扩散函数，它描述观察点光源或点物体时成像系统接收的图像。

研究人员称这些方法行之有效，但并不完美，因为例如由于漫射器的动力学特性或成像过程难以接近，PSF测量并非始终可行。 换句话说，有工作要做。

研究人员在他们的工作中提出了另一种方法。 他们向我们展示了一种使用单色相机通过单散斑测量通过散射介质实现物体多光谱可视化的方法。 与其他技术不同，该技术不需要PSF系统或源频谱的先验知识。

通过新方法，您可以在450 nm至750 nm之间的五个分离良好的光谱通道中创建目标对象的高质量图像，这已通过计算得到证实。 实际上，到目前为止，有可能实现对450 nm和650 nm之间的三个分离良好的光谱通道以及515和575 nm之间的六个相邻光谱通道的可视化。

新方法的原理

图像1：灯-空间光调制器-漫射器（带虹膜光阑）-编码孔-棱镜-光学继电器（可视化1：1）-黑白相机。

研究人员注意到通过漫射器进行任何可视化处理的三个主要元素：感兴趣的物体（从外部照亮或独立发光），漫射器和检测器。

像在标准ME系统中一样，本研究考虑的对象的角度大小位于ME视场内且在漫射器后方距离u处。 与散射器相互作用之后，光传播到距离v，然后到达检测器。

常规的ME成像使用标准相机，并且此方法使用由编码孔径和取决于波长的光学元件组成的编码检测器模块。 该元素的目的是在单色检测器中组合和转换每个光谱通道之前对其进行唯一调制。

因此，记录的光谱多路复用信号不仅简单地测量了光谱通道混在一起的低对比度散斑，还记录了非常适合分离的信号。

研究人员再次强调，他们的方法不需要任何关于扩散器或光源的先前已知的特性或假设。

在对复用斑点进行初步测量之后，使用众所周知的Tλ值（与波长有关的编码模式）分别重构每个光谱带中的斑点。

在计算和建模阶段的工作中，科学家应用了某些机器学习方法，这些方法可以帮助实现以前未考虑的方法。 首先，对稀疏矩阵的特征进行训练以表示斑点。

训练符号* -允许系统自动找到识别源数据符号所必需的表示形式。

结果，训练了来自各种测量配置的斑点图像的基础。 该基础已经相当普遍，并且不依赖于掩码Iλx，y的生成所涉及的特定对象和散射体。 换句话说，系统是根据未在实验配置中使用的扩散器（即 该系统无法像研究人员所希望的那样访问它。

为了获得每个波长的斑点图像，使用了OMP（ 正交匹配追踪 ）算法。

最后，通过独立计算每个光谱通道的自相关和每个波长下自相关的求逆，获得了物体的图像。 然后将在每个波长处得到的图像进行组合以创建对象的彩色图像。


图像＃2：用于编译对象图像的分阶段过程。
根据其创造者，该技术不对光谱通道之间的相关性做出任何假设，而仅需要假设波长值是相当随机的。 另外，该方法仅依赖于编码孔径的初步校准和预先训练的数据库，仅需要有关编码检测器的信息。 这样的特征使得这种成像技术具有高度的通用性和非侵入性。

仿真结果

首先，请考虑仿真结果。


图片编号3

上图显示了通过漫射器拍摄的两个物体的多光谱图像的示例。 在3a的上一行包含一个感兴趣的对象，它由几个数字组成，这些数字既显示为假色，又显示为频谱通道分解。 当用假色构造对象时，将显示CIE 1931 RGB空间中每个波长的强度分布。

从假色以及从单个光谱通道的角度来看，重建的对象（ 3a的下排）均表明该技术提供了出色的可视化效果，并且光谱通道之间的交互作用微不足道，在此过程中没有特殊作用。

在接收到重建的对象之后，即 可视化后，有必要通过比较真实物体和重建物体（ 3b ）的光谱强度（在所有亮像素上平均）来评估准确性。

图像3c示出了来自棉茎的细胞的真实物体（上排）和重构图像（下排），而3d示出了对可视化精度的分析。

为了评估可视化的准确性，有必要为每个光谱通道计算该对象的结构相似系数（SSIM）和峰值信噪比（pSNR）的值。



上表显示，五个通道中的每个通道的SSIM系数都在0.8-0.9之间，PSNR大于20。因此，尽管散斑信号对比度很低，但在检测器上叠加五个宽度为10 nm的光谱带可实现相当准确的重构研究对象的空间和光谱特性。 换句话说，该技术有效，但是，这些只是模拟结果。 为了对他们的工作充满信心，科学家进行了许多实际实验。

实验结果

建模与实际实验之间最显着的差异之一就是环境，即 两者都进行的条件。 在第一种情况下，存在受控条件，在第二种情况下，存在不可预测的条件，即 怎么会

以450、550和650 nm的中心对三个宽度为8-12 nm的光谱通道进行了检查，这些通道与各种相对值结合使用，产生了多种颜色。


图片编号4

上图显示了真实物体（彩色字母“ H”）与重建物体之间的比较。 曝光时间（曝光即曝光）设置为1800 s，这使我们可以获得60-70 dB范围内的SNR。 根据科学家的说法，这样的SNR对于经验并不是特别重要，但是可以进一步证实其方法的效率，尤其是在复杂物体的情况下。 实际上，而不是在实验室条件下，此方法的速度可以提高一个数量级。

4号图像的第一行显示了每个波长（从左到右）的对象和一个真实的全色对象。

为了通过可视化获得真实物体的图像，使用具有相应带通滤镜的机器视觉相机直接显示光谱成分，并通过对所得光谱通道求和获得全色图像。

上图的第二行显示了构成多路测量的每个重构频谱通道的自相关模式，这些自相关模式是数据处理步骤的输入数据。

第三行是每个光谱通道中的重建对象，以及重建的全色对象，即 可视化的最终结果。

全彩色图像显示光谱通道之间的相对值也正确，因为组合的重建图像的颜色对应于真实值，并且每个通道的SSIM系数均大于0.92。

最下面的一行是对该陈述的确认，显示了真实物体和重建物体强度的比较。 两者的数据在所有光谱范围内均重合。

因此，即使存在噪声和潜在的建模错误也不会阻止获得高质量图像，并且实验结果与仿真结果很好地相关。

上面的经验是在考虑划分的频谱通道的情况下设置的。 科学家们进行了另一个实验，但是有相邻的通道，更准确地说是具有60 nm的连续光谱范围。


图片编号5

字母“ X”和“ +”符号（ 5a ）充当真实对象。 字母“ X”的光谱相对均匀且连续-在515和575 nm之间，但是“ +”具有结构化的光谱，主要位于535和575 nm之间（ 5b ）。 对于此实验，曝光时间为120 s，以实现所需的（与以前一样）70 dB的SNR。

还使用了整个物体上的60 nm宽带通滤波器和“ +”号上方的低通滤波器。 在60 nm的重建过程中，光谱被分成6个相邻的通道，其宽度为10 nm（ 5b ）。

从图像5c中可以看出，所得图像与真实物体非常吻合。 该实验表明，在所测量的散斑中是否存在光谱相关性并不影响所研究成像技术的有效性。 科学家们自己认为，与其说是物体的光谱特性，不如说是该系统的校准及其编码检测器的细节在可视化过程中起着更大的作用。

为了更详细地了解这项研究的细微差别，建议您研究一下科学家的报告和其他材料 。

结语

在这项工作中，科学家描述了一种通过漫射器进行多光谱成像的新方法。 使用编码孔径根据波长对斑点进行调制，从而可以使用一种基于机器学习的OMP算法执行一次多路复用测量并计算斑点。

以多色字母“ H”为例，科学家表明，专注于对应于紫色，绿色和三个红色阴影的五个光谱通道，可以使我们获得包含原始颜色（蓝色，黄色等）的图像的重构。

根据研究人员的说法，他们的技术在医学和天文学上都可能有用。 颜色在两个方向上都具有重要的信息：在天文学中-研究对象的化学组成，在医学中-细胞和组织的分子组成。

在此阶段，科学家仅注意到一个可能导致可视化不准确的问题，即建模错误。 由于完成该过程需要足够长的时间，因此可能发生环境变化，这些变化将导致他们自己的调整，而这些调整在准备阶段并未考虑在内。 但是，将来计划找到解决该问题的方法，这将使所描述的可视化技术不仅准确，而且在任何情况下都稳定。



感谢您与我们在一起。 你喜欢我们的文章吗？ 想看更多有趣的资料吗？ 通过下订单或将其推荐给您的朋友来支持我们，为我们为您开发的入门级​​服务器的独特模拟，为Habr用户提供30％的折扣： 关于VPS（KVM）E5-2650 v4（6核）的全部真相10GB DDR4 240GB SSD 1Gbps从$ 20还是如何划分服务器？ （RAID1和RAID10提供选件，最多24个内核和最大40GB DDR4）。

戴尔R730xd便宜2倍？ 仅在荷兰，我们有2台Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100电视 ！ 戴尔R420-2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB-$ 99起！ 阅读有关如何构建基础架构大厦的信息。 使用价格为9000欧元的Dell R730xd E5-2650 v4服务器的上等课程？