Ver casi invisible, también en color: una técnica para visualizar objetos a través de un difusor

Una de las habilidades más famosas de Superman es la súper visión, que le permitió ver átomos, ver en la oscuridad y a grandes distancias, y también ver a través de objetos. Esta habilidad rara vez se demuestra en las pantallas, pero lo es. En nuestra realidad, también es posible ver a través de objetos casi completamente opacos aplicando algunos trucos científicos. Sin embargo, las imágenes recibidas fueron siempre en blanco y negro, hasta hace poco. Hoy nos familiarizaremos con un estudio en el que científicos de la Universidad de Duke (EE. UU.) Pudieron tomar una fotografía en color de objetos ocultos detrás de una pared opaca utilizando una sola exposición a la luz. ¿Qué es esta súper tecnología, cómo funciona y en qué áreas se puede aplicar? El informe del grupo de investigación nos contará sobre esto. Vamos

Base de estudio

A pesar de todos los "buns" posibles de la tecnología para visualizar objetos en medios de dispersión, existen varios problemas con la implementación de esta tecnología. El principal es el hecho de que los caminos de los fotones que pasan a través del dispersor varían mucho, lo que conduce a patrones de moteado aleatorio * en el otro lado.

Speckle * es un patrón de interferencia aleatorio formado por la interferencia mutua de ondas coherentes que tienen cambios de fase aleatorios y / o un conjunto aleatorio de intensidad. La mayoría de las veces parece un conjunto de puntos brillantes (puntos) sobre un fondo oscuro.

En los últimos años, se han desarrollado varias técnicas de visualización para evitar los efectos del difusor y extraer información sobre el objeto del patrón de manchas. El problema con estas técnicas son sus limitaciones: debe tener cierto conocimiento sobre el objeto, tener acceso a un medio u objeto de dispersión, etc.

Al mismo tiempo, existe un método mucho más avanzado, según los científicos, de visualización con un efecto de memoria (EM). Este método le permite visualizar el objeto sin conocimiento previo sobre su propio medio de dispersión. Todos tenemos desventajas, como sabemos, y el método ME no es una excepción. Para obtener patrones de manchas de alto contraste y, en consecuencia, imágenes más precisas, la iluminación debe ser de banda estrecha, es decir menos de 1 nm.

También es posible superar las limitaciones del método ME, pero, nuevamente, estos trucos implican el acceso a una fuente óptica u objeto al difusor o la medición directa de PSF * .

PSF * es una función de dispersión de puntos que describe la imagen que recibe el sistema de formación al observar una fuente de luz puntual o un objeto puntual.

Los investigadores consideran que estos métodos funcionan, pero no son perfectos, ya que la medición de PSF no siempre es posible debido, por ejemplo, a la dinámica del difusor o su inaccesibilidad al procedimiento de imagen. En otras palabras, hay trabajo por hacer.

En su trabajo, los investigadores sugieren un enfoque diferente. Nos demuestran un método para implementar la visualización multiespectral de objetos a través de un medio de dispersión utilizando una sola medición de moteado con una cámara monocroma. A diferencia de otras técnicas, esta no requiere conocimiento previo del sistema PSF o del espectro fuente.

El nuevo método le permite crear imágenes de alta calidad del objeto objetivo en cinco canales espectrales bien separados entre 450 nm y 750 nm, lo que se confirmó mediante cálculos. En la práctica, hasta ahora ha sido posible lograr la visualización de tres canales espectrales bien separados entre 450 nm y 650 nm y seis canales espectrales adyacentes entre 515 y 575 nm.

El principio del nuevo método.

Imagen No. 1: lámpara - modulador de luz espacial - difusor (con iris) - apertura de codificación - prisma - relé óptico (visualización 1: 1) - cámara monocroma.

Los investigadores observan tres elementos principales de cualquier visualización a través de un difusor: un objeto de interés (iluminado desde el exterior o brillando de forma independiente), un difusor y un detector.

Al igual que en los sistemas ME estándar, este estudio considera un objeto cuyo tamaño angular se encuentra dentro del campo de visión ME y a una distancia u detrás del difusor. Después de interactuar con el difusor, la luz se propaga a una distancia v antes de llegar al detector.

Las imágenes ME convencionales usan cámaras estándar, y este método usa un módulo detector de codificación que consiste en una abertura de codificación y un elemento óptico que depende de la longitud de onda. El propósito de este elemento es modular de manera única cada canal espectral antes de combinarlo y convertirlo en un detector monocromo.

Por lo tanto, en lugar de simplemente medir una moteada de bajo contraste, cuyos canales espectrales están inextricablemente mezclados, se registró una señal espectralmente multiplexada que era adecuada para la separación.

Los investigadores una vez más enfatizan que su método no requiere características o suposiciones previamente conocidas con respecto a un difusor o fuente de luz.

Después de las mediciones preliminares de la moteada multiplexada, se usó el conocido valor Tλ (patrón de codificación dependiente de la longitud de onda) para reconstruir individualmente la moteada en cada banda espectral.

En su trabajo en la etapa de cálculos y modelado, los científicos aplicaron ciertos métodos de aprendizaje automático que pueden ayudar en la implementación de un método previamente no considerado. En primer lugar, se utilizó la capacitación sobre las características de una matriz dispersa para representar moteado.

Capacitación en signos * : permite que el sistema encuentre automáticamente las representaciones necesarias para identificar signos de los datos de origen.

Como resultado, una base fue entrenada en imágenes moteadas de varias configuraciones de medición. Esta base es bastante generalizada y no depende de objetos específicos y dispersores involucrados en la generación de la máscara Iλx, y. En otras palabras, el sistema está entrenado en base a un difusor que no se utiliza en la configuración experimental, es decir. el sistema no tiene acceso a él, como querían los investigadores.

Para obtener imágenes moteadas en cada longitud de onda, se utilizó el algoritmo OMP ( búsqueda de correspondencia ortogonal ).

Al final, al calcular la autocorrelación de cada canal espectral de forma independiente y la inversión de la autocorrelación en cada longitud de onda, se obtuvieron imágenes del objeto. Las imágenes resultantes en cada longitud de onda se combinan para crear una imagen en color del objeto.


Imagen # 2: Un proceso por fases para compilar una imagen de un objeto.
Esta técnica, según sus creadores, no hace suposiciones sobre las correlaciones entre los canales espectrales y solo requiere el supuesto de que el valor de la longitud de onda es bastante aleatorio. Además, este método solo requiere información sobre el detector de codificación, basándose en la calibración preliminar de la apertura de codificación y una biblioteca de datos previamente capacitada. Tales características hacen que esta técnica de imagen sea altamente versátil y no invasiva.

Resultados de la simulación

Para comenzar, considere los resultados de la simulación.


Imagen No. 3

La imagen de arriba muestra ejemplos de una imagen multiespectral de dos objetos tomados a través de un difusor. La fila superior en 3a contiene un objeto de interés, que consta de varios números que se muestran en color falso y en un desglose por el canal espectral. Al construir un objeto en falso color, se muestra el perfil de intensidad de cada longitud de onda en el espacio CIE 1931 RGB.

El objeto reconstruido (fila inferior en 3a ) tanto en color falso como desde el punto de vista de los canales espectrales individuales demuestra que la técnica proporciona una excelente visualización y solo una interacción cruzada insignificante entre los canales espectrales, lo que no juega un papel especial en el proceso.

Después de recibir el objeto reconstruido, es decir después de la visualización, fue necesario evaluar el grado de precisión comparando la intensidad espectral (promediada sobre todos los píxeles brillantes) del objeto real y el reconstruido ( 3b ).

Las imágenes 3c muestran un objeto real (fila superior) y una imagen reconstruida (fila inferior) para una celda de un tallo de algodón, y 3d muestra un análisis de la precisión de la visualización.

Para evaluar la precisión de la visualización, fue necesario calcular los valores del coeficiente de similitud estructural (SSIM) y la relación pico señal / ruido (pSNR) de este objeto para cada canal espectral.



La tabla anterior muestra que cada uno de los cinco canales tiene un coeficiente SSIM de 0.8–0.9 y un PSNR de más de 20. De ello se deduce que a pesar del bajo contraste de la señal moteada, la superposición de cinco bandas espectrales con un ancho de 10 nm en el detector permite una reconstrucción bastante precisa propiedades espaciales y espectrales del objeto estudiado. En otras palabras, la técnica funciona, sin embargo, estos son solo resultados de simulación. En aras de la confianza en su trabajo, los científicos realizaron una serie de experimentos prácticos.

Resultados del experimento

Una de las diferencias más significativas entre el modelado y los experimentos reales es el entorno, es decir las condiciones en que se llevan a cabo ambos. En el primer caso, hay condiciones controladas, en el segundo, condiciones impredecibles, es decir, como es que

Se examinaron tres canales espectrales con un ancho de 8-12 nm con un centro de 450, 550 y 650 nm, que en combinación con varios valores relativos generan una amplia gama de colores.


Imagen No. 4

La imagen de arriba muestra una comparación entre el objeto real (letra multicolor "H") y el reconstruido. El tiempo de exposición a la luz (exposición, es decir, exposición) se ajustó a 1800 s, lo que nos permitió obtener una SNR en el rango de 60-70 dB. Tal SNR, según los científicos, no es extremadamente importante para la experiencia, pero sirve como una confirmación adicional de la eficiencia de su metodología, especialmente en el caso de objetos complejos. En realidad, y no en condiciones de laboratorio, este método puede ser un orden de magnitud más rápido.

La fila superior de la imagen No. 4 muestra un objeto en cada longitud de onda (de izquierda a derecha) y un objeto real a todo color.

Para obtener una imagen de un objeto real como resultado de la visualización, se utilizó una cámara de visión artificial con los correspondientes filtros de paso de banda para mostrar directamente los componentes espectrales y obtener una imagen a todo color sumando los canales espectrales resultantes.

La segunda fila de la imagen de arriba muestra los patrones de autocorrelación de cada canal espectral reconstruido que forma mediciones multiplexadas, que son datos de entrada para el paso de procesamiento de datos.

La tercera fila es un objeto reconstruido en cada canal espectral, así como un objeto reconstruido a todo color, es decir. Resultado final de la visualización.

La imagen a todo color muestra que los valores relativos entre los canales espectrales también son correctos, ya que el color de la imagen reconstruida combinada corresponde al valor real, y el coeficiente SSIM alcanza más de 0.92 para cada canal.

La fila inferior es una confirmación de esta afirmación, que muestra una comparación de la intensidad del objeto real y el reconstruido. Los datos de ambos coinciden en todos los rangos espectrales.

De ello se deduce que incluso la presencia de ruido y posibles errores de modelado no impidieron la obtención de una imagen de alta calidad, y los resultados experimentales se correlacionan bien con los resultados de la simulación.

La experiencia anterior se estableció teniendo en cuenta los canales espectrales divididos. Los científicos realizaron otro experimento, pero con canales adyacentes, y más precisamente con un rango espectral continuo de 60 nm.


Imagen No. 5

La letra "X" y el signo "+" ( 5a ) actuaron como un objeto real. El espectro de la letra "X" es relativamente uniforme y continuo, entre 515 y 575 nm, pero el "+" tiene un espectro estructurado, ubicado principalmente entre 535 y 575 nm ( 5b ). Para este experimento, la exposición fue de 120 s para lograr la SNR deseada (como antes) de 70 dB.

También se utilizó un filtro de paso de banda de 60 nm de ancho sobre todo el objeto y un filtro de paso bajo sobre el signo "+". Durante la reconstrucción de 60 nm, el espectro se divide en 6 canales adyacentes con un ancho de 10 nm ( 5b ).

Como podemos ver en las imágenes 5c , las imágenes resultantes están en excelente acuerdo con el objeto real. Este experimento demostró que la presencia o ausencia de correlaciones espectrales en el moteado medido no afecta la efectividad de la técnica de imagen en estudio. Los propios científicos creen que las características espectrales del objeto juegan un papel mucho más importante en el proceso de visualización, y más precisamente en su éxito, sino en la calibración del sistema y los detalles de su detector de codificación.

Para conocer más detalladamente los matices del estudio, le recomiendo que examine el informe de los científicos y los materiales adicionales .

Epílogo

En este trabajo, los científicos describieron un nuevo método de imágenes multiespectrales a través de un difusor. La modulación de la moteada, dependiendo de la longitud de onda, utilizando una apertura de codificación, permitió realizar una medición multiplexada y calcular la moteada utilizando el algoritmo OMP basado en el aprendizaje automático.

Usando la letra multicolor "H" como ejemplo, los científicos han demostrado que centrarse en cinco canales espectrales correspondientes a violeta, verde y tres tonos de rojo nos permite obtener una reconstrucción de la imagen que contiene todos los colores del original (azul, amarillo, etc.).

Según los investigadores, su técnica puede ser útil tanto en medicina como en astronomía. El color lleva información importante en ambas direcciones: en astronomía, la composición química de los objetos estudiados, en medicina, la composición molecular de las células y los tejidos.

En esta etapa, los científicos notan solo un problema que puede causar imprecisiones en la visualización, estos son errores de modelado. Debido al tiempo suficiente para completar el proceso, pueden ocurrir cambios ambientales que harán sus propios ajustes que no se tuvieron en cuenta en la etapa de preparación. Sin embargo, en el futuro se planea encontrar una manera de nivelar este problema, lo que hará que la técnica de visualización descrita no solo sea precisa, sino también estable en cualquier condición.



Gracias por quedarte con nosotros. ¿Te gustan nuestros artículos? ¿Quieres ver más materiales interesantes? Apóyenos haciendo un pedido o recomendándolo a sus amigos, un descuento del 30% para los usuarios de Habr en un análogo único de servidores de nivel de entrada que inventamos para usted: toda la verdad sobre VPS (KVM) E5-2650 v4 (6 núcleos) 10GB DDR4 240GB SSD 1Gbps de $ 20 o cómo dividir el servidor? (las opciones están disponibles con RAID1 y RAID10, hasta 24 núcleos y hasta 40GB DDR4).

Dell R730xd 2 veces más barato? ¡Solo tenemos 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV desde $ 199 en los Países Bajos! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - ¡desde $ 99! Lea sobre Cómo construir un edificio de infraestructura. clase utilizando servidores Dell R730xd E5-2650 v4 que cuestan 9,000 euros por un centavo?