Veja quase invisível, também em cores: uma técnica para visualizar objetos através de um difusor

Uma das habilidades mais famosas do Super-Homem é a super visão, que lhe permite ver átomos, ver no escuro e a grandes distâncias, e também através de objetos. Essa habilidade é extremamente raramente demonstrada nas telas, mas é. Em nossa realidade, também é possível ver objetos quase completamente opacos, aplicando alguns truques científicos. No entanto, as imagens recebidas eram sempre em preto e branco, até recentemente. Hoje, vamos nos familiarizar com um estudo em que cientistas da Duke University (EUA) conseguiram tirar uma foto colorida de objetos escondidos atrás de uma parede opaca usando uma única exposição à luz. O que é essa super tecnologia, como funciona e em que áreas pode ser aplicada? O relatório do grupo de pesquisa nos falará sobre isso. Vamos lá

Base de estudo

Apesar de todos os possíveis "pães" da tecnologia para visualizar objetos em mídias dispersas, existem vários problemas com a implementação dessa tecnologia. O principal é o fato de que os caminhos dos fótons que passam pelo dispersor variam muito, o que leva a padrões de manchas aleatórias * do outro lado.

Speckle * é um padrão de interferência aleatória formado pela interferência mútua de ondas coerentes que têm mudanças de fase aleatórias e / ou um conjunto aleatório de intensidade. Na maioria das vezes, parece um conjunto de pontos brilhantes (pontos) em um fundo escuro.

Nos últimos anos, várias técnicas de visualização foram desenvolvidas para contornar os efeitos do difusor e extrair informações sobre o objeto do padrão de manchas. O problema com essas técnicas são suas limitações - você precisa ter certo conhecimento sobre o objeto, ter acesso a um meio ou objeto dispersante, etc.

Ao mesmo tempo, existe um método muito mais avançado, segundo os cientistas, a visualização com um efeito de memória (ME). Este método permite visualizar o objeto sem conhecimento prévio sobre seu próprio meio ou dispersão. Todo mundo tem desvantagens, como sabemos, e o método ME não é exceção. Para obter padrões de manchas de alto contraste e, consequentemente, imagens mais precisas, a iluminação deve ser de banda estreita, ou seja, menos de 1 nm.

Também é possível superar as limitações do método ME, mas, novamente, esses truques envolvem o acesso a uma fonte ou objeto óptico ao difusor ou a medição direta do PSF * .

PSF * é uma função de dispersão pontual que descreve a imagem que o sistema de formação recebe ao observar uma fonte de luz pontual ou um objeto pontual.

Os pesquisadores chamam esses métodos de funcionais, mas não perfeitos, pois nem sempre é possível medir o PSF devido, por exemplo, à dinâmica do difusor ou à sua inacessibilidade ao procedimento de imagem. Em outras palavras, há trabalho a fazer.

Em seu trabalho, os pesquisadores sugerem uma abordagem diferente. Eles nos demonstram um método para implementar a visualização multiespectral de objetos através de um meio de dispersão usando uma única medição de salpicos com uma câmera monocromática. Ao contrário de outras técnicas, esta não requer conhecimento prévio do sistema PSF ou espectro de fontes.

O novo método permite criar imagens de alta qualidade do objeto de destino em cinco canais espectrais bem separados entre 450 nm e 750 nm, o que foi confirmado por cálculos. Na prática, até agora foi possível obter a visualização de três canais espectrais bem separados entre 450 nm e 650 nm e seis canais espectrais adjacentes entre 515 e 575 nm.

O princípio do novo método

Imagem nº 1: lâmpada - modulador de luz espacial - difusor (com diafragma de íris) - abertura de codificação - prisma - relé óptico (visualização 1: 1) - câmera monocromática.

Os pesquisadores observam três elementos principais de qualquer visualização através de um difusor: um objeto de interesse (iluminado do lado de fora ou brilhando independentemente), um difusor e um detector.

Como nos sistemas ME padrão, este estudo considera um objeto cujo tamanho angular está localizado dentro do campo de visão ME e a uma distância u atrás do difusor. Após interagir com o difusor, a luz se propaga a uma distância v antes de atingir o detector.

A imagiologia ME convencional usa câmeras padrão, e esse método usa um módulo detector de codificação que consiste em uma abertura de codificação e um elemento óptico que depende do comprimento de onda. O objetivo deste elemento é modular exclusivamente cada canal espectral antes de combiná-lo e convertê-lo em um detector monocromático.

Assim, em vez de simplesmente medir uma mancha de baixo contraste, cujos canais espectrais são inextricavelmente misturados, foi gravado um sinal espectralmente multiplexado que era bem adequado para a separação.

Os pesquisadores mais uma vez enfatizam que seu método não requer características ou suposições conhecidas anteriormente sobre um difusor ou fonte de luz.

Após medições preliminares da mancha multiplexada, o bem conhecido valor Tλ (padrão de codificação dependente do comprimento de onda) foi usado para reconstruir individualmente a mancha em cada banda espectral.

Em seu trabalho no estágio de cálculos e modelagem, os cientistas aplicaram certos métodos de aprendizado de máquina que podem ajudar na implementação de um método anteriormente não considerado. Primeiro de tudo, o treinamento foi usado nas características de uma matriz esparsa para representar manchas.

Treinamento em sinais * - permite que o sistema encontre automaticamente as representações necessárias para identificar sinais dos dados de origem.

Como resultado, uma base foi treinada em imagens pontilhadas de várias configurações de medição. Essa base é bastante generalizada e não depende de objetos e dispersores específicos envolvidos na geração da máscara Iλx, y. Em outras palavras, o sistema é treinado com base em um difusor que não é usado na configuração experimental, ou seja, o sistema não tem acesso a ele, como os pesquisadores queriam.

Para obter imagens pontilhadas em cada comprimento de onda, foi utilizado o algoritmo OMP ( Orthogonal Matching Perseguition ).

No final, calculando a autocorrelação de cada canal espectral independentemente e a inversão da autocorrelação em cada comprimento de onda, foram obtidas imagens do objeto. As imagens resultantes em cada comprimento de onda são então combinadas para criar uma imagem colorida do objeto.


Imagem 2: Um processo em fases para compilar uma imagem de um objeto.
Essa técnica, de acordo com seus criadores, não faz suposições sobre as correlações entre os canais espectrais e requer apenas a suposição de que o valor do comprimento de onda é bastante aleatório. Além disso, esse método requer apenas informações sobre o detector de codificação, contando com a calibração preliminar da abertura de codificação e uma biblioteca de dados pré-treinada. Tais características tornam essa técnica de imagem altamente versátil e não invasiva.

Resultados da simulação

Para começar, considere os resultados da simulação.


Imagem No. 3

A imagem acima mostra exemplos de uma imagem multiespectral de dois objetos capturados através de um difusor. A linha superior em 3a contém um objeto de interesse, consistindo em vários números mostrados em cores falsas e em uma divisão pelo canal espectral. Ao construir um objeto em cores falsas, o perfil de intensidade de cada comprimento de onda no espaço RGB CIE 1931 é exibido.

O objeto reconstruído (linha inferior em 3a ), tanto em cores falsas quanto do ponto de vista de canais espectrais individuais, demonstra que a técnica fornece excelente visualização e apenas interação cruzada insignificante entre canais espectrais, o que não desempenha um papel especial no processo.

Depois de receber o objeto reconstruído, ou seja, após a visualização, foi necessário avaliar o grau de precisão comparando a intensidade espectral (média de todos os pixels brilhantes) do objeto real e o reconstruído ( 3b ).

As imagens 3c mostram um objeto real (linha superior) e uma imagem reconstruída (linha inferior) para uma célula a partir de uma haste de algodão, e 3d mostra uma análise da precisão da visualização.

Para avaliar a precisão da visualização, foi necessário calcular os valores do coeficiente de similaridade estrutural (SSIM) e a relação sinal-ruído de pico (pSNR) desse objeto para cada canal espectral.



A tabela acima mostra que cada um dos cinco canais tem um coeficiente SSIM de 0,8-0,9 e um PSNR superior a 20. Segue-se que, apesar do baixo contraste do sinal de speckle, a superposição de cinco bandas espectrais com uma largura de 10 nm no detector permite uma reconstrução bastante precisa propriedades espaciais e espectrais do objeto estudado. Em outras palavras, a técnica funciona, no entanto, esses são apenas resultados de simulação. Por uma questão de confiança em seu trabalho, os cientistas realizaram várias experiências práticas.

Resultados da Experiência

Uma das diferenças mais significativas entre modelagem e experimentos reais é o ambiente, ou seja, as condições em que ambos são realizados. No primeiro caso, existem condições controladas, no segundo, condições imprevisíveis, isto é, como vem

Três canais espectrais com uma largura de 8-12 nm foram examinados com um centro de 450, 550 e 650 nm, que em combinação com vários valores relativos geram uma ampla gama de cores.


Imagem No. 4

A imagem acima mostra uma comparação entre o objeto real (letra multicolorida "H") e o objeto reconstruído. O tempo de exposição à luz (exposição, ou seja, exposição) foi definido para 1800 s, o que nos permitiu obter um SNR na faixa de 60 a 70 dB. De acordo com os cientistas, esse SNR não é extremamente importante para a experiência, mas serve como uma confirmação adicional da eficiência de sua metodologia, especialmente no caso de objetos complexos. Na realidade, e não em condições de laboratório, esse método pode ser uma ordem de magnitude mais rápida.

A linha superior da imagem nº 4 mostra um objeto em cada comprimento de onda (da esquerda para a direita) e um objeto colorido real.

Para obter uma imagem de um objeto real como resultado da visualização, uma câmera de visão de máquina com os filtros passa-banda correspondentes foi usada para exibir diretamente os componentes espectrais e obter uma imagem colorida somando os canais espectrais resultantes.

A segunda linha da imagem acima mostra os padrões de autocorrelação de cada canal espectral reconstruído, formando medições multiplexadas, que são dados de entrada para a etapa de processamento de dados.

A terceira linha é um objeto reconstruído em cada canal espectral, bem como um objeto colorido reconstruído, ou seja, resultado final da visualização.

A imagem colorida mostra que os valores relativos entre os canais espectrais também estão corretos, pois a cor da imagem reconstruída combinada corresponde ao valor real e o coeficiente SSIM atinge mais de 0,92 para cada canal.

A linha inferior é uma confirmação dessa afirmação, mostrando uma comparação da intensidade do objeto real e do reconstruído. Os dados de ambos coincidem em todas as faixas espectrais.

Conclui-se que mesmo a presença de ruído e possíveis erros de modelagem não impediram a obtenção de uma imagem de alta qualidade, e os resultados experimentais se correlacionam bem com os resultados da simulação.

A experiência acima foi estabelecida levando em consideração os canais espectrais divididos. Os cientistas conduziram outro experimento, mas com canais adjacentes e, mais precisamente, com uma faixa espectral contínua de 60 nm.


Imagem No. 5

A letra “X” e o sinal “+” ( 5a ) agiram como um objeto real. O espectro da letra "X" é relativamente uniforme e contínuo - entre 515 e 575 nm, mas o "+" possui um espectro estruturado, localizado principalmente entre 535 e 575 nm ( 5b ). Para esta experiência, a exposição foi de 120 s para atingir o SNR desejado (como antes) de 70 dB.

Também foram utilizados um filtro passa-banda de 60 nm de largura sobre todo o objeto e um filtro passa-baixo acima do sinal “+”. Durante a reconstrução de 60 nm, o espectro é dividido em 6 canais adjacentes com uma largura de 10 nm ( 5b ).

Como podemos ver nas imagens 5c , as imagens resultantes estão em excelente concordância com o objeto real. Este experimento mostrou que a presença ou ausência de correlações espectrais no grão medido não afeta a eficácia da técnica de imagem em estudo. Os próprios cientistas acreditam que um papel muito maior no processo de visualização, e mais precisamente em seu sucesso, é desempenhado não tanto pelas características espectrais do objeto quanto pela calibração do sistema e pelos detalhes de seu detector de codificação.

Para uma familiarização mais detalhada com as nuances do estudo, recomendo que você analise o relatório dos cientistas e materiais adicionais .

Epílogo

Neste trabalho, os cientistas descreveram um novo método de imagem multiespectral através de um difusor. A modulação do speckle, dependendo do comprimento de onda, usando uma abertura de codificação, possibilitou realizar uma medição multiplexada e calcular o speckle usando o algoritmo OMP com base no aprendizado de máquina.

Usando a letra multicolorida "H" como exemplo, os cientistas mostraram que o foco em cinco canais espectrais correspondentes a violeta, verde e três tons de vermelho nos permite obter uma reconstrução da imagem contendo todas as cores do original (azul, amarelo etc.).

Segundo os pesquisadores, sua técnica pode ser útil tanto na medicina quanto na astronomia. A cor carrega informações importantes em ambas as direções: na astronomia - a composição química dos objetos estudados, na medicina - a composição molecular das células e tecidos.

Nesta fase, os cientistas observam apenas um problema que pode causar imprecisões na visualização: erros de modelagem. Devido ao tempo necessário para concluir o processo, podem ocorrer mudanças ambientais que farão seus próprios ajustes que não foram levados em consideração no estágio de preparação. No entanto, no futuro, está planejado encontrar uma maneira de nivelar esse problema, o que tornará a técnica de visualização descrita não apenas precisa, mas também estável em quaisquer condições.



Obrigado por ficar conosco. Você gosta dos nossos artigos? Deseja ver materiais mais interessantes? Ajude-nos fazendo um pedido ou recomendando a seus amigos, um desconto de 30% para os usuários da Habr em um análogo exclusivo de servidores básicos que inventamos para você: Toda a verdade sobre o VPS (KVM) E5-2650 v4 (6 núcleos) 10GB DDR4 240GB SSD 1Gbps de US $ 20 ou como dividir o servidor? (as opções estão disponíveis com RAID1 e RAID10, até 24 núcleos e até 40GB DDR4).

Dell R730xd 2 vezes mais barato? Somente temos 2 TVs Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV a partir de US $ 199 na Holanda! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - a partir de US $ 99! Leia sobre Como criar um prédio de infraestrutura. classe usando servidores Dell R730xd E5-2650 v4 custando 9.000 euros por um centavo?