Voir presque invisible, également en couleur: une technique pour visualiser des objets à travers un diffuseur

L'une des capacités les plus célèbres de Superman est la super vision, qui lui a permis de voir les atomes, de voir dans l'obscurité et à de grandes distances, ainsi que de voir à travers les objets. Cette capacité est extrêmement rarement démontrée sur les écrans, mais elle l'est. Dans notre réalité, il est également possible de voir à travers des objets presque complètement opaques en appliquant quelques astuces scientifiques. Cependant, les images reçues étaient toujours en noir et blanc, jusqu'à récemment. Aujourd'hui, nous allons nous familiariser avec une étude dans laquelle des scientifiques de l'Université Duke (États-Unis) ont pu prendre une photo en couleur d'objets cachés derrière un mur opaque en utilisant une seule exposition à la lumière. Qu'est-ce que cette super technologie, comment fonctionne-t-elle et dans quels domaines peut-elle être appliquée? Le rapport du groupe de recherche nous en parlera. Allons-y.

Base d'étude

Malgré tous les "petits pains" possibles de la technologie de visualisation d'objets dans les milieux de diffusion, la mise en œuvre de cette technologie pose un certain nombre de problèmes. Le principal est le fait que les trajets des photons traversant le diffuseur varient considérablement, ce qui conduit à des motifs de mouchetures aléatoires * de l'autre côté.

Speckle * est un motif d'interférence aléatoire formé par l'interférence mutuelle d'ondes cohérentes qui ont des déphasages aléatoires et / ou un ensemble d'intensité aléatoire. Le plus souvent, il ressemble à un ensemble de points lumineux (points) sur un fond sombre.

Ces dernières années, plusieurs techniques de visualisation ont été développées pour contourner les effets du diffuseur et extraire des informations sur l'objet à partir du motif moucheté. Le problème avec ces techniques est leurs limites - vous devez avoir une certaine connaissance de l'objet, avoir accès à un milieu ou un objet diffusant, etc.

Dans le même temps, il existe une méthode beaucoup plus avancée, selon les scientifiques, de visualisation de méthode avec un effet mémoire (ME). Cette méthode vous permet de visualiser l'objet sans connaissance préalable de son propre support ou de son milieu de diffusion. Tout le monde a des inconvénients, comme nous le savons, et la méthode ME ne fait pas exception. Pour obtenir des motifs de mouchetures à contraste élevé et, par conséquent, des images plus précises, l'éclairage doit être à bande étroite, c'est-à-dire moins de 1 nm.

Il est également possible de déjouer les limites de la méthode ME, mais, encore une fois, ces astuces consistent à accéder à une source optique ou à un objet au diffuseur ou à mesurer directement le PSF * .

PSF * est une fonction d'étalement ponctuel qui décrit l'image que le système de formation reçoit lors de l'observation d'une source lumineuse ponctuelle ou d'un objet ponctuel.

Les chercheurs appellent ces méthodes fonctionnelles, mais pas parfaites, car la mesure du PSF n'est pas toujours possible en raison, par exemple, de la dynamique du diffuseur ou de son inaccessibilité à la procédure d'imagerie. En d'autres termes, il y a du travail à faire.

Dans leur travail, les chercheurs proposent une approche différente. Ils nous montrent une méthode pour mettre en œuvre la visualisation multispectrale d'objets à travers un milieu de diffusion en utilisant une mesure de speckle unique avec une caméra monochrome. Contrairement à d'autres techniques, celle-ci ne nécessite pas de connaissance préalable du système PSF ou du spectre source.

La nouvelle méthode vous permet de créer des images de haute qualité de l'objet cible dans cinq canaux spectraux bien séparés entre 450 nm et 750 nm, ce qui a été confirmé par des calculs. Dans la pratique, il a été possible jusqu'à présent de visualiser trois canaux spectraux bien séparés entre 450 nm et 650 nm et six canaux spectraux adjacents entre 515 et 575 nm.

Le principe de la nouvelle méthode

Image n ° 1: lampe - modulateur spatial de lumière - diffuseur (avec diaphragme à iris) - ouverture de codage - prisme - relais optique (visualisation 1: 1) - caméra monochrome.

Les chercheurs notent trois éléments principaux de toute visualisation à travers un diffuseur: un objet d'intérêt (éclairé de l'extérieur ou rayonnant indépendamment), un diffuseur et un détecteur.

Comme dans les systèmes ME standard, cette étude considère un objet dont la taille angulaire est située à l'intérieur du champ de vision ME et à une distance u derrière le diffuseur. Après avoir interagi avec le diffuseur, la lumière se propage à une distance v avant d'atteindre le détecteur.

L'imagerie ME conventionnelle utilise des caméras standard, et cette méthode utilise un module détecteur de codage composé d'une ouverture de codage et d'un élément optique qui dépend de la longueur d'onde. Le but de cet élément est de moduler de manière unique chaque canal spectral avant de le combiner et de le convertir dans un détecteur monochrome.

Ainsi, au lieu de simplement mesurer un speckle à faible contraste, dont les canaux spectraux sont inextricablement mélangés, un signal spectralement multiplexé a été enregistré qui était bien adapté à la séparation.

Les chercheurs soulignent une fois de plus que leur méthode ne nécessite aucune caractéristique ou hypothèse précédemment connue concernant un diffuseur ou une source lumineuse.

Après des mesures préliminaires du speckle multiplexé, la valeur bien connue de Tλ (motif de codage dépendant de la longueur d'onde) a été utilisée pour reconstruire individuellement le speckle dans chaque bande spectrale.

Dans leur travail au stade des calculs et de la modélisation, les scientifiques ont appliqué certaines méthodes d'apprentissage automatique qui peuvent aider à la mise en œuvre d'une méthode jusque-là non envisagée. Tout d'abord, une formation a été utilisée sur les caractéristiques d'une matrice clairsemée pour représenter le chatoiement.

Formation aux signes * - permet au système de trouver automatiquement les représentations nécessaires pour identifier les signes des données sources.

En conséquence, une base a été formée sur les images de speckle de diverses configurations de mesure. Cette base est assez généralisée et ne dépend pas d'objets et de diffuseurs spécifiques impliqués dans la génération du masque Iλx, y. En d'autres termes, le système est formé sur la base d'un diffuseur qui n'est pas utilisé dans la configuration expérimentale, c'est-à-dire le système n'y a pas accès, comme le souhaitaient les chercheurs.

Pour obtenir des images de speckle à chaque longueur d'onde, l'algorithme OMP ( orthogonal matching pursuit ) a été utilisé.

Au final, en calculant l'autocorrélation de chaque canal spectral indépendamment et l'inversion de l'autocorrélation à chaque longueur d'onde, des images de l'objet ont été obtenues. Les images résultantes à chaque longueur d'onde sont ensuite combinées pour créer une image couleur de l'objet.


Image # 2: Un processus par étapes pour compiler une image d'un objet.
Cette technique, selon ses créateurs, ne fait aucune hypothèse sur les corrélations entre les canaux spectraux et ne nécessite que l'hypothèse que la valeur de la longueur d'onde est assez aléatoire. De plus, cette méthode ne nécessite que des informations sur le détecteur de codage, en s'appuyant sur l'étalonnage préliminaire de l'ouverture de codage et une bibliothèque de données pré-formée. Ces caractéristiques rendent cette technique d'imagerie très polyvalente et non invasive.

Résultats de la simulation

Pour commencer, considérez les résultats de la simulation.


Image n ° 3

L'image ci-dessus montre des exemples d'une image multispectrale de deux objets prise à travers un diffuseur. La rangée supérieure en 3a contient un objet d'intérêt, composé de plusieurs nombres affichés à la fois en fausse couleur et dans une ventilation par le canal spectral. Lors de la construction d'un objet en fausses couleurs, le profil d'intensité de chaque longueur d'onde dans l'espace RVB CIE 1931 s'affiche.

L'objet reconstruit (la rangée inférieure à 3a ), à la fois en fausses couleurs et en termes de canaux spectraux individuels, démontre que la technique fournit une excellente visualisation et seulement une légère interaction croisée entre les canaux spectraux, qui ne joue pas un rôle spécial dans le processus.

Après avoir reçu l'objet reconstruit, c'est-à-dire après la visualisation, il a été nécessaire d'évaluer le degré de précision en comparant l'intensité spectrale (moyenne sur tous les pixels lumineux) de l'objet réel et du reconstruit ( 3b ).

Les images 3c montrent un objet réel (rangée supérieure) et une image reconstruite (rangée inférieure) pour une cellule à partir d'une tige de coton, et 3d montre une analyse de la précision de la visualisation.

Pour évaluer la précision de la visualisation, il a été nécessaire de calculer les valeurs du coefficient de similarité structurelle (SSIM) et du rapport signal / bruit de crête (pSNR) de cet objet pour chaque canal spectral.



Le tableau ci-dessus montre que chacun des cinq canaux a un coefficient SSIM de 0,8 à 0,9 et un PSNR supérieur à 20. Il s'ensuit que malgré le faible contraste du signal de speckle, la superposition de cinq bandes spectrales d'une largeur de 10 nm sur le détecteur permet une reconstruction assez précise propriétés spatiales et spectrales de l'objet étudié. En d'autres termes, la technique fonctionne, cependant, ce ne sont que des résultats de simulation. Par souci de confiance dans leur travail, les scientifiques ont mené un certain nombre d'expériences pratiques.

Résultats de l'expérience

L'une des différences les plus importantes entre la modélisation et les expériences réelles est l'environnement, c'est-à-dire les conditions dans lesquelles les deux sont effectuées. Dans le premier cas, il y a des conditions contrôlées, dans le second, des conditions imprévisibles, c'est-à-dire comment ça se fait.

Trois canaux spectraux d'une largeur de 8 à 12 nm ont été examinés avec un centre de 450, 550 et 650 nm, qui, en combinaison avec diverses valeurs relatives, génèrent une large gamme de couleurs.


Image n ° 4

L'image ci-dessus montre une comparaison entre l'objet réel (lettre multicolore "H") et l'objet reconstruit. La durée d'exposition à la lumière (exposition, c'est-à-dire l'exposition) a été fixée à 1800 s, ce qui nous a permis d'obtenir un SNR dans la plage de 60 à 70 dB. Un tel SNR, selon les scientifiques, n'est pas extrêmement important pour l'expérience, mais sert de confirmation supplémentaire de l'efficacité de leur méthodologie, en particulier dans le cas d'objets complexes. En réalité, et non dans des conditions de laboratoire, cette méthode peut être d'un ordre de grandeur plus rapide.

La rangée supérieure de l'image n ° 4 montre un objet à chaque longueur d'onde (de gauche à droite) et un véritable objet en couleur.

Afin d'obtenir une image d'un objet réel à la suite de la visualisation, une caméra de vision industrielle avec des filtres passe-bande correspondants a été utilisée pour afficher directement les composants spectraux et obtenir une image en couleur en additionnant les canaux spectraux résultants.

La deuxième ligne de l'image ci-dessus montre les modèles d'autocorrélation de chaque canal spectral reconstruit formant des mesures multiplexées, qui sont des données d'entrée pour l'étape de traitement des données.

La troisième rangée est un objet reconstruit dans chaque canal spectral, ainsi qu'un objet en couleurs reconstruit, c'est-à-dire résultat final de la visualisation.

L'image en couleur montre que les valeurs relatives entre les canaux spectraux sont également correctes, car la couleur de l'image reconstruite combinée correspond à la valeur réelle et le coefficient SSIM atteint plus de 0,92 pour chaque canal.

La rangée du bas est une confirmation de cette affirmation, montrant une comparaison de l'intensité de l'objet réel et de l'objet reconstruit. Les données des deux coïncident dans toutes les gammes spectrales.

Il s'ensuit que même la présence de bruit et d'erreurs potentielles de modélisation n'a pas empêché l'obtention d'une image de haute qualité, et les résultats expérimentaux sont bien corrélés avec les résultats de simulation.

L'expérience ci-dessus a été définie en tenant compte des canaux spectraux divisés. Les scientifiques ont mené une autre expérience, mais avec des canaux adjacents, et plus précisément avec une gamme spectrale continue de 60 nm.


Image n ° 5

La lettre «X» et le signe «+» ( 5a ) ont agi comme un véritable objet. Le spectre de la lettre «X» est relativement uniforme et continu - entre 515 et 575 nm, mais le «+» a un spectre structuré, principalement situé entre 535 et 575 nm ( 5b ). Pour cette expérience, l'exposition était de 120 s pour atteindre le SNR souhaité (comme précédemment) de 70 dB.

Un filtre passe-bande de 60 nm de large sur tout l'objet et un filtre passe-bas au-dessus du signe «+» ont également été utilisés. Lors de la reconstruction de 60 nm, le spectre est divisé en 6 canaux adjacents d'une largeur de 10 nm ( 5b ).

Comme nous pouvons le voir sur les images 5c , les images résultantes sont en excellent accord avec l'objet réel. Cette expérience a montré que la présence ou l'absence de corrélations spectrales dans le speckle mesuré n'affecte pas l'efficacité de la technique d'imagerie à l'étude. Les scientifiques eux-mêmes pensent qu'un rôle beaucoup plus important dans le processus de visualisation, et plus précisément dans son succès, n'est pas tant joué par les caractéristiques spectrales de l'objet que par l'étalonnage du système et les détails de son détecteur de codage.

Pour une connaissance plus détaillée des nuances de l'étude, je vous recommande de consulter le rapport des scientifiques et le matériel supplémentaire qui s'y rapporte.

Épilogue

Dans ce travail, les scientifiques ont décrit une nouvelle méthode d'imagerie multispectrale à travers un diffuseur. La modulation du speckle, en fonction de la longueur d'onde, à l'aide d'une ouverture de codage, a permis d'effectuer une mesure multiplexée et de calculer le speckle à l'aide de l'algorithme OMP basé sur l'apprentissage automatique.

En utilisant la lettre multicolore «H» comme exemple, les scientifiques ont montré que se concentrer sur cinq canaux spectraux correspondant au violet, au vert et à trois nuances de rouge nous permet d'obtenir une reconstruction de l'image contenant toutes les couleurs de l'original (bleu, jaune, etc.).

Selon les chercheurs, leur technique peut être utile à la fois en médecine et en astronomie. La couleur véhicule des informations importantes dans les deux sens: en astronomie - la composition chimique des objets étudiés, en médecine - la composition moléculaire des cellules et des tissus.

À ce stade, les scientifiques ne notent qu'un seul problème pouvant entraîner des inexactitudes dans la visualisation, ce sont des erreurs de modélisation. En raison du temps suffisamment long nécessaire pour achever le processus, des changements environnementaux peuvent survenir qui entraîneront leurs propres ajustements qui n'ont pas été pris en compte au stade de la préparation. Cependant, à l'avenir, il est prévu de trouver un moyen de niveler ce problème, ce qui rendra la technique de visualisation décrite non seulement précise, mais également stable dans toutes les conditions.



Merci de rester avec nous. Aimez-vous nos articles? Vous voulez voir des matériaux plus intéressants? Soutenez-nous en passant une commande ou en le recommandant à vos amis, une réduction de 30% pour les utilisateurs Habr sur un analogue unique de serveurs d'entrée de gamme que nous avons inventés pour vous: Toute la vérité sur VPS (KVM) E5-2650 v4 (6 cœurs) 10 Go DDR4 240 Go SSD 1 Gbps à partir de 20 $ ou comment diviser le serveur? (les options sont disponibles avec RAID1 et RAID10, jusqu'à 24 cœurs et jusqu'à 40 Go de DDR4).

Dell R730xd 2 fois moins cher? Nous avons seulement 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV à partir de 199 $ aux Pays-Bas! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - à partir de 99 $! Pour en savoir plus sur la création d'un bâtiment d'infrastructure. classe utilisant des serveurs Dell R730xd E5-2650 v4 coûtant 9 000 euros pour un sou?