Près de deux siècles d'existence de la caméra n'auraient pas dû laisser aux ingénieurs la possibilité d'ajouter «autre chose». Les caméras modernes tournent des vidéos de haute qualité, téléchargent des photos dans le cloud et prennent des géo-tags. Nous pouvons prendre des panoramas et 360 °, regarder les étoiles et ralentir le temps. Mais les progrès ne s'arrêtent pas, mais se précipitent vers l'avenir, alimentés par des esprits curieux.
La technologie dont il sera question aujourd'hui n'est pas nouvelle par nature. Mais la façon dont il est mis en œuvre mérite certainement d'être examinée. Ce sera un objectif à champ lumineux intéressant qui peut être utilisé avec n'importe quel appareil photo reflex numérique.
Qu'est-ce qu'un champ de Ligh et avec quoi mange-t-il?
Le terme
champ de lumière lui- même a été proposé par le physicien soviétique Gershun en 1936 dans ses travaux sur les propriétés radiométriques de la lumière.
Un champ lumineux est une fonction vectorielle qui décrit la lumière passant dans n'importe quelle direction à travers un point dans l'espace.
Un rayon de lumière (ou plutôt sa direction) pour un point donné de l’espace peut être décrit par cinq paramètres (la fonction dite de plénoptique 5D):
coordonnées x ,
y ,
z et deux angles
θ et
ϕ . En intégrant les vecteurs de champ obtenus à partir de différents points de vue, nous obtenons la valeur d'éclairage totale. Et ayant une description complète des rayons lumineux dans l'espace, nous pouvons déterminer avec précision, par exemple, à quoi ressemble un objet de n'importe quel point de vue.
Quelle est l'application pratique de la théorie du champ lumineux? L'un des domaines les plus intéressants est celui des caméras à champ lumineux. Contrairement aux caméras classiques, enregistrant l'intensité de la lumière aux points d'un objet, la caméra du champ lumineux prend également en compte la direction des rayons, sortants et ces points. En d'autres termes, nous capturons les rayons de lumière «individuels» émanant de l'objet. Et cela, à son tour, vous permet d'obtenir les coordonnées physiques des objets dans l'espace et une carte de profondeur.
Comment les caméras de champ lumineux sont-elles disposées?
Nous savons déjà qu'une caméra de ce type devrait enregistrer non seulement l'intensité, mais également la direction des rayons lumineux émanant de l'objet. Une façon de mettre en œuvre cela consiste à utiliser un réseau de lentilles devant le capteur optique. Ces lentilles collectent les rayons de lumière d'un objet situé dans une partie spécifique de la scène et les concentrent sur le capteur.
Il est important de comprendre que dans ce cas, l'objectif principal de l'objectif ne focalise plus l'image sur le capteur. Au lieu de cela, les rayons sont projetés sur le plan du réseau de lentilles (dans les caméras classiques, le capteur est situé exactement dans ce plan), le réseau de lentilles passe et ne tombe ensuite que sur le capteur, formant une image en mosaïque de différentes parties de la scène.
La figure montre un schéma simplifié du fonctionnement d'un tel objectif. Grâce à l'organisation astucieuse du système optique, nous obtenons finalement non pas une, mais de nombreuses images de l'objet, et chacune de ces images crée une représentation unique de l'objet sous son angle de vue unique.
Cependant, ce schéma présente un certain nombre d'inconvénients, tels que le coût élevé de fabrication, la complexité de l'étalonnage, le contrôle de l'ouverture et d'autres paramètres du système. L'un des exemples les plus célèbres de ces caméras est le produit de Lytro - la caméra Lytro Illum (le projet semble être gelé)
Pouvez-vous rendre cela plus facile?
Tu peux. La lentille dont je veux parler dans cet article ne contient pas une gamme de micro-lentilles. Au lieu de cela, un système est utilisé, qui est un «canal» de miroir à section rectangulaire (boîte à miroir), où, grâce à la réflexion multiple, une image dite kaléidoscopique est formée, qui est enregistrée par le capteur de la caméra de la manière habituelle.
Une petite entreprise allemande se développe. L'objectif est au stade d'un prototype pleinement fonctionnel, et le principe de son fonctionnement est assez simple.
Les images obtenues par le système ressemblent à ceci:
Les éléments ici sont reflétés. Une telle image kaléidoscopique inhabituelle est une conséquence de la réflexion des rayons dans le «canal miroir».
Et voici à quoi ressemble la différence absolue de la paire d'éléments récupérés (les pixels lumineux signifient une plus grande différence de valeurs):
En d'autres termes, nous n'avons rien d'autre qu'une paire stéréo. Ou plutôt, stéréo neuf (éléments 3x3). En changeant les paramètres géométriques du canal, nous pouvons obtenir 5x5 et même de grandes dimensions, ce qui, cependant, n'a aucun sens dans la vie réelle et même nuit.
Nous avons donc un ensemble d'images formant une image kaléidoscopique. Et ensuite?
C'est là que le matériel optique analogique chaud se termine et que le soft numérique froid commence.
Calibration
Quelle que soit l'application, les images doivent être restaurées (vous devez calibrer l'ensemble du système optique et appliquer les données d'étalonnage obtenues aux images). Le processus est assez fastidieux, mais important, car les différents éléments de l'image kaléidoscopique doivent nécessairement être «coordonnés» entre eux (même insignifiants / plusieurs pixels / écarts des éléments peuvent gâcher considérablement le résultat et l'impression). Il existe de nombreux travaux sur le thème de l'étalonnage, il est donc inutile de révéler des détails. Vous devez juste vous rappeler que l'étalonnage est très important pour toute application stéréo.
Carte de profondeur
Après avoir reçu des images «paires», nous pouvons construire une carte de profondeur.
C'est peut-être la partie la plus importante et la plus difficile du pipeline. La qualité de l'application finale dépend de la qualité de la carte de profondeur. Et la qualité de la carte de profondeur, à son tour, dépend de la qualité de l'étalonnage, de l'algorithme sélectionné et de la "complexité" de la scène.
Mais quel que soit l'algorithme, la tâche est toujours la même: trouver les points correspondants des images gauche et droite (et dans notre cas + 7 images supplémentaires) et calculer la distance (disparité) entre elles. La valeur de distance sera l'inverse de la valeur de profondeur pour un pixel donné.
Pourquoi utiliser 9 images si vous vous entendez avec deux? Évidemment, en utilisant plus d'images, nous avons plus d'informations sur la scène et pouvons résoudre partiellement certains problèmes des algorithmes existants pour estimer la carte de profondeur.
Parmi les problèmes classiques de tels algorithmes:
- Surfaces monotones monochromes sans texture - l'algorithme n'a tout simplement rien à «attraper» dans le processus de recherche de correspondances
- Objets superposés (visibles d'un coin et invisibles d'un autre)
- Ombres et reflets sur des surfaces réfléchissantes ou brillantes
- Les structures régulières telles que les cellules et les rayures posent des problèmes, car il n'est pas toujours clair quelle cellule de l'image A correspond à la cellule de l'image B.
- Bordures d'images - un problème similaire au problème des objets qui se chevauchent. Aux frontières des images, les informations sont inévitablement perdues sous tous les angles.
Il existe de nombreux algorithmes de qualité et peu nombreux pour construire une carte de profondeur. Les développements les plus prometteurs se situent désormais dans le domaine des approches hybrides utilisant des méthodes classiques et diverses techniques d'apprentissage automatique (CNN, DNN). Comme toujours, le choix de l'algorithme est un compromis entre vitesse et qualité. Heureusement, en photographie, nous pouvons nous permettre de prendre du recul en temps réel et d'obtenir une meilleure carte de profondeur.
Pour notre exemple, la carte de profondeur ressemble à ceci:
Post focus
Nous avons une carte des profondeurs, que faire maintenant? Les informations sur l'éloignement des objets sont souvent utiles. Une application populaire est le post focus.
La mise au point est l'un des problèmes des photographes. Avez-vous remarqué que dans l'image d'origine, toute la scène était nette? Voici à quoi ressemble la post-focalisation basée sur une carte de profondeur:
Il convient de noter qu'avec cette approche, nous nous débarrassons en fait des propriétés physiques du système optique. Cela permet, par exemple, de créer une image algorithmique avec plusieurs astuces. Ou modifiez par programme la profondeur d'un espace clairement représenté (Profondeur de champ).
Autres applications
La post-mise au point est la principale mais pas toujours la seule application. En général, cet objectif peut être considéré comme un ensemble de caméras virtuelles (9 pièces). En conséquence, il est applicable à toutes les applications que vous pouvez imaginer pour un ensemble de caméras, par exemple:
- Filtres de polarisation - chacun des 9 éléments d'image a son propre filtre de polarisation avec une direction donnée. Cela vous permet d'obtenir 9 images avec différentes polarisations en une seule fois et même de créer une série vidéo d'un changement en douceur de la direction de la polarisation
- HDR (High-Dynamic-Range) - le même principe: 9 filtres différents + algorithme pour la "combinaison" optimale de luminosité
- Changement de perspective
- Édition basée sur la profondeur - vous permet d'appliquer divers filtres à différentes profondeurs. Par exemple, créez l'arrière-plan en noir et blanc, en mettant en évidence le premier plan.
- Segmentation - sélection d'objets situés à une certaine distance
- Mesure de distance - une règle pour les images. Cela fonctionne particulièrement bien pour les scènes «superficielles» pour lesquelles la disparité est plus facile à calculer.
- Applications pour l'industrie - différentes façons d'évaluer la qualité et le suivi de la production
Conclusion
La question du coût final de cet objectif est toujours ouverte, mais certains paramètres physiques ont déjà été déterminés. Il est connu que la longueur ne doit pas dépasser 20 cm et la masse - 800 g. Il est précisé que cet appareil sera principalement compatible avec les appareils photo Sony, Canon et Nikon.
En dehors de l'article, il restait des sujets importants tels que l'utilisation pratique de caméras standard avec viseurs, la restauration de la résolution (super-résolution), les algorithmes de traitement et l'intégration avec des éditeurs graphiques. Je vais en parler la prochaine fois.
Merci de votre attention!