Vous pouvez être pardonné du fait qu'après avoir lu tous les commentaires élogieux sur la nouvelle fonctionnalité de la photographie de nuit de Google, Night Sight, vous décidez que la société vient d'inventer un film couleur. Les modes de prise de vue de nuit ne sont pas apparus hier, et de nombreuses technologies sur lesquelles ils sont basés existent depuis de nombreuses années. Mais Google a fait un travail incroyable en combinant des compétences en photographie informatique avec des capacités d'apprentissage automatique sans précédent pour repousser les limites des possibilités au-delà de ce que nous avons vu auparavant. Examinons l'histoire de la technologie de la photographie en basse lumière avec quelques clichés consécutifs, réfléchissons à la façon dont elle est utilisée par Google et supposons comment l'IA y contribue.
Difficulté en photographie en basse lumière
Tous les appareils photo ont du mal à prendre des photos en basse lumière. Sans suffisamment de photons par pixel dans l'image, le bruit peut facilement dominer. Laisser l'obturateur ouvert plus longtemps pour collecter plus de lumière et obtenir une image utile augmentera également la quantité de bruit. Pire, il est assez difficile d'obtenir une image claire sans trépied stable. L'augmentation du gain (ISO) rendra l'image plus lumineuse, mais augmentera également la quantité de bruit qu'elle contient.
La stratégie traditionnelle a consisté à utiliser des pixels plus grands dans des capteurs plus grands. Malheureusement, dans les caméras des téléphones, les capteurs et, par conséquent, les pixels sont minuscules - ils fonctionnent bien sous une bonne lumière, mais échouent rapidement lorsque le niveau de lumière diminue.
En conséquence, les développeurs de caméras téléphoniques ont deux options pour améliorer les images obtenues en basse lumière. La première consiste à utiliser plusieurs images pour les combiner en une seule, avec réduction du bruit. Une première mise en œuvre d'une telle stratégie dans un appareil mobile était le mode SRAW dans le module complémentaire DxO ONE pour iPhone. Il a fusionné quatre images RAW en une seule améliorée. La deuxième option consiste à utiliser un post-traitement ingénieux (les dernières versions sont souvent équipées de machine learning) pour réduire le bruit et améliorer l'image. Google Night Sight utilise les deux approches.
Plusieurs images en une seule photo
À l'heure actuelle, nous sommes déjà habitués à la façon dont les téléphones et les appareils photo combinent plusieurs images en une seule, principalement pour améliorer la plage dynamique. Qu'il s'agisse d'un groupe d'images avec
bracketing , comme le font la plupart des entreprises, ou du HDR + de Google, qui utilise plusieurs images avec une brève exposition, vous pouvez obtenir une excellente image - si les artefacts générés par la fusion de plusieurs images d'objets en mouvement peuvent être minimisés. Habituellement, une image de base est sélectionnée pour cela qui décrit le mieux la scène sur laquelle les parties utiles d'autres images sont superposées. Huawei, Google et d'autres ont également utilisé cette approche pour créer des photos
téléobjectif améliorées. Nous avons récemment vu l'importance de choisir le bon cadre de base quand Apple a expliqué que leur désordre avec
BeautyGate était dû à un bogue dans lequel le mauvais cadre de base était sélectionné lors du traitement photo.
Il est clair pourquoi Google a décidé de combiner ces méthodes d'utilisation de plusieurs images pour obtenir de meilleures photos dans des conditions de faible luminosité. Dans le même temps, l'entreprise introduit plusieurs innovations ingénieuses dans le domaine du traitement d'image. Très probablement, les racines de cela se trouvent dans l'application Android de Mark Livoy,
SeeInTheDark , et son travail de 2015, «Obtenir des images extrêmes à l'aide de téléphones cellulaires». Livoy a été un pionnier de la photographie informatique à Stanford et a maintenant obtenu le titre d'ingénieur honoraire tout en travaillant sur la technologie de l'appareil photo chez Google. SeeInTheDark (une continuation de ses travaux antérieurs, l'application SynthCam pour iOS) a utilisé un téléphone standard pour accumuler des images, changer chaque image pour qu'elle corresponde à l'image tapée, puis appliquer diverses techniques pour réduire le bruit et améliorer l'image pour obtenir des images incroyablement de haute qualité à faible l'éclairage. En 2017, un programmeur de Google, Florian Kantz, a utilisé certains de ces concepts pour
montrer comment le téléphone peut être utilisé pour capturer des images de qualité professionnelle même en très faible luminosité.
La superposition d'images multiples en basse lumière est une technologie bien connue.
Les photographes ont superposé plusieurs images pour améliorer la qualité des images prises en basse lumière, depuis l'avènement de la photographie numérique (je soupçonne que quelqu'un l'a fait avec un film). Quant à moi, j'ai commencé par le faire manuellement puis en utilisant l'outil délicat Image Stacker. étant donné que les tout premiers reflex numériques étaient inutiles à des ISO élevés, la seule façon d'obtenir une photo de nuit normale était de prendre quelques images et de les superposer. Certains clichés classiques, comme les traînées d'étoiles, ont été initialement pris de cette façon. Aujourd'hui, il n'est pas si souvent utilisé lors de l'utilisation de reflex numériques et d'appareils photo sans miroir, car les modèles modernes disposent d'excellents outils intégrés pour prendre en charge un ISO élevé et réduire le bruit d'une longue exposition. Sur mon Nikon D850, vous pouvez laisser l'obturateur ouvert pendant 10 à 20 minutes et obtenir des photos tout à fait appropriées.
Par conséquent, il est prudent que les fabricants de téléphones fassent de même. Cependant, contrairement aux photographes patients prenant des traces d'étoiles à l'aide d'un trépied, l'utilisateur moyen du téléphone a besoin d'une satisfaction immédiate et il n'utilisera presque jamais de trépied. Par conséquent, le téléphone présente des difficultés supplémentaires liées à la nécessité d'obtenir rapidement des images dans des conditions de faible luminosité et de minimiser le flou dû au bougé de l'appareil photo - et idéalement, aux mouvements du sujet. Même la stabilisation optique disponible sur de nombreux modèles haut de gamme a ses propres limites.
Je ne sais pas quel fabricant de téléphones a été le premier à utiliser plusieurs prises de vue pour capturer des images en basse lumière, mais j'ai été le premier à utiliser le Huawei Mate 10 Pro. En mode Prise de vue nocturne, il prend plusieurs images en 4 à 5 secondes, puis les fusionne en une seule photo. Étant donné que l'aperçu en temps réel de Huawei reste activé, vous pouvez voir comment il utilise plusieurs options d'exposition différentes, créant essentiellement quelques images avec bracketing.
Dans le travail décrivant le premier HDR +, Livoy affirme que les images avec des expositions différentes sont plus difficiles à aligner (pourquoi HDR + utilise plusieurs images avec la même exposition), donc, très probablement, Night Sight de Google, comme SeeInTheDark, utilise également plusieurs images avec la même exposition . Cependant, Google (au moins dans la version préliminaire de l'application) n'affiche pas l'image en temps réel sur l'écran, donc je ne peux que spéculer. Samsung dans le Galaxy S9 et S9 + a utilisé une tactique différente avec l'objectif principal à double ouverture. Il peut passer à un impressionnant f / 1,5 dans des conditions de faible luminosité pour améliorer la qualité de l'image.
Comparaison entre Huawei et Google en basse lumière
Je n'ai pas encore de Pixel 3 ou de Mate 20, mais j'ai accès au Mate 10 Pro avec Night Shot et au Pixel 2 avec la version préliminaire de Night Sight. J'ai donc décidé de les comparer moi-même. Lors des essais, Google a apparemment dépassé Huawei en affichant moins de bruit et une image plus claire. Voici l'une des séquences de test:
Huawei Mate 10 Pro dans l'après-midi
Google Pixel 2 dans l'après-midi
Voici ce que vous pouvez obtenir en photographiant la même scène dans l'obscurité presque complète sans le mode Night Shot sur le Mate 10 Pro. L'obturateur est ouvert pendant 6 secondes, donc le flou est visible
Un cliché dans l'obscurité presque totale avec Night Shot sur le Huawei Mate 10 Pro. Les données EXIF montrent ISO 3200 et 3 secondes d'exposition au total.
La même scène avec la version préliminaire de Night Sight sur Pixel 2. Les couleurs sont plus précises, l'image est plus nette. EXIF affiche ISO 5962 et l'exposition en 1/4 s (probablement pour chacune de plusieurs images).L'apprentissage automatique est-il le composant secret de Night Sight?
Compte tenu de la durée de superposition de plusieurs images et du nombre de versions de cette technologie utilisées par les fabricants d'appareils photo et de téléphones, il devient intéressant de savoir pourquoi Google Night Sight semble tellement mieux que les autres. Premièrement, même la technologie dans le travail original de Livoy est très complexe, de sorte que les années que Google a dû l'améliorer auraient dû donner à l'entreprise une bonne longueur d'avance. Mais la société a également annoncé que Night Sight utilise l'apprentissage automatique pour sélectionner les bonnes couleurs dans l'image en fonction de ce qui est dans le cadre.
Ça a l'air cool mais brumeux. Il n'est pas clair si la technologie distingue les objets individuels, sachant que leur couleur doit être monophonique, ou peint des objets bien connus en conséquence, ou reconnaît le type général de scène, comme le font les algorithmes d'exposition automatique intelligents, et décide à quoi devrait ressembler une telle scène (feuillage vert, blanc neige, ciel bleu). Je suis sûr qu'après la sortie de la version finale, les photographes gagneront plus d'expérience en travaillant avec cette fonctionnalité, et nous serons en mesure de découvrir les détails de la façon dont la technologie utilise MO.
Un autre endroit où MO peut être utile est le calcul initial de l'exposition. La technologie sous-jacente Night Sight HDR +, telle que décrite par SIGGRAPH de Google, s'appuie sur un ensemble de milliers de photos étiquetées à la main pour l'aider à choisir la bonne exposition. Dans ce domaine, le MO peut apporter certaines améliorations, en particulier lors des calculs d'exposition dans des conditions de faible luminosité, où les objets de la scène sont bruyants et difficiles à distinguer. Google a également
expérimenté l' utilisation de réseaux de neurones pour améliorer la qualité des photos sur les téléphones, il ne sera donc pas surprenant que certaines de ces technologies commencent à être mises en œuvre.
Quelle que soit la combinaison de ces technologies utilisée par Google, le résultat est certainement le meilleur de tous les appareils photo qui peuvent prendre des photos en basse lumière aujourd'hui. Je me demande si la famille Huawei P20 sera en mesure de donner quoi que ce soit afin de rapprocher sa technologie Night Shot de la qualité de ce qu'elle a fait chez Google.