Night Sight: comment les téléphones Pixel voient dans le noir

Gauche: iPhone XS ( photo pleine résolution ). Droite: Pixel 3 Night Sight ( photo en pleine résolution ).

Night Sight est une nouvelle fonctionnalité de l'application Pixel Camera qui vous permet de prendre des photos nettes et propres dans des conditions de très faible luminosité, même lorsqu'il y a si peu de lumière que votre œil voit peu. Il fonctionne sur l'appareil photo principal et frontal des trois générations de téléphones Pixel et ne nécessite ni trépied ni flash. Dans cet article, nous expliquerons pourquoi il est si difficile de prendre des photos en basse lumière, discutons de la photographie informatique et des technologies d'apprentissage automatique superposées au format HDR + et permettant à Night Sight de fonctionner.

Pourquoi est-il difficile de prendre des photos en basse lumière?

Tous ceux qui ont pris des photos dans un endroit mal éclairé connaissent le bruit de l'image, qui ressemble à des changements de luminosité aléatoires d'un pixel à l'autre. Pour les appareils photo des smartphones dotés de petits objectifs et de photomatrices, la principale source de bruit est la fluctuation naturelle du nombre de photons pénétrant dans l'objectif, connue sous le nom de bruit de tir . N'importe quel appareil photo en souffre et il sera toujours présent, même avec une qualité de matrice idéale. Cependant, les matrices ne sont pas idéales, par conséquent, lors de la conversion d'une charge électrique provenant de la lumière pénétrant dans les pixels, une deuxième source de bruit apparaît: le bruit de lecture. D'autres sources contribuent également au rapport signal / bruit (SNR), montrant combien l'image reste exempte de bruit. Heureusement, le SNR croît proportionnellement à la racine carrée du temps d'exposition (ou plus rapide), par conséquent, plus l'exposition est élevée, plus l'image est propre. Mais dans un éclairage tamisé, il est assez difficile de rester immobile suffisamment longtemps pour prendre une bonne photo, et ce que vous photographiez peut également ne pas rester immobile.

En 2014, nous avons introduit la technologie de photographie numérique HDR + qui améliore cette situation en prenant plusieurs photos à la fois, qui sont ensuite programmées et fusionnées. L'objectif principal de HDR + est d'améliorer la plage dynamique, c'est-à-dire la possibilité de prendre des photos dans un large éventail de conditions d'éclairage (par exemple, au coucher du soleil ou dans le cas de portraits avec rétro-éclairage). Toutes les générations de téléphones Pixel utilisent HDR +. Il s'avère que la fusion de plusieurs images réduit également les effets du bruit de prise de vue et du bruit de lecture, ce qui améliore le SNR en cas de faible luminosité. Pour maintenir la clarté des images dans des conditions de poignée de main et de mouvement du sujet, nous utilisons une vitesse d'obturation courte. Nous éliminons également les parties de l'image pour lesquelles aucune bonne méthode d'alignement n'a été trouvée. Cela permet au HDR + de produire des images nettes et de collecter plus de lumière.

À quel point sera-t-il «sombre»?

Mais si prendre et fusionner plusieurs images donne des photos plus nettes en basse lumière, pourquoi ne pas utiliser HDR + pour obtenir quelques dizaines d'images afin que nous puissions, en fait, voir dans l'obscurité? Commençons par la définition de «l'obscurité». Les photographes, discutant de l'illumination de la scène, la mesurent souvent dans des suites . Lux est la quantité de lumière incidente sur une unité de surface, mesurée en lumens par mètre carré. Pour que vous puissiez imaginer approximativement les niveaux d'éclairage, voici un tableau pratique pour vous:

• 30000 - trottoir éclairé par le soleil.
• 10000 - trottoir par temps clair à l'ombre.
• 1000 - trottoir un jour sombre.
• 300 - éclairage dans le bureau.
• 150 - éclairage de table à la maison.
• 50 - lumière dans un restaurant.
• 20 - Restaurant avec éclairage d'ambiance.
• 10 - éclairage minimum requis pour trouver une paire de chaussettes assortie.
• 3 - trottoir à la lumière des lanternes.
• 1 - lumière minimale pour lire un journal.
• 0,6 - trottoir sous la pleine lune.
• 0,3 - il est impossible de trouver des clés sur le sol.
• 0,1 - il est impossible de se déplacer dans la maison sans lampe de poche.

Les caméras de smartphone prenant une photo commencent à rencontrer des difficultés à un niveau d'éclairage de 30 lux. Les téléphones qui prennent plusieurs images et les combinent peuvent durer jusqu'à 3 lux, mais dans des conditions plus sombres, ils ne peuvent pas faire face et compter sur le flash. Avec la technologie Night Sight, nous avons cherché à améliorer la qualité des photos dans la plage de 3 à 0,3 lux en utilisant un smartphone, une pression sur le déclencheur et sans flash. Pour que cela fonctionne, plusieurs éléments clés sont nécessaires, le plus important étant d'obtenir davantage de cadres.

Nous obtenons les données

L'augmentation du temps d'exposition augmente le SNR et vous permet d'obtenir des images plus propres, mais entraîne deux problèmes. Premièrement, le mode de prise de vue par défaut sur les téléphones Pixel utilise le protocole Zero Delay (ZSL), qui limite le temps d'exposition. L'application appareil photo démarre la prise de vue dès que vous la démarrez et stocke les photos dans un tampon en anneau, qui efface constamment les anciens cadres, libérant ainsi de l'espace pour les nouveaux. Lorsque vous appuyez sur le déclencheur, l'appareil photo envoie les 9 à 15 dernières images pour traiter le logiciel HDR + ou Super Res Zoom . Cela vous permet de capturer exactement le moment dont vous avez besoin - d'où la «descente zéro retard». Cependant, puisque nous vous aidons à viser, nous affichons ces images sur l'écran, HDR + limite la vitesse d'obturation maximale à 66 ms, quel que soit le niveau d'éclairage, ce qui permet au viseur de maintenir une fréquence d'au moins 15 images / sec. Pour les scènes plus sombres où une vitesse d'obturation plus lente est nécessaire, Night Sight utilise la technologie PSL (délai de déclenchement positif) et attend qu'un bouton soit appuyé avant de prendre des photos. Pour utiliser le PSL, vous devez immobiliser le téléphone pendant un certain temps après avoir appuyé sur le bouton, mais ce mode vous permet d'augmenter la vitesse d'obturation, améliorant le SNR dans de mauvaises conditions d'éclairage.

Le deuxième problème lié à l'augmentation de la vitesse d'obturation par image est le flou dû au tremblement de la main ou au mouvement des objets de la scène. La stabilisation optique de l'image (AIS), disponible sur les Pixel 2 et 3, réduit l'effet de tremblement pour des vitesses d'obturation moyennes (jusqu'à 1/8 s), mais n'aide pas avec des vitesses d'obturation lentes ou des objets en mouvement. Pour lutter contre le flou non soumis à AXIS, Pixel 3 inclut par défaut le mode de «mesure du mouvement», qui utilise un flux optique pour mesurer les mouvements récents de la scène et sélectionner une vitesse d'obturation qui minimise le flou. Les pixels 1 et 2 n'utilisent pas ce mode par défaut, cependant, les trois téléphones utilisent cette technologie en mode Night Sight, augmentant la vitesse d'obturation par image jusqu'à 333 ms en l'absence de mouvement. Au Pixel 1, qui n'a pas d'OSI, nous n'augmentons pas tellement la vitesse d'obturation (et pour les caméras selfie qui n'ont pas d'OSI, l'augmentation sera encore plus modeste). Si l'appareil photo est stabilisé (appuyé contre le mur, posé sur un trépied), la vitesse d'obturation de chaque cadre peut être augmentée jusqu'à une seconde. En plus de faire varier l'exposition image par image, nous faisons également varier le nombre d'images, de 6 si le téléphone est sur un trépied à 15 si la prise de vue est à main levée. Ces limitations de cadre empêchent la fatigue de l'utilisateur (et la nécessité d'un bouton d'annulation). Ainsi, selon le téléphone Pixel que vous possédez, le choix de l'appareil photo, la poignée de main, le mouvement et la luminosité de la scène, le mode Night Sight prend de 15 images avec une vitesse d'obturation de 1/15 s ou moins, jusqu'à 6 images avec une vitesse d'obturation jusqu'à 1 sec

Un exemple spécifique d'utilisation d'une vitesse d'obturation courte lors de la détection de mouvement:


Gauche: 15 images prises consécutivement par l'un des deux téléphones Pixel 3 situés côte à côte. Au centre: une prise de vue nocturne avec la mesure de mouvement désactivée, ce qui oblige le téléphone à utiliser une vitesse d'obturation de 73 ms. La tête du chien est floue. Droite: Night Sight avec mesure du mouvement activée; une vitesse d'obturation de 48 ms est utilisée. Le flou est nettement moins.

Exemple d'utilisation d'une exposition longue lorsque le téléphone est sur un trépied:


À gauche: une partie de la photo du ciel nocturne prise avec les mains de Night Sight ( image complète ). Les mains tremblaient un peu, donc Night Sight a choisi 333 ms × 15 images = 5,0 secondes. À droite: une image d'un trépied (l' image entière ). Aucune gigue n'a été enregistrée, donc Night Sight a utilisé 1,0 s × 6 images = 6,0 s. Le ciel est plus net, moins de bruit, plus d'étoiles sont visibles.

Alignement et fusion

L'idée de faire la moyenne des trames pour réduire le bruit est aussi ancienne que la technologie de l'image numérique elle-même. En astrophotographie, cela s'appelle l' empilement d'exposition . Bien que la technologie elle-même soit simple, le plus difficile est d'aligner correctement l'image lorsque la prise de vue est à main levée. Nous avons commencé à travailler sur ce sujet en 2010 avec l'application Synthcam . Il prenait constamment des photos, les alignait et les fusionnait en temps réel à basse résolution et montrait le résultat final, qui devenait plus clair plus vous regardiez.

Night Sight utilise un principe similaire, mais en pleine résolution matricielle et pas en temps réel. Dans les téléphones Pixel 1 et 2, nous utilisons l'algorithme de fusion HDR +, modifié et réglé de manière à améliorer la capacité de détecter et de rejeter les parties incorrectement alignées des images, même dans les scènes très bruyantes. Sur Pixel 3, nous utilisons le zoom Super Res , qui s'ajuste selon que vous agrandissez l'image ou non. Et bien que ce dernier ait été conçu pour des résolutions élevées, il est également capable de réduire le bruit, car il donne en moyenne plusieurs photos empilées ensemble. Le zoom Super Res donne de meilleurs résultats pour certaines scènes de nuit que HDR +, mais il a besoin d'un processeur plus rapide sur le téléphone Pixel 3.

Soit dit en passant, tout cela se produit sur le téléphone en quelques secondes. Si vous passez assez rapidement à la liste des photos (en attendant la fin de la prise de vue!), Vous pouvez voir comment l'image «apparaît» lorsque le HDR + ou le Super Res Zoom terminent leur travail.

Autres difficultés

Bien que les idées de base décrivent un son simple, en l'absence d'un éclairage suffisant, certaines astuces de développement de Night Sight se sont révélées très difficiles:

1. La balance des blancs automatique (ABB) ne fonctionne pas correctement par faible luminosité

Les gens perçoivent bien les couleurs des choses même sous un éclairage coloré (ou dans des lunettes de soleil), montrant une constance des couleurs . Cependant, ce processus échoue souvent lorsque nous prenons une photo sous un jour et réfléchissons sous un autre; la photo nous semble teintée. Pour corriger cet effet, les perceptions de la caméra changent la couleur des images pour prendre partiellement ou totalement en compte la couleur principale du rétro-éclairage (qui est parfois appelée la température de couleur ), décalant essentiellement la couleur de l'image de sorte que la scène semble être mise en évidence en blanc neutre. Ce processus est appelé balance des blancs automatique.

Le problème est que ce problème fait référence à ceux que les mathématiciens appellent mal posés . La neige capturée par la caméra était-elle vraiment bleue? Ou est-ce de la neige blanche illuminée par un ciel bleu? Apparemment, la dernière option. Cette ambiguïté complique la recherche de la balance des blancs. L'algorithme ABB utilisé dans des modes autres que Night Sight fonctionne bien, mais dans un éclairage médiocre ou coloré (comme les lampes à décharge de sodium ), il est difficile de distinguer la couleur du rétroéclairage.

Pour résoudre ces problèmes, nous avons développé l'algorithme ABB basé sur la formation, formé pour distinguer une image bien équilibrée d'une image mal équilibrée. Lorsqu'une photo est mal équilibrée, l'algorithme peut offrir des options de décalage des couleurs pour rendre l'éclairage plus neutre. Pour entraîner l'algorithme, il était nécessaire de prendre une photo de nombreuses scènes différentes à l'aide d'appareils Pixel et d'ajuster leur balance manuellement, en regardant la photo sur le moniteur avec des couleurs bien calibrées. Vous pouvez voir le fonctionnement de l'algorithme en comparant la même scène avec un mauvais éclairage, dont les photos ont été prises en utilisant différentes méthodes en utilisant Pixel 3:


À gauche: l'équilibreur de l'appareil photo par défaut ne sait pas à quel point l'éclairage de cette cabane était jaune sur la côte de Vancouver ( photo complète ). À droite: notre algorithme d'apprentissage a fait mieux ( photo complète ).

2. Marquage de nuances sur des scènes trop sombres

Le but de Night Sight est de prendre des photos de scènes si sombres qu'il est difficile de les distinguer à l'œil nu - de développer quelque chose comme une superpuissance! Ce problème est lié au fait que dans de mauvaises conditions d'éclairage, les gens cessent de distinguer les couleurs car les cônes de notre rétine cessent de fonctionner, laissant tout sur des bâtons incapables de distinguer les longueurs d'onde de la lumière. La nuit, la scène ne perd pas ses couleurs, on arrête juste de les distinguer. Nous voulons que les photos dans Night Sight soient en couleur - cela fait partie de la superpuissance et est une cause possible d'un autre conflit. Enfin, nos baguettes ont une netteté spatiale limitée, de sorte que les objets semblent flous la nuit. Nous voulons que les photos dans Night Sight soient claires et contiennent plus de détails que vous ne pouvez en distinguer.

Par exemple, si vous placez un reflex numérique sur un trépied et définissez une vitesse d'obturation très élevée - quelques minutes, ou superposez quelques photos avec une vitesse d'obturation plus courte - alors la photo de nuit ressemblera à un jour. Les détails se distingueront dans les ombres, la scène sera colorée et claire. Regardez la photo ci-dessous, prise par un reflex numérique; les étoiles sont visibles, donc ce doit être la nuit, mais l'herbe est verte, le ciel est bleu et la lune projette des ombres d'arbres qui ressemblent à du soleil. L'effet est agréable, mais pas toujours nécessaire - et si vous partagez une telle photo avec un ami, il ne saura pas comment vous l'avez faite.


Vallée de Yosemite la nuit. Canon DSLR, objectif 28 mm f / 4, vitesse d'obturation de 3 min, ISO 100 ( photo complète )

Depuis des centaines d'années, les artistes savent comment faire ressembler une image à une image nocturne:


«Un philosophe expliquant le modèle du système solaire», Joseph Wright, 1766. L'artiste utilise une variété de couleurs, du blanc au noir, mais la scène dessinée est clairement sombre. Comment y est-il parvenu? Contraste accru, entourant la scène d'obscurité, d'ombres noircies dans lesquelles aucun détail n'est visible.

Dans Night Sight, nous utilisons des astuces similaires, en particulier, en utilisant la courbe en forme de S pour marquer les nuances. Cependant, il est assez difficile de trouver un équilibre entre la «superpuissance magique» et un rappel de l'heure à laquelle la photo a été prise. Voici une photo qui a partiellement réussi:


Pixel 3, 6 secondes avec Night Sight, sur un trépied ( photo complète )

Comment peut-il être sombre pour filmer avec Night Sight?

Lorsque l'éclairage est inférieur à 0,3 lux, la mise au point automatique commence à échouer. Si vous ne voyez pas les clés de la voiture gisant sur le sol, votre smartphone ne peut pas non plus se concentrer. Pour ce faire, nous avons ajouté deux boutons de mise au point manuelle au mode Night Sight sur le téléphone Pixel 3: «Close» se concentre à une distance d'un peu plus d'un mètre, «Far» - à 4 mètres. Ce dernier est la distance hyperfocale de la lentille, c'est-à-dire que tout ce qui est à une distance de la moitié (2 m) à l'infini doit tomber au point. Nous travaillons également à améliorer la capacité d'autofocus de Night Sight en basse lumière. Vous pouvez toujours prendre de belles photos avec un éclairage inférieur à 0,3 lux et même l'astrophotographie, comme démontré dans cet article , mais pour cela, vous aurez besoin d'un trépied, d'une mise au point manuelle et d'une application spéciale qui utilise l'API Android Camera2.

Jusqu'où peut-on aller? Au final, à un certain niveau d'éclairage, le bruit de lecture éclipse les photons collectés par le capteur. Il existe d'autres sources de bruit, notamment le courant d'obscurité , qui augmente proportionnellement à la vitesse d'obturation et dépend de la température. Pour éviter de tels effets, les biologistes refroidissent leurs caméras à des températures inférieures à -20 ° C pour prendre des photos d'animaux fluorescents - mais nous ne recommandons pas de le faire avec les téléphones Pixel! Les images trop bruyantes sont également difficiles à aligner. Même si nous avons résolu tous ces problèmes, le vent souffle, les arbres se balancent et les étoiles et les nuages ​​se déplacent. Des vitesses d'obturation très lentes sont difficiles à prendre.

Comment tirer le meilleur parti de Night Sight

Non seulement Night Sight prend des photos sympas en basse lumière: il est juste amusant à utiliser, car il prend des photos même lorsque vous ne voyez presque rien. Nous affichons l'image de la puce lorsque la scène est si sombre que lorsque vous utilisez Night Sight, la photo sera meilleure - mais ne vous limitez pas à ces cas uniquement. Immédiatement après le coucher du soleil, lors d'un concert en milieu urbain, Night Sight prend des photos propres et silencieuses et les rend plus lumineuses que la réalité. Voici quelques exemples de photos prises avec les comparaisons Night Sight et A / B. Voici quelques conseils pour utiliser Night Sight:

• Night Sight ne fonctionne pas dans l'obscurité totale, alors choisissez des scènes avec un faible niveau d'éclairage.
• Un éclairage doux et uniforme est meilleur que net, créant des ombres sombres.
• Pour éviter l'éblouissement, essayez de garder les sources de lumière vive hors de vue.
• Pour augmenter la vitesse d'obturation, cliquez sur les images d'objets et faites glisser le curseur de vitesse d'obturation . Cliquez à nouveau pour annuler.
• Pour réduire l'exposition, prenez une photo et assombrissez-la dans l' éditeur de photos ; le bruit sera moindre.
• Si la scène est si sombre que la mise au point ne fonctionne pas, cliquez sur la bordure contrastante ou sur la bordure de la source lumineuse.
• Si cela ne fonctionne pas, utilisez les boutons Fermer et Loin.
• Pour maximiser la clarté, appuyez le téléphone contre un mur ou un arbre, posez-le sur une table ou une pierre.
• Night Sight fonctionne également pour les selfies dans l' album A / B , avec la possibilité de rétro-éclairer l'écran.

Boutons de mise au point manuelle (Pixel 3 uniquement).

Night Sight fonctionne mieux sur le Pixel 3. Nous l'avons fait pour le Pixel 2 et le Pixel original, bien que ce dernier utilise des vitesses d'obturation plus rapides en raison du manque de stabilisation optique. De plus, l'équilibreur de blanc automatique est formé sur le Pixel 3, il fonctionnera donc moins précisément sur les téléphones plus anciens. , Night Sight , , 1/15 , . – . !