Nachtsichtgerät: Wie Pixel-Telefone im Dunkeln sehen

Links: iPhone XS ( Foto in voller Auflösung ). Rechts: Pixel 3 Night Sight ( Foto in voller Auflösung ).

Nachtsicht ist eine neue Funktion der Pixelkamera-Anwendung, mit der Sie klare und saubere Fotos bei sehr schlechten Lichtverhältnissen aufnehmen können, selbst wenn so wenig Licht vorhanden ist, dass Ihr Auge wenig sieht. Es funktioniert auf der Haupt- und Frontkamera aller drei Generationen von Pixel-Telefonen und erfordert kein Stativ oder Blitz. In diesem Artikel werden wir darüber sprechen, warum es so schwierig ist, Fotos bei schlechten Lichtverhältnissen aufzunehmen, Computerfotografie und Technologien für maschinelles Lernen diskutieren, die dem HDR + -Format überlagert sind und Night Sight funktionieren lassen.

Warum ist es schwierig, Fotos bei schlechten Lichtverhältnissen aufzunehmen?

Jeder, der Fotos an einem schlecht beleuchteten Ort aufgenommen hat, ist mit dem Bildrauschen vertraut, das wie zufällige Helligkeitsänderungen von Pixel zu Pixel aussieht. Bei Smartphone-Kameras mit kleinen Objektiven und Fotomatrizen ist die natürliche Rauschquelle die natürliche Schwankung der Anzahl der in das Objektiv eintretenden Photonen, die als Schussrauschen bezeichnet wird . Jede Kamera leidet darunter und ist auch bei idealer Matrixqualität immer präsent. Die Matrizen sind jedoch nicht ideal, daher entsteht beim Umwandeln einer elektrischen Ladung, die durch in die Pixel eintretendes Licht entsteht, eine zweite Rauschquelle - das Lesen von Rauschen. Andere Quellen tragen ebenfalls zum Signal-Rausch-Verhältnis (SNR) bei und zeigen, wie viel des Bildes rauschfrei bleibt. Glücklicherweise wächst das SNR proportional zur Quadratwurzel der Belichtungszeit (oder schneller). Je höher die Belichtung, desto sauberer das Bild. Bei schwachem Licht ist es jedoch ziemlich schwierig, die Stille lange genug aufrechtzuerhalten, um eine gute Aufnahme zu machen, und was Sie fotografieren, steht möglicherweise auch nicht still.

2014 haben wir die rechnergestützte HDR + -Fotografietechnologie eingeführt, die diese Situation verbessert, indem mehrere Aufnahmen gleichzeitig gemacht werden, die dann programmgesteuert ausgerichtet und zusammengeführt werden. Das Hauptziel von HDR + ist die Verbesserung des Dynamikbereichs, dh die Fähigkeit, Fotos in einer Vielzahl von Lichtverhältnissen aufzunehmen (z. B. bei Sonnenuntergang oder bei Porträts mit Hintergrundbeleuchtung). Alle Generationen von Pixel-Handys verwenden HDR +. Es stellt sich heraus, dass das Zusammenführen mehrerer Bilder auch die Auswirkungen von Bildrauschen und Lesegeräuschen verringert und so das SNR bei schwachem Licht verbessert. Um die Klarheit der Bilder unter Bedingungen von Handschütteln und Bewegung des Motivs zu gewährleisten, verwenden wir eine kurze Verschlusszeit. Wir verwerfen auch Teile des Bildes, für die keine guten Ausrichtungsmethoden gefunden wurden. Dadurch kann HDR + gestochen scharfe Bilder erzeugen und mehr Licht sammeln.

Wie dunkel wird es "dunkel" sein?

Wenn das Aufnehmen und Zusammenführen mehrerer Bilder bei schlechten Lichtverhältnissen zu schärferen Fotos führt, können Sie mit HDR + ein paar Dutzend Bilder aufnehmen, damit wir tatsächlich im Dunkeln sehen können. Beginnen wir mit der Definition von "Dunkelheit". Fotografen, die über die Beleuchtung der Szene diskutieren, messen sie häufig in Suiten . Lux ist die auf eine Oberflächeneinheit einfallende Lichtmenge, gemessen in Lumen pro Quadratmeter. Damit Sie sich die Lichtverhältnisse grob vorstellen können, finden Sie hier eine praktische Tabelle:

• 30000 - Bürgersteig von der Sonne beleuchtet.
• 10000 - Bürgersteig an einem klaren Tag im Schatten.
• 1000 - Bürgersteig an einem düsteren Tag.
• 300 - Beleuchtung im Büro.
• 150 - Tischbeleuchtung zu Hause.
• 50 - Licht in einem Restaurant.
• 20 - Restaurant mit stimmungsvoller Beleuchtung.
• 10 - Mindestbeleuchtung erforderlich, um ein passendes Paar Socken zu finden.
• 3 - Bürgersteig im Licht von Laternen.
• 1 - Mindestlicht zum Lesen einer Zeitung.
• 0,6 - Bürgersteig unter Vollmond.
• 0.3 - Es ist nicht möglich, Schlüssel auf dem Boden zu finden.
• 0,1 - es ist unmöglich, sich ohne Taschenlampe im Haus zu bewegen.

Bei Smartphone-Kameras, die ein Foto aufnehmen, treten bei einer Lichtstärke von 30 Lux Schwierigkeiten auf. Telefone, die mehrere Bilder aufnehmen und kombinieren, können bis zu 3 Lux halten, aber unter dunkleren Bedingungen können sie den Blitz nicht bewältigen und sich darauf verlassen. Mit der Night Sight-Technologie wollten wir die Qualität von Fotos im Bereich von 3 bis 0,3 Lux mit einem Smartphone, einmaligem Drücken des Auslösers und ohne Blitz verbessern. Damit dies funktioniert, sind mehrere Schlüsselelemente erforderlich, von denen das wichtigste darin besteht, mehr Frames zu erhalten.

Wir bekommen die Daten

Durch Erhöhen der Belichtungszeit des Rahmens wird das SNR erhöht und Sie erhalten sauberere Bilder, was jedoch zu zwei Problemen führt. Erstens verwendet der Standardaufnahmemodus auf Pixel-Telefonen das Zero Delay Protocol (ZSL), das die Belichtungszeit begrenzt. Die Kameraanwendung beginnt mit der Aufnahme, sobald Sie sie starten, und speichert die Fotos in einem Ringpuffer, der ständig alte Bilder löscht und Platz für neue schafft. Wenn Sie den Auslöser drücken, sendet die Kamera die letzten 9-15 Bilder, um die HDR + - oder Super Res Zoom- Software zu verarbeiten. Auf diese Weise können Sie genau den Moment erfassen, den Sie benötigen - daher der „Abstieg ohne Verzögerung“. Da wir Ihnen jedoch beim Zielen helfen, zeigen wir diese Bilder auf dem Bildschirm an. HDR + begrenzt die maximale Verschlusszeit auf 66 ms, unabhängig von der Beleuchtungsstärke, wodurch der Sucher eine Frequenz von mindestens 15 Bildern / Sek. Aufrechterhalten kann. Bei dunkleren Szenen, bei denen eine längere Verschlusszeit erforderlich ist, verwendet Night Sight die PSL-Technologie (Positive Release Delay) und wartet vor dem Aufnehmen von Fotos, bis eine Taste gedrückt wird. Um die PSL verwenden zu können, müssen Sie das Telefon nach dem Drücken der Taste noch eine Weile ruhig halten. In diesem Modus können Sie jedoch die Verschlusszeit verlängern und das SNR bei schlechten Lichtverhältnissen verbessern.

Das zweite Problem beim Erhöhen der Verschlusszeit pro Bild ist das Verwischen aufgrund von Handschütteln oder Bewegung von Szenenobjekten. Die optische Bildstabilisierung (AIS), die für Pixel 2 und 3 verfügbar ist, reduziert den Verwacklungseffekt bei mittleren Verschlusszeiten (bis zu 1/8 s), hilft jedoch nicht bei langen Verschlusszeiten oder sich bewegenden Objekten. Um Unschärfen zu bekämpfen, die nicht AXIS unterliegen, enthält Pixel 3 standardmäßig den Bewegungsmessungsmodus, in dem mithilfe eines optischen Stroms die letzten Szenenbewegungen gemessen und eine Verschlusszeit ausgewählt wird, die die Unschärfe minimiert. Pixel 1 und 2 verwenden diesen Modus standardmäßig nicht. Alle drei Telefone verwenden diese Technologie jedoch im Nachtsichtmodus, wodurch die Verschlusszeit pro Bild ohne Bewegung auf bis zu 333 ms erhöht wird. Bei Pixel 1, das kein OSI hat, erhöhen wir die Verschlusszeit nicht so stark (und bei Selfie-Kameras, die kein OSI haben, ist die Erhöhung noch bescheidener). Wenn die Kamera stabilisiert ist (an die Wand gelehnt, auf ein Stativ gestellt), kann die Verschlusszeit jedes Bilds auf bis zu einer Sekunde erhöht werden. Zusätzlich zur Variation der Einzelbildbelichtung variieren wir auch die Anzahl der Bilder, von 6, wenn sich das Telefon auf einem Stativ befindet, bis 15, wenn die Aufnahme in der Hand erfolgt. Diese Rahmenbeschränkungen verhindern die Ermüdung des Benutzers (und die Notwendigkeit einer Schaltfläche zum Abbrechen). Je nachdem, welches der Pixel-Telefone Sie haben, welche Kamera Sie wählen, welche Hand schütteln, wie Sie sich bewegen und wie hell die Szene ist, dauert der Nachtsichtmodus 15 Bilder mit einer Verschlusszeit von 1/15 s oder weniger, bis zu 6 Bilder mit einer Verschlusszeit von bis zu 1 Sek

Ein spezielles Beispiel für die Verwendung einer kurzen Verschlusszeit bei der Bewegungserkennung:


Links: 15 Bilder hintereinander, die von einem der beiden nebeneinander angeordneten Pixel 3-Telefone aufgenommen wurden. In der Mitte: eine Nachtsichtaufnahme bei ausgeschalteter Bewegungsmessung, die das Telefon zu einer Verschlusszeit von 73 ms zwingt. Der Kopf des Hundes ist verschwommen. Rechts: Nachtsichtgerät mit aktivierter Bewegungsmessung, Verschlusszeit 48 ms wird verwendet. Die Unschärfe ist merklich geringer.

Ein Beispiel für die Verwendung von Langzeitbelichtung, wenn sich das Telefon auf einem Stativ befindet:


Links: Ein Teil des Nachthimmels wurde mit den Händen von Night Sight aufgenommen ( Vollbild ). Die Hände zitterten ein wenig, so dass Night Sight 333 ms × 15 Frames = 5,0 Sekunden wählte. Rechts: ein Bild von einem Stativ (das ganze Bild ). Es wurde kein Jitter aufgezeichnet, daher verwendete Night Sight 1,0 s × 6 Frames = 6,0 s. Der Himmel ist schärfer zu sehen, weniger Lärm, mehr Sterne sind sichtbar.

Ausrichtung und Zusammenführung

Die Idee, Frames zu mitteln, um Rauschen zu reduzieren, ist so alt wie die digitale Bildtechnologie selbst. In der Astrofotografie wird dies als Belichtungsstapelung bezeichnet . Obwohl die Technologie selbst einfach ist, ist es am schwierigsten, das Bild richtig auszurichten, wenn die Aufnahme in der Hand erfolgt. Wir haben 2010 mit der Synthcam- App begonnen, an diesem Thema zu arbeiten . Es wurden ständig Fotos aufgenommen, ausgerichtet und in Echtzeit mit niedriger Auflösung zusammengeführt und das Endergebnis angezeigt, das umso klarer wurde, je länger Sie es sahen.

Night Sight verwendet ein ähnliches Prinzip, jedoch mit voller Matrixauflösung und nicht in Echtzeit. In Handys mit Pixel 1 und 2 verwenden wir den HDR + -Zusammenführungsalgorithmus, der modifiziert und optimiert wurde, um die Fähigkeit zu verbessern, falsch ausgerichtete Teile von Frames auch in sehr verrauschten Szenen zu erkennen und abzulehnen. Bei Pixel 3 verwenden wir den Super Res Zoom , der sich anpasst, je nachdem, ob Sie das Bild vergrößern oder nicht. Und obwohl letzteres für hohe Auflösungen ausgelegt ist, kann es auch Rauschen reduzieren, da es durchschnittlich mehrere zusammen gestapelte Fotos liefert. Super Res Zoom liefert für einige Nachtszenen bessere Ergebnisse als HDR +, benötigt jedoch einen schnelleren Prozessor für das Pixel 3-Telefon.

Das alles passiert übrigens in wenigen Sekunden am Telefon. Wenn Sie schnell genug zur Liste der Fotos wechseln (warten, bis die Aufnahme beendet ist!), Können Sie sehen, wie das Bild „erscheint“, wenn der HDR + - oder Super Res-Zoom seine Arbeit beendet.

Andere Schwierigkeiten

Obwohl die beschriebenen Grundideen einfach klingen, erwiesen sich einige Night Sight-Entwicklungstricks mangels ausreichender Beleuchtung als sehr schwierig:

1. Der automatische Weißabgleich (ABB) funktioniert bei schlechten Lichtverhältnissen nicht richtig

Menschen nehmen die Farben der Dinge auch unter farbiger Beleuchtung (oder in Sonnenbrillen) gut wahr und zeigen Farbkonstanz . Dieser Vorgang schlägt jedoch häufig fehl, wenn wir ein Foto in einem Licht aufnehmen und in einem anderen betrachten. Das Foto scheint uns getönt zu sein. Um diesen Effekt zu korrigieren, ändern die Wahrnehmungen der Kamera die Farbe der Bilder, um die Hauptfarbe der Hintergrundbeleuchtung (die manchmal als Farbtemperatur bezeichnet wird ) teilweise oder vollständig zu berücksichtigen, wodurch die Farbe des Bildes im Wesentlichen verschoben wird, sodass die Szene in neutralem Weiß hervorgehoben erscheint. Dieser Vorgang wird als automatischer Weißabgleich bezeichnet .

Das Problem ist, dass sich dieses Problem auf diejenigen bezieht, die Mathematiker als falsch gestellt bezeichnen . War der Schnee vor der Kamera wirklich blau? Oder ist es weißer Schnee, der von einem blauen Himmel beleuchtet wird? Anscheinend die letzte Option. Diese Mehrdeutigkeit erschwert die Suche nach Weißabgleich. Der ABB-Algorithmus, der in anderen Modi als Night Sight verwendet wird, funktioniert gut, aber bei schlechter oder farbiger Beleuchtung (wie Natriumentladungslampen ) ist es schwierig, die Farbe der Hintergrundbeleuchtung zu erkennen.

Um diese Probleme zu lösen, haben wir den auf Training basierenden ABB- Algorithmus entwickelt, der darauf trainiert ist, ein ausgewogenes Bild von einem schlecht ausgewogenen zu unterscheiden. Wenn ein Foto schlecht ausbalanciert ist, bietet der Algorithmus möglicherweise Farbverschiebungsoptionen, um die Beleuchtung neutraler erscheinen zu lassen. Um den Algorithmus zu trainieren, war es erforderlich, mit Pixel-Geräten ein Foto von vielen verschiedenen Szenen aufzunehmen und deren Balance manuell anzupassen, wobei das Foto auf dem Monitor mit gut kalibrierten Farben betrachtet wurde. Sie können die Funktionsweise des Algorithmus sehen, indem Sie dieselbe Szene mit schlechter Beleuchtung vergleichen, deren Fotos mit Pixel 3 mit verschiedenen Methoden aufgenommen wurden:


Links: Der Balancer in der Kamera weiß standardmäßig nicht, wie gelb die Beleuchtung dieser Hütte an der Küste von Vancouver war ( vollständiges Foto ). Richtig: Unser Lernalgorithmus hat es besser gemacht ( vollständiges Foto ).

2. Markieren Sie Schattierungen in zu dunklen Szenen

Der Zweck von Night Sight ist es, Szenen zu fotografieren, die so dunkel sind, dass es schwierig ist, sie mit bloßem Auge zu unterscheiden - um so etwas wie Supermacht zu entwickeln! Im Zusammenhang mit diesem Problem steht die Tatsache, dass Menschen bei schlechten Lichtverhältnissen keine Farben mehr unterscheiden, weil die Zapfen in unserer Netzhaut nicht mehr funktionieren und alles kleben bleibt , was nicht in der Lage ist, Wellenlängen des Lichts zu unterscheiden. Nachts verliert die Szene nicht ihre Farben, wir hören einfach auf, sie zu unterscheiden. Wir möchten, dass die Fotos in Night Sight farbig sind - dies ist Teil der Supermacht und eine mögliche Ursache für einen weiteren Konflikt. Schließlich haben unsere Zauberstäbe eine begrenzte räumliche Schärfe, sodass Objekte nachts verschwommen erscheinen. Wir möchten, dass die Fotos in Night Sight klar sind und mehr Details enthalten, als Sie unterscheiden können.

Wenn Sie beispielsweise eine DSLR auf ein Stativ stellen und eine sehr hohe Verschlusszeit einstellen - einige Minuten oder einige Fotos mit einer kürzeren Verschlusszeit überlagern -, sieht das Nachtfoto wie ein Tag aus. Die Details werden in den Schatten erkennbar sein, die Szene wird bunt und klar sein. Schauen Sie sich das Foto unten an, das von einer DSLR aufgenommen wurde. Sterne sind sichtbar, also muss es Nacht sein, aber das Gras ist grün, der Himmel ist blau und der Mond wirft Schatten von Bäumen, die wie sonnig aussehen. Der Effekt ist angenehm, aber nicht immer notwendig - und wenn Sie ein solches Foto mit einem Freund teilen, weiß er nicht, wie Sie es gemacht haben.


Yosemite Valley in der Nacht. Canon DSLR, 28 mm 1: 4-Objektiv, 3 Minuten Verschlusszeit, ISO 100 ( vollständiges Foto )

Seit Hunderten von Jahren wissen Künstler, wie man ein Bild wie ein Nachtbild aussehen lässt:


"Ein Philosoph, der das Modell des Sonnensystems erklärt", Joseph Wright, 1766. Der Künstler verwendet eine Vielzahl von Farben, von Weiß bis Schwarz, aber die gezeichnete Szene ist deutlich dunkel. Wie hat er das erreicht? Erhöhter Kontrast, umgeben die Szene mit Dunkelheit, geschwärzte Schatten, in denen keine Details sichtbar sind.

In Night Sight verwenden wir ähnliche Tricks, insbesondere die Verwendung der S-förmigen Kurve zum Markieren von Schattierungen. Es ist jedoch ziemlich schwierig, ein Gleichgewicht zwischen "magischer Supermacht" und einer Erinnerung daran zu finden, wann das Foto aufgenommen wurde. Unten ist ein Foto, das teilweise erfolgreich war:


Pixel 3, 6 Sekunden mit Nachtsicht, auf einem Stativ ( vollständiges Foto )

Wie dunkel kann es für Aufnahmen mit Night Sight sein?

Wenn die Beleuchtung schlechter als 0,3 Lux ist, fällt der Autofokus aus. Wenn Sie die Autoschlüssel nicht auf dem Boden liegen sehen, kann Ihr Smartphone auch nicht fokussieren. Zu diesem Zweck haben wir dem Nachtsichtmodus des Pixel 3-Telefons zwei manuelle Fokustasten hinzugefügt: „Schließen“ fokussiert in einer Entfernung von etwas mehr als einem Meter, „Fern“ - in 4 Metern Entfernung. Letzteres ist die Hyperfokalentfernung der Linse, dh alles, was sich in einer Entfernung von der Hälfte (2 m) bis unendlich befindet, sollte scharfgestellt werden. Wir arbeiten auch daran, die Autofokusfähigkeit von Night Sight bei schlechten Lichtverhältnissen zu verbessern. Sie können immer noch schöne Fotos mit einer Beleuchtung unter 0,3 Lux und sogar Astrofotografie aufnehmen, wie in diesem Artikel gezeigt . Dazu benötigen Sie jedoch ein Stativ, einen manuellen Fokus und eine spezielle Anwendung, die die Android Camera2-API verwendet.

Wie weit können wir gehen? Bei einer bestimmten Beleuchtungsstärke überschattet das Leserauschen schließlich die vom Sensor gesammelten Photonen. Es gibt andere Rauschquellen, einschließlich Dunkelstrom , der proportional zur Verschlusszeit zunimmt und temperaturabhängig ist. Um solche Effekte zu vermeiden, kühlen Biologen ihre Kameras auf Temperaturen unter -20 ° C, um fluoreszierende Tiere zu fotografieren - wir empfehlen dies jedoch nicht mit Pixel-Handys! Zu verrauschte Bilder sind ebenfalls schwer auszurichten. Selbst wenn wir all diese Probleme gelöst haben, weht der Wind, die Bäume schwingen und die Sterne und Wolken bewegen sich. Sehr lange Verschlusszeiten sind schwer zu ertragen.

So holen Sie das Beste aus Night Sight heraus

Night Sight macht nicht nur coole Bilder bei schlechten Lichtverhältnissen, es macht auch Spaß, es zu verwenden, denn es macht Bilder, selbst wenn Sie fast nichts sehen. Wir zeigen das Bild des Chips an, wenn die Szene so dunkel ist, dass das Foto bei Verwendung von Night Sight besser ausfällt - beschränken Sie sich jedoch nicht nur auf diese Fälle. Unmittelbar nach Sonnenuntergang macht Night Sight bei einem Konzert in einer städtischen Umgebung saubere, rauscharme Fotos und macht sie heller als die Realität. Hier sind einige Beispielfotos , die mit Nachtsicht- und A / B-Vergleichen aufgenommen wurden . Hier einige Tipps zur Verwendung von Night Sight:

• Nachtsicht funktioniert nicht bei völliger Dunkelheit. Wählen Sie daher Szenen mit geringer Beleuchtung.
• Sanftes, gleichmäßiges Licht ist besser als scharf und erzeugt dunkle Schatten.
• Versuchen Sie, helle Lichtquellen außer Sichtweite zu halten, um Blendung zu vermeiden.
• Um die Verschlusszeit zu verlängern, klicken Sie auf die Bilder von Objekten und schieben Sie den Schieberegler für die Verschlusszeit . Klicken Sie erneut, um den Vorgang abzubrechen.
• Um die Belichtung zu verringern, nehmen Sie ein Foto auf und verdunkeln Sie es im Fotoeditor . Lärm wird weniger sein.
• Wenn die Szene so dunkel ist, dass der Fokus nicht funktioniert, klicken Sie auf den Kontrastrand oder auf den Rand der Lichtquelle.
• Wenn dies nicht funktioniert, verwenden Sie die Schaltflächen Schließen und Fern.
• , .
• Night Sight A/B album , .

Manuelle Fokustasten (nur Pixel 3).

Night Sight funktioniert am besten mit Pixel 3. Wir haben es sowohl für Pixel 2 als auch für das Originalpixel gemacht, obwohl letzteres aufgrund der fehlenden optischen Stabilisierung kürzere Verschlusszeiten verwendet. Außerdem ist der automatische Weißabgleich auf dem Pixel 3 trainiert, sodass er auf älteren Telefonen weniger genau funktioniert. Übrigens machen wir den Sucher im Nachtsichtmodus heller, damit Sie leichter zielen können. Er arbeitet jedoch mit einer Verschlusszeit von 1/15 s, ist also verrauscht und gibt keine Vorstellung von der Qualität des endgültigen Fotos. Geben Sie ihm also eine Chance - zielen Sie und drücken Sie den Abzug. Oft werden Sie angenehm überrascht sein!