Es kann Ihnen verziehen werden, dass Sie nach dem Lesen aller lobenden Kommentare zu der neuen Funktion der Nachtfotografie von Google, Night Sight, entschieden haben, dass das Unternehmen gerade einen Farbfilm erfunden hat. Nachtaufnahmemodi sind gestern nicht erschienen, und viele der Technologien, auf denen sie basieren, gibt es schon seit vielen Jahren. Aber Google hat großartige Arbeit geleistet, indem es Computerfotografie-Fähigkeiten mit beispiellosen maschinellen Lernfähigkeiten kombiniert hat, um die Grenzen der Möglichkeiten über das hinaus zu verschieben, was wir zuvor gesehen haben. Schauen wir uns die Geschichte der Low-Light-Fotografie-Technologie mit ein paar aufeinanderfolgenden Aufnahmen an, überlegen wir, wie sie von Google verwendet wird, und nehmen wir an, wie die KI dazu beiträgt.
Schwierigkeiten bei der Fotografie bei schlechten Lichtverhältnissen
Alle Kameras haben Probleme, Fotos bei schlechten Lichtverhältnissen aufzunehmen. Ohne genügend Photonen pro Pixel im Bild kann das Rauschen leicht dominieren. Wenn Sie den Verschluss länger offen lassen, um mehr Licht zu sammeln und ein nützliches Bild zu erhalten, wird auch das Rauschen erhöht. Schlimmer noch, es ist ziemlich schwierig, ohne ein stabiles Stativ ein klares Bild zu bekommen. Durch Erhöhen der Verstärkung (ISO) wird das Bild heller, aber auch das Rauschen wird erhöht.
Die traditionelle Strategie bestand darin, größere Pixel in größeren Sensoren zu verwenden. Leider sind in den Kameras der Telefone die Sensoren und damit die Pixel winzig - sie funktionieren bei gutem Licht gut, versagen jedoch schnell, wenn die Lichtstärke abnimmt.
Infolgedessen haben die Entwickler von Telefonkameras zwei Möglichkeiten, um bei schlechten Lichtverhältnissen erhaltene Bilder zu verbessern. Die erste besteht darin, mehrere Bilder zu verwenden, um sie mit Rauschunterdrückung zu einem zu kombinieren. Eine frühe Implementierung einer solchen Strategie in einem mobilen Gerät war der SRAW-Modus im DxO ONE-Add-On für das iPhone. Er fügte vier RAW-Bilder zu einem erweiterten zusammen. Die zweite Möglichkeit besteht darin, eine ausgeklügelte Nachbearbeitung zu verwenden (die neuesten Versionen sind häufig mit maschinellem Lernen ausgestattet), um Rauschen zu reduzieren und das Bild zu verbessern. Google Night Sight verwendet beide Ansätze.
Mehrere Bilder auf einmal
Im Moment sind wir bereits daran gewöhnt, wie Telefone und Kameras mehrere Bilder zu einem kombinieren, hauptsächlich um den Dynamikbereich zu verbessern. Unabhängig davon, ob es sich wie bei den meisten Unternehmen um eine Gruppe von Bildern mit
Klammern handelt oder um HDR + von Google, bei dem mehrere Bilder mit einer kurzen Belichtung verwendet werden, erhalten Sie ein hervorragendes Bild - wenn Artefakte, die durch das Zusammenführen mehrerer Bilder von sich bewegenden Objekten entstehen, minimiert werden können. Normalerweise wird hierfür ein Basisrahmen ausgewählt, der die Szene am besten beschreibt, in der die nützlichen Teile anderer Rahmen überlagert sind. Huawei, Google und andere haben diesen Ansatz ebenfalls verwendet, um verbesserte
Telefotos zu erstellen. Kürzlich haben wir
erkannt , wie wichtig es ist, den richtigen
Basisrahmen auszuwählen, als Apple erklärte, dass das Durcheinander mit
BeautyGate auf einen Fehler zurückzuführen ist, bei dem während der Fotoverarbeitung der falsche
Basisrahmen ausgewählt wurde.
Es ist klar, warum Google diese Methoden zur Verwendung mehrerer Bilder kombiniert hat, um bei schlechten Lichtverhältnissen verbesserte Fotos zu erhalten. Gleichzeitig führt das Unternehmen mehrere geniale Innovationen im Bereich der Bildverarbeitung ein. Die Wurzeln dafür liegen höchstwahrscheinlich in der Android-Anwendung von Mark Livoy,
SeeInTheDark , und seiner 2015 erschienenen Arbeit „Extreme Bilder mit Handys
erzielen “. Livoy war ein Pionier der Computerfotografie aus Stanford und hat sich jetzt den Titel eines Honorary Engineer verdient, als er bei Google an Kameratechnologie arbeitete. SeeInTheDark (eine Fortsetzung seiner früheren Arbeit, die SynthCam-Anwendung für iOS) verwendete ein Standardtelefon, um Bilder zu akkumulieren, jedes Bild so zu ändern, dass es mit dem typisierten Bild übereinstimmt, und dann verschiedene Techniken anzuwenden, um Rauschen zu reduzieren und das Bild zu verbessern, um Bilder mit erstaunlich hoher Qualität bei niedriger Qualität zu erhalten Beleuchtung. 2017 hat ein Google-Programmierer, Florian Kantz, einige dieser Konzepte verwendet, um zu
zeigen, wie mit dem Telefon Bilder in professioneller Qualität auch bei sehr schlechten Lichtverhältnissen aufgenommen werden können.
Das Überlagern mehrerer Bilder bei schlechten Lichtverhältnissen ist eine bekannte Technologie.
Seit dem Aufkommen der digitalen Fotografie haben Fotografen mehrere Bilder überlagert, um die Qualität der bei schlechten Lichtverhältnissen aufgenommenen Bilder zu verbessern (ich vermute, dass dies jemand mit Film gemacht hat). Ich habe es zunächst manuell gemacht und dann das knifflige Image Stacker-Software-Tool verwendet. Da die ersten digitalen Spiegelreflexkameras bei hohen ISO-Werten nutzlos waren, bestand die einzige Möglichkeit, eine normale Nachtaufnahme zu erzielen, darin, einige Bilder aufzunehmen und sie zu überlagern. Einige klassische Aufnahmen, wie Sternspuren, wurden ursprünglich auf diese Weise aufgenommen. Heutzutage wird es nicht mehr so oft verwendet, wenn digitale Spiegelreflexkameras und spiegellose Kameras verwendet werden, da moderne Modelle über hervorragende Werkzeuge verfügen, um hohe ISO-Werte zu unterstützen und Rauschen durch Langzeitbelichtung zu reduzieren. Bei meiner Nikon D850 können Sie den Verschluss 10 bis 20 Minuten lang offen lassen und trotzdem geeignete Fotos erhalten.
Daher ist es ratsam, dass Telefonhersteller dasselbe tun. Im Gegensatz zu Patientenfotografen, die mit einem Stativ Sternspuren aufnehmen, muss der durchschnittliche Telefonbenutzer sofort zufrieden sein, und er wird fast nie ein Stativ verwenden. Daher hat das Telefon zusätzliche Schwierigkeiten, die mit der Notwendigkeit verbunden sind, Bilder bei schlechten Lichtverhältnissen schnell zu erhalten und Unschärfen durch Verwacklungen der Kamera zu minimieren - und im Idealfall durch die Bewegung des Motivs. Sogar die optische Stabilisierung, die bei vielen Topmodellen verfügbar ist, hat ihre eigenen Einschränkungen.
Ich bin mir nicht sicher, welcher Telefonhersteller als erster mehrere Aufnahmen zur Aufnahme von Bildern bei schlechten Lichtverhältnissen verwendet hat, aber ich war der erste, der das Huawei Mate 10 Pro verwendet hat. Im Night Shot-Modus nimmt er mehrere Bilder in 4-5 Sekunden auf und führt sie dann zu einem Foto zusammen. Da die Echtzeitvorschau von Huawei weiterhin aktiviert ist, können Sie sehen, wie verschiedene Belichtungsoptionen verwendet werden, wodurch im Wesentlichen einige Bilder mit Klammern erstellt werden.
In der Arbeit zur Beschreibung des ersten HDR + behauptet Livoy, dass Bilder mit unterschiedlichen Belichtungen schwieriger auszurichten sind (warum HDR + mehrere Bilder mit derselben Belichtung verwendet). Daher verwendet Googles Nachtsichtgerät wie SeeInTheDark höchstwahrscheinlich auch mehrere Bilder mit derselben Belichtung . Google (zumindest in der Vorabversion der Anwendung) zeigt das Bild jedoch nicht in Echtzeit auf dem Bildschirm an, sodass ich nur spekulieren kann. Samsung im Galaxy S9 und S9 + verwendete eine andere Taktik mit dem Hauptobjektiv mit doppelter Blende. Bei schlechten Lichtverhältnissen kann auf beeindruckende 1: 1,5 umgeschaltet werden, um die Bildqualität zu verbessern.
Vergleich zwischen Huawei und Google bei schlechten Lichtverhältnissen
Ich habe noch kein Pixel 3 oder Mate 20, aber ich habe Zugriff auf das Mate 10 Pro mit Night Shot und das Pixel 2 mit der Vorabversion von Night Sight. Also habe ich beschlossen, sie selbst zu vergleichen. In Studien hat Google Huawei offenbar übertroffen, indem es weniger Rauschen und ein klareres Bild zeigte. Hier ist eine der Testsequenzen:
Huawei Mate 10 Pro am Nachmittag
Google Pixel 2 am Nachmittag
Folgendes können Sie erreichen, wenn Sie dieselbe Szene in fast völliger Dunkelheit ohne den Night Shot-Modus des Mate 10 Pro fotografieren. Der Verschluss ist 6 Sekunden lang geöffnet, sodass Unschärfe sichtbar ist
Ein Schuss in fast völliger Dunkelheit mit Night Shot auf dem Huawei Mate 10 Pro. EXIF-Daten zeigen ISO3200 und insgesamt 3 Sekunden Belichtung.
Dieselbe Szene mit der Vorabversion von Night Sight auf Pixel 2. Die Farben sind genauer, das Bild ist schärfer. EXIF zeigt ISO5962 und Belichtung in 1/4 s (wahrscheinlich für jedes von mehreren Bildern).Ist maschinelles Lernen die geheime Komponente von Night Sight?
Angesichts der Tatsache, wie lange sich mehrere Bilder überlappen und wie viele Versionen dieser Technologie von Kamera- und Telefonherstellern verwendet wurden, wird es interessant, warum Googles Nachtsichtgerät so viel besser erscheint als die anderen. Erstens ist selbst die Technologie in Livoys Originalarbeit sehr komplex. Die Jahre, in denen Google sie verbessern musste, hätten dem Unternehmen einen guten Vorsprung verschaffen müssen. Das Unternehmen gab jedoch auch bekannt, dass Night Sight maschinelles Lernen verwendet, um die richtigen Farben im Bild basierend auf den Angaben im Rahmen auszuwählen.
Klingt cool, aber neblig. Es ist unklar, ob die Technologie einzelne Objekte unterscheidet, da sie wissen, dass ihre Farbe monophon sein sollte, oder bekannte Objekte entsprechend malt oder den allgemeinen Szenentyp erkennt, wie dies bei intelligenten automatischen Belichtungsalgorithmen der Fall ist, und entscheidet, wie eine solche Szene aussehen soll (grünes Laub, weiß) Schnee, blauer Himmel). Ich bin sicher, dass Fotografen nach der Veröffentlichung der endgültigen Version mehr Erfahrung mit dieser Funktion sammeln werden und wir in der Lage sein werden, die Details der Verwendung von MO durch die Technologie herauszufinden.
Ein weiterer Ort, an dem MO nützlich sein kann, ist die anfängliche Berechnung der Belichtung. Die zugrunde liegende Night Sight HDR + -Technologie, wie sie von Googles SIGGRAPH beschrieben wird, basiert auf einem handbeschrifteten Satz von Tausenden von Fotos, um die Auswahl der richtigen Belichtung zu erleichtern. In diesem Bereich kann das MO einige Verbesserungen bringen, insbesondere bei der Durchführung von Belichtungsberechnungen bei schlechten Lichtverhältnissen, bei denen Szenenobjekte verrauscht und schwer zu unterscheiden sind. Google
experimentierte auch mit der Verwendung neuronaler Netze, um die Qualität von Fotos auf Telefonen zu verbessern. Daher ist es nicht verwunderlich, wenn einige dieser Technologien implementiert werden.
Unabhängig von der Kombination dieser Technologien, die Google verwendet, ist das Ergebnis definitiv die beste aller Kameras, die heute bei schlechten Lichtverhältnissen aufnehmen können. Ich frage mich, ob die Huawei P20-Familie irgendetwas herausgeben kann, um ihre Night Shot-Technologie qualitativ näher an das zu bringen, was sie bei Google getan hat.