Fast zwei Jahrhunderte der Existenz der Kamera hätten den Ingenieuren nicht die Möglichkeit geben dürfen, „etwas anderes“ hinzuzufügen. Moderne Kameras nehmen qualitativ hochwertige Videos auf, laden Fotos in die Cloud hoch und fangen Geo-Tags ein. Wir können Panoramen und 360 ° aufnehmen, die Sterne beobachten und die Zeit verlangsamen. Aber der Fortschritt steht nicht still, sondern eilt in die Zukunft, angeheizt von forschenden Köpfen.
Die Technologie, die heute diskutiert wird, ist nicht neu. Aber die Art und Weise, wie es implementiert wird, ist definitiv eine Überlegung wert. Es wird ein interessantes Lichtfeldobjektiv sein, das mit jeder DSLR-Kamera verwendet werden kann.
Was ist ein Lichtfeld und womit frisst es?
Der Begriff
Lichtfeld selbst wurde bereits 1936 vom sowjetischen Physiker Gershun in seiner Arbeit über die radiometrischen Eigenschaften von Licht vorgeschlagen.
Ein Lichtfeld ist eine Vektorfunktion, die Licht beschreibt, das in eine beliebige Richtung durch einen Punkt im Raum fällt.
Ein Lichtstrahl (oder vielmehr seine Richtung) für einen bestimmten Punkt im Raum kann durch fünf Parameter (die sogenannte 5D-plenoptische Funktion) beschrieben werden:
x- ,
y- ,
z- Koordinaten und zwei Winkel
θ und
ϕ . Durch Integration der aus verschiedenen Blickwinkeln erhaltenen Feldvektoren erhalten wir den Gesamtbeleuchtungswert. Mit einer vollständigen Beschreibung der Lichtstrahlen im Raum können wir beispielsweise genau bestimmen, wie ein Objekt aus jedem Blickwinkel aussieht.
Was ist die praktische Anwendung der Theorie des Lichtfeldes? Eines der interessantesten Gebiete sind Lichtfeldkameras. Im Gegensatz zu klassischen Kameras, die die Intensität des Lichts an den Punkten eines Objekts aufzeichnen, berücksichtigt die Kamera des Lichtfelds auch die Richtung der Strahlen, des Ausgangs und dieser Punkte. Mit anderen Worten, wir erfassen die „individuellen“ Lichtstrahlen, die vom Objekt ausgehen. Auf diese Weise können Sie die physischen Koordinaten von Objekten im Raum und eine Tiefenkarte abrufen.
Wie sind Lichtfeldkameras angeordnet?
Wir wissen bereits, dass eine Kamera dieses Typs nicht nur die Intensität, sondern auch die Richtung der vom Objekt ausgehenden Lichtstrahlen aufzeichnen sollte. Eine Möglichkeit, dies zu implementieren, besteht darin, eine Anordnung von Linsen vor dem optischen Sensor zu verwenden. Diese Linsen sammeln Lichtstrahlen von einem Objekt in einem bestimmten Teil der Szene und fokussieren sie auf den Sensor.
Es ist wichtig zu verstehen, dass in diesem Fall die Hauptlinse der Linse das Bild nicht mehr auf den Sensor fokussiert. Stattdessen werden die Strahlen auf die Ebene des Linsenarrays projiziert (bei klassischen Kameras befindet sich der Sensor genau in dieser Ebene), das Linsenarray passiert und fällt erst dann auf den Sensor, wodurch ein Mosaikbild verschiedener Teile der Szene entsteht.
Die Abbildung zeigt ein vereinfachtes Diagramm des Betriebs einer solchen Linse. Dank der ausgeklügelten Organisation des optischen Systems erhalten wir am Ende nicht nur ein, sondern viele Bilder des Objekts, und jedes dieser Bilder erzeugt eine einzigartige Darstellung des Objekts aus seinem einzigartigen Blickwinkel.
Dieses Schema weist jedoch eine Reihe von Nachteilen auf, wie beispielsweise die hohen Herstellungskosten, die Komplexität der Kalibrierung, die Apertursteuerung und andere Systemparameter. Eines der bekanntesten Beispiele für solche Kameras ist das Produkt von Lytro - die Lytro Illum-Kamera (das Projekt scheint eingefroren zu sein).
Kannst du es einfacher machen?
Du kannst. Das Objektiv, über das ich in diesem Artikel sprechen möchte, enthält keine Reihe von Mikrolinsen. Stattdessen wird ein System verwendet, bei dem es sich um einen Spiegelkanal mit rechteckigem Querschnitt (Spiegelbox) handelt, bei dem dank Mehrfachreflexion ein sogenanntes kaleidoskopisches Bild entsteht, das vom Kamerasensor auf übliche Weise aufgezeichnet wird.
Ein kleines deutsches Unternehmen entwickelt sich. Das Objektiv befindet sich im Stadium eines voll funktionsfähigen Prototyps, und das Prinzip seiner Funktionsweise ist recht einfach.
Die vom System erhaltenen Bilder sehen ungefähr so aus:
Elemente hier werden gespiegelt. Ein solches ungewöhnliches kaleidoskopisches Bild ist eine Folge der Reflexion von Strahlen im „Spiegelkanal“.
Und so sieht der absolute Unterschied des Paares wiederhergestellter Elemente aus (helle Pixel bedeuten einen größeren Wertunterschied):
Mit anderen Worten, wir haben nichts als ein Stereopaar. Oder besser gesagt, Stereo 9 (3x3 Elemente). Wenn wir die geometrischen Parameter des Kanals ändern, können wir 5x5 und sogar große Dimensionen erhalten, was jedoch im wirklichen Leben keinen Sinn macht und sogar schadet.
Wir haben also eine Reihe von Bildern, die ein kaleidoskopisches Bild bilden. Was kommt als nächstes?
Hier endet die warme analoge optische Hardware und die kalte digitale Software beginnt.
Kalibrierung
Unabhängig von der Anwendung müssen die Bilder wiederhergestellt werden (Sie müssen das gesamte optische System kalibrieren und die erhaltenen Kalibrierungsdaten auf die Bilder anwenden). Der Prozess ist ziemlich langwierig, aber wichtig, da die verschiedenen Elemente des kaleidoskopischen Bildes unbedingt miteinander „koordiniert“ werden müssen (selbst unbedeutende / mehrere Pixel / Abweichungen der Elemente können das Ergebnis und den Eindruck stark beeinträchtigen). Es gibt viele Arbeiten zum Thema Kalibrierung, daher macht es keinen Sinn, Details preiszugeben. Sie müssen sich nur daran erinnern, dass die Kalibrierung für jede Stereoanwendung sehr wichtig ist.
Tiefenkarte
Nachdem wir „gerade“ Bilder erhalten haben, können wir eine Tiefenkarte erstellen.
Dies ist vielleicht der wichtigste und schwierigste Teil der Pipeline. Die Qualität der endgültigen Anwendung hängt von der Qualität der Tiefenkarte ab. Und die Qualität der Tiefenkarte hängt wiederum von der Qualität der Kalibrierung, dem ausgewählten Algorithmus und der "Komplexität" der Szene ab.
Unabhängig vom Algorithmus ist die Aufgabe jedoch immer dieselbe - die entsprechenden Punkte der linken und rechten Bilder (und in unserem Fall + 7 weitere Bilder) zu finden und den Abstand (Disparität) zwischen ihnen zu berechnen. Der Abstandswert ist der Kehrwert des Tiefenwerts für ein bestimmtes Pixel.
Warum 9 Bilder verwenden, wenn Sie mit zwei auskommen können? Wenn wir mehr Bilder verwenden, haben wir offensichtlich mehr Informationen über die Szene und können einige Probleme bestehender Algorithmen zur Schätzung der Tiefenkarte teilweise lösen.
Zu den klassischen Problemen solcher Algorithmen gehören:
- Eintönige, einfarbige Oberflächen ohne Textur - der Algorithmus hat beim Auffinden von Übereinstimmungen einfach nichts zu „fangen“
- Überlappende Objekte (sichtbar von einer Ecke und unsichtbar von einer anderen)
- Schatten und Reflexionen auf verspiegelten oder glänzenden Oberflächen
- Regelmäßige Strukturen wie Zellen und Streifen stellen Probleme dar, da nicht immer klar ist, welche Zelle von Bild A der Zelle von Bild B entspricht.
- Rahmen von Bildern - ein Problem ähnlich dem Problem überlappender Objekte. An den Bildrändern gehen Informationen aus jedem Blickwinkel unweigerlich verloren.
Es gibt viele hochwertige und nicht sehr Algorithmen zum Erstellen einer Tiefenkarte. Die vielversprechendsten Entwicklungen liegen nun im Bereich hybrider Ansätze mit klassischen Methoden und verschiedenen Techniken des maschinellen Lernens (CNN, DNN). Wie immer ist die Wahl des Algorithmus ein Kompromiss zwischen Geschwindigkeit und Qualität. Glücklicherweise können wir es uns in der Fotografie leisten, von der Echtzeit zurückzutreten und eine bessere Tiefenkarte zu erhalten.
In unserem Beispiel sieht die Tiefenkarte ungefähr so aus:
Post Fokus
Wir haben eine Karte der Tiefen, was machen wir jetzt damit? Informationen über die Entfernung von Objekten sind oft nützlich. Eine beliebte Anwendung ist Post Focus.
Unscharf zu werden ist eines der Probleme von Fotografen. Haben Sie bemerkt, dass im Originalbild die gesamte Szene scharfgestellt war? So sieht die Nachfokussierung basierend auf einer Tiefenkarte aus:
Es sollte beachtet werden, dass wir mit diesem Ansatz tatsächlich die physikalischen Eigenschaften des optischen Systems beseitigen. Dies ermöglicht es beispielsweise, ein Bild mit mehreren Tricks algorithmisch zu erstellen. Oder ändern Sie programmgesteuert die Tiefe eines scharf dargestellten Raums (Schärfentiefe).
Andere Anwendungen
Nachfokussierung ist die Hauptanwendung, aber immer noch nicht die einzige. Im Allgemeinen kann dieses Objektiv als Array virtueller Kameras (9 Stück) betrachtet werden. Dementsprechend gilt es für alle Anwendungen, die Sie sich für eine Reihe von Kameras vorstellen können, zum Beispiel:
- Polarisationsfilter - Jedes der 9 Bildelemente verfügt über ein eigenes Polarisationsfilter mit einer bestimmten Richtung. Auf diese Weise können Sie 9 Bilder mit unterschiedlichen Polarisationen auf einmal erhalten und sogar eine Videoserie mit einer sanften Änderung der Polarisationsrichtung erstellen
- HDR (High-Dynamic-Range) - das gleiche Prinzip: 9 verschiedene Filter + Algorithmus für die optimale "Kombination" der Helligkeit
- Perspektivenwechsel
- Tiefenbasierte Bearbeitung - Ermöglicht das Anwenden verschiedener Filter auf verschiedene Tiefen. Stellen Sie beispielsweise den Hintergrund in Schwarzweiß ein und markieren Sie den Vordergrund.
- Segmentierung - Auswahl von Objekten, die sich in einer bestimmten Entfernung befinden
- Entfernungsmessung - ein Lineal für Bilder. Es funktioniert besonders gut für „flache“ Szenen, für die Disparität leichter zu berechnen ist.
- Anwendungen für die Industrie - verschiedene Möglichkeiten zur Bewertung der Produktionsqualität und -überwachung
Fazit
Die Frage nach den endgültigen Kosten dieses Objektivs ist noch offen, einige physikalische Parameter wurden jedoch bereits ermittelt. Es ist bekannt, dass die Länge 20 cm und die Masse 800 g nicht überschreiten sollte. Es wird angegeben, dass dieses Gerät hauptsächlich mit Sony-, Canon- und Nikon-Kameras kompatibel sein wird.
Außerhalb des Artikels blieben so wichtige Themen wie die praktische Verwendung von Standardkameras mit Suchern, die Wiederherstellung der Auflösung (Superauflösung), Verarbeitungsalgorithmen und die Integration in Grafikeditoren. Ich werde das nächste Mal darüber sprechen.
Danke für die Aufmerksamkeit!