Casi dos siglos de existencia de la cámara no deberían haber dado a los ingenieros la oportunidad de agregar "algo más". Las cámaras modernas graban videos de alta calidad, suben fotos a la nube y ajustan etiquetas geográficas. Podemos tomar panorámicas y 360 °, mirar las estrellas y ralentizar el tiempo. Pero el progreso no se detiene, sino que se precipita hacia el futuro, alimentado por mentes inquisitivas.
La tecnología que se discutirá hoy no es nueva por naturaleza. Pero definitivamente vale la pena considerar la forma en que se implementa. Será una lente de campo de luz interesante que se puede usar con cualquier cámara DSLR.
¿Qué es un campo de luz y con qué se come?
El término
campo de luz en sí fue propuesto por el físico soviético Gershun en 1936 en su trabajo sobre las propiedades radiométricas de la luz.
Un campo de luz es una función vectorial que describe la luz que pasa en cualquier dirección a través de un punto en el espacio.
Un rayo de luz (o más bien su dirección) para un punto dado en el espacio puede describirse mediante cinco parámetros (la llamada función 5D-pleóptica): coordenadas
x ,
y ,
z y dos ángulos
θ y
ϕ . Al integrar los vectores de campo obtenidos desde varios puntos de vista, obtenemos el valor de iluminación total. Y teniendo una descripción completa de los rayos de luz en el espacio, podemos determinar con precisión, por ejemplo, cómo se ve un objeto desde cualquier punto de vista.
¿Cuál es la aplicación práctica de la teoría del campo de luz? Una de las áreas más interesantes son las cámaras de campo claro. A diferencia de las cámaras clásicas, que registran la intensidad de la luz en los puntos de un objeto, la cámara del campo de luz también tiene en cuenta la dirección de los rayos, la salida y estos puntos. En otras palabras, capturamos los rayos de luz "individuales" que emanan del objeto. Y esto, a su vez, le permite obtener las coordenadas físicas de los objetos en el espacio y un mapa de profundidad.
¿Cómo se arreglan las cámaras de campo de luz?
Ya sabemos que una cámara de este tipo debería registrar no solo la intensidad, sino también la dirección de los rayos de luz que emanan del objeto. Una forma de implementar esto es usar una serie de lentes frente al sensor óptico. Estas lentes recogen rayos de luz de un objeto ubicado en una parte específica de la escena y los enfocan en el sensor.
Es importante comprender que en este caso la lente principal de la lente ya no enfoca la imagen en el sensor. En cambio, los rayos se proyectan en el plano del conjunto de lentes (en las cámaras clásicas, el sensor se encuentra exactamente en este plano), el conjunto de lentes pasa y solo luego cae sobre el sensor, formando una imagen en mosaico de varias partes de la escena.
La figura muestra un diagrama simplificado del funcionamiento de dicha lente. Gracias a la astuta organización del sistema óptico, al final, obtenemos no una, sino muchas imágenes del objeto, y cada una de esas imágenes crea una representación única del objeto desde su ángulo único.
Sin embargo, este esquema tiene una serie de desventajas, como el alto costo de fabricación, la complejidad de la calibración, el control de apertura y otros parámetros del sistema. Uno de los ejemplos más famosos de tales cámaras es el producto de Lytro: la cámara Lytro Illum (el proyecto parece estar congelado)
¿Puedes hacerlo más fácil?
Usted puede La lente de la que quiero hablar en este artículo no contiene una variedad de microlentes. En cambio, se utiliza un sistema, que es un "canal" espejo con una sección rectangular (caja de espejo), donde, gracias a la reflexión múltiple, se forma una llamada imagen caleidoscópica, que el sensor de la cámara graba de la manera habitual.
Se está desarrollando una pequeña empresa alemana. La lente está en la etapa de un prototipo completamente funcional, y el principio de su funcionamiento es bastante simple.
Las imágenes obtenidas por el sistema se ven así:
Los elementos aquí se reflejan. Una imagen caleidoscópica tan inusual es una consecuencia del reflejo de los rayos en el "canal del espejo".
Y así es como se ve la diferencia absoluta del par de elementos recuperados (los píxeles brillantes significan una mayor diferencia en los valores):
En otras palabras, no tenemos más que un par estéreo. O más bien, estéreo nueve (elementos 3x3). Al cambiar los parámetros geométricos del canal, podemos obtener 5x5 e incluso grandes dimensiones, lo que, sin embargo, no tiene sentido en la vida real e incluso perjudica.
Entonces, tenemos un conjunto de imágenes que forman una imagen caleidoscópica. Que sigue
Aquí es donde termina el hardware óptico analógico cálido y comienza el soft digital frío.
Calibración
Independientemente de la aplicación, las imágenes deben restaurarse (debe calibrar todo el sistema óptico y aplicar los datos de calibración obtenidos a las imágenes). El proceso es bastante tedioso, pero importante, ya que los diversos elementos de la imagen caleidoscópica necesariamente deben estar "coordinados" entre sí (incluso insignificantes / varios píxeles / discrepancias de los elementos pueden estropear en gran medida el resultado y la impresión). Hay muchos trabajos sobre el tema de la calibración, por lo que no tiene sentido revelar detalles. Solo necesita recordar que la calibración es muy importante para cualquier aplicación estéreo.
Mapa de profundidad
Habiendo recibido imágenes "pares", podemos construir un mapa de profundidad.
Esta es quizás la parte más importante y difícil en la tubería. La calidad de la aplicación final depende de la calidad del mapa de profundidad. Y la calidad del mapa de profundidad, a su vez, depende de la calidad de la calibración, el algoritmo seleccionado y la "complejidad" de la escena.
Pero independientemente del algoritmo, la tarea es siempre la misma: encontrar los puntos correspondientes de las imágenes izquierda y derecha (y en nuestro caso + 7 imágenes más) y calcular la distancia (disparidad) entre ellas. El valor de la distancia será el recíproco del valor de profundidad para un píxel dado.
¿Por qué usar 9 imágenes si puedes llevarte bien con dos? Obviamente, al usar más imágenes, tenemos más información sobre la escena y podemos resolver parcialmente algunos problemas de los algoritmos existentes para estimar el mapa de profundidad.
Entre los problemas clásicos de tales algoritmos:
- Superficies monótonas de un color sin textura: el algoritmo simplemente no tiene nada que "atrapar" en el proceso de búsqueda de coincidencias
- Objetos superpuestos (visibles desde una esquina e invisibles desde otra)
- Sombras y reflejos en superficies espejadas o brillantes.
- Las estructuras regulares, como las celdas y las bandas, plantean problemas, ya que no siempre está claro qué celda de la imagen A corresponde a la celda de la imagen B.
- Bordes de imágenes: un problema similar al problema de la superposición de objetos. En los bordes de las imágenes, la información se pierde inevitablemente desde cualquier ángulo.
Hay muchos algoritmos de calidad y no muchos para construir un mapa de profundidad. Los desarrollos más prometedores se encuentran ahora en el campo de los enfoques híbridos que utilizan métodos clásicos y diversas técnicas de aprendizaje automático (CNN, DNN). Como siempre, la elección del algoritmo es un compromiso entre velocidad y calidad. Afortunadamente, en fotografía podemos darnos el lujo de retroceder en tiempo real y obtener un mejor mapa de profundidad.
Para nuestro ejemplo, el mapa de profundidad se ve así:
Enfoque posterior
Tenemos un mapa de las profundidades, ¿qué hacer con él ahora? La información sobre la lejanía de los objetos suele ser útil. Una aplicación popular es el enfoque posterior.
Desenfocarse es uno de los problemas de los fotógrafos. ¿Notaste que en la imagen original toda la escena estaba enfocada? Así es como se ve el enfoque posterior basado en un mapa de profundidad:
Cabe señalar que con este enfoque, en realidad nos deshacemos de las propiedades físicas del sistema óptico. Esto permite, por ejemplo, crear algorítmicamente una imagen con varios trucos. O cambie mediante programación la profundidad de un espacio claramente representado (Profundidad de campo).
Otras aplicaciones
El enfoque posterior es la aplicación principal, pero aún no es la única. En general, esta lente se puede considerar como un conjunto de cámaras virtuales (9 piezas). En consecuencia, es aplicable a todas aquellas aplicaciones que pueda imaginar para una variedad de cámaras, por ejemplo:
- Filtros de polarización: cada uno de los 9 elementos de imagen tiene su propio filtro de polarización con una dirección determinada. Esto le permite obtener 9 imágenes con diferentes polarizaciones en una sola toma e incluso crear una serie de videos de un cambio suave de dirección de polarización
- HDR (High-Dynamic-Range): el mismo principio: 9 filtros diferentes + algoritmo para la "combinación" óptima de brillo
- Cambio de perspectiva
- Edición basada en profundidad: le permite aplicar varios filtros a diferentes profundidades. Por ejemplo, haga el fondo en blanco y negro, resaltando el primer plano.
- Segmentación: selección de objetos ubicados a cierta distancia
- Medición de distancia: una regla para las imágenes. Funciona especialmente bien para escenas "poco profundas" para las cuales la disparidad es más fácil de calcular.
- Aplicaciones para la industria: varias formas de evaluar la calidad de la producción y el monitoreo
Conclusión
La cuestión del costo final de esta lente aún está abierta, pero algunos parámetros físicos ya se han determinado. Se sabe que la longitud no debe exceder los 20 cm, y la masa - 800 g. Se afirma que este dispositivo será principalmente compatible con las cámaras Sony, Canon y Nikon.
Fuera del artículo, quedaron temas tan importantes como el uso práctico de cámaras estándar con visores, restauración de la resolución (superresolución), algoritmos de procesamiento e integración con editores gráficos. Hablaré de esto la próxima vez.
Gracias por su atencion!