Izquierda: iPhone XS ( foto de resolución completa ). Derecha: Pixel 3 Night Sight ( foto de resolución completa ).Night Sight es una nueva característica de la aplicación Pixel Camera que le permite tomar fotos claras y limpias con muy poca luz, incluso cuando hay tan poca luz que su ojo ve muy poco. Funciona en la cámara principal y frontal de las tres generaciones de teléfonos Pixel, y no requiere un trípode o flash. En este artículo, hablaremos sobre por qué es tan difícil tomar fotos con poca luz, discutiremos la fotografía computacional y las tecnologías de aprendizaje automático superpuestas en el formato HDR + y permitiendo que Night Sight funcione.
¿Por qué es difícil tomar fotos con poca luz?
Todos los que tomaron fotos en un lugar poco iluminado están familiarizados con el ruido en la imagen, que parece cambios aleatorios de brillo de píxel a píxel. Para las cámaras de teléfonos inteligentes con lentes pequeñas y fotomatrices, la principal fuente de ruido es la fluctuación natural en la cantidad de fotones que ingresan a la lente, conocida como
ruido de disparo . Cualquier cámara la padece, y siempre estará presente, incluso con una calidad de matriz ideal. Sin embargo, las matrices no son ideales, por lo tanto, al convertir una carga eléctrica que surge de la luz que ingresa a los píxeles, surge una segunda fuente de ruido: el ruido de lectura. Otras fuentes también contribuyen a la relación señal / ruido (SNR), que muestra cuánto de la imagen permanece libre de ruido. Afortunadamente, la SNR crece en proporción a la raíz cuadrada del tiempo de exposición (o más rápido), por lo tanto, cuanto mayor sea la exposición, más limpia será la imagen. Pero con poca luz, es bastante difícil mantener la quietud el tiempo suficiente para tomar una buena foto, y lo que está fotografiando también puede no quedarse quieto.
En 2014, presentamos la tecnología de fotografía computacional HDR + que mejora esta situación al tomar varias tomas a la vez, que luego se alinean y fusionan mediante programación. El objetivo principal de HDR + es mejorar el rango dinámico, es decir, la capacidad de tomar fotos en una amplia gama de condiciones de iluminación (por ejemplo, al atardecer o en el caso de retratos con retroiluminación). Todas las generaciones de teléfonos Pixel usan HDR +. Resulta que la fusión de varias imágenes también reduce los efectos del ruido de disparo y el ruido de lectura, por lo que mejora la SNR con poca luz. Para mantener la claridad de las imágenes en condiciones de movimiento de la mano y movimiento del sujeto, utilizamos una velocidad de obturación corta. También descartamos partes de la imagen para las que no se han encontrado buenos métodos de alineación. Esto permite que HDR + produzca imágenes nítidas y recoja más luz.
¿Qué tan oscuro será "oscuro"?
Pero si tomar y fusionar varios cuadros proporciona fotos más nítidas con poca luz, ¿por qué no usar HDR + para obtener algunas docenas de imágenes para que, de hecho, podamos ver en la oscuridad? Comencemos con la definición de "oscuridad". Los fotógrafos, que discuten la iluminación de la escena, a menudo la miden en
suites . Lux es la cantidad de luz incidente en una unidad de superficie, medida en lúmenes por metro cuadrado. Para que pueda imaginar aproximadamente los niveles de luz, aquí hay una tabla conveniente para usted:
- 30000 - acera iluminada por el sol.
- 10000 - acera en un día despejado a la sombra.
- 1000 - acera en un día sombrío.
- 300 - iluminación en la oficina.
- 150 - iluminación de mesa en casa.
- 50 - luz en un restaurante.
- 20 - Restaurante con iluminación ambiental.
- 10 - iluminación mínima requerida para encontrar un par de calcetines a juego.
- 3 - acera a la luz de las linternas.
- 1 - luz mínima para leer un periódico.
- 0.6 - acera bajo la luna llena.
- 0,3 - es imposible encontrar llaves en el suelo.
- 0,1 - es imposible moverse por la casa sin una linterna.
Las cámaras de teléfonos inteligentes que toman una foto comienzan a experimentar dificultades a un nivel de luz de 30 lux. Los teléfonos que toman varios cuadros y los combinan pueden durar hasta 3 lux, pero en condiciones más oscuras no pueden hacer frente y confiar en el flash. Con la tecnología Night Sight, buscamos mejorar la calidad de las fotos en el rango de 3 a 0.3 lux usando un teléfono inteligente, presionando una vez el disparador y sin flash. Para que esto funcione, se requieren varios elementos clave, el más importante de los cuales es obtener más marcos.
Obtenemos los datos
Aumentar el tiempo de exposición del cuadro aumenta la SNR y le permite obtener imágenes más limpias, pero genera dos problemas. En primer lugar, el modo de disparo predeterminado en los teléfonos Pixel usa el Protocolo de
retardo cero (ZSL), que limita el tiempo de exposición. La aplicación de la cámara comienza a disparar tan pronto como la inicias y almacena las fotos en un búfer en anillo, que borra constantemente los cuadros antiguos, liberando espacio para los nuevos. Cuando presiona el disparador, la cámara envía los últimos 9-15 cuadros para procesar el software
HDR + o
Super Res Zoom . Esto le permite capturar exactamente el momento que necesita, de ahí el "descenso de retraso cero". Sin embargo, dado que lo estamos ayudando a apuntar, mostramos estas imágenes en la pantalla, HDR + limita la velocidad de obturación máxima a 66 ms, independientemente del nivel de iluminación, lo que permite que el visor mantenga una frecuencia de al menos 15 cuadros / segundo. Para escenas más tenues donde se necesita una velocidad de obturación más lenta, Night Sight utiliza tecnología de retardo de liberación positiva (PSL) y espera a que se presione un botón antes de tomar fotos. Para usar la PSL, debe mantener el teléfono quieto durante un tiempo después de presionar el botón, pero este modo le permite aumentar la velocidad del obturador, mejorando la SNR en condiciones de poca luz.
El segundo problema de aumentar la velocidad de obturación por fotograma es el desenfoque debido al movimiento de la mano o al movimiento de los objetos de la escena. La estabilización de imagen óptica (AIS), disponible en Pixel 2 y 3, reduce el efecto de sacudidas para velocidades de obturación medias (hasta 1/8 s), pero no ayuda con velocidades de obturación lentas o sujetos en movimiento. Para combatir el desenfoque que no está sujeto a AXIS, Pixel 3 incluye el modo "medición de movimiento" de forma predeterminada, que utiliza un
flujo óptico para medir los movimientos recientes de la escena y seleccionar una velocidad de obturación que minimice el desenfoque. Pixel 1 y 2 no usan este modo por defecto, sin embargo, los tres teléfonos usan esta tecnología en modo Night Sight, aumentando la velocidad de obturación por cuadro hasta 333 ms en ausencia de movimiento. En Pixel 1, que no tiene un OSI, no aumentamos tanto la velocidad de obturación (y para las cámaras selfie que no tienen un OSI, el aumento será aún más modesto). Si la cámara está estabilizada (apoyada contra la pared, coloque un trípode), la velocidad de obturación de cada cuadro se puede aumentar hasta un segundo. Además de variar la exposición cuadro por cuadro, también variamos el número de cuadros, de 6 si el teléfono está en un trípode a 15 si el disparo es manual. Estas limitaciones del marco evitan la fatiga del usuario (y la necesidad de un botón de cancelación). Entonces, dependiendo de cuál de los teléfonos Pixel tenga, la opción de cámara, movimiento de la mano, movimiento y brillo de la escena, el modo Night Sight toma de 15 cuadros con una velocidad de obturación de 1/15 so menos, hasta 6 cuadros con una velocidad de obturación de hasta 1 seg
Un ejemplo específico del uso de una velocidad de obturación corta al detectar movimiento:
Izquierda: 15 fotogramas seguidos por uno de los dos teléfonos Pixel 3 ubicados uno al lado del otro. En el centro: un disparo de Night Sight con la medición de movimiento desactivada, lo que obliga al teléfono a usar una velocidad de obturación de 73 ms. La cabeza del perro está borrosa. Derecha: Night Sight con medición de movimiento activada; se utiliza una velocidad de obturación de 48 ms. El desenfoque es notablemente menos.Un ejemplo de uso de larga exposición cuando el teléfono está en un trípode:
Izquierda: parte de la foto del cielo nocturno tomada con las manos de Night Sight ( imagen completa ). Las manos temblaron un poco, por lo que Night Sight eligió 333 ms × 15 cuadros = 5.0 segundos. Derecha: una imagen de un trípode (la imagen completa ). No se registró jitter, por lo que Night Sight utilizó 1.0 s × 6 cuadros = 6.0 s. El cielo se ve más nítido, menos ruido, más estrellas son visibles.Alineación y fusión
La idea de promediar cuadros para reducir el ruido es tan antigua como la propia tecnología de imagen digital. En astrofotografía, esto se llama
apilamiento de exposición . Aunque la tecnología en sí es simple, la parte más difícil es alinear correctamente la imagen cuando se dispara con la mano. Comenzamos a trabajar en este tema en 2010 con la aplicación
Synthcam . Constantemente tomaba fotografías, las alineaba y las fusionaba en tiempo real a baja resolución y mostraba el resultado final, que se
hacía más claro a medida que miraba.
Night Sight utiliza un principio similar, pero a resolución de matriz completa y no en tiempo real. En los teléfonos Pixel 1 y 2, utilizamos
el algoritmo de fusión HDR +, modificado y sintonizado para mejorar la capacidad de detectar y rechazar partes de marcos alineadas incorrectamente incluso en escenas muy ruidosas. En Pixel 3 usamos
Super Res Zoom , que se ajusta dependiendo de si amplía la imagen o no. Y aunque este último fue diseñado para altas resoluciones, también es capaz de reducir el ruido, ya que proporciona un promedio de varias fotos apiladas juntas. Super Res Zoom ofrece mejores resultados para algunas escenas nocturnas que HDR +, pero necesita un procesador más rápido en el teléfono Pixel 3.
Por cierto, todo esto sucede en el teléfono en unos segundos. Si cambia rápidamente a la lista de fotos (¡después de esperar a que termine el disparo!), Puede ver cómo "aparece" la imagen cuando el HDR + o Super Res Zoom finalizan su trabajo.
Otras dificultades
Aunque las ideas básicas descritas suenan simples, en ausencia de suficiente iluminación, algunos trucos de desarrollo de Night Sight resultaron ser muy difíciles:
1. El balance de blancos automático (ABB) no funciona correctamente con poca luz
Las personas perciben bien los colores de las cosas incluso bajo iluminación de colores (o con gafas de sol), lo que muestra
la constancia del color . Sin embargo, este proceso a menudo falla cuando tomamos una foto con una luz y la consideramos con otra; la fotografía nos parece teñida. Para corregir este efecto, las percepciones de la cámara cambian el color de las imágenes para tener en cuenta parcial o totalmente el color principal de la luz de fondo (que a veces se denomina
temperatura de color ), esencialmente cambiando el color de la imagen para que la escena aparezca resaltada en blanco neutro. Este proceso se llama
balance de blancos automático.
El problema es que este problema se refiere a aquellos que los matemáticos llaman
planteados incorrectamente . ¿Fue la nieve capturada en la cámara realmente azul? ¿O es nieve blanca iluminada por un cielo azul? Al parecer, la última opción. Esta ambigüedad complica la búsqueda del balance de blancos. El algoritmo ABB utilizado en modos distintos de Night Sight funciona bien, pero en una iluminación deficiente o de color (como las
lámparas de descarga de sodio ) es difícil distinguir el color de la luz de fondo.
Para resolver estos problemas, desarrollamos
el algoritmo ABB basado en el entrenamiento, entrenado para distinguir una imagen bien balanceada de una mal balanceada. Cuando una foto está mal equilibrada, el algoritmo puede ofrecer opciones de cambio de color para que la iluminación parezca más neutral. Para entrenar el algoritmo, era necesario tomar una foto de muchas escenas diferentes usando dispositivos Pixel, y ajustar su balance manualmente, mirando la foto en el monitor con colores bien calibrados. Puede ver el funcionamiento del algoritmo comparando la misma escena con poca iluminación, cuyas fotos se hicieron usando diferentes métodos con Pixel 3:
Izquierda: el equilibrador de la cámara por defecto no sabe qué tan amarilla era la iluminación de esta cabaña en la costa de Vancouver ( foto completa ). Derecha: nuestro algoritmo de aprendizaje funcionó mejor ( foto completa ).2. Marcar sombras en escenas demasiado oscuras
El propósito de Night Sight es tomar fotografías de escenas tan oscuras que es difícil distinguirlas a simple vista: ¡desarrollar algo como la superpotencia! Relacionado con este problema está el hecho de que, en condiciones de poca luz, las personas dejan de distinguir los colores porque los
conos en nuestra retina dejan de funcionar, dejando todo a
palos incapaces de distinguir las longitudes de onda de la luz. Por la noche, la escena no pierde sus colores, simplemente dejamos de distinguirlos. Queremos que las fotos en Night Sight sean de color; esto es parte de la superpotencia y una posible causa de otro conflicto. Finalmente, nuestras varitas tienen una nitidez espacial limitada, por lo que los objetos aparecen borrosos por la noche. Queremos que las fotos en Night Sight sean claras y tengan más detalles de los que usted puede distinguir.
Por ejemplo, si coloca una DSLR en un trípode y establece una velocidad de obturación muy alta, unos minutos, o superpone algunas fotos con una velocidad de obturación más corta, entonces la foto nocturna se verá como la del primer día. Los detalles serán distinguibles en las sombras, la escena será colorida y clara. Mire la foto a continuación, tomada por una DSLR; las estrellas son visibles, por lo que debe ser de noche, pero la hierba es verde, el cielo es azul y la luna proyecta sombras de árboles que parecen soleados. El efecto es agradable, pero no siempre es necesario, y si compartes esa foto con un amigo, él no sabrá cómo lo hiciste.
Valle de Yosemite en la noche. Canon DSLR, lente f / 4 de 28 mm, velocidad de obturación de 3 minutos, ISO 100 ( foto completa )Durante cientos de años, los artistas han sabido hacer que una imagen parezca una noche:
"Un filósofo que explica el modelo del sistema solar", Joseph Wright, 1766. El artista utiliza una variedad de colores, del blanco al negro, pero la escena dibujada es claramente oscura. ¿Cómo logró esto? Mayor contraste, rodeó la escena con oscuridad, sombras ennegrecidas en las que no se ven detalles.En Night Sight, usamos trucos similares, en particular, usando la curva en forma de S para marcar sombras. Sin embargo, es bastante difícil encontrar un equilibrio entre la "superpotencia mágica" y un recordatorio de a qué hora se tomó la foto. A continuación se muestra una foto que tuvo éxito parcialmente:
Pixel 3, 6 segundos con Night Sight, en un trípode ( foto completa )¿Qué tan oscuro puede ser para disparar con Night Sight?
Cuando la iluminación es peor que 0.3 lux, el enfoque automático comienza a fallar. Si no puede ver las llaves del auto tiradas en el piso, su teléfono inteligente tampoco podrá enfocar. Para hacer esto, agregamos dos botones de enfoque manual al modo Night Sight en el teléfono Pixel 3: "Cerrar" enfoca a una distancia de poco más de un metro, "Lejos", a 4 metros. La última es la distancia hiperfocal de la lente, es decir, todo lo que está a una distancia de la mitad (2 m) hasta el infinito debe enfocarse. También estamos trabajando para mejorar la capacidad de enfoque automático de Night Sight con poca luz. Todavía puede tomar hermosas fotos con una iluminación inferior a 0.3 lux e incluso astrofotografía, como se demuestra en
este artículo , pero para esto necesitará un trípode, enfoque manual y una aplicación especial que utilice la API de Android Camera2.
¿Hasta dónde podemos llegar? Al final, a cierto nivel de iluminación, el ruido de lectura eclipsa los fotones recogidos por el sensor. Existen otras fuentes de ruido, incluida
la corriente oscura , que aumenta en proporción a la velocidad del obturador y depende de la temperatura. Para evitar tales efectos, los biólogos enfrían sus cámaras a temperaturas inferiores a -20 ° C para tomar fotos de animales fluorescentes, ¡pero no recomendamos hacerlo con los teléfonos Pixel! Las imágenes demasiado ruidosas también son difíciles de alinear. Incluso si resolviéramos todos estos problemas, el viento sopla, los árboles se balancean y las estrellas y las nubes se mueven. Las velocidades de obturación muy lentas son difíciles de tomar.
Cómo aprovechar al máximo Night Sight
Night Sight no solo toma fotos geniales con poca luz: es divertido de usar, porque toma fotos incluso cuando no ve casi nada. Mostramos la imagen del chip cuando la escena es tan oscura que al usar Night Sight la foto saldrá mejor, pero no se limite solo a estos casos. Inmediatamente después del atardecer, en un concierto en un entorno urbano, Night Sight toma fotos limpias y de poco ruido y las hace más brillantes que la realidad. Aquí hay algunas fotos de
muestra tomadas con Night Sight y
comparaciones A / B. Aquí hay algunos consejos para usar Night Sight:
- Night Sight no funciona en la oscuridad total, así que elija escenas con un bajo nivel de iluminación.
- La iluminación suave y uniforme es mejor que la nitidez, creando sombras oscuras.
- Para evitar el deslumbramiento, trate de mantener las fuentes de luz brillante fuera de la vista.
- Para aumentar la velocidad del obturador, haga clic en las imágenes de los objetos y deslice el control deslizante de la velocidad del obturador . Haga clic nuevamente para cancelar.
- Para reducir la exposición, tome una foto y oscurezca en el editor de fotos ; El ruido será menor.
- Si la escena es tan oscura que el enfoque no funciona, haga clic en el borde de contraste o en el borde de la fuente de luz.
- Si esto no funciona, use los botones Cerrar y Lejos.
- Para maximizar la claridad, apoye el teléfono contra una pared o árbol, colóquelo sobre una mesa o piedra.
- Night Sight también funciona para selfies en el álbum A / B , con la capacidad de retroiluminar la pantalla.
Botones de enfoque manual (solo Pixel 3).Night Sight funciona mejor en el Pixel 3. Lo hicimos tanto para el Pixel 2 como para el Pixel original, aunque este último usa velocidades de obturación más rápidas debido a la falta de estabilización óptica. Además, el balanceador blanco automático está entrenado en el Pixel 3, por lo que funcionará con menos precisión en teléfonos más antiguos.
Por cierto, hacemos que el visor en el modo Night Sight sea más brillante para que sea más fácil apuntar, pero funciona a una velocidad de obturación de 1/15 s, por lo que será ruidoso y no dará una idea de la calidad de la fotografía final. Así que dale una oportunidad: apunta y presiona el gatillo. ¡A menudo se sorprenderá gratamente!