Puede ser perdonado por el hecho de que después de leer todos los comentarios elogiosos sobre la nueva función de fotografía nocturna de Google, Night Sight, decide que la compañía acaba de inventar una película en color. Los modos de disparo nocturno no aparecieron ayer, y muchas de las tecnologías en las que se basan han existido durante muchos años. Pero Google ha hecho un trabajo increíble al combinar habilidades de fotografía informática con capacidades de aprendizaje automático sin precedentes para ampliar los límites de las posibilidades más allá de lo que vimos antes. Echemos un vistazo a la historia de la tecnología de fotografía con poca luz con algunas tomas consecutivas, pensemos en cómo la utiliza Google y supongamos cómo la IA contribuye a ella.
Dificultad en fotografía con poca luz
Todas las cámaras luchan por tomar fotos con poca luz. Sin suficientes fotones por píxel en la imagen, el ruido puede dominar fácilmente. Dejar el obturador abierto durante más tiempo para recoger más luz y obtener una imagen útil también aumentará la cantidad de ruido. Peor aún, es bastante difícil obtener una imagen clara sin un trípode estable. Aumentar la ganancia (ISO) hará que la imagen sea más brillante, pero también aumentará la cantidad de ruido en ella.
La estrategia tradicional ha sido utilizar píxeles más grandes en sensores más grandes. Desafortunadamente, en las cámaras de los teléfonos, los sensores y, por lo tanto, los píxeles son pequeños: funcionan bien con buena luz, pero fallan rápidamente cuando disminuye el nivel de luz.
Como resultado, los desarrolladores de cámaras telefónicas tienen dos opciones para mejorar las imágenes obtenidas con poca luz. El primero es usar varias imágenes para combinarlas en una sola, con reducción de ruido. Una implementación temprana de dicha estrategia en un dispositivo móvil fue el modo SRAW en el complemento DxO ONE para iPhone. Fusionó cuatro imágenes RAW en una mejorada. La segunda opción es utilizar un ingenioso posprocesamiento (las últimas versiones a menudo están equipadas con aprendizaje automático) para reducir el ruido y mejorar la imagen. Google Night Sight utiliza ambos enfoques.
Múltiples imágenes en una sola toma
Por el momento, ya estamos acostumbrados a cómo los teléfonos y las cámaras combinan varias imágenes en una, principalmente para mejorar el rango dinámico. Ya sea que se trate de un grupo de imágenes con
corchetes , como lo hacen la mayoría de las empresas, o HDR + de Google, que utiliza varias imágenes con una breve exposición, puede obtener una imagen excelente, si se pueden minimizar los artefactos generados por la fusión de varias imágenes de objetos en movimiento. Por lo general, se selecciona un cuadro base para esto que describe mejor la escena en la que se superponen las partes útiles de otros cuadros. Huawei, Google y otros también han utilizado este enfoque para crear fotos mejoradas de
telefoto . Recientemente, vimos la importancia de elegir el marco base correcto cuando Apple explicó que su desorden con
BeautyGate se debió a un error en el que se eligió el marco base incorrecto durante el procesamiento de la foto.
Está claro por qué Google decidió combinar estos métodos de uso de múltiples imágenes para obtener fotos mejoradas con poca luz. Al mismo tiempo, la compañía presenta varias innovaciones ingeniosas en el campo del procesamiento de imágenes. Lo más probable es que las raíces de esto radiquen en la aplicación de Android de Mark Livoy,
SeeInTheDark y su trabajo de 2015, "Obteniendo imágenes extremas usando teléfonos celulares". Livoy fue un pionero de la fotografía computacional de Stanford y ahora se ha ganado el título de ingeniero honorario mientras trabajaba en tecnología de cámaras en Google. SeeInTheDark (una continuación de su trabajo anterior, la aplicación SynthCam para iOS) usó un teléfono estándar para acumular fotogramas, cambiar cada fotograma para que coincida con la imagen escrita, y luego aplicar varias técnicas para reducir el ruido y mejorar la imagen para obtener imágenes de alta calidad increíblemente bajas iluminación En 2017, un programador de Google, Florian Kantz, utilizó algunos de estos conceptos para
mostrar cómo se puede usar el teléfono para capturar imágenes de calidad profesional incluso con muy poca luz.
La superposición de múltiples imágenes con poca luz es una tecnología bien conocida.
Los fotógrafos han superpuesto varias imágenes para mejorar la calidad de las imágenes tomadas con poca luz, desde el advenimiento de la fotografía digital (sospecho que alguien hizo esto con la película). En cuanto a mí, comencé haciéndolo manualmente y luego usando la herramienta de software Image Stacker. Dado que las primeras cámaras réflex digitales eran inútiles con ISO altos, la única forma de obtener una toma nocturna normal era tomar algunos fotogramas y superponerlos. Algunas tomas clásicas, como rastros de estrellas, se tomaron originalmente de esa manera. Hoy en día no se usa con tanta frecuencia cuando se usan cámaras réflex digitales y cámaras sin espejo, ya que los modelos modernos tienen excelentes herramientas integradas para admitir ISO alto y reducir el ruido de la exposición prolongada. En mi Nikon D850, puede dejar el obturador abierto durante 10-20 minutos y aún así obtener fotos bastante adecuadas.
Por lo tanto, es prudente que los fabricantes de teléfonos hagan lo mismo. Sin embargo, a diferencia de los fotógrafos pacientes que toman rastros de estrellas con un trípode, el usuario promedio del teléfono necesita satisfacción inmediata, y casi nunca usarán un trípode. Por lo tanto, el teléfono tiene dificultades adicionales asociadas con la necesidad de obtener imágenes rápidamente con poca luz y minimizar el desenfoque por el movimiento de la cámara, e idealmente, por el movimiento del sujeto. Incluso la estabilización óptica disponible en muchos modelos superiores tiene sus propias limitaciones.
No estoy seguro de qué fabricante de teléfonos fue el primero en usar varias tomas para capturar imágenes con poca luz, pero fui el primero en usar el Huawei Mate 10 Pro. En el modo Night Shot, toma varios fotogramas en 4-5 segundos y luego los combina en una sola foto. Dado que la vista previa en tiempo real de Huawei permanece activa, puede ver cómo utiliza varias opciones de exposición diferentes, esencialmente creando unos pocos cuadros con corchetes.
En el trabajo que describe el primer HDR +, Livoy afirma que los cuadros con diferentes exposiciones son más difíciles de alinear (por qué HDR + usa varios cuadros con la misma exposición), por lo tanto, lo más probable es que Google Sight Night, como SeeInTheDark, también use varios cuadros con la misma exposición . Sin embargo, Google (al menos en la versión preliminar de la aplicación) no muestra la imagen en tiempo real en la pantalla, por lo que solo puedo adivinar. Samsung en el Galaxy S9 y S9 + utilizó una táctica diferente con la lente principal de doble apertura. Puede cambiar a una impresionante f / 1.5 en condiciones de poca luz para mejorar la calidad de la imagen.
Comparación entre Huawei y Google con poca luz
Todavía no tengo un Pixel 3 o Mate 20, pero tengo acceso al Mate 10 Pro con Night Shot y al Pixel 2 con la versión preliminar de Night Sight. Así que decidí compararlos yo mismo. En las pruebas, Google aparentemente superó a Huawei al mostrar menos ruido y una imagen más clara. Aquí está una de las secuencias de prueba:
Huawei Mate 10 Pro en la tarde
Google Pixel 2 en la tarde
Esto es lo que puede obtener fotografiando la misma escena en una oscuridad casi completa sin el modo Night Shot en el Mate 10 Pro. El obturador está abierto durante 6 segundos, por lo que el desenfoque es visible.
Una foto en la oscuridad casi completa con Night Shot en el Huawei Mate 10 Pro. Los datos EXIF muestran ISO3200 y 3 segundos de exposición en total.
La misma escena con la versión preliminar de Night Sight en Pixel 2. Los colores son más precisos, la imagen es más nítida. EXIF muestra ISO5962 y exposición en 1/4 s (probablemente para cada uno de varios cuadros).¿Es el aprendizaje automático el componente secreto de Night Sight?
Teniendo en cuenta cuánto tiempo se han superpuesto varias imágenes y cuántas versiones de esta tecnología han utilizado los fabricantes de cámaras y teléfonos, resulta interesante por qué Night Sight de Google parece mucho mejor que las demás. En primer lugar, incluso la tecnología en el trabajo original de Livoy es muy compleja, por lo que los años que Google tuvo que mejorar deberían haberle dado a la compañía una buena ventaja. Pero la compañía también anunció que Night Sight utiliza el aprendizaje automático para seleccionar los colores correctos en la imagen en función de lo que está en el marco.
Suena bien pero brumoso. No está claro si la tecnología distingue objetos individuales, sabiendo que su color debe ser monofónico, o pinta objetos conocidos en consecuencia, o reconoce el tipo general de escena, como lo hacen los algoritmos inteligentes de exposición automática, y decide cómo debería ser esa escena (follaje verde, blanco nieve, cielo azul). Estoy seguro de que después del lanzamiento de la versión final, los fotógrafos obtendrán más experiencia trabajando con esta función, y podremos averiguar los detalles de cómo la tecnología usa MO.
Otro lugar donde MO puede ser útil es el cálculo inicial de la exposición. La tecnología subyacente Night Sight HDR +, según lo descrito por SIGGRAPH de Google, se basa en un conjunto de miles de fotografías etiquetadas a mano para ayudarla a elegir la exposición correcta. En esta área, el MO puede aportar algunas mejoras, especialmente cuando se realizan cálculos de exposición en condiciones de poca luz, donde los objetos de la escena son ruidosos y difíciles de distinguir. Google también
experimentó con el uso de redes neuronales para mejorar la calidad de las fotos en los teléfonos, por lo que no será una sorpresa cuando algunas de estas tecnologías comiencen a implementarse.
Cualquiera sea la combinación de estas tecnologías que utilice Google, el resultado es definitivamente la mejor de todas las cámaras que pueden disparar con poca luz hoy en día. Me pregunto si la familia Huawei P20 podrá dar algo para acercar su tecnología Night Shot en calidad a lo que hicieron en Google.