Interior de la cámara del iPhone 11: Parte 1: Una cámara nueva

El mes pasado, ya escribimos sobre las novedades en el hardware y el software de las cámaras iPhone 11 y 11 Pro. Y es posible que haya notado que los cambios que ocurrieron en el equipo fueron bastante modestos. Se prestó toda la atención al procesamiento de imágenes de software.

Y esto es cierto: la mejora impresionante en la calidad de imagen en el nuevo iPhone debe atribuirse principalmente a las mejoras de software. Pasé un tiempo estudiando el proceso de adquisición de imágenes del iPhone 11 y, aparentemente, esta es una de las mejoras más significativas relacionadas con la cámara en la línea del iPhone 11.

¿Qué es una fotografía?

Parece que decidimos primero golpear la filosofía, o escribir un guión para anunciar fotos en un iPad. Pero para enfatizar las características únicas de la cámara del iPhone 11, primero debemos entender lo que podemos esperar de la fotografía.

Desde hace bastante tiempo sus fotos no han sido tomadas por usted. Y este no es un comentario descuidado en su dirección, querido lector: cuando presiona el botón del obturador con el dedo, el iPhone 11 toma una foto que ya tomó antes de tocar la pantalla para reducir el retraso percibido.



Esto se realiza a través de una especie de anillo de fotos que comienza a funcionar tan pronto como abres la aplicación Cámara. Cuando presiona el disparador, el iPhone 11 selecciona la toma más nítida de este búfer. Y guarda la foto, que, como piensa el usuario, sin saber nada sobre esta falsificación, se tomó a sí mismo. No, no, acabas de insinuar que ayudaste a la cámara a seleccionar una foto del conjunto de las que ella hace.

Por supuesto, puedes decir que fue un paso deliberado de todos modos. Y sin tus acciones no habría foto.



Sin embargo, la foto resultante no es el resultado de una sola exposición. El iPhone 11 toma muchas fotos, como dicen en la presentación de Apple, dofiga, y las combina de manera inteligente.

El año pasado, el iPhone XS introdujo el modo Smart HDR, que combina fotografías sobreexpuestas y subexpuestas para garantizar un mayor detalle en los fragmentos de la imagen que estaban a la sombra o muy sobreexpuestos. HDR es un " rango dinámico extendido ", y durante muchas décadas ha servido como un sueño inalcanzable de la tecnología fotográfica.

Smart HDR se vuelve más inteligente

Desde que la gente aplicó por primera vez haluro de plata a la placa para tomar una fotografía, nos ha decepcionado la capacidad limitada de la fotografía para fijar detalles en áreas brillantes y oscuras de la imagen.


Es difícil elegir la exposición correcta inmediatamente para el fondo y para el edificio en sí. La imagen de la derecha es similar a lo que ve el ojo.

Nuestros ojos en realidad están bastante bien. Tienen aproximadamente 20 niveles de exposición para el rango dinámico. En comparación, una de las cámaras más nuevas y mejores, la Sony A7R4, es capaz de dar 15 pasos. El iPhone 11 tiene aproximadamente 10.

Mucho antes de la era digital, los fotógrafos que usaban películas enfrentaban problemas similares al pasar del negativo de la película (13 pasos) al papel (8 pasos). Tuve que engañar y esquivar para desarrollar una fotografía para poder imprimirla.


El Titon Ridge y el río Serpent en el Parque Nacional Grand Teton, 1942, Ansel Adams. Esta foto necesitaba el procesamiento de la vieja escuela para obtener el aspecto que conocemos de HDR

Hoy, un fotógrafo experimentado puede restaurar el rango dinámico desde una sola imagen RAW mediante la edición. Este es un proceso manual, y en situaciones difíciles puede encontrar las limitaciones de la fotomatriz.




Obteniendo una imagen aceptable de la astuta exposición del iPhone 11 Pro al editar. Los archivos RAW de iPhone 11 tienen un rango dinámico impresionante.

Smart HDR utiliza un enfoque completamente diferente, utilizando el "truco" para aumentar el DD. No necesita un sensor de 15 velocidades que pueda capturar más detalles en las áreas claras y oscuras al mismo tiempo. Necesita una matriz que pueda tomar fotografías lo suficientemente rápido y un software inteligente que pueda combinarlas. La "edición" se realiza en tiempo real, sin la participación de un fotógrafo.

Como escribimos el año pasado, este enfoque tiene sus compensaciones. Si ajustamos la matriz del iPhone 11 para tomar fotos rápidamente con una pequeña exposición, recibiremos imágenes con ruido, y esto se confirma mediante archivos RAW del iPhone XS y XR. Por lo tanto, necesitamos reducción de ruido, cuyo efecto secundario es la pérdida de detalles.


Original y fuerte reducción de ruido en Lightroom. Los ladrillos de la pared se convirtieron en acuarela.

Curiosamente, esta reducción de ruido llevó a las acusaciones de Apple de aplicar un filtro de suavizado de piel a cada toma. De hecho, todas las texturas se suavizaron. En su mayor parte, las fotos resultaron ser más hermosas debido a esto, sin embargo, se pudo notar una pérdida de detalles. Las fotos se veían borrosas:


iPhone XS RAW vs Smart HDR HEIC

Esto hizo que disparar en RAW fuera una opción atractiva para los fotógrafos sofisticados que usan el iPhone. Se guardaron detalles, y con herramientas como Halide Smart RAW o edición manual, el ruido casi podría eliminarse. En el editor RAW, a menudo era posible restaurar el rango dinámico casi como en Smart HDR. Me gustó más que el aspecto "procesado" de las fotos del iPhone XS / XR.


Hdr inteligente


Imagen editada iPhone XS RAW

Pero después del advenimiento del iPhone 11, inmediatamente noté una tremenda mejora en la calidad en comparación con su predecesor. Smart HDR se ha vuelto más inteligente.

En el iPhone XS y XR, el Smart HDR a veces fue demasiado lejos, suavizando las texturas o haciendo que las áreas resaltadas sean demasiado planas. A veces no podía hacer frente en absoluto, y se negó a dejar la foto sobreexpuesta simplemente sobreexpuesta.


Un ejemplo de cómo Smart HDR estúpido en iPhone XS

Este es un problema clásico de HDR. A veces puede restaurar el rango dinámico obteniendo una imagen plana sin contraste. En el peor de los casos, las imágenes simplemente se arruinaron. Smart HDR tenía un prejuicio tan fuerte contra la retroiluminación que era muy fácil reconocer las fotos tomadas con el iPhone XS y XR.


Marco no muy plano. En las fotos del iPhone XS RAW hay suficiente rango dinámico, pero no hay escapatoria del grano.

La cámara del iPhone 11 sabe que a veces quieres una exposición excesiva. Y este es el Smart HDR más inteligente.

Detalles del diablo

Las fotos del iPhone 11 muestran detalles notables:


Foto normal de un teléfono celular

(Para este artículo, evaluaré fotos comunes tomadas en el iPhone 11. Desde la versión iOS 13.2, Apple a veces usa el procesamiento Deep Fusion, que discutiremos en futuros artículos)

Los detalles son lo que siempre nos falta en las imágenes. Hay una búsqueda casi irracional de claridad, demandas interminables para aumentar el número de megapíxeles y una discusión constante sobre el tamaño de la matriz necesaria para obtener tomas aceptables.

En iFixit (y nuestro desmontaje ) se puede ver que el tamaño y la cantidad de megapíxeles de la matriz del iPhone 11 se mantuvo igual que la del XS. ¿Qué está haciendo Apple para lograr este aumento en detalle?

Dos cosas han cambiado.

Equipo

Los cambios de hardware son pequeños, pero debajo del parasol (¿debajo de la lente?) Se han realizado varias mejoras obvias. En particular, se ha mejorado el rango ISO, agregando 33% en la cámara principal y 42% en el teleobjetivo.

¿Qué es un ISO? Esta es una medida de sensibilidad a la luz. En el siglo pasado, denotaba la sensibilidad del cine. Por ejemplo, los ISO superiores a 800 son muy sensibles e incluso están expuestos a rayos X de aeropuerto.



Hoy ISO es una configuración matricial. Si hay poca luz, se puede aumentar el ISO. Como resultado, puede tomar fotografías con una alta velocidad de obturación, y se verán más nítidas. La compensación es que elevar el ISO aumentará la cantidad de ruido. La función de reducción de ruido necesita ser mejorada, lo que reduce el número de partes.

Muchos decidieron que aumentar el ISO máximo en el iPhone 11 solo era necesario para el modo nocturno, pero mejorar el alcance también mejora significativamente la situación con el ruido cotidiano. Para ver la diferencia, no necesita usar el nuevo ISO al máximo. Lo verás en la mayoría de las fotos.

Solo hay una excepción: el ISO mínimo en el iPhone 11 ha crecido, lo que significa que en un nivel básico es un poco más ruidoso que el iPhone XS y XR. Sin embargo:


iPhone XS RAW y iPhone 11 Pro RAW, en el nivel ISO básico (20 en XS, 32 en iPhone 11). Es fácil notar una mejora en los detalles en una valla publicitaria en la parte superior de un edificio oscuro y paneles solares. Tomado de un trípode.

Aparentemente, la matriz da más detalles con un poco de ruido adicional.

Al mismo tiempo, el equipo tiene sus límites. La gente comparó los resultados de las tomas del iPhone 11 con DSLR u otras cámaras grandes, pero así es como se ve la matriz del iPhone 11 en comparación con la matriz del Sony A7R4:



Sí, se necesita magia para obtener buenas tomas. Y este año, la magia se ha vuelto aún más difícil. O, más precisamente, más astuto.

Mejora importante: postprocesamiento selectivo

Al editar una foto, puede decidir aplicar un filtro a toda la imagen, por ejemplo, hacer que la escena sea más brillante o aumentar la nitidez. Sin embargo, puede aplicar efectos selectivamente a parte de la imagen, ya que a menudo las revistas suavizan la piel del modelo para que se vea más suave.

Apple ha agregado un retoque similar al proceso de tomar fotos. El iPhone 11 divide automáticamente la imagen en partes y les aplica una reducción de ruido de diferentes intensidades. Es posible que no vea los resultados de reducción de ruido en esta imagen:



Si tuerce fuertemente el contraste, puede ver en las nubes artefactos de "acuarela":


Procesado por HEIC y RAW

En el cielo, el ruido se elimina de forma más agresiva. Dado que el cielo generalmente tiene una superficie uniforme, iOS decide que puede aplicar una reducción de ruido más fuerte, suavizando el cielo sin un solo grano.

En otras áreas, se aplican otros niveles de reducción de ruido. Los cactus y otros objetos, que la cámara consideraba dignos de detalle, quedaron casi sin procesar.

Sin embargo, esta tecnología no es perfecta. En el original, los arbustos no muy claros perdieron detalles. iOS no sabe dónde está el cactus y dónde está el cielo. Aplica reducción de ruido, aparentemente basada en el número original de partes.


Una forma en que la computadora ve los detalles

Al reconocer la cara, iOS se comporta de una manera completamente diferente. Ella puede preservar específicamente el detalle de la textura de la piel, el cabello y la ropa.




Editado para resaltar áreas donde el marcado semántico ha retenido la textura. Las decoraciones de fondo son bastante borrosas, pero la cámara tuvo especial cuidado en mantener la textura de la piel y el cabello de mi amigo Chris en la imagen. El marco de la ventana gris detrás de él, que tenía una textura rica, se volvió completamente "acuarela".

Apple llama a esto "segmentación de fotos". Utilizan el aprendizaje automático para dividir la foto en pedazos y procesar cada uno por separado. Es impresionante que todo esto se haga al instante.


iOS 13 puede resaltar específicamente cabello, dientes, ojos, piel, etc.

Este procesamiento posterior específico convierte al iPhone 11 en una cámara completamente nueva. El Smart HDR del año pasado no fue tan selectivo. Un nuevo cambio en el proceso de procesamiento edita todas las imágenes que toma para guardar ciertas áreas de la imagen o texturas suaves.

En el modo nocturno del iPhone 11 también puede notar la desaparición de detalles en algunas áreas. Sin embargo, esto generalmente ocurre en aquellas partes de la imagen que no te importan demasiado. El modo nocturno es de alguna manera sorprendente e incluso misteriosamente capaz de obtener imágenes a veces incluso más nítidas que el modo habitual, y guarda detalles en partes de la imagen seleccionada por la cámara durante su procesamiento.

Es irónico que el escándalo de Beautygate del año pasado resultó ser falso, porque este año el iPhone 11 realmente alinea algunas partes de la imagen más que otras. Pero dado que la cámara ahora es lo suficientemente inteligente como para hacerlo de forma selectiva, y hacerlo donde no lo notas, no han surgido escándalos este año. Las imágenes solo se ven más nítidas y suaves.

Mejora de la reducción de ruido

Es bastante difícil comparar objetivamente cómo el iPhone 11 y el iPhone XS eliminan el ruido (el marcado semántico no se puede desactivar), parece que el iPhone 11 reduce el ruido y conserva mejor los detalles.

Se podría suponer que el nuevo sistema de reducción de ruido utiliza el aprendizaje automático para completar partes que de otro modo podrían perderse, como lo hacen muchas de las tecnologías actuales. Y, sin embargo, tal mejora es bienvenida.

Lentes de posprocesamiento y ultra gran angular

Ya mencionamos que estamos molestos por la imposibilidad de obtener un archivo RAW de lentes ultra gran angular. Quizás esto solucione la actualización de software. En la siguiente foto puedes ver cómo todos los detalles están borrosos:



Las lentes ultra gran angular son las más lentas de las tres lentes traseras, por lo que tienen que usar un valor ISO más alto. Si desea ver el resultado de su trabajo en tiempo real, gire esta nueva rueda de zoom de moda desde la aplicación Cámara inmediatamente después de que comience la puesta del sol. Tan pronto como caiga por debajo de 0.9x, comenzará a notar cómo desaparece la textura, por ejemplo, de su alfombra.


Con una disminución en la cantidad de luz, el resultado de lentes ultra gran angular se vuelve muy borroso y produce muchos artefactos de reducción de ruido

USL tiene una dificultad única: aberraciones cromáticas o, en términos simples, bordes morados. Para un teleobjetivo, este problema se siente menos, pero podemos observarlo en su RAW. Preste atención a los bordes ligeramente morados de las hojas en esta imagen tomada en el Jardín Botánico de Hong Kong contra la luz solar:



Los fotógrafos que disparan con “lentes rápidos” (con una gran apertura; en el rango de f / 2.0 a f / 0.95 están acostumbrados a esto, y cuanto menor es el número, mayor es la apertura). Mientras más luz entre la lente, mayor será la probabilidad de que sufra este efecto. Afortunadamente, en aplicaciones como Lightroom, puede eliminar dichos bordes. Y ahora el posprocesamiento automático de Apple guarda las imágenes de esta aberración cromática.


El resultado se ve mucho mejor después de aplicar la magia de Apple rápidamente.

Si tiene un ejemplo de RAW hecho en lentes ultra gran angular, me gustaría verlo sin corrección. En todas partes, desde distorsiones de ojo de pez hasta efectos de borde, quiero ver la verdad (fea).

¿Un oponente convincente para las réflex digitales?

Los cambios que tuvieron lugar este año son muy impresionantes. Gracias a las mejoras en el hardware, las correcciones semánticas en cada cuadro, la actualización de Smart HDR y los ajustes al algoritmo de eliminación de ruido, el iPhone 11 y 11 Pro se han convertido en verdaderos contendientes al trono entre las cámaras de los teléfonos inteligentes.

En el pasado, el iPhone tomaba excelentes fotos para las redes sociales, pero cuando se veían en una pantalla grande, no podían soportar la competencia. Por lo tanto, a menudo llevo una cámara "grande" conmigo en los viajes.

Pero estas importantes mejoras en el procesamiento de cuadros hacen posible decir que el iPhone 11 es el primer iPhone que realmente compite con la cámara.


Ah eso? Es solo una foto de la lente principal del iPhone 11 Pro, 50% reducido. Si

Gracias a los algoritmos de procesamiento inteligentes, la claridad y los detalles han alcanzado el nivel adecuado para imprimir y ver en pantallas de alta resolución.

Una de las siguientes fotos se tomó con una cámara Sony A7R4 por $ 4,000, la cámara insignia de fotograma completo más nueva, lanzada en septiembre, en una lente G-Master de $ 1,400 con una longitud de enfoque cercana a la lente gran angular de iPhone (para la cámara de 24 mm, para el iPhone de 26 mm). El segundo cuadro fue tomado en el iPhone 11 Pro con un teleobjetivo de 52 mm.



Quizás entenderá cuál de ellos hizo cuál de las cámaras, pero la cuestión no es lograr la paridad, sino cuándo se logrará la calidad "bastante buena". Los fabricantes de cámaras necesitan esforzarse.

Obviamente, el marco inicial de Sony era mucho más grande, pero también tenía una matriz de 61 megapíxeles frente a 12 megapíxeles en el iPhone 11. El iPhone 11 tuvo que reducirse un poco para alinearlo con la parte del marco de Sony.

¿Esto significa que ya no se necesita RAW?

No

Parece que con todos estos detalles no tiene sentido disparar en RAW. Después de todo, si podemos obtener todos los detalles sin ruido, ¿cuál es el punto?

Sin embargo, la sensación de disparar RAW en el iPhone 11 aún permanece, si necesita sacar aún más provecho de este conjunto pequeño pero capaz de cámaras.

RAW aún oculta más detalles

Esto puede sorprenderlo, pero sí: RAW aún oculta más detalles. Esto es especialmente notable en pequeños detalles que el marcado semántico y el algoritmo de reducción de ruido no consideran importante, y cuando Smart HDR va demasiado lejos con la fusión de partes:


Izquierda: HDR inteligente, RAW editado a la derecha

Sí, los detalles aún se almacenan mejor en RAW. Mire esta parte del marco sin escalar. En un suéter, pelo, hierba e incluso árboles en el fondo:


Smart HDR vs RAW

Sí, la arena está disponible.Pero la pequeña granulación que ocurre en casi cualquier condición de disparo, en mi opinión, solo mejora la imagen.


¿La granulación de esta imagen la molesta o le agrega encanto?

Por supuesto, siempre puede usar su aplicación favorita para eliminar el ruido más adelante. Pero esta es solo una de las posibilidades, a diferencia del caso cuando solo tiene una imagen de la que se ha eliminado todo el ruido, y con ello una parte de los detalles y texturas.

Edición de flexibilidad

Al guardar una imagen en JPEG o HEIC, el algoritmo arroja una gran cantidad de datos útiles para editar. Trabajar con áreas claras y oscuras a veces revela áreas extrañas y caras de objetos: a





veces, al restaurar áreas resaltadas, el cielo se ve extraño; y los datos adicionales contenidos en el archivo RAW le permiten crear gradientes de aspecto natural:





ahora los archivos RAW en el iPhone 11 tienden a tener una imagen brillante y plana. Y a pesar de esta apariencia aparentemente sobreexpuesta, la subestimación agresiva de la exposición no produce ningún detalle nuevo que pueda perderse en las áreas resaltadas:





para los profesionales, traigo el estado inicial de los niveles:



no se necesita HDR. Hermosa y suave reducción de las áreas resaltadas.

Un JPEG o HEIC expuesto de manera similar puede verse similar con Smart HDR, pero menos flexible al editar.

La edición del balance de blancos es superpoder

Las cámaras se enfrentan a varios tipos de iluminación, y tienen que adivinar que la imagen es blanca. Puedes tomar una foto con una hermosa escena de nieve en Navidad y descubrir que en la imagen la nieve será azul o amarilla. Su cámara está confundida por el reflejo azul del cielo sobre la nieve blanca o el resplandor anaranjado del atardecer.

Si toma una foto con la aplicación Cámara, el balance de blancos está integrado en la imagen y no puede cambiarla. Puede cambiar todos los colores ajustando el tono o el tono [tinte / tono], pero no puede simplemente asignar un balance de blancos después del hecho. Puede hacer esto en archivos RAW y le brinda la posibilidad de tomar fotos expresivas con un estado de ánimo completamente diferente:





O utilice un enfoque muy creativo para el color y el balance de color, creando marcos que encajen perfectamente con el subreddit / r / outrun [dedicado a la estética retro-futurista de los años 80 con luces de neón y cromo / aprox. transl.]: cuantas





más cámaras editen imágenes para nosotros, más a menudo querrá abandonar la estética impuesta por la cámara y tomar todo en sus propias manos. ¡Después de todo, la fotografía es, después de todo, un arte!

No hay necesidad de elegir

Si todo esto suena un poco desordenado, entonces decidimos que la mejor manera de darle la oportunidad de disfrutar de ambos mundos, la magia del procesamiento y las posibilidades ilimitadas de RAW, es darle acceso a ambos mundos a la vez. Las aplicaciones como Halide pueden disparar tanto RAW como JPEG procesado al mismo tiempo para que luego puedas elegir lo que más te guste. A menos que dispare con una lente ultra gran angular.

Haluro 1.15: cada vez más inteligente

Halide 1.15 tiene una nueva configuración: "habilitar el procesamiento inteligente". Esto permite que la cámara procese la imagen el tiempo que sea necesario y exprima todo el rango dinámico.

El único inconveniente es que para esto necesita deshabilitar las imágenes en RAW, ya que es imposible disparar simultáneamente en RAW y participar en el procesamiento de imágenes (esta restricción no está sujeta a nosotros).









La nueva configuración está disponible para dispositivos con iOS 13, y sus resultados se ven mejor en el iPhone XS, XR, 11 y 11 Pro. Deep Fusion solo está disponible en el iPhone 11 y 11 Pro, comenzando con iOS 13.2.

Estamos muy interesados ​​en permitirle jugar de inmediato con imágenes RAW e imágenes completamente procesadas y descubrir lo que más le gusta.