Parte interna da câmera do IPhone 11: parte 1: uma câmera nova

No mês passado, já escrevemos sobre o que há de novo no hardware e software das câmeras iPhone 11 e 11 Pro. E você deve ter notado que as mudanças que ocorreram no equipamento foram bastante modestas. Toda a atenção foi dada ao processamento de imagens de software.

E isso é verdade: a impressionante melhoria na qualidade da imagem no novo iPhone deve ser atribuída principalmente às melhorias de software. Passei algum tempo estudando o processo de aquisição de imagens do iPhone 11 e, aparentemente, essa é uma das melhorias mais significativas relacionadas à câmera na linha do iPhone 11.

O que é uma fotografia?

Parece que decidimos primeiro adotar a filosofia ou escrever um script para anunciar fotos em um iPad. Mas, para enfatizar os recursos exclusivos da câmera do iPhone 11, primeiro precisamos entender o que podemos esperar da fotografia.

Já há algum tempo que suas fotos não foram tiradas por você. E isso não é um comentário negligente em sua direção, caro leitor: quando você pressiona o botão do obturador com o dedo, o iPhone 11 tira uma foto que já havia tirado antes mesmo de tocar na tela para reduzir o atraso percebido.



Isso é feito através de um tipo de buffer de anel que começa a funcionar assim que você abre o aplicativo Câmera. Quando você pressiona o disparador, o iPhone 11 seleciona a foto mais nítida desse buffer. E salva a foto, que, como o usuário pensa, sem saber nada sobre essa falsificação, se retirou. Não, não - você acabou de sugerir, ajudou a câmera a selecionar uma foto do conjunto daquelas que ela faz.

Claro, você pode dizer que foi um passo deliberado de qualquer maneira. E sem suas ações, não haveria foto.



No entanto, a foto resultante não é o resultado de uma única exposição. O iPhone 11 tira muitas fotos - como dizem na apresentação da Apple, dofiga - e as combina de maneira inteligente.

No ano passado, o iPhone XS introduziu o modo Smart HDR, combinando fotografias superexpostas e subexpostas para garantir maiores detalhes em fragmentos da imagem que estavam na sombra ou muito superexposta. O HDR é uma “ faixa dinâmica estendida ” e, por muitas décadas, serviu como um sonho inatingível da tecnologia da fotografia.

Inteligente HDR torna-se ainda mais inteligente

Desde que as pessoas aplicaram halogeneto de prata à placa para tirar uma fotografia, ficamos desapontados com a capacidade limitada da fotografia de corrigir detalhes em áreas claras e escuras da imagem.


É difícil escolher a exposição certa imediatamente para o fundo e para o próprio edifício. A imagem à direita é semelhante à que o olho vê.

Nossos olhos são realmente bons para lidar com ele. Eles têm cerca de 20 passos faixa de exposição dinâmica. Em comparação, uma das melhores e mais novas câmeras, a Sony A7R4, é capaz de dar 15 passos. O iPhone 11 de cerca de 10.

Muito antes da era digital, os fotógrafos que usavam filme enfrentavam problemas semelhantes ao passar do negativo do filme (13 etapas) para o papel (8 etapas). Eu tive que enganar e desviar para desenvolver uma fotografia para que ela pudesse ser impressa.


O cume de Titon e o rio Serpent no parque nacional de Grand Teton, 1942, Ansel Adams. Esta foto precisava de processamento da velha escola para obter a aparência que conhecemos do HDR

Hoje, um fotógrafo experiente pode restaurar a faixa dinâmica de uma única imagem RAW usando a edição. Este é um processo manual e, em situações difíceis, você pode encontrar as limitações da fotomatriz.




Preparação de uma exposição de imagem aceitável sly iPhone Pro 11 durante a edição. Os arquivos RAW do IPhone 11 têm uma faixa dinâmica impressionante.

O HDR inteligente usa uma abordagem completamente diferente, usando o "truque" para aumentar o DD. Você não precisa de um sensor de 15 velocidades que possa capturar mais detalhes nas áreas claras e escuras ao mesmo tempo. Você precisa de uma matriz que possa tirar fotos com rapidez suficiente e de um software inteligente que possa combiná-las. A "edição" ocorre em tempo real, sem a participação de um fotógrafo.

Como escrevemos no ano passado, essa abordagem tem suas vantagens e desvantagens. Se ajustarmos a matriz do iPhone 11 para tirar fotos rapidamente com uma pequena exposição, receberemos imagens com ruído - e isso é confirmado pelos arquivos RAW do iPhone XS e XR. Portanto, precisamos de redução de ruído, cujo efeito colateral é a perda de detalhes.


Redução de ruído original e forte no Lightroom. Os tijolos da parede se transformaram em aquarela.

Curiosamente, essa redução de ruído levou às acusações da Apple de aplicar um filtro suavizador de pele a cada foto. De fato, todas as texturas foram suavizadas. Na maioria das vezes, as fotos ficaram mais bonitas por causa disso, no entanto, uma perda de detalhes pode ser percebida. As fotos pareciam embaçadas:


iPhone XS RAW vs Smart HDR HEIC

Isso tornou a fotografia RAW uma opção atraente para fotógrafos sofisticados que usam o iPhone. Os detalhes foram salvos e, com ferramentas como o Halide Smart RAW ou edição manual, o ruído quase pode ser eliminado. No editor RAW, muitas vezes era possível restaurar a faixa dinâmica quase como no Smart HDR. Gostei mais do que o visual "processado" das fotos do iPhone XS / XR.


inteligente HDR


Imagem editada iPhone XS RAW

Mas após o advento do iPhone 11, de imediato, notei uma enorme melhoria na qualidade em comparação com o seu antecessor. O HDR inteligente tornou-se mais inteligente.

No iPhone XS e XR, o Smart HDR às vezes foi longe demais, suavizando texturas ou tornando as áreas destacadas muito planas. Às vezes, ele não conseguia lidar com isso e se recusava a deixar a foto superexposta simplesmente superexposta.


Um exemplo de como tupil inteligente HDR no iPhone XS

Este é um problema clássico de HDR. Às vezes é possível restaurar a faixa dinâmica, uma imagem plana sem contraste. Na pior das hipóteses, as fotos foram arruinadas. O Smart HDR tinha um preconceito tão forte contra a luz de fundo que era muito fácil reconhecer as fotos tiradas com o iPhone XS e XR.


Moldura não muito plana. Nas fotos do iPhone XS RAW, há faixa dinâmica suficiente, mas não há como escapar da granulação

A câmera do iPhone 11 sabe que às vezes você deseja exposição excessiva. E este é o Smart HDR mais inteligente.

partes devils

As fotos do iPhone 11 mostram detalhes notáveis:


Foto normal de um telefone celular

(Para este artigo, vou avaliar fotos comuns tiradas no iPhone 11. A partir da versão iOS 13.2, a Apple às vezes usa o processamento Deep Fusion, que discutiremos em artigos futuros).

Os detalhes são o que sempre falta em fotos. Há uma busca quase irracional de clareza, demandas sem fim para aumentar o número de megapixels e uma discussão constante sobre o tamanho da matriz necessária para obter fotos aceitáveis.

No iFixit (e em nossa desmontagem ), pode-se ver que o tamanho e o número de megapixels da matriz do iPhone 11 permaneceram os mesmos do XS. O que a Apple está fazendo para alcançar esse aumento em detalhes?

Duas coisas mudaram.

Equipamento

As alterações de hardware são pequenas, mas sob o capô (sob a lente?) Várias melhorias óbvias foram feitas. Em particular, a faixa ISO foi aprimorada, adicionando 33% na câmera principal e 42% na lente telefoto.

O que é um ISO? Esta é uma medida de sensibilidade à luz. No século passado, denotou a sensibilidade do filme. Por exemplo, ISOs acima de 800 são muito sensíveis e até expostos a raios X de aeroportos.



Hoje, a ISO é uma configuração de matriz. Se houver pouca luz, o ISO pode ser aumentado. Como resultado, você pode tirar fotos com uma velocidade lenta do obturador, e eles vão ficar mais nítida. A desvantagem é que aumentar o ISO aumentará a quantidade de ruído. Ela exige uma maior função de redução de ruído, o que reduz o número de peças.

Muitos decidiram que aumentar o ISO máximo no iPhone 11 era necessário apenas no modo noturno, mas melhorar o alcance também melhora significativamente a situação com o ruído diário. Para ver a diferença, você não precisa usar o novo ISO ao máximo. Você o verá na maioria das fotos.

Há apenas uma exceção: o ISO mínimo no iPhone 11 aumentou, o que significa que, em um nível básico, é um pouco mais barulhento que o iPhone XS e XR. No entanto:


iPhone XS RAW e iPhone 11 Pro RAW, no nível ISO básico (20 no XS, 32 no iPhone 11). É fácil notar uma melhora nos detalhes em um outdoor no topo de um prédio escuro e em painéis solares. Retirado de um tripé.

Aparentemente, a matriz fornece mais detalhes com um pouco de ruído adicional.

Ao mesmo tempo, o equipamento tem seus limites. As pessoas compararam os resultados de fotos do iPhone 11 com DSLR ou outras câmeras grandes, mas eis a aparência da matriz do iPhone 11 em comparação com a matriz da Sony A7R4:



Sim, é preciso mágica para obter boas fotos. E este ano, a magia se tornou ainda mais difícil. Ou, mais precisamente, mais astuto.

Melhoria importante: pós-processamento seletivo

Ao editar uma foto, você pode aplicar um filtro à imagem inteira, por exemplo, tornar a cena mais brilhante ou aumentar a nitidez. No entanto, você pode aplicar efeitos seletivamente a parte da imagem, já que as revistas suavizam a aparência do modelo para torná-lo mais suave.

A Apple adicionou um retoque semelhante ao processo de tirar fotos. O iPhone 11 divide automaticamente a imagem em partes e aplica redução de ruído de diferentes forças. Você pode não ver os resultados da redução de ruído nesta imagem:



Se você torcer fortemente o contraste, poderá ver nas nuvens artefatos "aquarela":


Processado por HEIC e RAW

No céu, o ruído é eliminado de forma mais agressiva. Como o céu normalmente tem uma superfície uniforme, iOS decide que pode aplicar uma redução de ruído mais forte, fazendo o céu sem um único grão de lisa.

Em outras áreas, outros níveis de redução de ruído se aplicam. Cactos e outros objetos, que a câmera considerava dignos de detalhes, foram deixados quase sem processamento.

No entanto, essa tecnologia não é perfeita. No original, os arbustos não muito claros perderam detalhes. O iOS não sabe onde está o cacto e onde está o céu. Ele usa redução de ruído, aparentemente com base nos detalhes originais.


Uma maneira de o computador ver detalhes

Reconhecendo o rosto, o iOS se comporta de uma maneira completamente diferente. Ela pode preservar especificamente os detalhes da textura da pele, cabelos e roupas.




Editado para destacar áreas em que a marcação semântica reteve a textura. As decorações de fundo são bastante borradas, mas a câmera teve um cuidado especial em manter a textura da pele e do cabelo do meu amigo Chris na imagem. A moldura da janela cinza atrás dela, que tinha uma textura rica, tornou-se completamente "aquarela".

A Apple chama isso de "segmentação de fotos". Eles usam o aprendizado de máquina para quebrar a foto em pedaços e processar cada um separadamente. É impressionante que tudo isso seja feito instantaneamente.


O iOS 13 pode destacar especificamente cabelos, dentes, olhos, pele etc.

Esse pós-processamento direcionado faz do iPhone 11 uma câmera completamente nova. O Smart HDR do ano passado não foi tão seletivo. Uma nova alteração no processo de processamento edita todas as imagens capturadas para salvar determinadas áreas da imagem ou texturas suaves.

No modo noturno do iPhone 11, você também pode notar o desaparecimento de detalhes em algumas áreas. No entanto, isso geralmente acontece nas partes da imagem com as quais você não se importa muito. O modo noturno é surpreendentemente e até misteriosamente capaz de obter imagens algumas vezes ainda mais nítidas que o modo usual e salva detalhes em partes da imagem selecionada pela câmera durante o processamento.

É irônico que o escândalo da Beautygate do ano passado tenha sido falso, porque este ano o iPhone 11 realmente alinha algumas partes da imagem mais do que outras. Mas como a câmera agora é inteligente o suficiente para fazê-lo seletivamente, e para fazê-lo onde você não percebe, nenhum escândalo ocorreu este ano. As imagens parecem mais nítidas e suaves.

Melhorando a redução de ruído

É bastante difícil comparar objetivamente como o iPhone 11 e o iPhone XS se livram do ruído (a marcação semântica não pode ser desativada), parece que o iPhone 11 reduz o ruído e preserva melhor os detalhes.

Seria de supor que um novo sistema de redução de ruído de aprendizagem usos máquina para preencher detalhes que poderiam ser perdidos - assim como muitos de tecnologia de hoje. E, no entanto, essa melhoria é bem-vinda.

Lentes pós-processamento e ultra grande angular

Já mencionamos que estamos chateados com a incapacidade de obter um arquivo RAW a partir de lentes ultra grande angulares. Talvez isso corrija a atualização do software. Na próxima foto, você pode ver como todos os detalhes estão embaçados:



As lentes ultra grande angular são as mais lentas das três lentes traseiras, portanto, elas precisam usar um valor ISO mais alto. Se você quiser ver o resultado do trabalho em tempo real, gire esta nova roda de zoom na moda do aplicativo Câmera imediatamente após o pôr do sol. Assim que você ficar abaixo de 0,9x, começará a perceber como a textura, por exemplo, do seu tapete desaparece.


Com uma diminuição na quantidade de luz, o resultado das lentes de grande angular torna-se muito desfocado e produz muitos artefatos de redução de ruído

A USL tem uma dificuldade única: aberrações cromáticas ou, em termos simples, bordas roxas. Para uma lente telefoto, esse problema é menos sentido, mas podemos observá-lo no formato RAW. Preste atenção às bordas rosa-violeta ligeiramente perceptíveis das folhas nesta foto tirada no Jardim Botânico de Hong Kong contra a luz solar:



Os fotógrafos fotografando com “lentes rápidas” (com uma abertura grande; na faixa de f / 2.0 a f / 0.95 estão acostumados a isso, e quanto menor o número, maior a abertura). Quanto mais luz a lente deixa entrar, maior a probabilidade de sofrer com esse efeito. Felizmente, em aplicativos como o Lightroom, você pode remover essas arestas. E agora o pós-processamento automático da Apple salva imagens dessa aberração cromática.


O resultado parece muito melhor depois de aplicar a mágica da Apple rapidamente.

Se você tem um exemplo de RAW feito em lentes ultra grande angular, gostaria de vê-lo sem correção. Em todos os lugares, de distorções nos olhos de peixe a efeitos de borda, quero ver a (feia) verdade.

Um oponente convincente para DSLRs?

As mudanças que ocorreram este ano são muito impressionantes. Graças a melhorias no hardware, correções semânticas em cada quadro, atualização do Smart HDR e ajustes no algoritmo de remoção de ruído, o iPhone 11 e 11 Pro tornaram-se verdadeiros candidatos ao trono entre as câmeras dos smartphones.

No passado, o iPhone tirava ótimas fotos para as redes sociais, mas quando vistas em uma tela grande, elas não suportavam a concorrência. Portanto, costumo levar uma câmera “grande” comigo em viagens.

Mas essas grandes melhorias no processamento de quadros permitem dizer que o iPhone 11 é o primeiro iPhone a realmente competir com a câmera.


Ah isso? É apenas uma imagem com o 11 objectivo iPhone da Pro principal, pressionado para baixo em 50%. Sim

Graças a algoritmos de processamento inteligente, clareza e detalhe atingiu o nível adequado para a impressão e visualização em telas de alta definição.

Uma das fotos abaixo foi tirada com uma câmera Sony A7R4 por US $ 4.000 - a mais nova câmera full-frame, lançada em setembro - em uma lente G-Master de US $ 1.400 com um comprimento de foco próximo à lente grande angular do iPhone (24 mm na câmera, 26 mm no iPhone). O segundo quadro foi tirado no iPhone 11 Pro com uma lente telefoto de 52 mm.



Talvez você entenda qual deles fabricou qual das câmeras, mas a questão não está em alcançar a paridade, mas em quando a qualidade "razoavelmente boa" será alcançada. Os fabricantes de câmeras precisam se esforçar.

Obviamente, o quadro inicial na Sony era muito maior, mas também tinha uma matriz de 61 megapixels versus 12 megapixels no iPhone 11. A imagem do iPhone 11 teve que ser levemente reduzida, a fim de alinhá-la com a parte da Sony.

Isso significa que o RAW não é mais necessário?

Não.

Parece que com todos esses detalhes não faz sentido gravar em RAW. Afinal, se pudermos obter todos os detalhes sem barulho, qual é o objetivo?

No entanto, a sensação de fotografar RAW no iPhone 11 ainda permanece - se você precisar tirar ainda mais proveito desse pequeno, mas capaz, conjunto de câmeras.

RAW ainda esconde mais detalhes

Isso pode surpreendê-lo, mas sim: o RAW ainda oculta mais detalhes. Isso é especialmente notável em pequenos detalhes que o algoritmo de marcação semântica e redução de ruído não considera importante, e quando o Smart HDR vai longe demais com a mesclagem de peças:


Esquerda - HDR inteligente, direita - RAW editado

Sim, os detalhes ainda são melhor armazenados em RAW. Olhe para essa parte do quadro sem redimensionar. Em uma blusa, cabelos, grama e até árvores ao fundo:


HDR inteligente vs RAW

Sim, o grão está disponível.Mas a pequena granulação que ocorre em quase todas as condições de fotografia, na minha opinião, apenas melhora a imagem.


A granulação nesta imagem a incomoda ou acrescenta charme?

Obviamente, você sempre pode usar seu aplicativo favorito para remover o ruído mais tarde. Mas essa é apenas uma das possibilidades - ao contrário do caso em que você tem apenas uma imagem da qual todo o ruído foi irremediavelmente removido e, com ela, parte dos detalhes e texturas.

Flexibilidade de edição

Ao salvar uma imagem em JPEG ou HEIC, o algoritmo gera uma grande quantidade de dados úteis para edição. Trabalhar com áreas claras e escuras às vezes revela áreas e faces estranhas dos objetos:





às vezes, ao restaurar áreas realçadas, o céu parece estranho; e os dados adicionais contidos no arquivo RAW permitem que você faça gradientes com aparência natural:





agora os arquivos RAW no iPhone 11 tendem a ter uma imagem clara e plana. E, apesar dessa aparência aparentemente superexposta, a subestimação agressiva da exposição não produz novos detalhes que poderiam ser perdidos nas áreas destacadas:





Para os profissionais, trago o estado inicial dos níveis:



não é necessário HDR. Redução bonita e suave das áreas destacadas.

Um JPEG ou HEIC exposto da mesma forma pode parecer semelhante ao Smart HDR, mas menos flexível ao editar.

Edição de balanço de branco é super poder

As câmeras enfrentam vários tipos de iluminação e precisam adivinhar que a imagem é branca. Você pode tirar uma foto com uma bela cena de neve no Natal e descobrir que na foto a neve será azul ou amarela. Sua câmera está confusa com o reflexo azul do céu na neve branca ou o brilho laranja do pôr do sol.

Se você tirar uma foto usando o aplicativo Câmera, o equilíbrio de branco será incorporado à imagem e não será possível alterá-lo. Você pode alterar todas as cores ajustando o matiz ou tom [matiz / matiz], mas não pode simplesmente atribuir um balanço de branco após o fato. Você pode fazer isso em arquivos RAW e oferece a capacidade de tirar fotos expressivas com um humor completamente diferente:





Ou use uma abordagem muito criativa para o equilíbrio de cores e cores, criando quadros que se encaixam perfeitamente com o subreddit / r / outrun [dedicado à estética retro-futurista dos anos 80 com luzes de neon e cromo / aprox. transl.]:





Quanto mais câmeras editam independentemente as fotos para nós, mais frequentemente você deseja abandonar a estética imposta pela câmera e levar tudo em suas próprias mãos. Afinal, a fotografia é, afinal, uma arte!

Não há necessidade de escolher

Se tudo isso parecer um pouco confuso, decidimos que a melhor maneira de aproveitar a oportunidade de aproveitar os dois mundos - uma mágica do processamento e as possibilidades ilimitadas do RAW - é acessar os dois mundos ao longo do tempo Aplicativos como o Halide podem gravar ao mesmo tempo processados ​​em RAW e JPEG, para que você possa escolher mais tarde ou mais gosta. A menos que você fotografe com uma lente grande angular.

Halogeneto 1.15: Mais e Mais inteligente

O Halide 1.15 tem uma nova configuração: "ativar processamento inteligente". Isso permite que a câmera processe a imagem pelo tempo que for necessário e extraia toda a faixa dinâmica dela.

O único ponto negativo é que, para isso, é necessário desativar as imagens em RAW, pois é impossível fotografar simultaneamente em RAW e se envolver no processamento de imagens (essa restrição não está sujeita a nós).









A nova configuração está disponível para dispositivos executando o iOS 13 e seus resultados são melhores visualizados no iPhone XS, XR, 11 e 11 Pro. O Deep Fusion está disponível apenas no iPhone 11 e 11 Pro, a partir do iOS 13.2.

Estamos muito interessados ​​em deixar você jogar com imagens RAW e imagens totalmente processadas imediatamente e descobrir o que você mais gosta.