iPhone XS: por que é uma câmera totalmente nova

Relatório de uma startup envolvida em um aplicativo para melhorar a fotografia com o iPhone



iPhone XS vs iPhone X - alterações na câmera no nível do ferro

Na versão mais recente do nosso aplicativo, criamos uma nova função que exibe informações detalhadas sobre o que sua câmera é capaz. Os usuários que tiveram acesso ao iPhone XS mais cedo do que outros compartilharam essas informações conosco, o que nos permitiu descrever em detalhes as especificações do hardware.

Após a análise, podemos fornecer uma visão geral mais detalhada do que há de novo na câmera do iPhone XS e mais detalhes sobre seus recursos técnicos do que a Apple queria revelar na apresentação.

Essas são exatamente as especificações do ferro - apesar do fato de a Apple focar principalmente em melhorias de software como o Smart HDR e o novo modo retrato.

Novidades

Refeito Lentes Grande Angular

As lentes do iPhone XS e XS Max, usadas na maioria das fotos, sofreram alterações, obtendo uma distância focal equivalente a 26 mm. Isso é 2 mm menor que os modelos anteriores, o iPhone 8 Plus e o iPhone X, que apresentavam lentes grande angular de 28 mm.

Um usuário do nosso programa e o iPhone XS nos enviou uma foto mostrando a diferença:

Novo sensor

Nosso aplicativo não pode saber o tamanho do sensor, mas todos os dados indicam que um novo sensor está instalado no iPhone XS. John Grubber confirmou que o novo sensor iPhone XS é 30% maior - e a Apple alega que o tamanho de pixel no novo sensor da câmera grande angular agora é de 1,4 μm, que é 0,2 μm maior que os anteriores.

Aumentar o tempo de exposição para 1 segundo

O iPhone XS e o XS Max são capazes de manter uma segunda exposição. Os iPhones anteriores podem manter a exposição em até 1/3 s. Essa capacidade permite que você tire todos os tipos de fotos legais com uma exposição longa.

Aumento da faixa ISO

Novo sensor - A nova faixa ISO é um pouco maior que o iPhone XS. O ISO agora se estende de 24 ISO para 2304 ISO, o que fornece um pouco mais de sensibilidade com pouca luz. O melhor dos sensores anteriores do iPhone produziu apenas 2112 ISO.

A lente telefoto aumentou ISO em 240, agora seu valor máximo não é 1200, mas 1440, o que indica pequenos ajustes no sensor. Talvez isso signifique que, no mesmo nível de iluminação, veremos menos ruído.

Alterações mínimas de exposição

A duração da exposição mínima aumentou: em uma câmera grande angular e uma lente telefoto, esse valor foi alterado de 1/91000 se 1/22000 se 1/45000 s, respectivamente. Não está claro o que se segue - é necessário testar.

Comparação de listas completas de detalhes técnicos:

Alterações de software

Fiquei me perguntando por que a apresentação da Apple se concentrou em mudanças no software da câmera, e não no hardware. Ao testar as câmeras do iPhone XS, percebi o porquê.

O iPhone XS não possui apenas um sensor maior: possui uma câmera completamente redesenhada, e a maior mudança é que depende de fotografia computacional.

Câmera inteligente

A Apple é inteligente. Eles vêem que, ao colocar cada vez mais eletrônicos em um sensor, o tamanho de uma unha resulta em menos. A fotografia é a ciência da captura de luz, limitada à óptica e à física.

A única maneira de contornar as leis da física é através da fotografia computacional . Os poderosos chips dos iPhones modernos permitem que a empresa tire várias fotos - algumas das quais são tiradas antes mesmo de você pressionar o botão do obturador - e as combine em uma perfeita.



O iPhone XS tira fotos com aumento e diminuição da exposição, tira fotos rápidas para congelar o movimento e manter a nitidez em todo o quadro, além de tirar as melhores partes de todos esses quadros para criar uma única imagem. É o que você obtém da câmera do iPhone XS, e é o que o torna tão eficaz em situações em que você geralmente perde detalhes devido à luz mista ou ao forte contraste.

Isso não é um pequeno ajuste no Auto HDR no iPhone X. Esse é um recurso completamente novo, uma diferença radical das fotos de todos os iPhones anteriores. Em certo sentido, uma câmera completamente nova.

O que é esse "filtro suave" para uma selfie?

Isso não existe. Não quero dizer que as pessoas criem algo para avançar no YouTube, mas não se deve acreditar cegamente nas declarações da Internet.

Parece que o iPhone XS suaviza a imagem por duas razões:

1. Redução de ruído melhorada e mais agressiva devido à fusão de diferentes exposições.
2. A fusão de exposições reduz a nitidez, eliminando o contraste entre luz e sombra, resultando em diferentes áreas da pele.

É importante entender como o cérebro percebe a clareza e como os artistas fazem as coisas parecerem mais claras.

Tudo não funciona como em séries de comédia como CSI, onde detetives gritam "melhorem!" para a tela. Você não pode adicionar peças perdidas. No entanto, você pode enganar o cérebro adicionando pequenas áreas contrastantes.





Simplificando, uma moldura escura ou clara ao lado de uma luz ou forma escura contrastante. O contraste local faz as coisas parecerem mais claras.



Para melhorar o contraste, você precisa tornar as áreas claras mais claras perto da borda e as áreas escuras mais escuras perto da borda.



O iPhone XS mescla imagens com diferentes exposições e reduz o brilho de áreas claras e torna as sombras menos escuras. Os detalhes permanecem, mas parece-nos que a imagem tem menos contraste porque o contraste local é perdido. Na foto acima, a pele parece mais lisa porque a luz não é tão dura.

Pessoas observacionais perceberão que isso afeta não apenas a pele. As texturas ásperas e quase tudo escuro - de gatos a carvão - parecem mais suaves. Isso funciona reduzindo o ruído. O iPhone XS o torna mais agressivo do que os iPhones anteriores.

Por que reduzir o ruído?

Depois de testar o iPhone XS com X, descobrimos que o XS prefere uma velocidade mais rápida do obturador e um nível ISO aumentado. Em outras palavras, ele tira uma foto mais rapidamente, mas por causa disso, o ruído aparece.




iPhone X RAW




iPhone XS RAW

No formato RAW, você pode ver que o iPhone XS (à direita) tem muito mais ruído. Este formato não remove ruídos. Por que o quadro XS deve ser tão barulhento?

Lembra daquela apresentação com uma sequência de quadros mostrando como a câmera do iPhone funciona?



A menos que você tenha próteses biônicas, não poderá segurar o telefone por tanto tempo sem se mover. Para obter imagens nítidas e perfeitamente alinhadas em tal quantidade, o iPhone precisa tirar fotos muito rapidamente. Isso requer uma velocidade do obturador mais alta - o que significa que haverá mais ruído na imagem.

Ele deve ser removido de alguma forma e isso impõe suas limitações: juntamente com o ruído, alguns detalhes e o contraste local são removidos.


iPhone XS RAW - os detalhes no reflexo são mais "suaves"


Smart hdr

Mas, em geral, as selfies estão se tornando mais suaves - especialmente rostos!

Sim O ferro da câmera frontal apresenta desempenho pior com pouca luz do que a câmera principal. A câmera selfie possui um pequeno sensor do tamanho da unha de um dedo mindinho, para que menos luz entre nela, o que significa mais ruído e mais remoção de ruído.

O resultado é uma imagem mais suave, e o Smart HDR, juntamente com um pipeline de computação, suaviza-o mais do que antes.





O outro lado da moeda é que as selfies, que geralmente se tornam piores em luz mista ou nítida (e essa é a maior parte da iluminação), não ficam mais borradas e, na maioria dos casos, ficam melhores, apenas um pouco mais suaves.

A boa notícia é que a Apple pode ajustar isso se as pessoas acharem que o anti-aliasing funciona demais, mas como existe uma escolha entre pouca iluminação com ruído e muito anti-aliasing, é lógico que a versão 1.0 tende a anti-aliasing.

Com relação às alegações de que o software trata as pessoas de uma maneira especial: tirei fotos de limão, papel áspero e tirei selfies, e o nível de suavização era o mesmo em todos os lugares.

Então a câmera do iPhone XS é pior?

Não, sua câmera não é pior que o iPhone X. O iPhone XS tem uma câmera melhor. Ela tem uma faixa dinâmica mais alta, mas isso se deve a alguns compromissos no software. Se você não gosta de fazer as coisas da moda, não se preocupe.


Não foi possível tirar uma foto semelhante em iPhones anteriores

O que a Apple faz é melhor para quase todos os casos: usuários comuns obtêm uma foto melhor, haverá mais detalhes na luz e nas sombras, sem nenhuma edição. Os profissionais poderão retornar o contraste editando ligeiramente as fotos; o inverso não funcionará: na imagem de contraste, os detalhes já estão perdidos.

Agora você pode tirar selfies e fotos com iluminação nítida, iluminação divina ou outra, sem igualar a luz e obter um resultado aceitável. Isso é apenas mágica!

Existem apenas dois pequenos problemas.

Problema de autenticidade

As câmeras estão cada vez mais mudando de ferramentas simples para "dispositivos inteligentes" que usam várias operações complexas para combinar várias imagens em uma, e nos perguntamos se estamos vendo uma imagem "não editada".

Tire esta foto do Parque Nacional de Yosemite:



Foi editado. Para expor adequadamente a paisagem, o fotógrafo usou uma longa exposição. Então ele atirou nas estrelas com uma exposição mais curta, caso contrário elas teriam se transformado em traços. Em seguida, combinou duas fotos em uma. Tecnicamente falando, isso é falso.

De volta ao iPhone: o Smart HDR tira exposições diferentes e as mescla para obter mais detalhes na sombra e na luz. Há um certo grau de falsidade nisso. Os defensores de fotos limpas podem ficar indignados com isso.


iPhone XS, HDR inteligente


iPhone XS


iPhone X

Sem o Smart HDR, é muito difícil criar o HDR manualmente para que a imagem não pareça falsa. Existe um subreddit inteiro dedicado ao HDR de rábano.

A imagem do meio, com o HDR inteligente desativado, ainda tem uma grande faixa dinâmica, mas não parece tão "ajustada automaticamente".

Então agora a câmera funciona em iPhones. Aposto que no futuro funcionará exatamente dessa maneira.

Sim, e isso se aplica ao visor de qualquer aplicativo que tira uma foto. A Apple melhora o alcance dinâmico em tempo real, diretamente no vídeo, para que você sempre veja uma imagem "redimensionada".

Problemas com RAW

Do ponto de vista prático, os problemas começam com isso: o iPhone XS faz a exposição de maneira bem diferente do iPhone X. E isso é de grande importância ao fotografar em RAW.

Faça este instantâneo:


iPhone X RAW


iPhone XS RAW

Você notará imediatamente que a segunda foto está superexposta. Começando a editar o arquivo RAW do iPhone XS, você verá que as partes claras da imagem estão perdidas.

Aprofundando nos detalhes, você verá o segundo problema: o iPhone X fez exposição a 1/60 se ISO 40 e o iPhone XS fez exposição a 1/120 se ISO 80. Suspeitamos que, para obter a melhor foto para o Smart HDR, a câmera simplesmente você precisa usar uma exposição mais baixa e valores ISO mais altos.

Estamos criando um aplicativo de câmera para receber fotos em RAW, então isso é muito ruim. O RAW não apenas se beneficia da mescla de várias fotos - as fotos do iPhone são muito barulhentas no nível ISO 200. Este é um passo na direção errada.

O que torna a situação ainda pior é que o sensor do iPhone XS torna o ruído um pouco mais ativo e colorido do que o iPhone X.



Esse ruído não é tão fácil de remover no pós-processamento. Este não é o grão de filme macio que observamos no iPhone X e iPhone 8 em RAW.

Hoje acontece que, se você fotografar em RAW no iPhone XS, precisará mudar para o modo manual e reduzir a exposição. Caso contrário, seu RAW ficará pior que o JPEG do Smart HDR. Todos os aplicativos de câmera de terceiros sofrem com isso. Curiosamente, os arquivos RAW do iPhone X são muito melhores que do iPhone XS.

Nossa solução: Smart RAW

Felizmente, isso pode ser alterado. Após o lançamento do iPhone XS, nós, trabalhando à noite e nos fins de semana, criamos uma solução para tirar o máximo proveito do sensor maior e de seus pixels profundos.

Criamos o Smart RAW - um recurso que usa a nova tecnologia de toque no iPhone XS e torna as fotos em RAW melhores do que o iPhone X. O Smart RAW não usa nenhum recurso Smart HDR - pelo contrário, evita-as para que você praticamente não precise remover barulho.

Agora que contornamos os problemas de exposição do iPhone XS, podemos descobrir uma quantidade incrível de detalhes nos arquivos Smart RAW. Vamos dar uma olhada na foto do show do First Aid Kit e comparar as opções usando e sem o Smart RAW:


Sem RAW inteligente


Raw inteligente

Muito melhor que o iPhone X. Aqui estão algumas comparações de imagens RAW feitas com o iPhone XS e iPhone X.





Os resultados são surpreendentes: menos ruído, mais detalhes.

A melhor característica do Smart RAW: graças ao ajuste do sensor do iPhone XS, obtemos a qualidade máxima em imagens, mais do que nunca. Com a transição do iPhone X para o iPhone XS, ocorre um aumento incrível na resolução e qualidade.

Smart RAW vs Smart HDR

Você pode estar interessado em como esse recurso pode ser comparado ao Smart HDR, já que fotografar em RAW implica na ausência de HDR. Tirei uma foto difícil pelas condições de exposição usando o Smart HDR e nosso novo RAW:


Smart hdr


RAW

Sem edição, eles são quase os mesmos; talvez o Smart HDR seja um pouco melhor.

Mas o RAW é apenas o ponto de partida. Aqui estão as mesmas fotos após a edição:


Smart hdr


RAW após a edição

Não alcançamos uma faixa tão dinâmica quanto o Smart HDR - observe como o céu fica mais azul lá -, mas chegamos bem perto. Prefiro a aparência do RAW após a edição - um pouco mais pela manhã.

Mas a principal vantagem: os detalhes.

Eu prefiro fotografar em RAW por causa da nitidez dos detalhes, e no iPhone XS com seus pixels maiores, há mais detalhes do que antes. Um ótimo exemplo são as folhas de uma árvore no canto superior direito:



E assim é com a maioria das fotos. Filmando em RAW, você precisa trabalhar na imagem, mas os resultados geralmente valem a pena. Obviamente, nesta imagem há muita luz - você precisa verificar o que acontece após o pôr do sol.

Em situações de falta de luz, há uma troca. Quanto menos luz, mais ruído. O iPhone XS, juntamente com o Smart HDR em um aplicativo de gravação regular, lida perfeitamente com essas fotos, mas às vezes não produz as fotos mais nítidas.

As fotos com falta de luz sempre apresentam muito ruído. O HDR inteligente o esconde agressivamente, perdendo em detalhes. Se precisar de mais detalhes e um pouco de ruído não interferir, experimente o nosso Smart RAW:


Iodeto de esquerda inteligente RAW, direito iPhone Smart HDR

Há ruído nas sombras, e a pele fica mais áspera devido a menos embaçamento dos pontos claros e escuros, mas o detalhe é incrível comparado às imagens capturadas no modo normal.

O Smart RAW ainda está no modo de teste e você precisará coletar muitas evidências fotográficas de que ele funciona perfeitamente em todas as situações.

Sumário

O iPhone XS possui uma câmera completamente nova. Este não é apenas outro sensor, é uma abordagem completamente nova para a fotografia, nova para iOS. Como ela depende muito da fusão de exposições e fotografia computacional, suas imagens podem ser muito diferentes daquelas feitas nas mesmas condições em outros iPhones.

Mas, como, diferentemente das câmeras anteriores, suas vantagens em qualidade são baseadas em software, podemos esperar sua melhoria e mudança. Esta é apenas a primeira versão do iOS 12 e do Smart HDR.

Nós, desenvolvedores, precisamos atualizar aplicativos para aproveitar ao máximo o novo sensor no iPhone XS e XS Max. Como é tão diferente, você não pode tratá-lo como o sensor de qualquer outro iPhone, caso contrário, obterá resultados insatisfatórios.

Se você não estiver muito satisfeito com alguns aspectos desse admirável mundo novo da fotografia computacional ou dos recursos de processamento de imagem da Apple, poderá desativar o processamento HDR ativo nas configurações da câmera ou fotografar em RAW.

Para desativá-lo, vá para Configurações → Câmera e desligue o Smart HDR lá. Depois disso, abra a câmera e a nova configuração HDR aparecerá no menu superior. Clique nele para desativar o HDR.