Esquerda: iPhone XS ( foto em resolução total ). Direita: Visão noturna de pixel 3 ( foto em resolução total ).Night Sight é um novo recurso do aplicativo Pixel Camera que permite tirar fotos nítidas e limpas com pouca luz, mesmo quando há pouca luz que seus olhos vêem pouco. Funciona na câmera principal e na frente das três gerações de telefones Pixel e não requer tripé ou flash. Neste artigo, discutiremos por que é tão difícil tirar fotos com pouca luz, discutir a fotografia computacional e as tecnologias de aprendizado de máquina sobrepostas no formato HDR + e permitir que o Night Sight funcione.
Por que é difícil tirar fotos com pouca luz?
Todo mundo que tirou fotos em um local pouco iluminado está familiarizado com o ruído na imagem, que parece que o brilho aleatório muda de pixel para pixel. Para câmeras de smartphones com lentes pequenas e photomatrixes, a principal fonte de ruído é a variação natural no número de fótons que entram na lente, conhecido como
ruído de disparo . Qualquer câmera sofre com isso e sempre estará presente, mesmo com a qualidade ideal da matriz. No entanto, as matrizes não são ideais, portanto, ao converter uma carga elétrica resultante da luz que entra nos pixels, surge uma segunda fonte de ruído - o ruído de leitura. Outras fontes também contribuem para a relação sinal-ruído (SNR), mostrando quanto da imagem permanece livre de ruído. Felizmente, o SNR cresce proporcionalmente à raiz quadrada do tempo de exposição (ou mais rápido); portanto, quanto maior a exposição, mais limpa a imagem. Mas com pouca luz, é bastante difícil manter a quietude por tempo suficiente para tirar uma boa foto, e o que você está fotografando também pode não ficar parado.
Em 2014, introduzimos a tecnologia de fotografia computacional HDR + que melhora essa situação ao tirar várias fotos ao mesmo tempo, que são alinhadas e mescladas programaticamente. O principal objetivo do HDR + é melhorar a faixa dinâmica, ou seja, a capacidade de tirar fotos em uma ampla variedade de condições de iluminação (por exemplo, ao pôr do sol ou no caso de retratos com luz de fundo). Todas as gerações de telefones Pixel usam HDR +. Acontece que a fusão de várias imagens também reduz os efeitos do ruído da foto e do ruído de leitura, melhorando assim o SNR com pouca luz. Para manter a clareza das imagens em condições de tremor das mãos e movimento do objeto, usamos uma velocidade curta do obturador. Também descartamos partes da imagem para as quais não foram encontrados bons métodos de alinhamento. Isso permite que o HDR + produza imagens nítidas e colete mais luz.
Quão escuro será "escuro"?
Mas se tirar e mesclar vários quadros fornece fotos mais nítidas com pouca luz, por que não usar o HDR + para obter algumas dezenas de imagens para que possamos, de fato, ver no escuro? Vamos começar com a definição de "escuridão". Os fotógrafos, discutindo a iluminação da cena, costumam medir em
suítes . Lux é a quantidade de luz incidente em uma unidade de superfície, medida em lúmens por metro quadrado. Para que você possa imaginar os níveis de luz, aqui está uma tabela conveniente para você:
- 30000 - calçada iluminada pelo sol.
- 10000 - calçada em um dia claro na sombra.
- 1000 - calçada em um dia sombrio.
- 300 - iluminação no escritório.
- 150 - iluminação de mesa em casa.
- 50 - luz em um restaurante.
- 20 - Restaurante com iluminação atmosférica.
- 10 - iluminação mínima necessária para encontrar um par de meias correspondente.
- 3 - calçada à luz de lanternas.
- 1 - luz mínima para ler um jornal.
- 0,6 - calçada sob a lua cheia.
- 0.3 - não é possível encontrar as chaves no chão.
- 0,1 - é impossível andar pela casa sem lanterna.
As câmeras dos smartphones que tiram uma foto começam a ter dificuldades com um nível de luz de 30 lux. Os telefones que capturam vários quadros e os combinam podem durar até 3 lux, mas em condições mais escuras eles não conseguem aguentar e confiar no flash. Com a tecnologia Night Sight, buscamos melhorar a qualidade das fotos na faixa de 3 a 0,3 lux usando um smartphone, uma pressão no disparador e sem flash. Para que isso funcione, são necessários vários elementos-chave, o mais importante dos quais é obter mais quadros.
Nós obtemos os dados
Aumentar o tempo de exposição aumenta o SNR e permite obter imagens mais limpas, mas leva a dois problemas. Primeiro, o modo de disparo padrão nos telefones Pixel usa o Protocolo de
atraso zero (ZSL), que limita o tempo de exposição. O aplicativo da câmera começa a fotografar assim que você o inicia e armazena as fotos em um buffer de anel, que apaga constantemente os quadros antigos, liberando espaço para os novos. Quando você pressiona o disparador, a câmera envia os últimos 9 a 15 quadros para processar o software
HDR + ou
Super Res Zoom . Isso permite capturar exatamente o momento que você precisa - daí a “descida com atraso zero”. No entanto, como estamos ajudando você a mirar, exibimos essas imagens na tela, o HDR + limita a velocidade máxima do obturador a 66 ms, independentemente do nível de iluminação, o que permite ao visor manter uma frequência de pelo menos 15 quadros / s. Para cenas mais escuras em que é necessária uma velocidade mais lenta do obturador, o Night Sight usa a tecnologia PSL (delay positivo de liberação) e aguarda a pressão de um botão antes de tirar fotos. Para usar o PSL, você precisa manter o telefone parado por um tempo depois de pressionar o botão, mas esse modo permite aumentar a velocidade do obturador, melhorando o SNR em condições de baixa iluminação.
O segundo problema de aumentar a velocidade do obturador por quadro é o desfoque devido ao movimento das mãos ou ao movimento de objetos da cena. A Estabilização ótica de imagem (AIS), disponível no Pixel 2 e 3, reduz o efeito de trepidação para velocidades médias do obturador (até 1/8 s), mas não ajuda com velocidades lentas do obturador ou objetos em movimento. Para combater o desfoque não sujeito ao AXIS, o Pixel 3 inclui o modo "medição de movimento" por padrão, que usa um
fluxo óptico para medir movimentos recentes da cena e selecionar uma velocidade do obturador que minimize o desfoque. Os pixels 1 e 2 não usam esse modo por padrão; no entanto, todos os três telefones usam essa tecnologia no modo Visão noturna, aumentando a velocidade do obturador por quadro até 333 ms na ausência de movimento. No Pixel 1, que não possui OSI, não aumentamos muito a velocidade do obturador (e para câmeras selfie que não possuem OSI, o aumento será ainda mais modesto). Se a câmera estiver estabilizada (encostada na parede, coloque um tripé), a velocidade do obturador de cada quadro pode ser aumentada em até um segundo. Além de variar a exposição quadro a quadro, também variamos o número de quadros, de 6 se o telefone estiver em um tripé a 15 se o disparo for manual. Essas limitações de estrutura evitam a fadiga do usuário (e a necessidade de um botão de cancelamento). Portanto, dependendo de quais telefones Pixel você possui, a escolha de câmera, tremor das mãos, movimento e brilho da cena, o modo Visão Noturna leva de 15 quadros com velocidade de obturador de 1/15 s ou menos, até 6 quadros com velocidade de obturador de até 1 seg
Um exemplo específico de uso de uma velocidade curta do obturador ao detectar movimento:
Esquerda: 15 quadros filmados consecutivamente por um dos dois telefones Pixel 3 localizados lado a lado. No centro: uma visão noturna com a medição de movimento desativada, o que força o telefone a usar uma velocidade do obturador de 73 ms. A cabeça do cachorro está borrada. Direita: Visão noturna com medição de movimento ativada; velocidade do obturador de 48 ms. O desfoque é visivelmente menos.Um exemplo de uso de longa exposição quando o telefone está em um tripé:
Esquerda: parte do céu noturno tirada com as mãos da Visão noturna ( foto completa ). As mãos tremiam um pouco, então o Night Sight escolheu 333 ms × 15 quadros = 5,0 segundos. Direita: uma foto de um tripé (a foto inteira ). Nenhum tremor foi registrado, então o Night Sight usou 1,0 s × 6 quadros = 6,0 s. O céu é visto mais nítido, menos ruído, mais estrelas são visíveis.Alinhamento e mesclagem
A idéia de calcular a média de quadros para reduzir o ruído é tão antiga quanto a própria tecnologia de imagem digital. Na astrofotografia, isso é chamado de
empilhamento de exposição . Embora a tecnologia em si seja simples, a parte mais difícil é alinhar adequadamente a imagem ao fotografar na mão. Começamos a trabalhar nesse tópico em 2010 com o aplicativo
Synthcam . Ele constantemente tirava fotografias, alinhava e as mesclava em tempo real em baixa resolução e mostrava o resultado final, que
ficava mais claro quanto mais tempo você assistia.
O Night Sight usa um princípio semelhante, mas com resolução total da matriz e não em tempo real. Nos telefones Pixel 1 e 2, usamos
o algoritmo de mesclagem HDR +, modificado e ajustado para aprimorar a capacidade de detectar e rejeitar partes de quadros alinhadas incorretamente, mesmo em cenas muito barulhentas. No Pixel 3, usamos o
Super Res Zoom , que ajusta dependendo de você ampliar ou não a imagem. Embora o último tenha sido projetado para altas resoluções, ele também é capaz de reduzir o ruído, pois fornece uma média de várias fotos empilhadas. O Super Res Zoom oferece melhores resultados em algumas cenas noturnas do que o HDR +, mas precisa de um processador mais rápido no telefone Pixel 3.
A propósito, tudo isso acontece no telefone em alguns segundos. Se você alternar com rapidez suficiente para a lista de fotos (aguardando o término da filmagem!), Poderá ver como a imagem “aparece” como o HDR + ou o Super Res Zoom terminam o trabalho.
Outras dificuldades
Embora as idéias básicas descritas pareçam simples, na ausência de iluminação suficiente, alguns truques de desenvolvimento do Night Sight se mostraram muito difíceis:
1. O balanço de brancos automático (ABB) não funciona adequadamente com pouca luz
As pessoas percebem bem as cores das coisas, mesmo sob iluminação colorida (ou em óculos de sol), mostrando
constância de cores . No entanto, esse processo geralmente falha quando tiramos uma foto sob uma luz e consideramos em outra; a fotografia parece tingida para nós. Para corrigir esse efeito, as percepções da câmera alteram a cor das imagens para levar em consideração parcial ou totalmente a cor principal da luz de fundo (que às vezes é chamada de
temperatura da
cor ), mudando essencialmente a cor da imagem para que a cena pareça realçada em branco neutro. Esse processo é chamado de
balanço de branco automático.
O problema é que esse problema se refere àqueles que os matemáticos chamam de posição
incorreta . A neve capturada na câmera era realmente azul? Ou é neve branca iluminada por um céu azul? Aparentemente, a última opção. Essa ambiguidade complica a busca por balanço de branco. O algoritmo ABB usado em modos diferentes do Night Sight funciona bem, mas com pouca iluminação ou cores (como
lâmpadas de descarga de sódio ), é difícil distinguir a cor da luz de fundo.
Para resolver esses problemas, desenvolvemos
o algoritmo ABB com base em treinamento, treinado para distinguir uma imagem bem equilibrada de uma imagem mal equilibrada. Quando uma foto está mal equilibrada, o algoritmo pode oferecer opções de mudança de cor para tornar a iluminação mais neutra. Para treinar o algoritmo, foi necessário tirar uma foto de várias cenas diferentes usando dispositivos Pixel e ajustar o equilíbrio manualmente, olhando a foto no monitor com cores bem calibradas. Você pode ver a operação do algoritmo comparando a mesma cena com pouca iluminação, cujas fotos foram feitas usando métodos diferentes usando o Pixel 3:
Esquerda: por padrão, o balanceador da câmera não sabe o quão amarela a iluminação dessa cabana estava na costa de Vancouver ( foto completa ). Certo: nosso algoritmo de aprendizado se saiu melhor ( foto completa ).2. Marcando sombras em cenas muito escuras
O objetivo do Night Sight é tirar fotografias de cenas tão escuras que é difícil distinguir a olho nu - desenvolver algo como superpotência! Relacionado a esse problema está o fato de que, em condições de baixa luminosidade, as pessoas deixam de distinguir cores porque os
cones em nossa retina param de funcionar, deixando tudo em
paus incapazes de distinguir comprimentos de onda da luz. À noite, a cena não perde suas cores, apenas paramos de distingui-las. Queremos que as fotos no Night Sight sejam coloridas - isso faz parte da superpotência e uma possível causa para outro conflito. Finalmente, nossas varinhas têm nitidez espacial limitada, de modo que os objetos aparecem embaçados à noite. Queremos que as fotos no Night Sight sejam claras e tenham mais detalhes do que você pode distinguir.
Por exemplo, se você colocar uma DSLR em um tripé e definir uma velocidade do obturador muito alta - alguns minutos ou sobrepor algumas fotos com uma velocidade do obturador menor -, a foto noturna parecerá uma do dia. Os detalhes serão distinguíveis nas sombras, a cena será colorida e clara. Veja a foto abaixo, tirada por uma DSLR; as estrelas são visíveis, então deve ser noite, mas a grama é verde, o céu é azul e a lua lança sombras de árvores que parecem ensolaradas. O efeito é agradável, mas nem sempre necessário - e se você compartilhar uma foto com um amigo, ele ficará sem saber como a fez.
Vale de Yosemite à noite. Canon DSLR, lente 28mm f / 4, velocidade do obturador de 3 min, ISO 100 ( foto completa )Por centenas de anos, os artistas sabem como fazer uma imagem parecer uma noite:
"Um filósofo explicando o modelo do sistema solar", Joseph Wright, 1766. O artista usa uma variedade de cores, do branco ao preto, mas a cena desenhada é claramente escura. Como ele conseguiu isso? Maior contraste, cercou a cena com escuridão, sombras enegrecidas nas quais nenhum detalhe é visível.No Night Sight, usamos truques semelhantes, em particular, usando a curva em forma de S para marcar tons. No entanto, é muito difícil encontrar um equilíbrio entre "superpotência mágica" e um lembrete de quando a foto foi tirada. Abaixo está uma foto que conseguiu parcialmente:
Pixel 3, 6 segundos com Visão noturna, em um tripé ( foto completa )Quão escuro pode estar para fotografar com o Night Sight?
Quando a iluminação é pior que 0,3 lux, o foco automático começa a falhar. Se você não conseguir ver as chaves do carro no chão, seu smartphone também não poderá se concentrar. Para isso, adicionamos dois botões de foco manual ao modo Night Sight no telefone Pixel 3: "Close" foca a uma distância de pouco mais de um metro, "Far" - a 4 metros. A última é a distância hiperfocal da lente, ou seja, tudo o que está a uma distância de metade (2 m) do infinito deve entrar em foco. Também estamos trabalhando para melhorar a capacidade de foco automático do Night Sight com pouca luz. Você ainda pode tirar fotos bonitas com iluminação abaixo de 0,3 lux e até astrofotografia, conforme demonstrado
neste artigo , mas para isso você precisará de um tripé, foco manual e um aplicativo especial que use a API do Camera2 do Android.
Até onde podemos ir? No final, a um certo nível de iluminação, o ruído de leitura ofusca os fótons coletados pelo sensor. Existem outras fontes de ruído, incluindo
corrente escura , que aumenta proporcionalmente à velocidade do obturador e depende da temperatura. Para evitar esses efeitos, os biólogos resfriam suas câmeras a temperaturas abaixo de -20 ° C para tirar fotos de animais fluorescentes - mas não recomendamos fazer isso com os telefones Pixel! Imagens com muito ruído também são difíceis de alinhar. Mesmo se resolvermos todos esses problemas, o vento está soprando, as árvores estão balançando e as estrelas e as nuvens estão se movendo. Velocidades muito baixas do obturador são difíceis de obter.
Como tirar o máximo proveito do Night Sight
O Night Sight não apenas tira fotos legais com pouca luz: é divertido de usar, porque tira fotos mesmo quando você não vê quase nada. Exibimos a imagem do chip quando a cena é tão escura que, ao usar o Night Sight, a foto fica melhor - mas não se limite apenas a esses casos. Imediatamente após o pôr do sol, em um concerto em um ambiente urbano, o Night Sight tira fotos limpas e com pouco ruído e as torna mais brilhantes que a realidade. Aqui estão algumas fotos de
amostra tiradas com as
comparações Night Sight e
A / B. Aqui estão algumas dicas para usar o Night Sight:
- O modo Visão noturna não funciona na escuridão total; portanto, escolha cenas com um nível baixo de iluminação.
- A iluminação suave e uniforme é melhor do que nítida, criando sombras escuras.
- Para evitar reflexos, tente manter as fontes de luz brilhante fora da vista.
- Para aumentar a velocidade do obturador, clique nas imagens dos objetos e deslize o controle deslizante da velocidade do obturador . Clique novamente para cancelar.
- Para reduzir a exposição, tire uma foto e escureça no editor de fotos ; o ruído será menor.
- Se a cena for tão escura que o foco não funcione, clique na borda contrastante ou na borda da fonte de luz.
- Se isso não funcionar, use os botões Fechar e Distante.
- Para maximizar a clareza, encoste o telefone contra uma parede ou árvore, coloque-o sobre uma mesa ou pedra.
- Night Sight também funciona para selfies no álbum A / B , com a capacidade de iluminar a tela.
Botões de foco manual (somente Pixel 3).O Night Sight funciona melhor no Pixel 3. Fizemos isso tanto para o Pixel 2 quanto para o Pixel original, embora este último use velocidades mais rápidas do obturador devido à falta de estabilização óptica. Além disso, o balanceador de branco automático é treinado no Pixel 3, para que ele funcione com menos precisão em telefones mais antigos. , Night Sight , , 1/15 , . – . !