Você pode ser perdoado pelo fato de que, depois de ler todos os comentários elogiosos sobre o novo recurso da fotografia noturna do Google, Night Sight, você decide que a empresa acabou de inventar um filme colorido. Os modos de fotografia noturna não apareceram ontem e muitas das tecnologias em que se baseiam existem há muitos anos. Mas o Google fez um trabalho incrível ao combinar habilidades de fotografia de computação com recursos sem precedentes de aprendizado de máquina para ultrapassar os limites das possibilidades além do que vimos anteriormente. Vamos examinar o histórico da tecnologia fotográfica com pouca luz com algumas fotos tiradas seguidas, pensar em como ela é usada pelo Google e supor como a IA contribui para ela.
Dificuldade em fotografar com pouca luz
Todas as câmeras estão lutando para tirar fotos com pouca luz. Sem fótons suficientes por pixel na imagem, o ruído pode dominar facilmente. Deixar o obturador aberto por mais tempo para coletar mais luz e obter uma imagem útil também aumentará a quantidade de ruído. Pior, é muito difícil obter uma imagem clara sem um tripé estável. Aumentar o ganho (ISO) tornará a imagem mais clara, mas também aumentará a quantidade de ruído nela.
A estratégia tradicional tem sido usar pixels maiores em sensores maiores. Infelizmente, nas câmeras dos telefones, os sensores e, portanto, os pixels são pequenos - funcionam bem com boa luz, mas rapidamente falham quando o nível de luz diminui.
Como resultado, os desenvolvedores de câmeras de telefone têm duas opções para melhorar as imagens obtidas com pouca luz. O primeiro é usar várias imagens para combiná-las em uma, com redução de ruído. Uma implementação precoce dessa estratégia em um dispositivo móvel foi o modo SRAW no complemento DxO ONE para iPhone. Ele fundiu quatro imagens RAW em uma aprimorada. A segunda opção é usar um pós-processamento engenhoso (as versões mais recentes são geralmente equipadas com aprendizado de máquina) para reduzir o ruído e melhorar a imagem. O Google Night Sight usa as duas abordagens.
Várias imagens de uma só vez
No momento, já estamos acostumados a como telefones e câmeras combinam várias imagens em uma, principalmente para melhorar o alcance dinâmico. Seja um grupo de imagens com
bracketing , como a maioria das empresas, ou o HDR + do Google, que usa várias imagens com uma exposição curta, você pode obter uma excelente imagem - se os artefatos gerados pela fusão de várias imagens de objetos em movimento puderem ser minimizados. Normalmente, um quadro base é selecionado para isso que melhor descreve a cena na qual as partes úteis de outros quadros são sobrepostas. Huawei, Google e outros também usaram essa abordagem para criar fotos
telefoto aprimoradas. Recentemente, vimos a importância de escolher o quadro de base correto quando a Apple explicou que a bagunça com o
BeautyGate era devido a um bug no qual o quadro de base errado foi escolhido durante o processamento de fotos.
Está claro por que o Google decidiu combinar esses métodos de uso de várias imagens para obter fotos aprimoradas com pouca luz. Ao mesmo tempo, a empresa introduz várias inovações engenhosas no campo do processamento de imagens. Provavelmente, as raízes disso estão no aplicativo Android de Mark Livoy,
SeeInTheDark e em seu trabalho de 2015, "Obtendo imagens extremas usando telefones celulares". Livoy foi pioneira em fotografia computacional em Stanford e agora ganhou o título de Engenheiro Honorário enquanto trabalhava em tecnologia de câmeras no Google. O SeeInTheDark (uma continuação de seu trabalho anterior, o aplicativo SynthCam para iOS) usou um telefone padrão para acumular quadros, alterar cada quadro para que ele corresponda à imagem digitada e, em seguida, aplicar várias técnicas para reduzir o ruído e melhorar a imagem para obter imagens incrivelmente de alta qualidade em baixa iluminação. Em 2017, um programador do Google, Florian Kantz, usou alguns desses conceitos para
mostrar como o telefone pode ser usado para capturar imagens de qualidade profissional, mesmo com pouca luz.
Sobrepor várias imagens com pouca luz é uma tecnologia bem conhecida.
Os fotógrafos sobrepuseram várias imagens para melhorar a qualidade das imagens tiradas com pouca luz, desde o advento da fotografia digital (suspeito que alguém tenha feito isso com o filme). Quanto a mim, comecei fazendo isso manualmente e depois usando a complicada ferramenta de software Image Stacker. Como as primeiras SLRs digitais eram inúteis em ISOs altos, a única maneira de obter uma foto noturna normal era pegar alguns quadros e sobrepor-los. Algumas fotos clássicas, como trilhas de estrelas, foram originalmente tomadas dessa maneira. Hoje em dia, não é tão frequentemente usado quando se usa SLRs digitais e câmeras sem espelho, pois os modelos modernos possuem excelentes ferramentas incorporadas para oferecer suporte a ISO alto e reduzir o ruído de longa exposição. Na minha Nikon D850, você pode deixar o obturador aberto por 10 a 20 minutos e ainda assim obter fotos adequadas.
Portanto, é prudente que os fabricantes de telefones façam o mesmo. No entanto, diferentemente dos fotógrafos de pacientes que seguem trilhas de estrelas usando um tripé, o usuário médio de telefone precisa de satisfação imediata e quase nunca usa um tripé. Portanto, o telefone tem dificuldades adicionais associadas à necessidade de obter imagens rapidamente com pouca luz e minimizar o desfoque causado pela trepidação da câmera - e, idealmente, pelo movimento do objeto. Até a estabilização óptica disponível em muitos modelos de topo tem suas próprias limitações.
Não tenho certeza de qual fabricante de telefone foi o primeiro a usar várias fotos para capturar imagens com pouca luz, mas fui o primeiro a usar o Huawei Mate 10 Pro. No modo Night Shot, ele tira vários quadros em 4-5 segundos e os funde em uma foto. Como a visualização em tempo real da Huawei permanece ativada, é possível ver como ele usa várias opções de exposição diferentes, criando essencialmente alguns quadros com bracketing.
No trabalho que descreve o primeiro HDR +, Livoy afirma que os quadros com exposições diferentes são mais difíceis de alinhar (por que o HDR + usa vários quadros com a mesma exposição); portanto, provavelmente, o Night Sight do Google, como o SeeInTheDark, também usa vários quadros com a mesma exposição. . No entanto, o Google (pelo menos na versão de pré-lançamento do aplicativo) não exibe a imagem em tempo real na tela, então só posso especular. A Samsung no Galaxy S9 e S9 + usou uma tática diferente com as principais lentes de abertura dupla. Pode mudar para f / 1.5 impressionante em condições de pouca luz para melhorar a qualidade da imagem.
Comparação entre Huawei e Google com pouca luz
Ainda não tenho um Pixel 3 ou Mate 20, mas tenho acesso ao Mate 10 Pro com Night Shot e ao Pixel 2 com a versão de pré-lançamento do Night Sight. Então eu decidi compará-los eu mesmo. Nos testes, o Google aparentemente superou a Huawei, mostrando menos ruído e uma imagem mais clara. Aqui está uma das sequências de teste:
Huawei Mate 10 Pro à tarde
Google Pixel 2 à tarde
Aqui está o que você pode obter fotografando a mesma cena na escuridão quase completa sem o modo Night Shot no Mate 10 Pro. O obturador fica aberto por 6 segundos, então o desfoque é visível
Um tiro na escuridão quase completa com o Night Shot no Huawei Mate 10 Pro. Os dados EXIF mostram ISO3200 e 3 segundos de exposição no total.
A mesma cena com a versão de pré-lançamento do Night Sight no Pixel 2. As cores são mais precisas, a imagem é mais nítida. EXIF mostra ISO5962 e exposição em 1/4 s (provavelmente para cada um dos vários quadros).O aprendizado de máquina é o componente secreto do Night Sight?
Considerando por quanto tempo houve sobreposição de várias imagens e quantas versões dessa tecnologia foram usadas pelos fabricantes de câmeras e telefones, torna-se interessante o motivo pelo qual o Night Sight do Google parece muito melhor do que os outros. Em primeiro lugar, até a tecnologia no trabalho original de Livoy é muito complexa; portanto, os anos que o Google teve que aprimorá-la deveriam ter dado à empresa um bom avanço. Mas a empresa também anunciou que o Night Sight usa o aprendizado de máquina para selecionar as cores certas na imagem com base no que está no quadro.
Parece legal, mas nebuloso. Não está claro se a tecnologia distingue objetos individuais, sabendo que sua cor deve ser monofônica, ou pintando objetos conhecidos de acordo ou reconhecendo o tipo geral de cena, como fazem os algoritmos inteligentes de exposição automática, e decide como essa cena deve ser (folhagem verde, branco). neve, céu azul). Estou certo de que, após o lançamento da versão final, os fotógrafos ganharão mais experiência trabalhando com esse recurso e poderemos descobrir os detalhes de como a tecnologia usa o MO.
Outro local onde o MO pode ser útil é o cálculo inicial da exposição. A tecnologia Night Sight HDR + subjacente, conforme descrita pelo SIGGRAPH do Google, conta com um conjunto rotulado à mão de milhares de fotografias para ajudá-la a escolher a exposição certa. Nesta área, o MO pode trazer algumas melhorias, especialmente ao realizar cálculos de exposição em condições de pouca luz, onde os objetos da cena são barulhentos e difíceis de distinguir. O Google também
experimentou o uso de redes neurais para melhorar a qualidade das fotos em telefones, portanto, não será uma surpresa quando algumas dessas tecnologias começarem a ser implementadas.
Qualquer que seja a combinação dessas tecnologias que o Google use, o resultado é definitivamente o melhor de todas as câmeras que conseguem fotografar com pouca luz atualmente. Gostaria de saber se a família Huawei P20 será capaz de distribuir algo para trazer sua tecnologia Night Shot mais próxima em qualidade do que eles fizeram no Google.