Kiri: iPhone XS ( foto resolusi penuh ). Kanan: Pixel 3 Night Sight ( foto resolusi penuh ).Night Sight adalah fitur baru dari aplikasi Pixel Camera yang memungkinkan Anda untuk mengambil foto yang jernih dan bersih dalam cahaya yang sangat rendah, bahkan ketika ada sedikit cahaya sehingga mata Anda hanya melihat sedikit. Ini bekerja pada kamera utama dan depan dari ketiga generasi telepon Pixel, dan tidak memerlukan tripod atau lampu kilat. Pada artikel ini, kita akan membahas mengapa sangat sulit untuk mengambil foto dalam cahaya rendah, mendiskusikan fotografi komputasi dan teknologi pembelajaran mesin yang ditumpangkan pada format HDR + dan memungkinkan Night Sight untuk bekerja.
Mengapa sulit mengambil foto dalam cahaya rendah?
Setiap orang yang mengambil foto di tempat yang penerangannya buruk terbiasa dengan noise pada gambar, yang tampak seperti perubahan kecerahan acak dari piksel ke piksel. Untuk kamera smartphone dengan lensa kecil dan photomatrixes, sumber utama noise adalah fluktuasi alami dalam jumlah foton yang masuk ke lensa, yang dikenal sebagai
shot noise . Setiap kamera menderita karenanya, dan akan selalu ada, bahkan dengan kualitas matriks yang ideal. Namun, matriks tidak ideal, oleh karena itu, ketika mengubah muatan listrik yang timbul dari cahaya yang memasuki piksel, sumber kebisingan kedua muncul - kebisingan membaca. Sumber lain juga berkontribusi pada rasio signal-to-noise (SNR), menunjukkan seberapa banyak gambar tetap bebas noise. Untungnya, SNR tumbuh sebanding dengan akar kuadrat dari waktu pencahayaan (atau lebih cepat), oleh karena itu, semakin tinggi pencahayaan, semakin bersih gambar. Namun dalam pencahayaan redup, cukup sulit untuk mempertahankan keheningan cukup lama untuk mengambil bidikan yang baik, dan apa yang Anda potret mungkin juga tidak akan berhenti.
Pada tahun 2014, kami memperkenalkan teknologi fotografi komputasi HDR + yang memperbaiki situasi ini dengan mengambil beberapa pemotretan sekaligus, yang kemudian diposisikan secara terprogram dan digabungkan menjadi satu. Tujuan utama HDR + adalah untuk meningkatkan jangkauan dinamis, yaitu, kemampuan untuk mengambil foto dalam berbagai kondisi pencahayaan (misalnya, saat matahari terbenam atau dalam kasus potret dengan cahaya latar). Semua generasi ponsel Pixel menggunakan HDR +. Ternyata menggabungkan banyak gambar juga mengurangi efek noise pemotretan dan membaca noise, sehingga meningkatkan SNR dalam cahaya redup. Untuk menjaga kejernihan gambar dalam kondisi goyangan tangan dan gerakan subjek, kami menggunakan kecepatan rana pendek. Kami juga membuang bagian gambar yang tidak ditemukan metode penyelarasan yang baik. Ini memungkinkan HDR + menghasilkan gambar yang tajam dan mengumpulkan lebih banyak cahaya.
Seberapa gelap akan menjadi "gelap"?
Tetapi jika mengambil dan menggabungkan banyak bingkai memberikan foto yang lebih tajam dalam cahaya rendah, mengapa tidak menggunakan HDR + untuk mendapatkan beberapa lusin gambar sehingga kita bisa, pada kenyataannya, melihat dalam gelap? Mari kita mulai dengan definisi "kegelapan." Para fotografer, yang mendiskusikan iluminasi pemandangan, sering mengukurnya di
suite . Lux adalah jumlah insiden cahaya pada unit permukaan, diukur dalam lumen per meter persegi. Agar Anda dapat membayangkan tingkat cahaya secara kasar, inilah tabel yang nyaman untuk Anda:
- 30000 - trotoar yang diterangi matahari.
- 10000 - trotoar pada hari yang cerah di tempat teduh.
- 1000 - trotoar pada hari yang suram.
- 300 - penerangan di kantor.
- 150 - lampu meja di rumah.
- 50 - cahaya di restoran.
- 20 - Restoran dengan pencahayaan atmosfer.
- 10 - pencahayaan minimum diperlukan untuk menemukan sepasang kaus kaki yang cocok.
- 3 - trotoar dalam cahaya lentera.
- 1 - lampu minimum untuk membaca koran.
- 0,6 - trotoar di bawah bulan purnama.
- 0,3 - tidak mungkin untuk menemukan kunci di lantai.
- 0,1 - tidak mungkin untuk bergerak di sekitar rumah tanpa senter.
Kamera smartphone yang mengambil satu foto mulai mengalami kesulitan pada tingkat cahaya 30 lux. Telepon yang mengambil beberapa bingkai dan menggabungkannya dapat bertahan hingga 3 lux, tetapi dalam kondisi yang lebih gelap mereka tidak dapat mengatasi dan mengandalkan lampu kilat. Dengan teknologi Night Sight, kami berupaya meningkatkan kualitas foto dalam kisaran dari 3 hingga 0,3 lux menggunakan smartphone, satu tekan pelepas rana dan tanpa blitz. Agar ini berfungsi, beberapa elemen kunci diperlukan, yang paling penting adalah mendapatkan lebih banyak bingkai.
Kami mendapatkan datanya
Meningkatkan waktu bukaan bingkai meningkatkan SNR dan memungkinkan Anda untuk mendapatkan gambar yang lebih bersih, tetapi mengarah ke dua masalah. Pertama, mode pemotretan default pada ponsel Pixel menggunakan Zero
Delay Protocol (ZSL), yang membatasi waktu pencahayaan. Aplikasi kamera mulai memotret segera setelah Anda memulainya, dan menyimpan foto dalam buffer cincin, yang terus-menerus menghapus bingkai lama, membebaskan ruang untuk yang baru. Saat Anda menekan pelepas rana, kamera mengirimkan 9-15 frame terakhir untuk memproses perangkat lunak
HDR + atau
Super Res Zoom . Ini memungkinkan Anda untuk menangkap tepat saat yang Anda butuhkan - karenanya "zero delay descent". Namun, karena kami membantu Anda membidik, kami menampilkan gambar-gambar ini di layar, HDR + membatasi kecepatan rana maksimum hingga 66 ms, terlepas dari tingkat pencahayaan, yang memungkinkan jendela bidik mempertahankan frekuensi setidaknya 15 frame / detik. Untuk adegan redup di mana diperlukan kecepatan rana yang lebih lambat, Night Sight menggunakan teknologi positive release delay (PSL) dan menunggu tombol ditekan sebelum mengambil foto. Untuk menggunakan PSL, Anda perlu menahan telepon untuk sementara waktu setelah menekan tombol, tetapi mode ini memungkinkan Anda untuk meningkatkan kecepatan rana, meningkatkan SNR dalam kondisi pencahayaan yang buruk.
Masalah kedua meningkatkan kecepatan rana per bingkai buram karena goyangan tangan atau gerakan objek pemandangan. Optical Image Stabilization (AIS), tersedia pada Pixel 2 dan 3, mengurangi efek guncangan untuk kecepatan rana sedang (hingga 1/8 detik), tetapi tidak membantu dengan kecepatan rana lambat atau subjek yang bergerak. Untuk mengatasi kekaburan yang tidak tunduk pada AXIS, Pixel 3 menyertakan mode “pengukuran gerak” secara default, yang menggunakan
aliran optik untuk mengukur gerakan pemandangan terkini dan memilih kecepatan rana yang meminimalkan kekaburan. Pixel 1 dan 2 tidak menggunakan mode ini secara default, namun, ketiga ponsel menggunakan teknologi ini dalam mode Night Sight, meningkatkan kecepatan rana per frame hingga 333 ms jika tidak ada gerakan. Pada Pixel 1, yang tidak memiliki OSI, kami tidak meningkatkan kecepatan rana terlalu banyak (dan untuk kamera selfie yang tidak memiliki OSI, kenaikannya akan lebih rendah lagi). Jika kamera stabil (bersandar ke dinding, memakai tripod), kecepatan rana setiap frame dapat ditingkatkan hingga satu detik. Selain memvariasikan paparan frame-by-frame, kami juga memvariasikan jumlah frame, dari 6 jika ponsel menggunakan tripod hingga 15 jika pemotretan dilakukan dengan tangan. Batasan bingkai ini mencegah kelelahan pengguna (dan kebutuhan untuk tombol batal). Jadi, tergantung pada ponsel Pixel yang Anda miliki, pilihan kamera, goyangan tangan, gerakan dan kecerahan pemandangan, mode Night Sight mengambil dari 15 frame dengan kecepatan rana 1/15 dtk atau kurang, hingga 6 frame dengan kecepatan rana hingga 1 detik
Contoh spesifik menggunakan kecepatan rana pendek saat mendeteksi gerakan:
Kiri: 15 bingkai foto secara berurutan oleh salah satu dari dua ponsel Pixel 3 yang terletak berdampingan. Di tengah: bidikan Night Sight dengan pengukuran gerakan dimatikan, yang memaksa ponsel menggunakan kecepatan rana 73 ms. Kepala anjing itu kabur. Kanan: Penglihatan Malam dengan pengukuran gerakan aktif; kecepatan rana 48 ms digunakan. Blur terasa kurang.Contoh menggunakan eksposur lama ketika ponsel pada tripod:
Kiri: bagian dari bidikan langit malam yang diambil dengan tangan Night Sight ( gambar penuh ). Tangan sedikit gemetar, sehingga Night Sight memilih 333 ms × 15 frame = 5.0 detik. Kanan: gambar dari tripod ( seluruh gambar ). Tidak ada jitter yang direkam, jadi Night Sight menggunakan 1,0 s × 6 frame = 6,0 s. Langit terlihat lebih tajam, lebih sedikit noise, lebih banyak bintang yang terlihat.Alignment dan Gabung
Gagasan rata-rata bingkai untuk mengurangi noise sama tuanya dengan teknologi gambar digital itu sendiri. Dalam astrofotografi, ini disebut
penumpukan paparan . Meskipun teknologinya sendiri sederhana, bagian tersulit adalah menyelaraskan gambar dengan benar saat pemotretan dilakukan. Kami mulai mengerjakan topik ini pada 2010 dengan aplikasi
Synthcam . Itu terus-menerus mengambil foto, menyelaraskan dan menggabungkannya secara real time pada resolusi rendah dan menunjukkan hasil akhir, yang
menjadi lebih jelas semakin lama Anda menonton.
Night Sight menggunakan prinsip yang sama, tetapi pada resolusi matriks penuh dan tidak secara real time. Di telepon Pixel 1 dan 2, kami menggunakan
algoritma HDR + gabungan, dimodifikasi dan disetel untuk meningkatkan kemampuan untuk mendeteksi dan menolak bagian bingkai yang tidak selaras bahkan dalam adegan yang sangat bising. Pada Pixel 3 kami menggunakan
Zoom Super Res , yang menyesuaikan tergantung pada apakah Anda memperbesar gambar atau tidak. Dan meskipun yang terakhir dirancang untuk resolusi tinggi, itu juga mampu mengurangi noise, karena memberikan rata-rata beberapa foto yang ditumpuk bersama. Zoom Super Res memberikan hasil yang lebih baik untuk beberapa adegan malam daripada HDR +, tetapi membutuhkan prosesor yang lebih cepat pada ponsel Pixel 3.
Omong-omong, semua ini terjadi pada ponsel dalam beberapa detik. Jika Anda dengan cepat beralih ke daftar foto (setelah menunggu pemotretan selesai!), Anda dapat melihat bagaimana gambar "muncul" ketika HDR + atau Super Res Zoom menyelesaikan pekerjaan mereka.
Kesulitan lain
Meskipun ide-ide dasar yang dijelaskan terdengar sederhana, tanpa adanya pencahayaan yang cukup, beberapa trik pengembangan Night Sight ternyata sangat sulit:
1. Keseimbangan Putih Otomatis (ABB) tidak berfungsi dengan baik dalam cahaya redup
Orang-orang memahami warna benda dengan baik bahkan di bawah pencahayaan berwarna (atau dalam kacamata hitam), menunjukkan
keteguhan warna . Namun, proses ini sering gagal ketika kita mengambil foto dalam satu cahaya, dan mempertimbangkan yang lain; foto itu tampaknya diwarnai bagi kita. Untuk memperbaiki efek ini, persepsi kamera mengubah warna gambar menjadi sebagian atau sepenuhnya memperhitungkan warna utama lampu latar (yang kadang-kadang disebut
suhu warna ), pada dasarnya menggeser warna gambar sehingga adegan tampak disorot dalam warna putih netral. Proses ini disebut
keseimbangan putih otomatis.
Masalahnya adalah bahwa masalah ini merujuk pada orang-orang yang oleh para ahli matematika disebut
salah posikan . Apakah salju yang ditangkap di kamera benar-benar biru? Atau apakah salju putih diterangi oleh langit biru? Ternyata opsi terakhir. Ambiguitas ini menyulitkan pencarian white balance. Algoritma ABB yang digunakan dalam mode selain Night Sight berfungsi dengan baik, tetapi dalam pencahayaan yang buruk atau berwarna (seperti
lampu pelepasan natrium ) sulit untuk melihat warna cahaya latar.
Untuk mengatasi masalah ini, kami mengembangkan
algoritma ABB berdasarkan pelatihan, dilatih untuk membedakan gambar yang seimbang dari yang sangat seimbang. Ketika foto kurang seimbang, algoritme mungkin menawarkan opsi pengalihan warna untuk membuat pencahayaan tampak lebih netral. Untuk melatih algoritme, perlu mengambil foto dari berbagai adegan menggunakan perangkat Pixel, dan mengatur keseimbangannya secara manual, melihat foto di monitor dengan warna yang terkalibrasi dengan baik. Anda dapat melihat pengoperasian algoritme dengan membandingkan pemandangan yang sama dengan pencahayaan yang buruk, foto yang dibuat menggunakan metode berbeda menggunakan Pixel 3:
Kiri: penyeimbang dalam kamera secara default tidak tahu seberapa kuning penerangan pondok ini di pantai Vancouver ( foto lengkap ). Kanan: algoritme pembelajaran kami lebih baik ( foto lengkap ).2. Menandai corak pada adegan yang terlalu gelap
Tujuan Night Sight adalah untuk mengambil foto pemandangan yang sangat gelap sehingga sulit dibedakan dengan mata telanjang - untuk mengembangkan sesuatu seperti negara adidaya! Terkait dengan masalah ini adalah kenyataan bahwa dalam kondisi pencahayaan yang buruk orang tidak lagi membedakan warna karena
kerucut di retina kami berhenti bekerja, meninggalkan segalanya pada
tongkat yang tidak mampu membedakan panjang gelombang cahaya. Di malam hari, pemandangannya tidak kehilangan warnanya, kami hanya berhenti membedakannya. Kami ingin foto dalam Night Sight berwarna - ini adalah bagian dari kekuatan super dan kemungkinan penyebab konflik lainnya. Akhirnya, tongkat kami memiliki ketajaman spasial terbatas, sehingga objek tampak buram di malam hari. Kami ingin foto dalam Night Sight menjadi jelas dan memiliki lebih banyak detail daripada yang dapat Anda bedakan.
Misalnya, jika Anda meletakkan DSLR pada tripod dan mengatur kecepatan rana yang sangat tinggi - beberapa menit, atau menumpangkan beberapa foto dengan kecepatan rana yang lebih pendek - maka foto malam akan terlihat seperti hari pertama. Detailnya akan dibedakan dalam bayangan, adegan akan berwarna dan jelas. Lihat foto di bawah ini, diambil oleh DSLR; bintang terlihat, jadi itu pasti malam, tetapi rumputnya hijau, langit biru, dan bulan melemparkan bayangan pohon yang terlihat seperti cerah. Efeknya menyenangkan, tetapi tidak selalu perlu - dan jika Anda berbagi foto seperti itu dengan seorang teman, ia akan bingung bagaimana Anda membuatnya.
Lembah Yosemite di malam hari. Canon DSLR, lensa 28mm f / 4, kecepatan rana 3 menit, ISO 100 ( foto lengkap )Selama ratusan tahun, seniman telah tahu cara membuat gambar terlihat seperti malam:
"Seorang Filsuf yang Menjelaskan Model Tata Surya," Joseph Wright, 1766. Sang seniman menggunakan berbagai warna, dari putih hingga hitam, tetapi adegan yang digambar jelas gelap. Bagaimana dia mencapai ini? Peningkatan kontras, dikelilingi adegan dengan kegelapan, bayangan menghitam di mana tidak ada detail yang terlihat.Dalam Night Sight, kami menggunakan trik serupa, khususnya, menggunakan kurva berbentuk S untuk menandai warna. Namun, cukup sulit untuk menemukan keseimbangan antara "kekuatan super magis" dan pengingat waktu foto itu diambil. Di bawah ini adalah foto yang sebagian berhasil:
Pixel 3, 6 detik dengan Night Sight, pada tripod ( foto lengkap )Seberapa gelap untuk memotret dengan Night Sight?
Ketika pencahayaan lebih buruk dari 0,3 lux, fokus otomatis mulai gagal. Jika Anda tidak dapat melihat kunci mobil tergeletak di lantai, ponsel cerdas Anda juga tidak dapat fokus. Untuk melakukan ini, kami menambahkan dua tombol fokus manual ke mode Night Sight pada telepon Pixel 3: "Tutup" berfokus pada jarak lebih dari satu meter, "Jauh" - pada 4 meter. Yang terakhir adalah jarak hyperfocal lensa, yaitu segala sesuatu yang berada pada jarak setengah (2 m) hingga tak terbatas harus menjadi fokus. Kami juga berupaya meningkatkan kemampuan autofokus Night Sight dalam cahaya rendah. Anda masih dapat mengambil foto-foto indah dengan pencahayaan di bawah 0,3 lux dan bahkan astrofotografi, seperti diperlihatkan dalam
artikel ini , tetapi untuk ini Anda akan memerlukan tripod, fokus manual dan aplikasi khusus yang menggunakan API Android Camera2.
Seberapa jauh kita bisa melangkah? Pada akhirnya, pada tingkat pencahayaan tertentu, noise pembacaan menaungi foton yang dikumpulkan oleh sensor. Ada sumber kebisingan lainnya, termasuk
arus gelap , yang meningkat sebanding dengan kecepatan rana dan tergantung suhu. Untuk mencegah efek seperti itu, ahli biologi mendinginkan kamera mereka pada suhu di bawah -20 ° C untuk mengambil gambar hewan fluorescent - tetapi kami tidak menyarankan melakukan ini dengan telepon Pixel! Gambar yang terlalu berisik juga sulit disejajarkan. Bahkan jika kita menyelesaikan semua masalah ini, angin bertiup, pohon-pohon berayun, dan bintang-bintang dan awan-awan bergerak. Kecepatan rana yang sangat lambat sulit diambil.
Cara mendapatkan hasil maksimal dari Night Sight
Night Sight tidak hanya mengambil gambar yang keren dalam cahaya redup: itu juga menyenangkan untuk digunakan, karena itu mengambil gambar bahkan ketika Anda melihat hampir tidak ada. Kami menampilkan gambar chip saat pemandangan sangat gelap sehingga saat menggunakan Night Sight foto akan menjadi lebih baik - tetapi jangan membatasi diri Anda hanya untuk kasus ini saja. Segera setelah matahari terbenam, di sebuah konser di lingkungan perkotaan, Night Sight mengambil foto yang bersih dan tidak berisik dan menjadikannya lebih terang daripada kenyataan. Berikut adalah beberapa
contoh foto yang diambil dengan
perbandingan Night Sight dan
A / B. Berikut adalah beberapa tips untuk menggunakan Night Sight:
- Night Sight tidak berfungsi dalam kegelapan total, jadi pilihlah adegan dengan tingkat pencahayaan yang rendah.
- Pencahayaan yang lembut bahkan lebih baik daripada tajam, menciptakan bayangan gelap.
- Untuk menghindari silau, usahakan agar sumber cahaya yang terang tidak terlihat.
- Untuk meningkatkan kecepatan rana, klik pada gambar objek, dan geser slider kecepatan rana . Klik lagi untuk membatalkan.
- Untuk mengurangi eksposur, ambil foto dan gelapkan di editor foto ; kebisingan akan lebih sedikit.
- Jika pemandangan sangat gelap sehingga fokus tidak berfungsi, klik pada batas kontras atau pada batas sumber cahaya.
- Jika ini tidak berhasil, gunakan tombol Tutup dan Jauh.
- Untuk memaksimalkan kejernihan, sandarkan ponsel pada dinding atau pohon, letakkan di atas meja atau batu.
- Night Sight juga berfungsi untuk selfie di album A / B , dengan kemampuan untuk menyorot layar.
Tombol fokus manual (Pixel 3 saja).Night Sight bekerja paling baik pada Pixel 3. Kami melakukannya untuk Pixel 2 dan Pixel asli, meskipun yang terakhir menggunakan kecepatan rana yang lebih cepat karena kurangnya stabilisasi optik. Juga, penyeimbang putih otomatis dilatih pada Pixel 3, sehingga ini akan bekerja kurang akurat pada ponsel yang lebih lama.
Ngomong-ngomong, kami membuat jendela bidik dalam mode Night Sight lebih terang sehingga lebih mudah bagi Anda untuk membidik, tetapi bekerja dengan kecepatan rana 1/15 dtk, sehingga akan menjadi bising dan tidak akan memberikan gambaran tentang kualitas foto akhir. Jadi beri dia kesempatan - bidik dan tekan pelatuk. Seringkali Anda akan terkejut!