Anda dapat dimaafkan atas kenyataan bahwa setelah membaca semua komentar pujian tentang fitur baru fotografi malam hari dari Google, Night Sight, Anda memutuskan bahwa perusahaan tersebut baru saja menciptakan film berwarna. Mode pemotretan malam tidak muncul kemarin, dan banyak teknologi yang menjadi basisnya sudah ada selama bertahun-tahun. Namun Google telah melakukan pekerjaan luar biasa dalam menggabungkan keterampilan fotografi komputasi dengan kemampuan pembelajaran mesin yang belum pernah terjadi sebelumnya untuk mendorong batas-batas kemungkinan di luar apa yang kita lihat sebelumnya. Mari kita lihat sejarah teknologi fotografi low-light dengan beberapa bidikan yang diambil secara berurutan, pikirkan tentang bagaimana itu digunakan oleh Google, dan anggaplah bagaimana kontribusi AI terhadapnya.
Kesulitan dalam fotografi cahaya rendah
Semua kamera berjuang untuk mengambil foto dalam cahaya rendah. Tanpa cukup foton per piksel dalam gambar, noise dapat dengan mudah mendominasi. Membiarkan rana terbuka untuk waktu yang lebih lama untuk mengumpulkan lebih banyak cahaya dan mendapatkan gambar yang berguna juga akan meningkatkan jumlah noise. Lebih buruk lagi, cukup sulit untuk mendapatkan gambar yang jelas tanpa tripod yang stabil. Meningkatkan gain (ISO) akan membuat gambar lebih terang, tetapi juga meningkatkan jumlah noise di dalamnya.
Strategi tradisional adalah menggunakan piksel yang lebih besar dalam sensor yang lebih besar. Sayangnya, pada kamera ponsel, sensor, dan, oleh karena itu, pikselnya kecil - mereka bekerja dengan baik dalam cahaya yang baik, tetapi dengan cepat gagal ketika tingkat cahaya menurun.
Akibatnya, para pengembang kamera telepon memiliki dua opsi untuk meningkatkan gambar yang diperoleh dalam cahaya rendah. Yang pertama adalah menggunakan beberapa gambar untuk menggabungkannya menjadi satu, dengan pengurangan noise. Implementasi awal dari strategi semacam itu di perangkat seluler adalah mode SRAW di add-on DxO ONE untuk iPhone. Dia menggabungkan empat gambar RAW menjadi satu yang ditingkatkan. Opsi kedua adalah menggunakan proses pasca cerdik (versi terbaru sering dilengkapi dengan pembelajaran mesin) untuk mengurangi kebisingan dan meningkatkan gambar. Google Night Sight menggunakan kedua pendekatan ini.
Banyak gambar dalam satu pemotretan
Saat ini, kita sudah terbiasa dengan bagaimana ponsel dan kamera menggabungkan beberapa gambar menjadi satu, terutama untuk meningkatkan jangkauan dinamis. Baik itu grup gambar dengan tanda
kurung , seperti yang dilakukan sebagian besar perusahaan, atau HDR + dari Google, yang menggunakan beberapa gambar dengan eksposur singkat, Anda bisa mendapatkan gambar yang sangat bagus - jika artefak yang dihasilkan oleh penggabungan beberapa gambar objek bergerak dapat diminimalkan. Biasanya, bingkai dasar dipilih untuk ini yang paling menggambarkan adegan di mana bagian-bagian berguna dari bingkai lain dilapiskan. Huawei, Google, dan lainnya juga menggunakan pendekatan ini untuk membuat foto
telefoto yang disempurnakan. Baru-baru ini, kami melihat pentingnya memilih frame dasar yang tepat ketika Apple menjelaskan bahwa kekacauan mereka dengan
BeautyGate disebabkan oleh bug di mana frame dasar yang salah dipilih selama pemrosesan foto.
Jelas mengapa Google memutuskan untuk menggabungkan metode ini menggunakan banyak gambar untuk mendapatkan foto yang lebih baik dalam cahaya rendah. Pada saat yang sama, perusahaan memperkenalkan beberapa inovasi yang cerdik di bidang pemrosesan gambar. Kemungkinan besar, akar dari ini terletak pada aplikasi Android dari Mark Livoy,
SeeInTheDark , dan karyanya pada tahun 2015, "Mendapatkan Gambar Ekstrem Menggunakan Ponsel." Livoy adalah pelopor fotografi komputasional dari Stanford, dan kini telah meraih gelar Kehormatan Insinyur saat bekerja pada teknologi kamera di Google. SeeInTheDark (kelanjutan dari pekerjaan sebelumnya, aplikasi SynthCam untuk iOS) menggunakan telepon standar untuk mengakumulasi bingkai, mengubah setiap frame sehingga cocok dengan gambar yang diketik, dan kemudian menerapkan berbagai teknik untuk mengurangi noise dan meningkatkan gambar untuk mendapatkan gambar berkualitas tinggi yang luar biasa dengan harga rendah. pencahayaan. Pada tahun 2017, seorang programmer Google, Florian Kantz, menggunakan beberapa konsep ini untuk
menunjukkan bagaimana ponsel dapat digunakan untuk menangkap gambar berkualitas profesional bahkan dalam cahaya yang sangat redup.
Melapisi banyak gambar dengan pencahayaan rendah adalah teknologi yang terkenal.
Fotografer telah melapis beberapa gambar untuk meningkatkan kualitas gambar yang diambil dalam cahaya rendah, sejak munculnya fotografi digital (saya menduga seseorang melakukan ini dengan film). Sedangkan bagi saya, saya mulai dengan melakukannya secara manual dan kemudian menggunakan alat perangkat lunak Image Stacker yang rumit. karena SLR digital pertama tidak berguna pada ISO tinggi, satu-satunya cara untuk mendapatkan pemotretan malam yang normal adalah dengan mengambil beberapa frame dan melapisinya. Beberapa bidikan klasik, seperti jejak bintang, pada awalnya diambil dengan cara itu. Saat ini tidak begitu sering digunakan ketika menggunakan SLR digital dan kamera mirrorless, karena model modern memiliki alat yang sangat baik untuk mendukung ISO tinggi dan mengurangi kebisingan dari paparan lama. Pada Nikon D850 saya, Anda dapat membiarkan rana terbuka selama 10-20 menit, dan masih mendapatkan foto yang cukup cocok.
Karena itu, masuk akal jika produsen ponsel melakukan hal yang sama. Namun, tidak seperti fotografer yang sabar mengambil jejak bintang dengan tripod, rata-rata pengguna ponsel membutuhkan kepuasan segera, dan mereka hampir tidak akan pernah menggunakan tripod. Oleh karena itu, ponsel memiliki kesulitan tambahan yang terkait dengan kebutuhan untuk mendapatkan gambar dengan cepat dalam cahaya rendah dan meminimalkan kekaburan dari guncangan kamera - dan idealnya, dari pergerakan subjek. Bahkan stabilisasi optik yang tersedia pada banyak model top memiliki keterbatasannya sendiri.
Saya tidak yakin pembuat ponsel mana yang pertama menggunakan beberapa pemotretan untuk mengambil gambar dengan cahaya rendah, tetapi saya adalah yang pertama menggunakan Huawei Mate 10 Pro. Dalam mode Pemotretan Malam, ia mengambil beberapa bingkai dalam 4-5 detik, dan kemudian menggabungkannya menjadi satu foto. Karena pratinjau waktu-nyata Huawei tetap menyala, Anda dapat melihat bagaimana pratinjau menggunakan beberapa opsi eksposur yang berbeda, pada dasarnya membuat beberapa bingkai dengan tanda kurung.
Dalam karya yang menggambarkan HDR + pertama, Livoy mengklaim bahwa frame dengan eksposur berbeda lebih sulit untuk disejajarkan (mengapa HDR + menggunakan beberapa frame dengan eksposur yang sama), oleh karena itu, kemungkinan besar, Penglihatan Malam Google, seperti SeeInTheDark, juga menggunakan beberapa frame dengan eksposur yang sama . Namun, Google (setidaknya dalam versi pra-rilis aplikasi) tidak menampilkan gambar secara real time di layar, jadi saya hanya bisa berspekulasi. Samsung di Galaxy S9 dan S9 + menggunakan taktik yang berbeda dengan lensa bukaan ganda utama. Itu dapat beralih ke mengesankan f / 1.5 dalam kondisi cahaya rendah untuk meningkatkan kualitas gambar.
Perbandingan antara Huawei dan Google dalam pencahayaan rendah
Saya belum memiliki Pixel 3 atau Mate 20, tetapi saya memiliki akses ke Mate 10 Pro dengan Night Shot dan Pixel 2 dengan Night Sight versi pra-rilis. Jadi saya memutuskan untuk membandingkannya sendiri. Dalam uji coba, Google tampaknya melampaui Huawei dengan menunjukkan lebih sedikit noise dan gambar yang lebih jelas. Berikut adalah salah satu dari sekuens tes:
Huawei Mate 10 Pro pada sore hari
Google Pixel 2 di sore hari
Inilah yang bisa Anda dapatkan dengan memotret adegan yang sama dalam kegelapan yang hampir sempurna tanpa mode Bidikan Malam pada Mate 10 Pro. Rana terbuka selama 6 detik, sehingga kekaburan terlihat
Bidikan dalam kegelapan hampir lengkap dengan Night Shot pada Huawei Mate 10 Pro. Data EXIF menunjukkan ISO3200 dan 3 detik total paparan.
Adegan yang sama dengan versi pra-rilis Night Sight on Pixel 2. Warnanya lebih akurat, gambarnya lebih tajam. EXIF menunjukkan ISO5962 dan pencahayaan dalam 1/4 s (mungkin untuk masing-masing dari beberapa frame).Apakah mesin mempelajari komponen rahasia Night Sight?
Mengingat sudah berapa lama tumpang tindih beberapa gambar, dan berapa banyak versi teknologi ini telah digunakan oleh produsen kamera dan telepon, menjadi menarik mengapa Google Night Sight tampak jauh lebih baik daripada yang lain. Pertama, bahkan teknologi dalam karya asli Livoy sangat kompleks, sehingga tahun-tahun yang Google harus perbaiki semestinya memberi perusahaan sebuah awal yang baik. Tetapi perusahaan juga mengumumkan bahwa Night Sight menggunakan pembelajaran mesin untuk memilih warna yang tepat dalam gambar berdasarkan apa yang ada dalam bingkai.
Kedengarannya keren tapi berkabut. Tidak jelas apakah teknologi membedakan objek individu, mengetahui bahwa warnanya harus monofonik, atau melukiskan objek yang terkenal sesuai, atau mengenali jenis umum adegan, seperti yang dilakukan algoritma eksposur otomatis yang cerdas, dan memutuskan seperti apa rupa adegan itu (dedaunan hijau, putih). salju, langit biru). Saya yakin bahwa setelah rilis versi final, fotografer akan mendapatkan lebih banyak pengalaman bekerja dengan fitur ini, dan kami akan dapat mengetahui detail tentang bagaimana teknologi menggunakan MO.
Tempat lain di mana MO bisa berguna adalah perhitungan awal paparan. Teknologi Night Sight HDR + yang mendasarinya, seperti dijelaskan oleh SIGGRAPH Google, bergantung pada serangkaian foto yang dilabeli dengan tangan untuk membantunya memilih eksposur yang tepat. Di area ini, MO dapat membawa beberapa peningkatan, terutama ketika melakukan perhitungan pencahayaan dalam kondisi cahaya rendah, di mana objek pemandangan berisik dan sulit dibedakan. Google juga
bereksperimen dengan menggunakan jaringan saraf untuk meningkatkan kualitas foto pada ponsel, sehingga tidak akan mengejutkan ketika beberapa teknologi ini mulai diimplementasikan.
Apa pun kombinasi teknologi ini yang digunakan Google, hasilnya pasti yang terbaik dari semua kamera yang dapat memotret dalam cahaya rendah hari ini. Saya ingin tahu apakah keluarga Huawei P20 akan dapat memberikan apa pun untuk membawa teknologi Night Shot-nya lebih berkualitas dengan apa yang mereka lakukan di Google.