Hampir dua abad keberadaan kamera seharusnya tidak membuat para insinyur memiliki kesempatan untuk menambahkan "sesuatu yang lain". Kamera modern merekam video berkualitas tinggi, mengunggah foto ke cloud dan mengambil tag geo. Kita dapat mengambil panorama dan 360 °, menonton bintang-bintang dan memperlambat waktu. Tetapi kemajuan tidak berhenti, tetapi bergegas ke masa depan, didorong oleh pikiran yang ingin tahu.
Teknologi yang akan dibahas hari ini bukanlah hal yang baru. Tetapi cara itu diterapkan pasti patut dipertimbangkan. Ini akan menjadi lensa bidang cahaya yang menarik yang dapat digunakan dengan kamera DSLR apa pun.
Apa itu Ligh-field dan apa yang dimakannya?
Istilah
bidang cahaya itu sendiri diusulkan oleh fisikawan Soviet Gershun pada tahun 1936 dalam karyanya tentang sifat radiometrik cahaya.
Bidang cahaya adalah fungsi vektor yang menjelaskan lewat cahaya ke segala arah melalui titik di ruang angkasa.
Sinar cahaya (atau lebih tepatnya arahnya) untuk titik tertentu dalam ruang dapat dijelaskan oleh lima parameter (fungsi plenoptic 5D):
x ,
y ,
z koordinat dan dua sudut
θ dan
ϕ . Dengan mengintegrasikan vektor lapangan yang diperoleh dari berbagai sudut pandang, kami memperoleh nilai pencahayaan total. Dan memiliki deskripsi lengkap tentang sinar cahaya di ruang angkasa, kita dapat secara akurat menentukan, misalnya, seperti apa objek dari sudut pandang mana pun.
Apa aplikasi praktis dari teori bidang cahaya? Salah satu area yang paling menarik adalah kamera bidang cahaya. Tidak seperti kamera klasik, merekam intensitas cahaya pada titik-titik objek, kamera bidang cahaya juga memperhitungkan arah sinar, keluar dan titik-titik ini. Dengan kata lain, kita menangkap sinar "individu" yang berasal dari objek. Dan ini, pada gilirannya, memungkinkan Anda untuk mendapatkan koordinat fisik objek dalam ruang dan peta kedalaman.
Bagaimana cara mengatur kamera lapangan cahaya?
Kita sudah tahu bahwa kamera jenis ini seharusnya merekam tidak hanya intensitas, tetapi juga arah sinar cahaya yang berasal dari objek. Salah satu cara untuk mengimplementasikan ini adalah dengan menggunakan berbagai lensa di depan sensor optik. Lensa ini mengumpulkan sinar cahaya dari objek yang terletak di bagian tertentu dari pemandangan dan memfokuskannya pada sensor.
Penting untuk dipahami bahwa dalam hal ini lensa utama lensa tidak lagi memfokuskan gambar pada sensor. Alih-alih, sinar diproyeksikan ke bidang susunan lensa (pada kamera klasik, sensor terletak persis di bidang ini), susunan lensa berlalu, dan hanya kemudian jatuh ke sensor, membentuk gambar mosaik dari berbagai bagian pemandangan.
Gambar tersebut menunjukkan diagram operasi lensa yang disederhanakan. Berkat organisasi licik dari sistem optik, pada akhirnya, kami mendapatkan bukan hanya satu, tetapi banyak gambar objek, dan setiap gambar tersebut menciptakan representasi unik objek dari sudut pandang yang unik.
Namun, skema ini memiliki sejumlah kelemahan, seperti tingginya biaya produksi, kompleksitas kalibrasi, kontrol aperture, dan parameter sistem lainnya. Salah satu contoh paling terkenal dari kamera tersebut adalah produk Lytro - kamera Lytro Illum (proyek ini tampaknya dibekukan)
Bisakah Anda membuatnya lebih mudah?
Kamu bisa. Lensa yang ingin saya bicarakan dalam artikel ini tidak mengandung array lensa mikro. Alih-alih, sebuah sistem digunakan, yang merupakan "saluran" cermin dengan bagian persegi panjang (kotak cermin), di mana, berkat beberapa refleksi, gambar kaleidoskopik terbentuk, yang direkam oleh sensor kamera dengan cara biasa.
Sebuah perusahaan kecil Jerman sedang berkembang. Lensa ini dalam tahap prototipe yang berfungsi penuh, dan prinsip operasinya cukup sederhana.
Gambar yang diperoleh oleh sistem terlihat seperti ini:
Elemen-elemen di sini dicerminkan. Gambar kaleidoskopik yang tidak biasa seperti itu merupakan konsekuensi dari pantulan sinar di "saluran cermin".
Dan inilah bagaimana perbedaan absolut dari pasangan elemen yang dipulihkan terlihat (piksel cerah berarti perbedaan nilai yang lebih besar):
Dengan kata lain, kita tidak memiliki apapun selain pasangan stereo. Atau lebih tepatnya, stereo sembilan (elemen 3x3). Mengubah parameter geometris saluran, kita bisa mendapatkan 5x5 dan bahkan dimensi besar, yang, bagaimanapun, tidak masuk akal dalam kehidupan nyata dan bahkan membahayakan.
Jadi, kami memiliki satu set gambar yang membentuk gambar kaleidoskopik. Apa selanjutnya
Di sinilah perangkat keras optik analog yang hangat berakhir, dan soft digital dingin dimulai.
Kalibrasi
Apa pun aplikasinya, gambar harus dipulihkan (Anda harus mengkalibrasi seluruh sistem optik, dan menerapkan data kalibrasi yang diperoleh ke gambar). Prosesnya agak membosankan, tetapi penting, karena berbagai elemen gambar kaleidoskopik harus “dikoordinasikan” satu sama lain (bahkan perbedaan / beberapa piksel / perbedaan elemen yang sangat dapat merusak hasil dan kesan). Ada banyak karya tentang topik kalibrasi, jadi tidak masuk akal untuk mengungkapkan detailnya. Anda hanya perlu mengingat bahwa kalibrasi sangat penting untuk aplikasi stereo apa pun.
Peta kedalaman
Setelah menerima gambar "datar", kita dapat membangun peta yang dalam.
Ini mungkin bagian yang paling penting dan paling sulit dalam pipa. Kualitas aplikasi akhir tergantung pada kualitas peta kedalaman. Dan kualitas peta kedalaman, pada gilirannya, tergantung pada kualitas kalibrasi, algoritma yang dipilih, dan "kompleksitas" pemandangan.
Tetapi terlepas dari algoritma, tugasnya selalu sama - untuk menemukan titik yang sesuai dari gambar Kiri dan Kanan (dan dalam kasus kami + 7 gambar lainnya) dan menghitung jarak (disparitas) di antara mereka. Nilai jarak akan menjadi kebalikan dari nilai kedalaman untuk piksel yang diberikan.
Mengapa menggunakan 9 gambar jika Anda bisa bergaul dengan dua? Jelas, dengan menggunakan lebih banyak gambar, kami memiliki lebih banyak informasi tentang adegan dan sebagian dapat memecahkan beberapa masalah algoritma yang ada untuk memperkirakan peta kedalaman.
Di antara masalah klasik dari algoritma tersebut:
- Permukaan monoton satu warna tanpa tekstur - algoritme tidak memiliki apa pun untuk "ditangkap" dalam proses menemukan kecocokan
- Objek yang tumpang tindih (terlihat dari satu sudut dan tidak terlihat dari yang lain)
- Bayangan dan refleksi pada permukaan cermin atau mengkilap
- Struktur biasa seperti sel dan garis menimbulkan masalah, karena tidak selalu jelas sel gambar A mana yang sesuai dengan sel gambar B.
- Perbatasan gambar - masalah yang mirip dengan masalah objek yang tumpang tindih. Di perbatasan gambar, informasi pasti hilang dari sudut manapun.
Ada banyak kualitas dan tidak terlalu algoritma untuk membangun peta yang mendalam. Perkembangan yang paling menjanjikan sekarang di bidang pendekatan hybrid menggunakan metode klasik dan berbagai teknik pembelajaran mesin (CNN, DNN). Seperti biasa, pilihan algoritma adalah kompromi antara kecepatan dan kualitas. Untungnya, dalam fotografi kita mampu melangkah mundur dari waktu nyata dan mendapatkan peta kedalaman yang lebih baik.
Sebagai contoh kami, peta kedalaman terlihat seperti ini:
Posting fokus
Kami punya peta kedalaman, apa yang harus dilakukan dengan itu sekarang? Informasi tentang keterpencilan objek seringkali bermanfaat. Salah satu aplikasi populer adalah post fokus.
Keluar dari fokus adalah salah satu masalah fotografer. Apakah Anda memperhatikan bahwa dalam gambar asli seluruh adegan dalam fokus? Ini adalah bagaimana post-focus berdasarkan peta kedalaman terlihat seperti:
Perlu dicatat bahwa dengan pendekatan ini, kita sebenarnya menyingkirkan sifat fisik sistem optik. Ini memungkinkan, misalnya, untuk membuat gambar secara algoritmik dengan beberapa trik. Atau secara terprogram mengubah kedalaman ruang yang digambarkan dengan tajam (Depth of Field).
Aplikasi lain
Pasca-fokus adalah yang utama, tetapi masih bukan satu-satunya aplikasi. Secara umum, lensa ini dapat dianggap sebagai array kamera virtual (9 pcs). Dengan demikian, ini berlaku untuk semua aplikasi yang dapat Anda bayangkan untuk berbagai kamera, misalnya:
- Filter polarisasi - masing-masing dari 9 elemen gambar memiliki filter polarisasi sendiri dengan arah tertentu. Ini memungkinkan Anda untuk mendapatkan 9 gambar dengan polarisasi berbeda dalam satu pemotretan dan bahkan membuat rangkaian video dengan perubahan arah polarisasi yang mulus
- HDR (High-Dynamic-Range) - prinsip yang sama: 9 filter + algoritma berbeda untuk "kombinasi" kecerahan yang optimal
- Perspektif berubah
- Pengeditan berbasis kedalaman - memungkinkan Anda menerapkan berbagai filter ke kedalaman berbeda. Misalnya, buat latar belakang hitam dan putih, dengan menyoroti latar depan.
- Segmentasi - pemilihan objek yang terletak pada jarak tertentu
- Pengukuran jarak - penggaris untuk gambar. Ini bekerja sangat baik untuk adegan "dangkal" yang perbedaannya lebih mudah untuk dihitung.
- Aplikasi untuk industri - berbagai cara untuk menilai kualitas dan pemantauan produksi
Kesimpulan
Pertanyaan tentang biaya akhir lensa ini masih terbuka, tetapi beberapa parameter fisik telah ditentukan. Diketahui bahwa panjangnya tidak boleh melebihi 20 cm, dan massa - 800 g. Dikatakan bahwa perangkat ini terutama akan kompatibel dengan kamera Sony, Canon dan Nikon.
Di luar artikel, ada topik penting seperti penggunaan praktis kamera standar dengan viewfinder, pemulihan resolusi (resolusi super), algoritma pemrosesan dan integrasi dengan editor grafis. Saya akan membicarakan ini lain kali.
Terima kasih atas perhatian anda!