Beberapa waktu lalu, penulis berkesempatan memberikan kuliah di VGIK, dan ada banyak orang dari rumah kamera di antara hadirin. Penonton ditanya: "Dengan resolusi maksimum apa yang Anda potret?", Dan ternyata sekitar tembakan ketiga 4K atau 8 megapiksel, sisanya - tidak lebih dari 2K atau 2 megapiksel. Itu tantangan! Saya harus menceritakan tentang kamera dengan resolusi 755 megapiksel (resolusi mentah, tepatnya, karena memiliki 4K final) dan kemungkinan menarik apa yang diberikan untuk pemotretan profesional.

Kamera itu sendiri terlihat seperti ini (sejenis gajah kecil):



Selain itu, saya akan membuka rahasia yang mengerikan, untuk mengambil gambar ini kami mencari sudut yang lebih baik dan orang yang lebih besar. Kebetulan saya merasa kamera ini hidup, saya akan mengatakan bahwa tampilannya jauh lebih besar. Gambar di bawah ini dengan Yon Karafin, dengan siapa kita tentang ketinggian yang sama, lebih akurat mencerminkan skala bencana:



Siapa yang peduli pada prinsipnya tentang kemampuan video terhitung yang jarang mereka tulis - seluruh kebenaran ada di bawah jalan! )

Diskusi tentang kemungkinan plenoptik mengingatkan saya pada diskusi tentang pesawat pertama:

---

Apa kata orang:
- Ini sangat mahal ...
- YA!
- Ini benar-benar tidak praktis dan sekarang tidak menghasilkan ...
- YA!
- Berbahaya menggunakan ...
- Sial, YA!
- Itu terlihat celaka!
- Sial, YA, tapi itu TERBANG, Anda tahu, LE-TA-ET !!!

---

Setelah 50 tahun, percobaan ini memunculkan cara baru yang secara fundamental baru, nyaman dan cukup aman untuk bergerak melintasi lautan (dan tidak hanya).

Situasinya sama di sini. Sama persis! Sekarang ini membutuhkan biaya yang tidak masuk akal, sangat tidak nyaman untuk digunakan dan terlihat menyedihkan, tetapi itu benar-benar TERBANG! Dan untuk menyadari prinsip-prinsip dan prospek yang muncul - itu hanya di luar kepercayaan yang menginspirasi (setidaknya hamba Anda yang rendah hati)!

Monster di foto di atas agak mengingatkan pada kamera pertama, yang juga besar, dengan lensa besar, dan diputar pada bingkai khusus:


Sumber: Pengambilan gambar televisi di Olimpiade pada tahun 1936 pada waktu fajar televisi

Di sini banyak terlihat seperti, juga lensa besar (karena ada juga tidak cukup cahaya), kamera berat dengan suspensi khusus, ukuran besar:


Sumber: Lytro siap untuk selamanya mengubah pembuatan film

Dari yang menarik: "koper" di bawah ini adalah sistem pendingin cair, jika kamera tidak dapat mengambil gambar lebih jauh.

Kotak besar di bawah lensa (terlihat jelas pada foto pertama di atas) bukan lampu latar, tetapi lidar - pencari jangkauan laser yang menyediakan pemandangan tiga dimensi di depan kamera.

Sebuah tourniquet hitam tebal di kiri bawah di latar belakang adalah seikat kabel serat optik berdiameter sekitar 4 sentimeter, di mana kamera mengirimkan aliran informasi yang mengerikan ke penyimpanan khusus.

Mereka yang ada di topik sudah mengenali Lytro Cinema , di mana 3 buah dibuat. Yang pertama, yang biasanya muncul di semua gambar, mudah dikenali oleh satu lidar di bawah lensa. Setelah 1,5 tahun, kamar kedua dibuat dengan masalah struktural yang diperbaiki dari yang pertama dan dua lidar (dan, sayangnya, hampir tidak ada yang menulis tentang itu). Selain itu, kemajuan dalam pengembangan, misalnya, dari kapar dalam 1,5 tahun begitu besar sehingga dua kapar dari ruang kedua memberikan 10 kali lebih banyak poin daripada satu lidar dari yang pertama. Kamera ketiga seharusnya memiliki karakteristik resolusi yang kira-kira sama (untuk memenuhi persyaratan pembuat film), tetapi menjadi setengah ukuran (yang sangat penting untuk penggunaan praktis). Tapi ... tetapi lebih lanjut tentang itu nanti.

Bagaimanapun, dengan segala cara mengenali peran luar biasa yang dimainkan Lytro dalam mempopulerkan teknologi penembakan pleno , saya ingin mencatat bahwa cahaya tidak menyatu di atasnya. Kamera serupa dibuat di Institut Fraunhofer , Raytrix , produsen kamera plenoptik, dengan aman ada, dan sekali lagi saya tidak diizinkan mengambil gambar Bioskop Lytro, karena saya sangat takut pada beberapa perusahaan Cina yang aktif bekerja ke arah ini (tidak ada informasi baru yang ditemukan mengenai mereka).

Oleh karena itu, mari kita tuliskan poin semua keuntungan yang diberikan plenoptik, dan tentang apa yang hampir tidak mereka tulis. Tetapi justru karena itu dijamin akan berhasil.

Alih-alih memperkenalkan

Hanya di Habré dan hanya Lytro yang disebutkan di sekitar 300 halaman , oleh karena itu kami akan pendek.

Konsep kunci untuk pemotretan plenoptik adalah bidang cahaya, yaitu, kami tidak memperbaiki warna piksel di setiap titik, tetapi matriks dua dimensi piksel, mengubah kerangka dua dimensi yang menyedihkan menjadi kerangka empat dimensi yang normal (biasanya dengan resolusi sangat kecil dalam t dan sejauh ini):



Dalam Wikipedia bahasa Inggris , dan kemudian dalam bahasa Rusia dalam artikel tentang bidang cahaya dikatakan bahwa "Ungkapan" bidang cahaya "digunakan oleh A. Gershun di ... 1936." Dalam keadilan, kami mencatat bahwa ini bukan kebetulan "frase yang digunakan", tetapi nama sebuah buku kecil 178 halaman , yang disebut "Light Field":



Dan bahkan pada waktu itu, karya-karya ini cukup diterapkan di alam dan penulis 6 tahun kemudian pada puncak perang pada tahun 1942 menerima Hadiah Stalin tingkat kedua untuk metode pemadaman.

Dalam praktiknya, memotret bingkai empat dimensi dari bidang cahaya menyediakan berbagai mikrolensa yang terletak di depan sensor kamera:


Sumber: plenoptic.inf (Anda dapat mengklik dan melihat dalam resolusi penuh)

Sebenarnya, justru karena kami memiliki berbagai mikrolensa dengan jarak kecil di antara mereka yang memungkinkan untuk membuat Lytro Cinema, sensor yang dirangkai dari berbagai sensor yang batas-batasnya jatuh di perbatasan lensa. Pendinginan cairan diperlukan untuk mendinginkan massa yang sangat panas.


Sumber: Menggunakan Kamera Plenoptik Berfokus untuk Pengambilan Gambar Kaya

Hasilnya, kami mendapatkan kemungkinan paling terkenal dari kamera plenoptik, yang tidak ditulis oleh orang malas - untuk mengubah jarak pemfokusan setelah pemotretan diambil (burung lucu ini tidak akan menunggu fokus):


Sumber: Lytro

Dan sedikit yang telah ditulis tentang bagaimana plenoptik terlihat dalam resolusi yang cocok untuk sebuah film (dibuka dengan klik):


Sumber: Tonton Lytro Ubah Sinematografi Selamanya

Saya membuka rahasia lain: fokus yang diperhitungkan adalah puncak gunung es dari plenoptik. Dan 90% peluang yang tersisa di bawah tingkat minat jurnalis menurut saya bahkan lebih menarik. Banyak dari mereka layak mendapatkan artikel yang terpisah, tetapi mari kita perbaiki ketidakadilan dan paling tidak menyebutnya. Ayo pergi!

Bentuk Apertur yang Dihitung

Karena kita berbicara tentang defocus, perlu disebutkan apa yang disebut efek bokeh , di mana silau tidak selalu bulat



Untuk fotografer, yang disebut Bokeh Kit dirilis , yang memungkinkan Anda untuk mendapatkan silau dari berbagai bentuk:



Ini memungkinkan Anda untuk mendapatkan gambar yang cukup cantik, dan foto di bawah ini dengan jelas menunjukkan bahwa kilauan dalam bentuk hati bahkan memiliki batu di latar depan, hanya hati yang lebih kecil. Dan jelas bahwa mencoba mengaburkan secara alami dengan cara serupa di Photoshop sangat sulit, setidaknya disarankan untuk menggunakan peta kedalaman:



Pada saat yang sama, bagi plenoptik untuk "menghitung" aperture yang berbeda adalah tugas yang relatif mudah:



Jadi! Kami menghitung jarak fokus, menghitung bentuk bukaan, melangkah lebih jauh, lebih menarik di sana!

Stereo Terkomputasi

Fitur yang sangat berguna dari sensor plenoptik, yang hampir tidak ada yang menyebutkan, tetapi yang telah memberikannya kehidupan kedua, adalah kemampuan untuk menghitung gambar dari titik yang berbeda. Lokasi titik sebenarnya ditentukan oleh ukuran lensa. Jika lensanya kecil, bingkai mungkin bergeser sedikit ke kiri dan ke kanan, seperti dalam contoh ini (bahwa foto stereo ini terlihat jika Anda melihat dada burung terdekat):


Sumber: Lytro

Jika lensanya besar, seperti, misalnya, Lytro Cinema, maka titik pemotretan dapat digeser 10 sentimeter. Biarkan saya mengingatkan Anda bahwa di antara mata kami, kami memiliki sekitar 6,5 sentimeter, yaitu, dengan jarak maksimum 10 cm, Anda dapat menembak kedua rencana umum (dan itu akan menjadi "tiga dimensi" daripada jika Anda melihat dengan mata Anda) dan close-up (dengan paralaks tanpa rasa tidak nyaman). Padahal, ini artinya kita bisa merekam video stereo penuh dengan satu lensa. Selain itu, tidak hanya stereo, tetapi stereo dengan kualitas sempurna dan kedengarannya fantastis hari ini - dengan jarak variabel antara sumbu optik kamera virtual SETELAH pemotretan. Baik itu, maupun yang lain - peluang yang benar-benar tidak terpikirkan yang pada akhirnya dapat mengubah situasi dengan menembak stereo di masa depan.

Karena masa depan entah bagaimana dalam pemotretan tiga dimensi, mari kita membahas dua poin ini lebih detail. Sudah bukan rahasia lagi bahwa saat ini sebagian besar film 3D, terutama blockbuster, tidak dihapus, tetapi dikonversi ke 3D. Ini dilakukan karena ketika memotret, daftar panjang masalah muncul (di bawah ini adalah bagian dari daftar):

• Frame dapat diputar, digeser secara vertikal atau diperbesar satu relatif ke yang lain (jangan katakan bahwa ini mudah diperbaiki, lihat seberapa sering frame tersebut jatuh ke rilis film - ini adalah horor yang tenang ... dan sakit kepala). Jadi - stereo plenoptik selaras dengan SEMPURNA, bahkan jika operator memutuskan untuk memperbesar rencana (karena mekanisme di kedua kamera, sangat sulit untuk membuat perkiraan sinkron secara ketat).
  
• Frame dapat bervariasi dalam warna , terutama jika pemotretan membutuhkan jarak kecil antara sumbu optik kamera dan Anda harus menggunakan pemecah berkas (ada posting rinci tentang ini). Ternyata dalam situasi di mana ketika memotret objek suar (mobil di latar belakang pada hari yang cerah), kita akan mengalami hiburan paska produksi dengan sebagian besar kamera, dengan plenoptik kita akan memiliki gambar SEMPURNA dengan silau. Ini liburan!
  
• Frame dapat bervariasi dalam ketajaman - lagi-lagi, masalah nyata pada pembagi balok, yang sama sekali tidak ada dalam plenoptik. Dengan ketajaman apa yang dibutuhkan, dengan ini kami akan menghitung, benar-benar SEMPURNA dari sudut pandang.
  
• Bingkai dapat mengambang dalam waktu . Kolega yang bekerja dengan bahan Stalingrad berbicara tentang perbedaan antara cap waktu trek oleh 4 frame, itulah sebabnya cracker masih relevan. Kami menemukan lebih dari 500 adegan dengan perbedaan waktu dalam 105 film. Perbedaan waktu, sayangnya, sulit dideteksi, terutama pada adegan dengan gerakan lambat, dan pada saat yang sama adalah artefak yang paling menyakitkan menurut pengukuran kami. Dalam kasus plenoptik, kami akan memiliki sinkronisasi waktu yang SEMPURNA.
  
• Sakit kepala terpisah saat memotret 3D adalah paralaks terlalu besar yang menyebabkan ketidaknyamanan saat melihat pada layar besar, ketika mata Anda dapat menyimpang ke sisi untuk objek "di luar tak terbatas", atau terlalu konvergen untuk beberapa objek latar depan. Penghitungan paralaks yang benar adalah topik sulit terpisah yang harus dimiliki operator dengan baik, dan objek yang secara tidak sengaja masuk ke dalam bingkai dapat merusak pengambilan, sehingga membuatnya tidak nyaman. Dengan plenoptik, kami sendiri memilih paralaks SETELAH pemotretan, sehingga adegan apa pun dapat dihitung dengan paralaks SEMPURNA, terlebih lagi, adegan pengambilan gambar yang sama dapat dengan mudah dihitung untuk layar besar dan layar kecil. Ini adalah apa yang disebut perubahan paralaks, yang biasanya sangat sulit dan mahal untuk dilakukan tanpa kehilangan kualitas, terutama jika Anda memiliki objek yang tembus cahaya atau berbatasan dengan latar depan.
  

Secara umum, kemampuan untuk MENGHITUNG stereo yang sempurna adalah dasar nyata untuk gelombang popularitas 3D berikutnya, karena selama 100 tahun terakhir 5 gelombang tersebut telah dibedakan. Dan, dilihat dari kemajuan dalam proyeksi laser dan plenoptik, selama maksimal 10 tahun (ketika paten utama Lytro kedaluwarsa atau sedikit lebih awal di China), kami akan mengharapkan besi baru dan level baru kualitas film 3D.

Jadi! Mereka mendapatkan stereo terhitung sempurna dari satu lensa (hal yang mustahil bagi kebanyakan, omong-omong). Dan mereka tidak hanya mendapatkannya, tetapi paralaks juga menceritakan setelah fakta, bahkan jika objek tidak fokus di latar depan. Ayo masuk lebih dalam!

Titik Pemotretan Terhitung

Mengubah titik pengambilan gambar memiliki aplikasi dalam video 2D biasa.

Jika Anda berada di lokasi syuting atau setidaknya melihat foto-foto, Anda mungkin memperhatikan rel tempat kamera bergerak. Seringkali untuk satu adegan Anda perlu meletakkannya di beberapa arah, yang membutuhkan waktu nyata. Rails memastikan kelancaran kamera. Ya, tentu saja, ada steadicam , tetapi dalam banyak kasus rel, sayangnya, tidak punya alternatif.

Kemampuan untuk mengubah titik pemotretan di Lytro digunakan untuk menunjukkan bahwa ada cukup banyak roda. Bahkan, ketika kamera bergerak, kami membentuk "tabung" virtual dengan diameter 10 cm di ruang, di mana kami dapat mengubah titik pengambilan gambar. Dan pipa ini memungkinkan Anda untuk mengimbangi fluktuasi kecil. Ini ditampilkan dengan baik di video ini:


Selain itu, kadang-kadang Anda perlu menyelesaikan masalah terbalik, yaitu, tambahkan osilasi selama gerakan. Misalnya, tidak ada dinamika yang cukup dan direktur memutuskan untuk membuat ledakan. Tidak lama untuk menerapkan suara, tetapi disarankan untuk mengguncang kamera secara serempak, dan lebih baik tidak hanya menggerakkan gambar datar, itu akan terlihat, tetapi mengguncangnya "dengan jujur". Dengan plenoptik, titik pemotretan dapat diguncang sepenuhnya "dengan jujur" - dengan perubahan titik pemotretan, sudut, kekaburan gerakan, dll. Akan ada ilusi lengkap bahwa kamera bergetar hebat, yang dengan lembut dan aman menaiki roda. Setuju - kesempatan luar biasa! Steadicam generasi berikutnya akan menunjukkan keajaiban.

Tentu saja, agar ini menjadi kenyataan, Anda harus menunggu sampai ukuran kamera plenoptik dikurangi menjadi yang wajar. Tetapi mengingat berapa banyak uang yang diinvestasikan dalam miniaturisasi dan meningkatkan resolusi sensor untuk smartphone dan tablet, tampaknya penantiannya tidak begitu lama. Dan dimungkinkan untuk membuat kamera plenoptik baru! Setiap tahun menjadi lebih mudah dan lebih mudah.

Jadi! Titik pemotretan dihitung dan, jika perlu, memindahkan, menstabilkan, atau mengacaukan kamera. Mari kita melangkah lebih jauh!

Pencahayaan yang Dihitung

Karena kita berbicara tentang ledakan di dekatnya ...

Terkadang menjadi perlu untuk mengubah pencahayaan subjek, misalnya, menambahkan flash secara realistis. Studio pasca produksi tahu betul masalah yang sulit ini, bahkan jika pakaian karakter kita relatif sederhana.

Berikut adalah contoh video dengan overlay flash, mempertimbangkan pakaian akun, bayangannya, dan sebagainya (terbuka dengan klik):


Sumber: Wawancara dengan Yon Karafin

Di bawah tenda, itu terlihat seperti plug-in untuk Nuke, yang bekerja dengan model tiga dimensi penuh dari aktor dan menempatkan cahaya baru di atasnya, dengan mempertimbangkan peta normal, bahan, blur dan sebagainya:




Sumber: Bahan Lytro

Jadi! Pencahayaan baru dari objek yang sudah ditangkap dihitung. Mari kita melangkah lebih jauh!

Resolusi yang Dihitung

Mereka yang bereksperimen dengan Lytro pertama sering mencatat - ya, mainan itu keren, tetapi resolusinya sama sekali tidak cukup untuk fotografi normal.

Dalam artikel terakhir kami tentang Habr, dijelaskan bagaimana pergeseran kecil titik pemotretan dapat membantu meningkatkan resolusi secara signifikan. Pertanyaan: Apakah algoritme ini berlaku untuk plenoptik? Jawab: Ya! Selain itu - Algoritma Super Resolusi lebih mudah untuk bekerja pada gambar plenoptik, karena ada peta kedalaman, semua piksel diambil pada satu waktu, dan pergeseran diketahui cukup akurat. Artinya, situasi plenoptik hanya ajaib dibandingkan dengan kondisi di mana algoritma Super Resolution bekerja dalam 2D ​​biasa. Hasilnya sesuai:


Sumber: Pemulihan bingkai plenoptik naif, cerdas, dan Super Resolution dari Adobe Technical Report “Superresolution with Plenoptic Camera 2.0”

Satu-satunya masalah utama (sangat besar!) Adalah jumlah data dan jumlah perhitungan yang diperlukan. Namun demikian, hari ini sangat realistis untuk memuat sebuah peternakan komputasi pada malam hari dan mendapatkan resolusi dua kali lipat besok di mana diperlukan.

Jadi - tahu resolusi yang dihitung! Mari kita melangkah lebih jauh!

Lingkungan yang Dihitung

Tugas terpisah yang muncul pada tahap pasca-produksi, terutama jika itu adalah semacam proyek fantastik atau fantasi, adalah dengan hati-hati merekatkan objek yang ditangkap ke dalam adegan tiga dimensi. Secara global tidak ada masalah besar. Hari ini, normanya adalah pemindaian tiga dimensi dari area pemotretan dan yang tersisa adalah dengan hati-hati menggabungkan model pemotretan dan adegan tiga dimensi sehingga tidak ada klasik genre ketika kaki aktor kadang-kadang jatuh ke lantai yang tidak rata dicat (tiang ini tidak terlalu terlihat di layar kecil, tetapi dapat dengan jelas terlihat di bioskop, terutama di suatu tempat di IMAX).

Bukan tanpa humor, sebagai contoh operasi kamera, adegan pemotretan pendaratan di bulan digunakan ("bayangan tiga dimensi" terlihat jelas di tempat-tempat yang tidak dilihat oleh kamera):


Sumber: Moon | Lytro | VR Playhouse | Pasca produksi Lightfield

Karena video multi-sudut diambil dalam kamera plenoptik menurut definisi, membangun peta kedalaman bukanlah masalah besar. Dan jika kamera dikombinasikan dengan lidar - kami segera memotret adegan tiga dimensi, yang secara kategoris menyederhanakan kombinasi pemotretan nyata dan grafik di tahap selanjutnya.

Jadi, kami menghitung adegan tiga dimensi di sekitar (menggabungkan data LIDAR dan data plenoptik). Sekarang, Anda dapat menebaknya, rendering survei bulan akan lebih baik lagi! Silakan.

Kunci Chroma Terhitung

Tapi itu belum semuanya!

Teknologi yang biasa dari satu set film modern adalah layar hijau , ketika di tempat-tempat di mana latar belakang komputer seharusnya diletakkan pada perisai kayu lapis hijau atau spanduk hijau ditarik. Hal ini dilakukan agar tidak ada masalah di perbatasan tembus ketika latar belakang berubah.Dan karena dalam 4K saat memindahkan objek, sebagian besar perbatasan kita menjadi tembus cahaya - relevansi layar hijau (atau biru, tergantung pada warna pakaian para aktor) sangat tinggi.

Ini sangat tidak biasa bagi para pembuat film, tetapi karena kita sendiri dapat mengubah ketajaman objek, kita memiliki kesempatan untuk memproses bingkai dengan kedalaman bidang yang berbeda dan, sebagai akibatnya, membaca peta tembus perbatasan dan warna yang tepat dari objek yang ditangkap. Ini memungkinkan Anda untuk mengambil gambar tanpa menggunakan layar hijau, termasuk gambar yang agak rumit, dan kemudian mengembalikan peta transparansi:


Sumber: wawancara dengan Yon Karafin

Lytro secara khusus merekam video di mana tangga dipakai di latar belakang (karena Anda harussesuatu yang tidak sesuai dengan bingkai - ini adalah hukum pembuatan film yang tak tergoyahkan!), dan confetti buram jatuh di latar depan (yang segera mengubah pembersihan pria dan tangga menjadi tantangan anak), tetapi dalam bingkai objek yang jauh ini dengan mudah dipotong dan kita masih rapi latar depan, termasuk dengan peta batas tembus cahaya (latar belakang dipilih yang mudah untuk menilai kualitas confetti yang tidak menutupi itu): Seorang



pembaca yang kompeten akan bertanya, bagaimana dengan gerakan atau rambut yang sama? Dan dia akan benar sekali. Kesulitan mereka, tentu saja, masih tetap (dan banyak). Hal lain adalah mengetahui latar belakang dengan tepat dan memiliki kemampuan untuk sedikit memindahkan objek di depan latar belakang, kami memiliki peluang yang sama sekali baru untuk pembuatan peta transparansi yang otomatis dan lebih baik .

Sebenarnya, berdasarkan tiga poin terakhir, dimungkinkan untuk memprediksi keberhasilan kamera plenoptik di masa depan dalam seri pemotretan seperti "Game of the Throne", ketika sejumlah besar efek khusus dapat dijalankan. Yang berarti pengurangan biaya yang signifikan. Itu tidak begitu sederhana, tetapi kemungkinan untuk menghitung peta transparansi karena pemfokusan ulang dan kemampuan untuk menggeser titik pemotretan adalah urutan besarnya lebih tinggi daripada yang untuk kamera 2D konvensional. Dan alat-alatnya akan kencang.

Jadi, kami menemukan peta transparansi yang dihitung tanpa greenscreens dan melanjutkan!

Paparan Terhitung

Topik penting yang terpisah adalah eksposur yang dihitung atau rana yang dihitung. Topik ini tidak terkait langsung dengan plenoptik, tetapi dalam kondisi modern, ketika diagonal, kontras, dan resolusi layar tumbuh bersama dan tumbuh dengan cepat, topik ini menjadi semakin relevan. Masalahnya adalah efek strobo, yang khas untuk pergerakan cepat objek dalam bingkai selama pemotretan "normal".

Untuk secara drastis mengurangi efek ini dengan membuat gerakan "lunak" dan menghitung rana "ideal", Anda dapat merekam video dengan frame rate yang lebih tinggi dan kemudian menghitungnya kembali ke frekuensi yang lebih rendah menggunakan berbagai fungsi konversi, termasuk tidak hanya menjumlahkan bingkai, tetapi juga mengurangi (Bioskop Lytro memiliki 300 fps untuk memperjelas cara menafsirkan grafik ini):



Hal ini memungkinkan untuk "merekam" video dengan rana yang secara fisik sangat sulit, jika bukan tidak mungkin untuk dibuat, tetapi yang memberikan "kelembutan" dan "kesenangan" ekstrim dari objek bergerak dalam adegan tanpa efek strobo dari cabang, roda dan objek bergerak cepat lainnya ( terutama memperhatikan cakram roda, dan seberapa banyak mobil telah menjadi lebih terlihat di belakang rintangan):


Sumber: https://vimeo.com/114743605

Atau di sini ada dua tembakan lagi, pergerakan kamera di mana akan jauh lebih menyenangkan untuk dilihat dengan mata, terutama di layar lebar:


Sumber: https: / /vimeo.com/114743605 Fiuh

, kami menghitung paparan. Mari kita lanjutkan!

Kamera plenoptik di smartphone hari ini

Biasanya, ketika datang ke plenoptik hari ini, ada percakapan khas dalam gaya "Bos sudah pergi: plester dihapus, klien pergi!" Lytro membeli Google dengan harga murah tahun lalu, percobaan Pencitraan Pelikan tidak masuk ke produksi massal, dan secara umum semuanya tetap hanya teori yang indah ...


Sumber: Pelican Imaging: Modul Kamera Plenoptik Smartphone untuk 20 Dolar

Jadi begitulah! Rumor tentang kematian plenoptik sangat dibesar-besarkan. Sangat kuat!

Sebaliknya, saat ini sensor plenoptik diproduksi dan digunakan pada skala yang belum pernah ada sebelumnya.

Perusahaan Google yang terkenal tanpa banyak keriuhan merilis Google Pixel 2 dan Google Pixel 3 dengan sensor plenoptik. Jika Anda melihat telepon, Anda dapat dengan jelas melihat bahwa kamera memiliki satu kamera:



Namun, pada saat yang sama, telepon melakukan pengaburan latar belakang yang sangat baik, secara umum, tidak lebih buruk dari rekan "bermata dua", "bermata tiga" dan "bermata empat" (sepakati foto berikut ini terutama manfaat dari efek ini):


Sumber: AI Google Blog (Anda dapat mengklik dan melihat ukuran yang lebih besar, terutama di perbatasan objek latar depan)

Bagaimana mereka melakukan itu ?!

Sumber mukjizat magis, yang tak terhindarkan belakangan ini, sedang digunakan - sihir non-kekanak-kanakan dari jaringan saraf?

Jaringan saraf, terutama di Pixel 3, juga aktif digunakan dalam tugas ini, tetapi lebih lanjut tentang itu nanti. Dan rahasia dari kualitas efeknya adalah bahwa sensor smartphone bersifat plenoptik, meskipun lensa hanya mencakup dua piksel, seperti yang ditunjukkan dalam gambar:


Sumber: AI Google Blog

Hasilnya, kami mendapatkan gambar mikro-stereo, di sini ada sedikit perubahan dalam gerakan (gambar kanan dianimasikan dan bergerak ke atas dan ke bawah, karena telepon dipegang dengan cara ini saat memotret):



Tetapi bahkan pergeseran yang sangat kecil ini cukup untuk membangun peta kedalaman untuk foto yang diambil (tentang penggunaan pergeseran subpiksel dalam artikel sebelumnya ):



Pada saat yang sama, dengan menggunakan pembelajaran mesin, hasilnya dapat ditingkatkan secara signifikan dan ini sudah diterapkan dalam Pixel 3. Pada contoh di bawah ini, Learned berarti Stereo + Learned, lebih lanjut tentang ini, mudah-mudahan, akan ada posting terpisah:







Bagi mereka yang suka melihat kedalaman dalam resolusi penuh, ada lebih banyak contoh di galeri khusus .

Jelas terlihat bahwa tidak semuanya sempurna, dan kami memiliki artefak khas yang tipikal untuk membangun peta kedalaman dari stereo (yang, omong-omong, juga tersedia di kolega bermata dua Pixel), dan sedikit efek paralaks. Tetapi sudah jelas bahwa kualitas kedalaman cukup memadai untuk dengan yakin membagi segmen gambar dengan kedalaman dan lebih jauh memaksakan efek yang berbeda, lebih percaya diri menambahkan objek ke tempat kejadian, dan sebagainya. Hasil kedalaman TERUKUR adalah urutan besarnya lebih baik daripada hasil berdasarkan berbagai asumsi (jaringan neural sewenang-wenang).

Jadi selamat untuk semua orang yang telah membaca sampai titik ini! Anda hidup selama rilis kamera plenoptik di produk pasar massal yang sukses, bahkan jika Anda bahkan tidak mengetahuinya!

Kisah itu tidak berakhir di sana, tentu saja:

• Pertama, menarik bahwa plenoptik "hampir gratis", karena dalam kamera ponsel cerdas modern dengan miniaturisasi sensor dan peningkatan resolusi, ada kekurangan fluks bercahaya yang sangat besar, sehingga setiap piksel ditutupi dengan mikrolensa. Artinya, sensor semacam itu tidak memerlukan biaya lebih banyak (ini sangat penting!), Meskipun kami agak mengorbankan resolusi yang baru saja kami tingkatkan karena teknologi lain . Sebagai hasil dari penerapan dua teknologi, hasilnya menjadi lebih baik dalam 2D ​​(lebih sedikit noise, resolusi lebih tinggi, HDR) dan pada saat yang sama dilengkapi dengan kedalaman yang diukur, yaitu menjadi 3D. Harga masalah adalah peningkatan dramatis dalam jumlah perhitungan per frame. Tapi untuk foto ini sudah mungkin hari ini dan sudah berfungsi di smartphone nyata.
  
• Kedua, pada sebuah konferensi, seorang karyawan Google mengatakan bahwa mereka berpikir untuk menutupi 4 piksel dengan sebuah lensa, setelah itu kualitas peta kedalaman akan secara dramatis lebih tinggi, karena akan ada 2 pasang stereo dengan basis stereo 1,4 kali lebih besar (dua diagonal), ini akan secara dramatis meningkatkan kualitas peta kedalaman, termasuk banyak artefak stereo di perbatasan. Pesaing dapat mencapai kualitas ini hanya dengan menempatkan setidaknya 3 kamera berturut-turut. Peningkatan kualitas seperti itu penting untuk AR.
  
• Ketiga, Google tidak lagi sendirian, berikut adalah contoh deskripsi teknologi serupa di Vivo V11 Pro, Anda lihat, Anda baru saja melihat gambar yang serupa:
  

Sumber: Apa itu teknologi Dual Pixel?

• Akhirnya, dalam beberapa tahun terakhir, jumlah publikasi tentang interpolasi data lapangan cahaya telah meningkat hanya longsoran salju. Dan ini luar biasa, karena untuk mengurangi kompleksitas komputasi secara drastis, matematika non-anak akan dibutuhkan.

Plenoptics juga digunakan dalam autofokus kamera profesional, misalnya, dengan Canon (google DPAF - Dual Pixel Auto Focus). Siapa yang akan mengira bahwa lelucon teoretis 30 tahun yang lalu - kemampuan menembak stereo dengan satu lensa - akan menjadi aplikasi massal pertama ...

Secara umum - topik pergi ke produk!

Dia sudah terbang! Soalnya, LE-TA-ET!

---

Untuk meringkas

Filmoptics di bioskop

Di atas, kami memeriksa dua kasus penggunaan plenoptik - dalam produksi film dan smartphone. Ini bukan daftar lengkap, misalnya, plenoptik sangat relevan dalam mikroskop - Anda dapat membuat mikrograf stereo yang dihitung dengan kedalaman bidang "jujur" yang besar; plenoptik relevan untuk kamera industri, terutama jika Anda perlu mengambil foto objek bertingkat yang tembus pandang dan sebagainya. Tapi entah bagaimana lain kali.

---

Ingatlah bahwa untuk digunakan dalam produksi film relevan:

1. Jarak Fokus Terhitung
   
2. Bokeh Terhitung
   
3. Resolusi yang Dihitung
   
4. Stereo Sempurna Terkomputasi
   
5. Titik Pemotretan Terhitung
   
6. Pencahayaan yang Dihitung
   
7. Lingkungan yang Dihitung
   
8. Greenscreen Terhitung
   
9. Rana Terhitung
   

---

Di tahun-tahun mendatang, dengan miniaturisasi dan peningkatan resolusi sensor, teknologi dapat dikembangkan untuk membuat kamera film baru yang praktis dan fundamental yang memungkinkan Anda menghapus materi untuk menerapkan efek khusus lebih cepat (tanpa layar hijau) dan dengan waktu yang lebih sedikit (lebih banyak momen lebih mudah untuk diperbaiki). Fitur-fitur baru ini sangat menarik sehingga pada saat sensor plenoptik dengan resolusi film yang sesuai dapat dibuat ringkas, kamera-kamera tersebut akan menemui kesuksesan.

Kapan kamera seperti itu muncul?

Jawaban hati-hati adalah dalam 10 tahun ke depan.

Apa istilahnya tergantung?

Dari banyak faktor. Pertanyaan bagus: bagaimana situasi dengan kemampuan untuk melisensikan paten Lytro yang sekarang dimiliki Google? Ini bisa kritis. Untungnya, yang utama akan kedaluwarsa dalam 10 tahun (di sini kita tidak dengan sopan mengingat rekan-rekan Lytro China yang dapat mempercepat prosesnya). Juga, pekerjaan dengan jumlah besar data yang dihasilkan oleh kamera plenoptik harus disederhanakan: dengan awan modern, ini menjadi lebih mudah dan sederhana. Dari kabar baik - pada suatu waktu berkat Lytro, dalam program penulisan yang sangat populer , yang digunakan di sejumlah besar studio untuk pemrosesan stereo, format data plenoptik didukung. Seperti yang mereka katakan, Lytro meninggal, tetapi kesempatan untuk menulis plug-in untuk Nuke dengan dukungan untuk video pleno tetap di tangan kita. Ini menyederhanakan “masuknya” ke pasar ini dengan produk profesional, karena penting bahwa studio dapat segera bekerja dengan format kamera baru segera tanpa tenaga pelatihan dan dalam program yang sama.

Plenoptika di smartphone

Jika kita berbicara tentang smartphone, maka semuanya terlihat lebih baik. Paling relevan untuk industri ini adalah kemampuan kamera plenoptik untuk mengukur kedalaman dengan satu sensor (berpotensi cepat) dan fitur ini akan segera menjadi permintaan besar.

Kapan kamera seperti itu muncul?

Sudah ada. Dan besok, teknologi akan diulangi oleh produsen lain. Selain itu, pendorong utama dari tahap berikutnya adalah augmented reality di smartphone dan tablet, yang saat ini kurang akurat dan kemampuan untuk "melihat" adegan tiga dimensi.

Apa istilahnya tergantung?

Kemampuan untuk mengukur jarak dengan sensor utama dalam waktu nyata kemungkinan akan segera muncul dengan Google Pixel, karena Google telah mengembangkan arah ini untuk waktu yang lama (lihat Project Tango , yang ditutup, tetapi bisnisnya tetap berjalan). Dan ARCore terlihat sangat menjanjikan, serta ARKit yang bersaing. Dan terobosan, seperti yang Anda duga sekarang, tidak perlu menunggu lama, karena nilai pixel sensor turun secara eksponensial, mereka menyebut kecepatan rata-rata 10 kali dalam 10 tahun, dan kita perlu penurunan 2 kali. Kemudian hitung sendiri. Bukan besok, tapi tidak lama.

Alih-alih sebuah kesimpulan

Ingat, pada awalnya kami berbicara tentang kuliah di VGIK? Saya harus mengatakan bahwa saya tidak mengharapkan reaksi terhadapnya yang pada akhirnya. Singkatnya, itu adalah duka. Jika dalam dua kata, maka berkabung universal. Dan pada awalnya saya tidak mengerti apa yang terjadi. Operator yang datang setelah ceramah dengan sangat baik menjelaskan situasinya kepada saya. Bahkan seni kamera pun tidak berkurang. Meskipun ada contoh yang bagus: sebuah fragmen film selama sekitar 6 detik, ketika seseorang mendekati pintu apartemen, mengetuk, orang lain membuka pintu, menyapa dan sedikit bergerak maju untuk melompat, sementara kamera fokus pada koridor, lalu pada bingkai pintu, lalu langsung fokus pada orang yang menemukannya, dan kemudian masuk ke ruangan. Dan operator harus menguasai kamera dengan sempurna, sehingga dengan kedalaman bidang yang dangkal seperti bioskop, mengoperasikan zoom dengan mahir, mengingat cahaya latar, komposisi bingkai, mabuk saat memotret dengan tangan, dan 1000 hal penting lainnya. Jadi disini. Bahkan ini tidak menjadi lebih mudah. Ini bahkan bagus. Pengambilan yang lebih sedikit akan rusak karena fakta bahwa operator di suatu tempat tidak memiliki waktu atau ketinggalan. Dia mengatakan betapa baru-baru ini dia mengambil seri dalam 4K untuk saluran tersebut. Dan stok resolusi ternyata besar. Akibatnya, sutradara memotong frame di paska produksi, dan di beberapa tempat hanya fragmen frame yang digunakan untuk interupsi. Akibatnya, komposisinya hanya mengerikan dan operator ini ingin menghapus namanya dari kredit.

Fitur kamera yang dijelaskan di atas untuk pembuat film berarti transfer banyak efek dari tahap pemotretan ke tahap pasca-produksi. Dan akan ada kesedihan besar jika mereka yang akan memproses adegan pengambilan gambar buta huruf dalam hal komposisi, kontrol jarak fokus, dan sebagainya. Jika mereka melek, ini adalah peluang baru yang fantastis.

Jadi, kami berharap kita semua memiliki lebih banyak kompetensi, yang tidak selalu mudah di dunia yang berubah dengan cepat ini!

Dan Carthage akan ... semua video akan menjadi tiga dimensi pada akhir abad ini!

Ucapan Terima Kasih

Saya ingin mengucapkan terima kasih:

• Laboratorium Grafik Komputer VMK Moscow State University MV Lomonosov untuk kontribusinya pada pengembangan grafik komputer di Rusia dan tidak hanya
  
• Rekan-rekan kami dari grup video, terima kasih telah melihat artikel ini,
  
• secara pribadi Konstantin Kozhemyakov, yang melakukan banyak hal untuk membuat artikel ini lebih baik dan lebih visual,
  
• Jon Karafin ketika dia menjadi Head of Light Field Video di Lytro, berkat itu kami hampir mulai bekerja untuk meningkatkan produk mereka (dan tidak memulai dengan alasan di luar kendali kami atau dari kami),
  
• Lytro atas kontribusinya pada mempopulerkan bidang cahaya dan kemampuan mereka, Google, yang menangkap bendera yang jatuh, dan perusahaan lain yang membuat produk berdasarkan teknologi yang menarik ini,
  
• dan akhirnya, terima kasih banyak kepada Sergey Lavrushkin, Roman Kazantsev, Ivan Molodetsky, Evgeny Kuptsov, Yegor Sklyarov, Evgeny Lyapustin dan Denis Kondranin untuk sejumlah besar komentar yang masuk akal dan koreksi yang membuat teks ini jauh lebih baik!