Sistem pencitraan baru, mikroskop, dan matriks video menghasilkan gambar digital berdasarkan perhitungan komputer daripada lensa tradisional.
Bahkan pengrajin abad pertengahan mampu membuat lensa kaca dan cermin melengkung untuk memproyeksikan gambar. Desain seperti itu digunakan untuk membuat mikroskop, kamera lubang jarum, teleskop, dan instrumen lain yang memungkinkan kita untuk melihat benda yang sangat kecil dan besar yang terletak jauh dan dekat, di Bumi dan di langit. Revolusi berikutnya dalam pembentukan gambar terjadi sekitar pertengahan abad ke-19: fotografi diciptakan. Sekarang Anda dapat menangkap "momen terhenti", mainkan dan ulangi. Hari ini, era fotografi kimia hampir selesai, era baru sedang mekar - pencitraan digital. Akarnya terletak pada teknologi televisi, tetapi kami akan mempertimbangkan awal era 1975, ketika kamera digital pertama kali muncul. Saat ini, miliaran webcam dan kamera di telepon seluler di seluruh dunia menangkap lebih dari satu triliun gambar setahun, dan banyak di antaranya langsung diunggah ke Internet. Terlepas dari peningkatan jumlah, variasi, dan cara penggunaan sistem pencitraan yang eksplosif, tugas insinyur optik sebagian besar tetap tidak berubah: untuk menciptakan gambar optik berkualitas tinggi yang secara akurat menyampaikan pemandangan yang akan “dibuat agar terlihat bagus”.
Namun, dalam 10-20 tahun terakhir paradigma baru telah mulai muncul: pencitraan komputasi. Paradigma ini mungkin tidak sepenuhnya menggantikan pendekatan tradisional, tetapi akan menimbulkan keraguan pada ide-ide lama dan membantu menciptakan metode alternatif untuk merancang sistem pencitraan. Misalnya, fungsi dan bentuk baru dari sistem pencitraan sudah tersedia bagi kami, termasuk perangkat super-miniatur untuk memotret objek makroskopik dan mikroskop tanpa lensa.
Seperti namanya, komputasi memainkan peran penting dalam pembentukan gambar digital akhir. Untuk waktu yang lama, mereka meningkat dengan bantuan pemrosesan gambar digital: mereka menghilangkan efek mata merah ketika memotret dengan flash, menyesuaikan warna, dll., Tetapi sirkuit optik lensa tidak pernah dirancang dengan mempertimbangkan kebutuhan ini. Namun, pemrosesan sinyal digital memungkinkan, misalnya, untuk memperbaiki distorsi optik seperti "bantal" atau distorsi sudut lebar di tepi gambar. Ketika Teleskop Orbital Hubble mengirim gambar pertama ke Bumi pada akhir 1980-an, mereka jauh lebih "sabun" daripada yang diperkirakan. Segera menjadi jelas bahwa ada beberapa masalah dengan optik. Ilmuwan NASA menentukan apa masalahnya, dan sampai teleskop diperbaiki, mereka mengoreksi banyak cacat selama beberapa tahun menggunakan algoritma pemrosesan digital yang canggih.
Pada pertengahan 1990-an, Wade Thomas Cathey dan Edward R. Dowski, Jr., muncul dengan ide merancang lensa untuk menghasilkan gambar yang buram, "terdegradasi", tetapi terdegradasi sedemikian rupa sehingga Algoritma pemrosesan digital memungkinkan untuk membuat gambar tidak lebih buruk, atau bahkan lebih baik, dipotret dengan lensa tradisional. Secara khusus, Katie dan Dowsky beralih ke fitur karakteristik semua kamera tradisional: kedalaman bidang terbatas. Jika Anda fokus pada objek pada jarak rata-rata dari Anda, itu akan terlihat tajam, tetapi objek yang lebih dekat dan lebih jauh akan menjadi buram. Depth of field mengacu pada area di mana semua objek terlihat cukup tajam. Jadi, dua ilmuwan datang dengan lensa baru, yang hampir sama mengaburkan gambar optik objek di semua jarak. Dan kemudian algoritma khusus mempertajam seluruh gambar, memperoleh kedalaman bidang yang tidak dapat dicapai untuk lensa biasa. Meskipun banyak ilmuwan telah lebih lanjut meningkatkan teknik yang dijelaskan, gagasan Katie dan Dowsky jauh memajukan disiplin pengambilan gambar dan pembentukan gambar.
Konsekuensi lain dari karya ilmiah ini adalah bahwa rangkaian optik untuk lensa sekarang sedang dikembangkan berdasarkan pada penciptaan gambar untuk komputer, bukan manusia. Adalah paradoks bahwa di era pemotretan total kita, sangat sedikit orang yang melihat gambar optik nyata yang dibentuk oleh kamera. Hari-hari sudah lama berlalu ketika fotografer, yang condong ke arah kamera dan menutupi dirinya dengan jubah ketat, mengeluarkan penutup dan, sebelum memasukkan kaset ke film, melihat pada kaca yang buram sebuah gambar "langsung" yang langsung dibentuk oleh lensa. Hari ini, kita melihat di layar hasil pemrosesan digital dari gambar optik yang telah jatuh pada matriks silikon.
Area aplikasi berikutnya untuk kombinasi optik dan pemrosesan digital adalah penyederhanaan desain lensa. Di ponsel cerdas Anda, lensa kamera dapat terdiri dari 7-8 elemen optik, dan lensa kamera profesional terkadang terdiri dari lebih dari 15 elemen optik. Sejumlah besar lensa diperlukan untuk memperbaiki cacat gambar - penyimpangan yang melekat pada sistem optik apa pun: kromatik (warna berbayang di sekitar objek) dan optik (distorsi bentuk dan proporsi objek). Artinya, desain lensa yang kompleks diperlukan untuk menghasilkan gambar "tampan". Kombinasi optik dan pemrosesan digital akan membantu mengalihkan sebagian pekerjaan untuk memperbaiki penyimpangan ke komponen digital, yang akan memungkinkan Anda untuk mengabaikan beberapa elemen optik tanpa mengurangi kualitas gambar digital akhir. Artinya, algoritma pemrosesan memainkan peran elemen optik virtual. Pendekatan ini memungkinkan untuk membuat sistem optik yang lebih kompak dan lebih murah tanpa kehilangan kualitas.
Sejauh mana ide-ide ini akan dikembangkan? Berapa proporsi tugas pencitraan yang dapat ditransfer dari optik ke komponen digital? Seberapa sederhana rangkaian optik untuk mendapatkan gambar yang layak? Apakah realistis menyingkirkan lensa dan cermin? Ini telah dicapai selama beberapa tahun terakhir dalam tiga cara - lensa dan gambar optik yang mereka bentuk sepenuhnya dikecualikan. Metode didasarkan pada difraksi, rekonstruksi fase optik dan teknik penginderaan tekan. Dan untuk mendapatkan gambar akhir yang cocok untuk orang, perhitungan komputer digunakan secara aktif.
Lensa tradisional memfokuskan seberkas cahaya menggunakan refraksi : cahaya dibiaskan ketika melewati batas media (air-glass) pada kecepatan cahaya yang berbeda. Berkat efek pembiasannya, sebuah pensil yang direndam dalam gelas kaca dengan air tampaknya melengkung: cahaya yang dipantulkan dari pensil itu dibiaskan ketika memasuki udara di sepanjang jalan menuju mata Anda. Oleh karena itu, bagian bawah air pensil yang kita lihat tidak berada di tempat sebenarnya.
Ngomong-ngomong, berkat pembiasan (refraksi) di perbatasan ruang dan atmosfer Bumi, semua benda langit tampaknya terletak sedikit lebih tinggi dari lokasi aslinya:
Cermin lengkung seperti yang digunakan pada teleskop besar membentuk gambar berbeda: menggunakan refleksi . Untuk memahami perbedaan antara refraksi dan refleksi, bayangkan cahaya dalam bentuk sinar (garis).
Dua fenomena fisik lainnya akan membantu mengubah arah rambat cahaya dan menggunakan sifat gelombangnya (ingat dualitas gelombang-partikel ): difraksi dan interferensi . Ketika dua gelombang cahaya yang koheren bertemu, mereka saling tumpang tindih, amplitudo gelombang yang dihasilkan muncul. Jika maksimum satu gelombang selalu bertepatan dengan maksimum lainnya, maka gelombang saling menguatkan, ini disebut interferensi konstruktif . Jika maksimum satu gelombang selalu bertepatan dengan minimum yang lainnya, maka gelombang membatalkan satu sama lain - ini adalah gangguan destruktif , akibatnya cahaya dapat menghilang sama sekali.
Anda dapat mengontrol cahaya melalui difraksi dengan mengarahkannya ke kisi difraksi - serangkaian goresan (raster) terbaik - pada permukaan yang halus. Karena gelombang dengan panjang yang berbeda tercermin dalam arah yang berbeda, pewarnaan warna terjadi. Misalnya, ketika cahaya putih dipantulkan dari lekukan kecil di permukaan CD atau DVD, kita melihat garis-garis pelangi. Karena ketergantungan panjang gelombang pada raster, tidak mungkin untuk membuat kisi difraksi yang hanya menggantikan lensa. Gambar optik yang dibentuk oleh kisi tidak akan pernah terlihat sebagus gambar dari lensa yang dirancang dengan baik. Namun demikian, sangat mungkin untuk membuat gambar digital yang dapat diterima menggunakan kombinasi optik difraksi (menggunakan difraksi) dan pemrosesan sinyal yang cocok (dengan mempertimbangkan optik akun).
Di salah satu kelas perangkat non-objektif untuk pemotretan makroskopik, digunakan grating difraksi mini, bertahap terletak di ketebalan bahan transparan (kaca atau silikat) dan menunda satu bagian dari cahaya insiden relatif terhadap bagian lain. Sifat-sifat matematika dari skema loncatan adalah sedemikian rupa sehingga distribusi cahaya dalam bahan tersebut sangat tergantung pada panjang gelombang, dan oleh karena itu, pada sedikit variasi dalam ketebalan kaca itu sendiri, yang pasti terjadi selama pembuatan. Kisi melekat pada sensor fotosensitif - seperti matriks pada kamera digital konvensional. Lampu insiden melewati kisi-kisi dan mencapai array, yang telah secara khusus diuraikan menjadi "komponen". Sama sekali tidak terlihat seperti gambar biasa: semacam awan buram, tidak bisa dipahami oleh mata manusia. Namun, cloud ini mengandung informasi visual yang cukup (walaupun terdistribusi tidak biasa) untuk membuat ulang gambar yang diinginkan darinya menggunakan proses komputasi yang disebut konvolusi gambar.
Algoritma rekonstruksi gambar sedikit sensitif terhadap noise visual, misalnya fluktuasi acak dalam jumlah foton atau noise listrik selama konversi sinyal dari sensor ke representasi numerik (yang disebut kesalahan kuantisasi). Oleh karena itu, gambar mungkin secara visual berisik. Meskipun kualitas ini cukup untuk sejumlah tugas sederhana (misalnya, untuk menghitung jumlah orang dalam bingkai), namun, untuk gambar yang lebih baik, Anda perlu mengambil lebih banyak informasi tentang adegan yang sedang diambil. Solusi "di dahi" adalah untuk mengambil beberapa fase kisi miniatur yang dirancang untuk menangkap berbagai informasi tentang adegan itu. Artinya, setiap kisi membentuk komponen gambar digital, komponen ini kemudian dapat diproses dan satu, gambar yang lebih baik dapat diperoleh.
Salah satu jenis sistem pencitraan tanpa lensa menggunakan array yang menyebarkan cahaya, daripada memfokuskannya seperti lensa. Dalam contoh di atas, array 12 microgrid fase biner (kiri) dirancang untuk menangkap informasi visual sebanyak mungkin tentang adegan. Setelah cahaya melewati array, 12 titik buram diperoleh, tidak ada yang memungkinkan seseorang untuk memahami apa yang difilmkan di sini (di tengah). Namun, gambar optik ini mengandung informasi yang cukup untuk mendapatkan potret yang dapat terbaca sepenuhnya (kanan) menggunakan pemrosesan digital yang disebut "konvolusi gambar".
Pendekatan ini akan membantu tidak hanya untuk membentuk gambar adegan, tetapi juga untuk menganalisisnya: untuk menentukan properti visual (misalnya, apakah ada wajah manusia di foto), arah dan kecepatan pergerakan keseluruhan adegan ( aliran visual, aliran visual), menghitung jumlah orang dalam di dalam ruangan. Dalam situasi seperti itu, kisi difraksi dirancang untuk mengekstraksi informasi yang diperlukan, dan algoritma pemrosesan disesuaikan dengan tugas tertentu. Katakanlah, jika kita perlu membaca barcode vertikal, maka kita menggunakan kisi difraksi vertikal dan algoritma yang membawa setiap piksel gambar digital ke nilai ambang batas: cahaya dikonversi menjadi gelap, gelap ke hitam. Hasilnya adalah gambar digital hitam putih, dan sudah dapat dikenali oleh algoritma pembacaan barcode.
Rekonstruksi mikroskop fase
Pendekatan untuk membuat mikroskop bias berbeda dari metode untuk membuat kamera komputasi untuk objek makro, meskipun fenomena difraksi juga digunakan di sini. Namun, tidak seperti perangkat yang memotret pemandangan dalam pencahayaan biasa yang diciptakan oleh matahari atau lampu, hanya radiasi laser yang koheren atau cahaya monokromatik dari satu atau beberapa sumber yang dapat dipilih untuk penerangan dalam mikroskop. Ini memungkinkan Anda untuk mengontrol difraksi dan gangguan cahaya. Selain itu, objek yang menarik bagi kita sangat kecil sehingga difraksi akan terjadi ketika cahaya melewati objek itu sendiri, dan bukan melalui kisi difraksi buatan.
Skema mikroskop semacam itu menyiratkan bahwa sampel ditempatkan di atas matriks fotosensitif dengan sejumlah besar piksel kecil: matriks 10-megapiksel, misalnya, yang sering ditemukan di kamera digital. Skema ini juga disebut "mikroskop on-chip" karena sampel ditempatkan langsung pada matriks pembentuk gambar. Cahaya dari laser atau LED warna murni spektral adalah insiden pada sampel dan tersebar pada objek yang ditembak. Gelombang difraksi yang dihasilkan - membentuk balok objek (objek beam) - ditumpangkan pada iluminasi yang melewati sampel tanpa distorsi - balok referensi (balok referensi). Hasilnya adalah pola interferensi kompleks yang direkam oleh matriks fotosensitif dan digunakan dalam holografi digital in-line. Gambar mentah samar-samar menyerupai bayangan mikroskopis sampel, dan dalam beberapa kasus itu cukup untuk secara kasar menghitung jumlah dan lokasi objek. Tetapi gambar holografis mentah terlalu berlumpur, berisik, mengandung "artefak cincin" dan tidak memungkinkan untuk menentukan morfologi objek. Gambarannya buruk.
Pola interferensi melewati beberapa tahap pemrosesan digital, tahap utama adalah fase rekonstruksi algoritma . Di dalamnya, menggunakan fisika gangguan optik, kesimpulan diambil tentang struktur dan lokasi objek dalam sampel. Singkatnya: algoritma mencari informasi optik tentang fase yang hilang dalam hologram pada matriks (yang hanya mencatat pola interferensi, dan bukan fase sinar cahaya individu itu sendiri). Algoritma secara iteratif menghitung informasi fase dalam berkas objek, yang kemungkinan besar menyebabkan munculnya pola interferensi optik. Ketika informasi tentang fase dalam objek balok ditentukan, algoritma menghitung perubahan kembali pada waktunya untuk membangun gambar objek, membentuk gambar digital akhir.
Seperti halnya perangkat makro, resolusi ditingkatkan dengan mengambil beberapa gambar optik, yang masing-masing berisi informasi yang sedikit berbeda. Misalnya, sebelum mendaftarkan setiap frame, Anda dapat sedikit menggeser sumber cahaya, atau sampel itu sendiri, atau matriks. Kemudian frame diproses dan digabungkan untuk mendapatkan satu gambar interferensi dari resolusi yang meningkat (yang masih sulit dipahami oleh manusia), dan kemudian fase restorasi fase dan restorasi sementara dilakukan.
Mikroskop objektif pada sebuah chip memiliki beberapa keunggulan.
Pertama, area pengambilan sampel (mis., Bidang pandang) bisa sangat besar, hanya dibatasi oleh ukuran matriks fotosensitif tempat sampel ditempatkan. Matriks modern memungkinkan Anda memberikan bidang tampilan mulai dari 20 milimeter persegi hingga 20 sentimeter persegi.
Kedua, bahkan benda transparan (misalnya, sebagian besar bakteri dalam lapisan air) dapat dipelajari dengan mikroskop objektif jika mereka mengubah fase cahaya yang melewatinya. Mikroskop optik objektif khusus juga memungkinkan studi "objek fase" tersebut, meskipun dengan bidang pandang yang jauh lebih kecil dan ukuran total sampel.
Ketiga, pemrosesan digital dari gambar optik memungkinkan untuk mengisolasi berbagai jenis sel (misalnya, sel sperma atau darah di kapiler) dan untuk melacak pergerakannya. Berkat ini, dokter dan ahli biologi dapat memperoleh data penting.
Keempat, mikroskop semacam itu jauh lebih murah dan lebih kompak daripada yang tradisional. Mikroskop bebas objektif dapat dihubungkan ke ponsel, digunakan di daerah pedesaan, dan data digital dapat ditransfer ke mana saja untuk analisis menyeluruh lebih lanjut.
Teknik penginderaan kompresif
Pendekatan ketiga untuk pembentukan gambar bias didasarkan pada kemajuan terbaru dalam statistik matematika dan sinyal - teknik penginderaan tekan . Gambar optik pada matriks adalah sinyal kompleks, yang disajikan dalam bentuk daftar angka dan diproses oleh algoritma yang berbeda. Karena sinyal suara yang kompleks terdiri dari banyak suara yang lebih sederhana, yang masing-masingnya ditambahkan dalam proporsi yang tepat, sehingga gambar terbentuk dari sejumlah besar gambar yang lebih sederhana. Seperangkat gambar sederhana, atau sinyal, disebut basis . Dalam bidang suara, dasar yang paling umum adalah seperangkat nada kosinus murni. Tidak masalah seberapa rumit suaranya. Segala sesuatu dari klakson mobil hingga simfoni Beethoven dapat dibuat dengan menambahkan sejumlah besar gelombang kosinus dasar, untuk masing-masing yang intensitas dan pergeseran waktu yang diperlukan dipilih.
Apa yang bisa menjadi dasar serupa di bidang gambar? Dua basis visual yang paling populer dan berguna adalah set gelombang kosinus dua dimensi dan pola wavelet multi-resolusi. Elemen-elemen dasar ini secara matematis elegan dan membentuk dasar skema kompresi gambar JPEG dan JPEG 2000 modern. Alih-alih menyimpan dan mentransmisikan nilai setiap piksel dalam gambar digital, Anda beroperasi pada file yang menjelaskan amplitudo dari sinyal basis komponen yang berbeda. Akibatnya, file "terkompresi" jauh lebih kecil daripada gambar itu sendiri. Selama beberapa dekade, pangkalan-pangkalan ini dengan setia berfungsi sebagai alat untuk memproses gambar digital, tetapi tidak mengarah pada penciptaan metode baru untuk pengembangan sirkuit optik, oleh karena itu, tidak ada elemen optik yang memudahkan untuk memperkenalkan pangkalan apa pun.
Mari beralih ke penginderaan tekan. Secara teoritis, statistik menunjukkan bahwa sementara informasi tentang adegan itu berlebihan (mis., Gambar dapat dikompresi), tidak perlu untuk mengukur pangkalan, pengukuran sampel acak sudah cukup. « », , ( ), compressive sensing. , , .
, (), . . «» , , (). , .
, -. (coded apertures) ( - ) . FlatCam (Ashok Veeraraghavan) . , (. ). — Angry Birds — ( ) . , , , . , . , . compressive sensing «» , .
.
, . , , , . 0,5 0,2 — , . FlatCam , , .
, , , , . , - , . , , .
. , , , , , , . , , , . , , , .
, . , - .