Lihat hampir tidak terlihat, juga dalam warna: teknik untuk memvisualisasikan objek melalui diffuser

Salah satu kemampuan Superman yang paling terkenal adalah penglihatan super, yang memungkinkannya untuk melihat atom, melihat dalam kegelapan dan jarak yang jauh, dan juga melihat melalui objek. Kemampuan ini sangat jarang diperagakan di layar, tetapi ternyata demikian. Dalam kenyataan kita, dimungkinkan juga untuk melihat benda yang hampir sepenuhnya buram dengan menerapkan beberapa trik ilmiah. Namun, gambar yang diterima selalu hitam dan putih, hingga saat ini. Hari ini kita akan berkenalan dengan sebuah penelitian di mana para ilmuwan dari Duke University (USA) dapat mengambil gambar berwarna dari objek yang tersembunyi di balik dinding buram menggunakan paparan cahaya tunggal. Apa teknologi super ini, bagaimana cara kerjanya dan di bidang apa itu dapat diterapkan? Laporan kelompok riset akan memberi tahu kami tentang hal ini. Ayo pergi.

Dasar studi

Terlepas dari semua kemungkinan "roti" teknologi untuk memvisualisasikan objek di media yang berserakan, ada sejumlah masalah dalam menerapkan teknologi ini. Yang utama adalah kenyataan bahwa jalur foton yang melewati pencar sangat bervariasi, yang mengarah ke pola belu acak * di sisi lain.

Speckle * adalah pola interferensi acak yang dibentuk oleh interferensi timbal balik dari gelombang koheren yang memiliki pergeseran fase acak dan / atau serangkaian intensitas acak. Paling sering terlihat seperti satu set titik terang (titik-titik) pada latar belakang gelap.

Dalam beberapa tahun terakhir, beberapa teknik visualisasi telah dikembangkan untuk menghindari efek dari diffuser dan mengekstraksi informasi tentang objek dari pola speckle. Masalah dengan teknik ini adalah keterbatasan mereka - Anda harus memiliki pengetahuan tertentu tentang objek, memiliki akses ke media atau objek yang tersebar, dll.

Pada saat yang sama, ada jauh lebih maju, menurut para ilmuwan, metode - visualisasi dengan efek memori (ME). Metode ini memungkinkan Anda untuk memvisualisasikan objek tanpa pengetahuan sebelumnya tentang media sendiri atau hamburannya. Setiap orang memiliki kelemahan, seperti yang kita tahu, dan metode ME tidak terkecuali. Untuk mendapatkan pola speckle kontras tinggi dan, karenanya, gambar yang lebih akurat, pencahayaannya harus pita-sempit, mis. kurang dari 1 nm.

Mengakali keterbatasan metode ME juga dimungkinkan, tetapi, sekali lagi, trik ini melibatkan akses ke sumber optik atau objek ke diffuser atau pengukuran langsung PSF * .

PSF * adalah fungsi penyebaran titik yang menggambarkan gambar yang diterima sistem formasi ketika mengamati sumber cahaya titik atau objek titik.

Para peneliti menyebut metode ini berfungsi, tetapi tidak sempurna, karena pengukuran PSF tidak selalu mungkin karena, misalnya, dinamika diffuser atau tidak dapat diaksesnya prosedur pencitraan. Dengan kata lain, ada pekerjaan yang harus dilakukan.

Dalam pekerjaan mereka, para peneliti menyarankan pendekatan yang berbeda. Mereka menunjukkan kepada kami metode untuk menerapkan visualisasi multispektral objek melalui media hamburan menggunakan pengukuran spekel tunggal dengan kamera monokrom. Tidak seperti teknik lainnya, teknik ini tidak memerlukan pengetahuan sebelumnya tentang sistem PSF atau sumber spektrum.

Metode baru memungkinkan Anda untuk membuat gambar berkualitas tinggi dari objek target dalam lima saluran spektral yang terpisah antara 450 nm dan 750 nm, yang dikonfirmasi oleh perhitungan. Dalam prakteknya, sejauh ini dimungkinkan untuk mencapai visualisasi dari tiga kanal spektral yang terpisah antara 450 nm dan 650 nm dan enam saluran spektral yang berdekatan antara 515 dan 575 nm.

Prinsip metode baru

Gambar No. 1: lampu - modulator cahaya spasial - diffuser (dengan diafragma iris) - celah pengkodean - prisma - relai optik (visualisasi 1: 1) - kamera monokrom.

Para peneliti mencatat tiga elemen utama dari setiap visualisasi melalui diffuser: objek yang menarik (diterangi dari luar atau bersinar secara independen), diffuser, dan detektor.

Seperti dalam sistem ME standar, penelitian ini mempertimbangkan objek yang ukuran sudutnya terletak di dalam bidang pandang ME dan pada jarak u di belakang diffuser. Setelah berinteraksi dengan diffuser, cahaya merambat ke jarak v sebelum mencapai detektor.

Pencitraan ME konvensional menggunakan kamera standar, dan metode ini menggunakan modul detektor pengkodean yang terdiri dari celah pengkodean dan elemen optik yang tergantung pada panjang gelombang. Tujuan elemen ini adalah memodulasi unik masing-masing saluran spektral sebelum menggabungkan dan mengubahnya dalam detektor monokrom.

Jadi, alih-alih hanya mengukur spekel kontras rendah, yang saluran spektralnya dicampur secara tak terpisahkan, sinyal multipleks spektral direkam yang sangat cocok untuk pemisahan.

Peneliti sekali lagi menekankan bahwa metode mereka tidak memerlukan karakteristik atau asumsi yang diketahui sebelumnya mengenai diffuser atau sumber cahaya.

Setelah pengukuran awal spekel multipleks, nilai Tλ yang terkenal (pola pengkodean tergantung-panjang gelombang) digunakan untuk merekonstruksi spekel secara individual di setiap pita spektrum.

Dalam pekerjaan mereka pada tahap perhitungan dan pemodelan, para ilmuwan menerapkan metode pembelajaran mesin tertentu yang dapat membantu dalam penerapan metode yang sebelumnya tidak dipertimbangkan. Pertama-tama, pelatihan digunakan pada fitur matriks jarang untuk mewakili spekel.

Pelatihan tanda * - memungkinkan sistem untuk secara otomatis menemukan representasi yang diperlukan untuk mengidentifikasi tanda-tanda data sumber.

Akibatnya, sebuah pangkalan dilatih pada gambar speckle dari berbagai konfigurasi pengukuran. Basis ini cukup digeneralisasi dan tidak bergantung pada objek dan pencar spesifik yang terlibat dalam pembuatan topeng Iλx, y. Dengan kata lain, sistem dilatih berdasarkan diffuser yang tidak digunakan dalam konfigurasi eksperimental, mis. sistem tidak memiliki akses ke sana, seperti yang diinginkan para peneliti.

Untuk mendapatkan gambar spekel pada setiap panjang gelombang, algoritma OMP ( orthogonal matching mengejar ) digunakan.

Pada akhirnya, dengan menghitung autokorelasi masing-masing kanal spektral secara independen dan inversi autokorelasi pada setiap panjang gelombang, gambar-gambar objek diperoleh. Gambar yang dihasilkan pada setiap panjang gelombang kemudian digabungkan untuk membuat gambar warna objek.


Gambar # 2: Proses bertahap untuk menyusun gambar suatu objek.
Teknik ini, menurut penciptanya, tidak membuat asumsi tentang korelasi antara saluran spektral dan hanya memerlukan asumsi bahwa nilai panjang gelombang cukup acak. Selain itu, metode ini hanya memerlukan informasi tentang detektor pengkodean, dengan mengandalkan kalibrasi pendahuluan dari celah pengkodean dan pustaka data pra-terlatih. Karakteristik seperti itu membuat teknik pencitraan ini sangat fleksibel dan non-invasif.

Hasil simulasi

Untuk memulai, pertimbangkan hasil simulasi.


Gambar No. 3

Gambar di atas menunjukkan contoh gambar multispektral dari dua objek yang diambil melalui diffuser. Baris atas pada 3a berisi objek yang menarik, terdiri dari beberapa angka yang ditampilkan dalam warna salah dan dalam gangguan oleh saluran spektral. Saat membuat objek dalam warna salah, profil intensitas setiap panjang gelombang dalam ruang CIE 1931 RGB ditampilkan.

Objek yang direkonstruksi (baris bawah pada 3a ) baik dalam warna palsu dan dari sudut pandang saluran spektrum individu menunjukkan bahwa teknik ini memberikan visualisasi yang sangat baik dan hanya interaksi silang yang tidak signifikan antara saluran spektral, yang tidak memainkan peran khusus dalam proses.

Setelah menerima objek yang direkonstruksi, mis. setelah visualisasi, perlu untuk mengevaluasi tingkat akurasi dengan membandingkan intensitas spektral (rata-rata atas semua piksel cerah) dari objek nyata dan yang direkonstruksi ( 3b ).

Gambar 3c menunjukkan objek nyata (baris atas) dan gambar yang direkonstruksi (baris bawah) untuk sel dari batang kapas, dan 3d menunjukkan analisis keakuratan visualisasi.

Untuk menilai akurasi visualisasi, perlu untuk menghitung nilai-nilai koefisien kesamaan struktural (SSIM) dan rasio signal-to-noise puncak (pSNR) dari objek ini untuk setiap saluran spektral.



Tabel di atas menunjukkan bahwa masing-masing dari lima saluran memiliki koefisien SSIM 0,8-0,9 dan PSNR lebih dari 20. Ini mengikuti bahwa meskipun kontras rendah dari sinyal spekel, superposisi dari lima pita spektral dengan lebar 10 nm pada detektor memungkinkan rekonstruksi yang cukup akurat sifat spasial dan spektral dari objek yang diteliti. Dengan kata lain, teknik ini berfungsi, namun, ini hanya hasil simulasi. Demi kepercayaan pada pekerjaan mereka, para ilmuwan melakukan sejumlah percobaan praktis.

Hasil Eksperimen

Salah satu perbedaan paling signifikan antara pemodelan dan eksperimen nyata adalah lingkungan, yaitu kondisi di mana keduanya dilakukan. Dalam kasus pertama, ada kondisi yang terkendali, dalam kondisi kedua, kondisi yang tidak dapat diprediksi, mis. bagaimana bisa

Tiga saluran spektral dengan lebar 8-12 nm diperiksa dengan pusat 450, 550 dan 650 nm, yang dikombinasikan dengan berbagai nilai relatif menghasilkan berbagai warna.


Gambar No. 4

Gambar di atas menunjukkan perbandingan antara objek nyata (huruf multi-warna "H") dan yang direkonstruksi. Waktu pemaparan cahaya (pencahayaan, mis. Pencahayaan) diatur ke 1800, yang memungkinkan kami untuk mendapatkan SNR dalam kisaran 60-70 dB. SNR semacam itu, menurut para ilmuwan, tidak terlalu penting untuk pengalaman, tetapi berfungsi sebagai konfirmasi tambahan tentang efisiensi metodologi mereka, terutama dalam kasus objek yang kompleks. Pada kenyataannya, dan bukan dalam kondisi laboratorium, metode ini bisa menjadi urutan besarnya lebih cepat.

Baris atas gambar No. 4 menunjukkan objek pada setiap panjang gelombang (dari kiri ke kanan) dan objek penuh warna nyata.

Untuk memperoleh gambar objek nyata sebagai hasil visualisasi, kamera penglihatan mesin dengan filter band-pass yang sesuai digunakan untuk secara langsung menampilkan komponen spektral dan memperoleh gambar penuh warna dengan menjumlahkan saluran spektral yang dihasilkan.

Baris kedua dari gambar di atas menunjukkan pola autokorelasi dari masing-masing saluran spektra yang direkonstruksi membentuk pengukuran multiplex, yang merupakan data input untuk langkah pemrosesan data.

Baris ketiga adalah objek yang direkonstruksi di setiap saluran spektral, serta objek penuh warna yang direkonstruksi, yaitu hasil akhir dari visualisasi.

Gambar penuh warna menunjukkan bahwa nilai relatif antara saluran spektral juga benar, karena warna gambar yang direkonstruksi gabungan sesuai dengan nilai nyata, dan koefisien SSIM mencapai lebih dari 0,92 untuk setiap saluran.

Baris bawah adalah konfirmasi dari pernyataan ini, menunjukkan perbandingan intensitas objek nyata dan yang direkonstruksi. Data keduanya bertepatan di semua rentang spektral.

Oleh karena itu, bahkan adanya noise dan potensi kesalahan pemodelan tidak mencegah diperolehnya gambar berkualitas tinggi, dan hasil eksperimen berkorelasi baik dengan hasil simulasi.

Pengalaman di atas ditetapkan dengan mempertimbangkan saluran spektral yang terbagi. Ilmuwan melakukan percobaan lain, tetapi dengan saluran yang berdekatan, dan lebih tepatnya dengan rentang spektral kontinu 60 nm.


Gambar No. 5

Huruf "X" dan tanda "+" ( 5a ) bertindak sebagai objek nyata. Spektrum huruf "X" relatif seragam dan kontinu - antara 515 dan 575 nm, tetapi "+" memiliki spektrum terstruktur, terutama terletak di antara 535 dan 575 nm ( 5b ). Untuk percobaan ini, eksposur adalah 120 detik untuk mencapai SNR yang diinginkan (seperti sebelumnya) 70 dB.

Filter bandpass lebar 60 nm di atas seluruh objek dan filter lowpass di atas tanda "+" juga digunakan. Selama rekonstruksi 60 nm, spektrum dibagi menjadi 6 saluran yang berdekatan dengan lebar 10 nm ( 5b ).

Seperti yang dapat kita lihat dari gambar 5c , gambar yang dihasilkan sangat sesuai dengan objek nyata. Percobaan ini menunjukkan bahwa ada atau tidak adanya korelasi spektral dalam spekel yang diukur tidak mempengaruhi efektivitas teknik pencitraan yang diteliti. Para ilmuwan sendiri percaya bahwa peran yang jauh lebih besar dalam proses visualisasi, dan lebih tepatnya dalam keberhasilannya, dimainkan tidak jauh oleh karakteristik spektral objek seperti oleh kalibrasi sistem dan rincian detektor kodenya.

Untuk seorang kenalan yang lebih mendetail dengan nuansa penelitian ini, saya sarankan Anda melihat laporan para ilmuwan dan bahan tambahan untuk itu.

Epilog

Dalam karya ini, para ilmuwan menggambarkan metode baru pencitraan multispektral melalui diffuser. Modulasi spekel, tergantung pada panjang gelombang, menggunakan celah pengkodean, memungkinkan untuk melakukan satu pengukuran multipleks dan menghitung spekel menggunakan algoritma OMP berdasarkan pembelajaran mesin.

Dengan menggunakan huruf multi-warna "H" sebagai contoh, para ilmuwan telah menunjukkan bahwa berfokus pada lima saluran spektral yang sesuai dengan ungu, hijau, dan tiga warna merah memungkinkan kita memperoleh rekonstruksi gambar yang berisi semua warna aslinya (biru, kuning, dll.).

Menurut para peneliti, teknik mereka dapat bermanfaat baik dalam kedokteran dan astronomi. Warna membawa informasi penting di kedua arah: dalam astronomi - komposisi kimia objek yang dipelajari, dalam kedokteran - komposisi molekuler sel dan jaringan.

Pada tahap ini, para ilmuwan mencatat hanya satu masalah yang dapat menyebabkan ketidakakuratan dalam visualisasi, ini adalah kesalahan pemodelan. Karena waktu yang cukup lama yang dibutuhkan untuk menyelesaikan proses, perubahan lingkungan dapat terjadi yang akan membuat penyesuaian sendiri yang tidak diperhitungkan pada tahap persiapan. Namun, di masa depan direncanakan untuk menemukan cara untuk meratakan masalah ini, yang akan membuat teknik visualisasi yang dijelaskan tidak hanya akurat, tetapi juga stabil dalam kondisi apa pun.



Terima kasih telah tinggal bersama kami. Apakah Anda suka artikel kami? Ingin melihat materi yang lebih menarik? Dukung kami dengan melakukan pemesanan atau merekomendasikannya kepada teman-teman Anda, diskon 30% untuk pengguna Habr pada analog unik dari server entry-level yang kami temukan untuk Anda: Seluruh kebenaran tentang VPS (KVM) E5-2650 v4 (6 Cores) 10GB DDR4 240GB SSD 1Gbps dari $ 20 atau bagaimana membagi server? (opsi tersedia dengan RAID1 dan RAID10, hingga 24 core dan hingga 40GB DDR4).

Dell R730xd 2 kali lebih murah? Hanya kami yang memiliki 2 x Intel TetraDeca-Core Xeon 2x E5-2697v3 2.6GHz 14C 64GB DDR4 4x960GB SSD 1Gbps 100 TV dari $ 199 di Belanda! Dell R420 - 2x E5-2430 2.2Ghz 6C 128GB DDR3 2x960GB SSD 1Gbps 100TB - mulai dari $ 99! Baca tentang Cara Membangun Infrastruktur Bldg. kelas menggunakan server Dell R730xd E5-2650 v4 seharga 9.000 euro untuk satu sen?