Metode interpolasi murah bekerja tidak lebih buruk daripada jaringan saraf

Perbandingan RAISR dengan teknik resolusi gambar canggih lainnya. Untuk lebih banyak contoh, lihat artikel ilmiah yang menyertainya .

Meningkatkan resolusi gambar, yaitu membuat foto resolusi tinggi berdasarkan pada satu foto resolusi rendah, adalah masalah ilmiah yang dipelajari dengan sangat baik. Penting untuk banyak aplikasi: memperbesar foto dan teks, memproyeksikan video ke layar besar, dll. Bahkan dalam film, detektif kadang-kadang berhasil melihat jumlah mobil pada bingkai dari kamera pengintai, "membawa" foto ke batas. Dan bukan hanya nomor mobilnya. Semuanya di sini dibatasi oleh imajinasi dan hati nurani sutradara dan penulis skenario. Mereka dapat membawa foto lebih jauh - dan melihat pantulan penjahat di kaca spion atau bahkan di kepala logam dari baut yang menahan plat nomor. Pemirsa seperti itu.

Dalam praktiknya, kemampuan program semacam itu jauh lebih sederhana. Misalnya, pada 29 Oktober 2016, GuralHub meluncurkan program Neural Enhance , yang meningkatkan resolusi foto menggunakan jaringan saraf. Program segera memasukkan daftar repositori paling populer untuk minggu ini.


Contoh karya Neural Enhance Contoh


lain dari karya program Neural Enhance, yang tersedia untuk umum di

karyawan Google Research GitHub juga bekerja dalam arah ini - blog resmi perusahaan kemarin berbicara tentang metode peningkatan resolusi, yang mereka sebut RAISR (Rapid and Accurate Image Super-Resolution) )

Secara historis, interpolator sederhana telah digunakan untuk menginterpolasi gambar, yang menemukan nilai tengah piksel baru dari sekumpulan nilai piksel yang diketahui dari gambar asli. Metode yang berbeda digunakan di sana untuk menghitung nilai rata-rata: interpolasi dengan metode tetangga terdekat, interpolasi bilennian, metode kubik, metode bikubik, dll. Ini semua adalah rumus matematika yang cukup sederhana. Mereka banyak digunakan dalam berbagai aplikasi karena kesederhanaan dan ketidaktahuan mereka. Mereka tidak beradaptasi sama sekali dengan konten gambar, yang sering mengarah pada penampilan artefak yang tidak menyenangkan - fragmen terlalu buram, distorsi karakteristik aliasing.

Dalam beberapa dekade terakhir, banyak program yang lebih maju dan metode interpolasi telah dikembangkan yang secara eksplisit memperhitungkan karakteristik gambar asli. Mereka dapat menggunakan dan skala fragmen dari gambar asli, isi di sparseness, menerapkan campuran Gaussian . Metode baru telah secara signifikan meningkatkan kualitas interpolasi (restorasi digital sumber asli) dengan meningkatkan kompleksitas perhitungan.

Karyawan Google menggunakan pembelajaran mesin pada sampel eksternal. Metode ini telah mendapatkan popularitas besar dalam beberapa tahun terakhir dan dijelaskan dalam banyak makalah ilmiah. Prinsip dasarnya adalah untuk "memprediksi" konten gambar dalam resolusi tinggi dari salinan yang dikurangi. Untuk pelatihan semacam itu, metode standar pengajaran dengan sampel digunakan.

Selama pelatihan RAISR, basis pasangan gambar yang dihasilkan secara bersamaan dalam kualitas tinggi dan rendah digunakan. Kami menggunakan pasangan fragmen kecil gambar untuk interpolasi 2x standar, yaitu fragmen 3 × 3 dan 6 × 6 piksel. Algoritma pembelajaran dan operasi RAISR ditunjukkan pada diagram.





Ilustrasi berikut menunjukkan empat filter global yang diizinkan untuk digunakan selama fase pelatihan. Dengan demikian, program dilatih untuk menerapkannya secara paling efektif, tergantung pada konten fragmen beberapa piksel ini.





Setiap jenis filter beroperasi untuk jenis pikselnya sendiri: dari P1 ke P4, sesuai dengan jenis piksel yang digunakan oleh algoritma interpolasi bilinear.



Dalam beberapa hal, metode pembelajaran mesin RAISR mirip dengan pelatihan jaringan saraf. Tetapi pada kenyataannya, ini adalah adaptasi dari berbagai filter interpolasi standar untuk setiap fragmen kecil dari gambar asli. Artinya, ini adalah "interpolasi linier" yang sama, tetapi seolah-olah pada steroid - tanpa artefak yang melekat dan dengan adaptasi terhadap konten gambar.

Pengujian komparatif menunjukkan bahwa dalam banyak kasus, algoritma semacam itu bekerja lebih baik daripada metode modern interpolasi canggih berdasarkan jaringan saraf (SRCNN dalam ilustrasi).



Selain itu, metode seperti ini berdasarkan hashing jauh lebih sedikit sumber daya intensif dan lebih dapat diterima dalam praktek daripada pelatihan dan menggunakan jaringan saraf. Perbedaan dalam kinerjanya sangat besar (10-100 kali) sehingga program ini dapat berjalan dengan aman bahkan pada perangkat seluler biasa, dan itu akan bekerja secara real time. Tidak ada yang mencegah penerapan filter ini dalam aplikasi interpolasi gambar modern pada ponsel cerdas, termasuk aplikasi kamera Android, yang melakukan interpolasi selama zoom digital. Mungkin saja Google akan melakukan hal itu sejak awal. Setidaknya ini adalah contoh penggunaan interpolasi yang paling luas tersebar pada jutaan perangkat.


Kiri: Resolusi rendah asli. Pusat: hasil interpolator bikubik standar. Kanan: hasil RAISR

Photos akan lebih baik segera untuk semua pengguna Android.

Omong-omong, keuntungan lain yang menarik dan penting dari RAISR adalah bahwa selama proses pelatihan program ini dapat dilatih untuk menghilangkan artefak kompresi khas, termasuk JPEG. Misalnya, pada perangkat seluler, foto dapat disimpan dalam bentuk terkompresi dengan artefak, dan ditampilkan di layar tanpa artefak. Atau algoritme dapat digunakan di hosting foto Google untuk secara otomatis meningkatkan foto pengguna, dengan penghapusan artefak JPEG yang ada hampir di mana-mana.


Kiri: resolusi rendah asli dengan artefak aliasing khusus JPEG. Kanan - Artikel Ilmiah RAISR Edisi

Staf Google Research akan segera diterbitkan dalam jurnal IEEE Transactions on Computational Imaging. (Catatan: Penulis utama makalah ini adalah seorang magang Penelitian Google pada saat penulisan, tetapi sekarang bekerja di Institut Penelitian Teknik Israel).

Source: https://habr.com/ru/post/id399119/