Suatu hari di masa depan kita akan dapat memakai kacamata - dan berjalan di sekitar kota, yang ditampilkan secara real time dengan gaya yang kita sukai. Sinar matahari atau kabut cahaya, matahari terbenam sore hari, apa pun. Tidak peduli seberapa membosankan arsitekturnya, dengan kacamata itu akan menjadi indah. Kemampuan rendering seperti itu dengan transfer gaya dibuka oleh program
Deep Photo Style Transfer yang luar biasa , yang diterbitkan dalam domain publik, serta
karya ilmiah yang mendasarinya (arXiv: 1703.07511).
Mentransfer gaya dari satu gambar ke gambar lain adalah masalah lama yang relatif berhasil dipecahkan oleh pengembang di masa lalu. Dengan memilih model yang tepat untuk transfer gaya, Anda dapat dengan indah mengubah foto Anda - seolah diambil pada waktu lain, di bawah pencahayaan yang berbeda, dalam cuaca yang berbeda atau dengan cara khusus, diproses secara artistik. Sampai sekarang, teknik untuk mentransfer gaya menggunakan jaringan saraf telah relatif terbatas - baik mereka hanya bisa bekerja dengan adegan tertentu, atau masuk akal dari gaya mentransfer menderita. Penulis program baru
Deep Photo Style Transfer mencoba menyelesaikan semua masalah ini.
Jaringan neural Deep Photo Style Transfer dibangun sesuai dengan teknik transfer Neural Style yang dijelaskan oleh
Gatis , tetapi telah dirancang ulang dan ditingkatkan secara signifikan. Peningkatan utama adalah fotorealisme. Gatis bahkan jika gambar asli dan sampel adalah foto, gambar akhir masih menyerupai gambar di mana garis dan batas yang jelas menjadi buram dan tekstur ditumpangkan pada objek tetangga. Itu terlihat indah, tetapi tidak terlalu nyata.
Hanya ruang warna
Hasil dari Deep Photo Style Transfer sepenuhnya fotorealistik. "Efek lukisan" dihilangkan karena larangan distorsi spasial. Di sini, transfer gaya hanya dibatasi oleh ruang warna. Dengan kata lain, bentuk objek tetap sama persis seperti aslinya. Karena alasan inilah di masa depan "poin" yang disebutkan di awal artikel akan menjadi mungkin. Semua objek dalam realitas sekitarnya akan mempertahankan bentuknya, mereka hanya akan terlihat dalam gaya yang berbeda.
Para penulis mencapai tugas ini dengan menggunakan lapisan spesifik dari jaringan saraf dalam semangat
matriks Kirchhoff (matriks Laplacian) - mewakili grafik dalam bentuk matriks. Seperti yang ditunjukkan oleh verifikasi dalam foto-foto dengan berbagai adegan, pendekatan ini berhasil menekan distorsi, sementara pada saat yang sama memberikan pengaruh minimal pada keaslian foto.
Prinsip yang paling jelas digambarkan dimanifestasikan dalam dua contoh yang dipilih secara khusus.
Seperti yang Anda lihat, batas-batas benda jelas dipertahankan. Konversi hanya terjadi di ruang warna. Dalam kasus pertama, gaya api dipindahkan ke botol parfum, dan dalam kasus kedua, tekstur apel berubah sesuai dengan pola.
Segmentasi semantik
Pencapaian kedua dari penulis program ini adalah untuk memecahkan masalah mentransfer gaya antara objek yang tidak pantas dalam foto asli dan sampel gaya. Ini dilakukan melalui segmentasi semantik. Oleh karena itu, gaya rumah hanya ditransfer antar rumah, dan gaya langit hanya mempengaruhi langit. Dalam banyak kasus, segmentasi semantik bekerja sangat efisien, asalkan sampel gaya memiliki objek semantik yang sama seperti pada gambar asli.
Dua pendekatan di atas telah memberikan konversi foto yang sangat realistis.
Asli
Pola gaya
Gambar akhir
Berikut ini beberapa contoh lainnya.
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Asli
Pola gaya
Gambar akhir
Kualitas algoritma ini hanya dapat ditentukan oleh survei pengguna yang mengevaluasi fotorealisme dan keandalan transmisi gaya. Survei semacam itu akan dilakukan. Dia menunjukkan bahwa dalam hal fotorealisme, Deep Photo Style Transfer secara signifikan melampaui perkembangan yang disajikan sebelumnya Gaya Neural dan CNNMRF, tetapi lebih rendah daripada
sistem rendering
warna Pete . Keandalan transfer gaya Deep Photo Style Transfer jauh lebih baik daripada metode lain.
Para penulis karya ilmiah bermaksud untuk melanjutkan penelitian untuk mengatasi keterbatasan segmentasi gambar yang ada. Mereka juga mempertimbangkan pemrosesan foto secara real-time dengan menggunakan jaringan saraf pra-terlatih yang menjanjikan.