Salah satu kuas menghilangkan / menambah pohon, yang lain - orang, dll.Generative contention networks (GANs) menciptakan gambar yang sangat realistis, seringkali tidak dapat dibedakan dari yang asli. Sejak penemuan jaringan tersebut pada tahun 2014, banyak penelitian telah dilakukan di bidang ini dan sejumlah aplikasi telah dibuat, termasuk untuk
manipulasi gambar dan
prediksi video . Beberapa varian GAN telah dikembangkan, dan percobaan sedang berlangsung.
Meskipun sukses luar biasa ini, masih banyak pertanyaan yang tersisa. Tidak jelas apa sebenarnya alasan untuk artefak yang sangat tidak realistis, pengetahuan minimal apa yang diperlukan untuk menghasilkan objek tertentu, mengapa satu varian GAN bekerja lebih baik daripada yang lain, perbedaan mendasar apa yang dikodekan dalam skala mereka? Untuk lebih memahami cara kerja internal GAN, para peneliti di Massachusetts Institute of Technology, MIT-IBM Watson AI, dan IBM Research telah mengembangkan kerangka kerja GANDissection dan program
GANpaint , editor grafis pada jaringan permusuhan generatif.
Karya ini disertai dengan
artikel ilmiah yang menjelaskan secara rinci fungsi kerangka kerja dan membahas pertanyaan-pertanyaan yang peneliti coba cari jawabannya. Secara khusus, mereka mencoba mempelajari
representasi internal dari jaringan persaingan generatif. "Struktur analitis untuk memvisualisasikan dan memahami GAN di tingkat unit, objek dan adegan", yaitu, kerangka kerja GAND, harus membantu.
Dengan metode membagi gambar menjadi beberapa bagian (diseksi jaringan berbasis segmentasi), sistem menentukan kelompok "unit yang ditafsirkan" yang terkait erat dengan konsep objek. Kemudian penilaian kuantitatif dari penyebab yang menyebabkan perubahan dalam unit yang ditafsirkan dilakukan. Ini dilakukan "dengan mengukur kemampuan intervensi untuk mengontrol objek di pintu keluar." Sederhananya, para peneliti mempelajari hubungan kontekstual antara objek tertentu dan lingkungannya dengan memasukkan objek yang terdeteksi ke dalam gambar baru.
Kerangka Diseksi GAN menunjukkan bahwa neuron spesifik dalam GAN dilatih tergantung pada jenis adegan yang ia pelajari untuk menggambar: misalnya, neuron jaket muncul ketika mempelajari ruang konferensi, dan neuron piring muncul ketika menggambar dapur.Untuk memastikan bahwa set neuron mengontrol gambar objek, dan tidak hanya berkorelasi, kerangka kerja mengintervensi jaringan dan mengaktifkan dan menonaktifkan neuron secara langsung. Beginilah cara kerja editor grafis GANpaint - ini adalah demonstrasi visual dari kerangka analitik.
GANpaint mengaktifkan dan menonaktifkan neuron dalam jaringan yang dilatih untuk membuat gambar. Setiap tombol pada panel kiri berhubungan dengan 20 neuron. Hanya tujuh tombol:
- sebatang pohon;
- rumput
- pintu;
- langit;
- sebuah awan;
- batu bata;
- kubah.
GANpaint dapat menambah atau menghapus objek seperti itu.
Dengan beralih neuron secara langsung, Anda dapat mengamati struktur dunia visual yang telah dipelajari oleh model jaringan saraf.
Ketika mempelajari hasil kerja dari jaringan persaingan-generatif lainnya, orang luar dapat mengajukan pertanyaan: apakah GAN benar-benar membuat gambar baru atau hanya membuat adegan dari objek yang ditemuinya selama pelatihan? Mungkin jaringan hanya mengingat gambar dan kemudian memutarnya dengan cara yang sama? Karya penelitian ini dan editor GANpaint menunjukkan bahwa jaringan benar-benar mempelajari beberapa aspek komposisi, kata para penulis.
Satu penemuan menarik adalah bahwa neuron yang sama mengendalikan kelas objek tertentu dalam konteks yang berbeda, bahkan jika penampilan akhir objek sangat bervariasi. Neuron yang sama dapat beralih ke konsep "pintu" terlepas dari apakah Anda perlu menambahkan pintu yang berat di dinding batu besar atau pintu kecil di gubuk kecil. GAN juga memahami kapan dan kapan objek tidak dapat dibuat. Misalnya, ketika neuron pintu diaktifkan, pintu benar-benar muncul di tempat yang tepat di gedung. Tetapi jika Anda melakukan hal yang sama di langit atau di pohon, maka biasanya upaya seperti itu tidak berpengaruh.
Artikel ilmiah
"Diseksi GAN: Memvisualisasikan dan Memahami Jaringan Adversarial Generatif" diterbitkan pada tanggal 26 November 2018 di situs preprint arXiv.org (arXiv: 1811.10597v2).
Demo, video, kode, dan data interaktif diterbitkan
di Github dan di
situs web MIT .