Generative Adversarial Networks (GAN) - Kelas model generatif mendalam dengan fitur menarik. Gagasan utama mereka adalah untuk melatih dua jaringan saraf, generator yang mempelajari sintesis data (misalnya, gambar), dan diskriminator yang mempelajari cara membedakan data nyata dari yang disintesis oleh generator. Pendekatan ini telah berhasil digunakan untuk
sintesis gambar berkualitas tinggi ,
peningkatan kompresi gambar , dan banyak lagi.
Evolusi sampel yang dihasilkan selama pelatihan di ImageNet. Generator dibatasi oleh kelas gambar (misalnya, "burung hantu berjanggut" atau "golden retriever").Di bidang sintesis gambar alami,
GSS bersyarat mencapai hasil terbaik, yang, tidak seperti yang tanpa syarat, menggunakan label ("mesin", "anjing", dll.) Selama pelatihan. Dan meskipun ini menyederhanakan tugas dan memberikan peningkatan yang signifikan dalam hasilnya, pendekatan semacam itu membutuhkan sejumlah besar data yang ditandai, yang jarang ditemukan dalam praktiknya.
Dalam
pekerjaan kami "Menghasilkan gambar berkualitas tinggi dengan tag lebih sedikit", kami mengusulkan pendekatan baru untuk mengurangi jumlah data yang ditandai untuk melatih CSS bersyarat tingkat lanjut. Menggabungkan pendekatan ini dengan terobosan terbaru dalam pengembangan GSS skala besar, kami menghasilkan gambar alami berkualitas sebanding dengan menggunakan tag 10 kali lebih sedikit. Kami juga merilis pembaruan besar
perpustakaan Compare GAN berdasarkan studi ini, yang berisi semua komponen yang diperlukan untuk pelatihan dan evaluasi GSS modern.
Perbaikan melalui semi-supervisi dan supervisi mandiri
Dalam GSS bersyarat, generator dan pembeda biasanya terbatas pada label kelas. Dalam pekerjaan kami, kami mengusulkan untuk mengganti tag yang ditempel secara manual dengan yang prospektif. Untuk menampilkan label berkualitas baik untuk set besar yang terdiri dari sebagian besar data yang tidak ditandai, kami menggunakan pendekatan dua langkah. Pertama, kita belajar bagaimana menyajikan fitur gambar hanya dengan contoh bagian database yang tidak terisi. Untuk mempelajari tentang penyajian tanda-tanda, kami menggunakan pengawasan diri dalam bentuk pendekatan yang
baru -
baru ini diusulkan di mana data yang tidak berlabel dicampur secara acak, dan jaringan saraf convolutional yang dalam memprediksi sudut rotasi. Idenya adalah bahwa model harus dapat mengenali objek dasar dan bentuknya agar berhasil menyelesaikan tugas ini:
Kemudian kami mempertimbangkan urutan aktivasi salah satu lapisan menengah dari jaringan yang terlatih sebagai representasi baru dari karakteristik data input, dan melatih classifier untuk mengenali label dari data input ini menggunakan bagian berlabel dari set data awal. Karena jaringan awalnya dilatih untuk mengekstraksi atribut data yang bermakna secara semantik (dalam tugas dengan prediksi rotasi), melatih pengelompokan ini lebih efektif dengan contoh daripada melatih seluruh jaringan dari awal. Akhirnya, kami menggunakan classifier ini untuk menandai data yang tidak terisi.
Untuk lebih meningkatkan kualitas model dan stabilitas pelatihan, kami mendorong jaringan diskriminator untuk mempelajari representasi atribut yang bermakna yang tidak dilupakan selama pelatihan karena kerugian tambahan yang kami sajikan
sebelumnya . Kedua keunggulan ini, bersama dengan pelatihan skala besar, menyediakan GSS bersyarat canggih yang sangat cocok untuk mensintesis gambar dari ImageNet, dilihat dari
jarak Fréchet .
Jaringan generator menghasilkan gambar berdasarkan vektor eigen. Di setiap baris, interpolasi linier dari eigencode dari gambar paling kiri dan paling kanan mengarah ke interpolasi semantik di ruang gambar.Bandingkan perpustakaan GAN untuk pelatihan dan evaluasi GSS
Penelitian lanjutan di bidang GSS sangat tergantung pada kode yang dikembangkan dan diuji dengan baik, karena bahkan reproduksi hasil dan teknik sebelumnya memerlukan banyak upaya. Untuk mendukung ilmu pengetahuan terbuka dan memungkinkan komunitas riset untuk membangun terobosan baru-baru ini, kami merilis pembaruan besar ke perpustakaan Compare GAN. Ini termasuk fungsi kerugian, skema regularisasi dan normalisasi, arsitektur jaringan saraf, dan metrik numerik, sering digunakan dalam GSS modern. Dia juga sudah mendukung:
- Pelatihan tentang GPU dan TPU.
- Pengaturan mudah dengan Gin ( contoh ).
- Sejumlah besar set data melalui perpustakaan TensorFlow .
Kesimpulan dan rencana untuk masa depan
Dengan adanya kesenjangan antara sumber data yang berlabel dan yang tidak berlabel,
semakin penting untuk belajar dari hanya data yang sebagian saja dilabeli. Kami telah menunjukkan bahwa kombinasi sederhana pengawasan diri dan semi-pengawasan yang sederhana namun kuat dapat membantu menjembatani kesenjangan ini dengan GSS. Kami percaya bahwa pengawasan diri adalah ide yang menjanjikan yang perlu dieksplorasi untuk bidang pemodelan generatif lainnya.