Gagasan menyelesaikan burung hantu dari lingkaran diwujudkan dengan bantuan jaringan saraf.
Berdasarkan pembelajaran mesin dan jaringan saraf, pengembang Christopher Hesse menciptakan layanan online yang dapat "menyusun" sketsa foto berwarna penuh.
Situs web
http://affinelayer.com/pixsrv/index.html Christopher Hesse menyajikan jaringan saraf yang dapat menyelesaikan kucing.
Pengguna diundang untuk menggambar sketsa kucing di jendela kiri, klik "proses" dan lihat bagaimana jaringan saraf menggambar ilustrasi. Halaman ini menunjukkan contoh yang sangat indah:
Rupanya semakin banyak garis yang digunakan dalam sketsa dan semakin sketsa terlihat seperti kucing dari set pelatihan, semakin baik jaringan saraf akan membuat gambar penuh berdasarkan itu.
Inilah yang penulis sendiri tulis:
Baru-baru ini, saya membuat
port Tensorflow pix2pix di Isola et al, dibahas dalam artikel
Image-to-Image Translation di Tensorflow . Saya mengambil beberapa model yang dibuat sebelumnya dan membuat halaman web interaktif untuk pengujian. Browser Chrome disarankan untuk dilihat.
Model pix2pix bekerja dengan melatih pasangan gambar, seperti sketsa fasad bangunan dan gambar penuh fasad bangunan, dan kemudian mencoba untuk menghasilkan gambar output yang sesuai untuk setiap input gambar yang dikirimkan. Ide ini berasal dari
artikel pix2pix , yang direkomendasikan untuk dibaca.
Fasad
Model ini dilatih pada sampel sketsa fasad bangunan hingga gambar fasad yang lengkap. Tidak mungkin model ini akan bekerja pada sketsa dengan area kosong yang besar, tetapi jika Anda menggambar jumlah jendela yang cukup dalam sketsa, maka seringkali model tersebut memberikan hasil yang baik. Dalam gambar sketsa, elemen fasad digambar dengan persegi panjang berwarna untuk menunjukkan tidak hanya batas, tetapi juga seluruh elemen.
Saya tidak memiliki nama dari berbagai bagian fasad bangunan, jadi saya hanya secara kasar menunjuk mereka.
edge2cats
Pelatihan berlangsung pada sekitar 2.000 foto kucing dan sketsa dengan batas yang dibuat secara otomatis untuk foto-foto ini. Model menciptakan gambar warna kucing dari sketsa, tetapi beberapa menemukan hasil mimpi buruk. Salah satunya saya lihat di
sini .
Beberapa gambar terlihat sangat menyeramkan, saya pikir, karena kucing tidak digambar dengan benar, terutama dari belakang mata. Prosedur untuk perbatasan penghasil otomatis tidak terlalu berkualitas tinggi, dan dalam banyak kasus tidak mengungkapkan mata kucing, yang memengaruhi kualitas database gambar yang disiapkan untuk pelatihan model.
edge2shoes
Pelatihan ini dilakukan atas dasar sekitar
50 ribu gambar sepatu yang dikumpulkan dari Zappos , serta dengan garis batas yang dihasilkan secara otomatis untuk gambar-gambar ini. Jika Anda benar-benar menggambar batas sepatu dengan baik, Anda dapat mencoba membuat beberapa desain baru. Perlu diingat bahwa model itu dilatih pada objek nyata, jadi jika Anda dapat menggambar sketsa 3D yang lebih baik, hasilnya akan terlihat lebih baik.
tas tepi2
Dengan analogi dengan yang sebelumnya, pelatihan dilakukan atas dasar sekitar 137 ribu foto tas yang dikumpulkan dari Amazon, dengan garis batas yang dihasilkan secara otomatis untuk foto-foto ini. Jika Anda menggambar sepatu di sini alih-alih tas tangan, Anda akan mendapatkan tekstur sepatu yang sangat aneh.
Implementasi
Pelatihan dan ekspor model dilakukan dengan menggunakan skrip
pix2pix.py dari
pix2pix-tensorflow . Demo interaktif dibuat berdasarkan JavaScript menggunakan Canvas API, yang berinteraksi dengan server yang mentransmisikan gambar Tensorflow. Server dapat memulai Tensorflow sendiri atau meneruskan permintaan ke layanan Google
Cloud Tensorflow.
Model terlatih tersedia di
bagian Kumpulan Data di GitHub. Model yang datang dengan implementasi pix2pix asli juga harus tersedia. Model dapat diekspor dari contoh terlatih menggunakan skrip pix2pix.py dan tautan ke model yang diekspor ada dalam
file README di server GitHub.
Perbatasan untuk foto kucing diperoleh dengan menggunakan algoritma
Deteksi Tepi Bersarang-Holistik dan fungsionalitas ini ditambahkan ke skrip
process.py dan dependensi yang sesuai ditambahkan ke
gambar Docker .