Halo rekan!
Kami dengan senang hati mengumumkan bahwa rencana penerbitan kami untuk awal tahun depan mencakup buku Pembelajaran Mendalam Generatif baru yang sangat baik oleh David Foster
Penulis, yang membandingkan karya ini tidak kurang dengan pendaratan Apollo di bulan, menerbitkan di Medium ulasan terperinci dari karya agungnya, yang kami usulkan untuk mempertimbangkan sebuah penggoda yang mendekati kenyataan.
Selamat membaca, ikuti pengumumannya!
459 hari perjalanan saya dari blog ke buku dan kembali
20:17 UTC, 20 Juli 201950 tahun sebelumnya, menit per menit - modul Eagle diujicobakan, diemudikan oleh Neil Armstrong dan Buzz Aldrin. Itu adalah manifestasi tertinggi dari teknik, keberanian dan tekad yang tulus.
Maju cepat 50 tahun - dan temukan bahwa seluruh daya pemrosesan dari
wahana kendali komputer pesawat ruang angkasa Apollo (AGC), yang mengantarkan orang-orang ini ke bulan, sekarang pas di saku Anda berkali-kali. Bahkan, kekuatan komputasi iPhone 6 secara bersamaan akan membawa ke 120 juta pesawat ruang angkasa seperti Apollo 11.
Fakta ini sama sekali tidak mengurangi keagungan AGC. Mengingat hukum Moore, Anda dapat mengambil perangkat komputer apa pun dan tidak salah, dengan mengatakan bahwa dalam 50 tahun akan ada mesin yang dapat bekerja 2 ² kali lebih cepat.
Margaret Hamilton, kepala tim programmer yang menulis kode untuk AGC, menganggap keterbatasan perangkat keras komputer pada waktu itu bukan sebagai hambatan, tetapi sebagai tantangan. Dia menggunakan semua sumber daya yang dia miliki untuk menyelesaikan yang tak terpikirkan.
Margaret Hamilton dan kode untuk AGC (sumber: Gambar Sejarah Sains)
Dan sekarang, saya ingin memberi tahu Anda tentang ...
Buku "Pembelajaran mendalam generatif"459 hari yang lalu, saya menerima surat dari O'Reilly Media, menanyakan seberapa menariknya menulis buku. Saya menyukai ide ini, jadi saya setuju dan memutuskan untuk menulis panduan paling mutakhir untuk pemodelan generatif, atau lebih tepatnya, sebuah buku praktis yang akan memberi tahu Anda cara membuat model pembelajaran mendalam yang dihargai waktu yang dapat menggambar, menulis teks, membuat musik dan bermain .
Yang paling penting, saya ingin, setelah membaca buku ini, pembaca untuk memahami secara mendalam pembelajaran mendalam generatif dan mencoba membuat model yang benar-benar hal-hal menakjubkan; Selain itu, model-model ini tidak memerlukan sumber daya komputasi yang besar dan mahal, yang masih bekerja cukup lambat.
Saya sangat yakin: untuk menguasai topik teknis apa pun, Anda harus mulai dengan menyelesaikan masalah kecil di atasnya, tetapi memahaminya secara terperinci sehingga Anda memahami alasan semua baris kode menjadi satu.
Jika Anda mulai dengan kumpulan data besar dan dengan model seperti itu, yang masing-masing membutuhkan satu hari penuh dan tidak satu jam untuk berjalan, maka jangan belajar apa pun di luar minimum - hanya menghabiskan waktu 24 kali lebih banyak untuk pelatihan.
Hal terpenting yang diajarkan oleh pendaratan Apollo di bulan adalah bahwa Anda dapat mencapai hasil yang luar biasa dengan sumber daya komputasi yang sangat sederhana. Kesan persis sama yang Anda miliki tentang pemodelan generatif setelah Anda membaca buku saya.
Ada apa dengan burung beo?Menulis untuk O'Reilly jauh lebih menyenangkan karena mereka memilih ilustrasi kebinatangan untuk sampul buku Anda. Saya mendapat nuri ekor merah berkepala biru, yang menurut saya membaptis Neil Wingstrong.
Neil Wingstrong berasal dari keluarga Parrot.
Jadi, burung beo telah mendarat. Apa yang harus diharapkan dari buku ini?
Tentang apa buku ini?Buku ini adalah panduan terapan untuk pemodelan generatif.
Ini menetapkan semua hal dasar yang membantu membangun model generatif paling sederhana. Kemudian materi secara bertahap menjadi lebih kompleks untuk model yang lebih maju, langkah demi langkah. Semua bagian disertai dengan contoh-contoh praktis, diagram arsitektur, dan kode.
Buku ini untuk semua orang yang ingin lebih memahami sensasi yang akan datang tentang pemodelan generatif. Membaca buku tidak membutuhkan pengetahuan pembelajaran yang mendalam, semua contoh kode diberikan dengan Python.
Apa yang dipertimbangkan dalam buku ini?Saya mencoba untuk membahas dalam buku ini semua perkembangan kunci dalam bidang pemodelan generatif selama 5 tahun terakhir. Ternyata skala seperti itu.
Buku ini dibagi menjadi dua bagian, gambaran singkat dari bab-bab diberikan di bawah ini:
Bagian 1: Pengantar Pembelajaran Mendalam GeneratifTujuan dari empat bab pertama buku ini adalah untuk memperkenalkan Anda dengan teknik-teknik kunci yang Anda perlukan untuk mulai membangun model generatif pembelajaran mendalam.
1. Pemodelan generatifDalam konteks yang luas, kami akan mempertimbangkan disiplin pemodelan generatif dan jenis tugas yang kami coba pecahkan menggunakan pendekatan probabilistik. Kemudian kami memeriksa contoh pertama kami dari model generatif probabilistik probabilistik yang paling sederhana dan menganalisis mengapa mungkin perlu menggunakan metode pembelajaran yang mendalam jika tugas generatif rumit.
2. Pembelajaran yang mendalamBab ini akan membantu Anda menavigasi alat dan teknik pembelajaran mendalam yang Anda butuhkan untuk mulai membuat model generatif yang lebih kompleks. Di sini Anda akan bertemu
Keras , kerangka kerja untuk membangun jaringan saraf, yang dapat berguna untuk merancang dan melatih beberapa arsitektur jaringan saraf dalam ultra-modern yang dibahas dalam literatur.
3. Pengubah Otomatis VariasiDalam bab ini, kita akan melihat model pertama kami untuk pembelajaran mendalam generatif - pembuat kode otomatis variasional. Pendekatan yang kuat ini akan membantu kita menghasilkan wajah realistis dari awal dan mengubah gambar yang ada - misalnya, menambahkan senyum ke wajah kita atau mengubah warna rambut kita.
4. Generative contention networks (GAN)Bab ini membahas salah satu varietas pemodelan generatif yang paling sukses yang telah muncul dalam beberapa tahun terakhir - jaringan kompetitif-generatif. Berdasarkan kerangka yang indah ini untuk menyusun tugas-tugas pemodelan generatif, banyak model generatif yang paling canggih dibangun. Kami akan mempertimbangkan bagaimana hal itu dapat diperbaiki dan mengapa hal itu memungkinkan kami untuk terus memperluas batas-batas apa yang dapat dicapai melalui pemodelan generatif.
Bagian 2: Kami mengajarkan mesin menggambar, menulis, menulis musik, dan bermainBagian 2 menyajikan kasus-kasus yang membantu Anda memahami bagaimana teknik pemodelan generatif dapat digunakan untuk memecahkan masalah tertentu.
5. MenggambarBab ini membahas dua teknik yang berkaitan dengan menggambar mesin. Pertama, kita akan membahas jaringan saraf CycleGAN, yang, seperti namanya, merupakan adaptasi dari arsitektur GAN, yang memungkinkan model untuk belajar bagaimana mengubah foto menjadi lukisan yang ditulis dalam gaya tertentu (atau sebaliknya). Kami juga akan berbicara tentang teknik transfer saraf yang dibangun ke dalam banyak aplikasi pengeditan foto seluler yang membantu mentransfer gaya gambar ke foto untuk menciptakan kesan bahwa foto ini hanyalah salah satu dari lukisan artis yang sama.
6. Menulis teksDalam bab ini, kita beralih ke teks yang ditulis dengan mesin; di area subjek ini, seseorang harus menghadapi tantangan lain daripada saat menghasilkan gambar. Di sini Anda akan belajar tentang jaringan saraf berulang (RNN) - arsitektur yang nyaman untuk memecahkan masalah yang terkait dengan data serial. Kita juga akan membahas bagaimana arsitektur encoder-decoder bekerja dan menulis generator pertanyaan dan jawaban kita sendiri.
7. Menulis musikBab ini dikhususkan untuk pembuatan musik, dan tugas ini juga terkait dengan pembuatan data serial. Tapi, tidak seperti menulis teks, dalam hal ini ada kesulitan tambahan - misalnya, pemodelan timbre musik dan ritme. Kami akan memastikan bahwa banyak teknik yang digunakan untuk menghasilkan teks dapat diterapkan dalam bidang subjek ini, serta menjelajahi arsitektur pembelajaran mendalam yang disebut MuseGAN, yang mengadaptasi ide-ide dari Bab 4 (tentang GAN) ke data musik.
8. PermainanBab ini menjelaskan bagaimana model generatif kompatibel dengan bidang pembelajaran mesin lainnya, termasuk pembelajaran yang diperkuat. Kita akan membahas salah satu artikel ilmiah paling menarik yang diterbitkan baru-baru ini, yang disebut 'Model Dunia' (Model dunia). Penulis artikel ini menunjukkan bagaimana model generatif dapat digunakan sebagai lingkungan di mana agen dilatih, bahkan memungkinkan agen untuk "memikirkan" skenario masa depan yang mungkin dan membayangkan apa yang akan terjadi jika tindakan tertentu diambil, dan semua ini sepenuhnya dalam konteks konseptual kami. model lingkungan.
9. Masa depan pemodelan generatifDi sini kami merangkum lanskap teknologi pemodelan generatif saat ini dan melihat ke belakang, mengingat beberapa teknik yang disajikan dalam buku ini. Kita juga akan berbicara tentang bagaimana arsitektur jaringan saraf paling modern yang ada saat ini, misalnya, GPT-2 dan BigGAN, dapat mengubah ide-ide kami tentang aktivitas kreatif. Saya bertanya-tanya apakah mungkin menciptakan sistem buatan yang dapat menghasilkan karya yang tidak dapat dibedakan dari sampel seni visual, sastra, dan musik manusia.
10. KesimpulanPikiran terakhir tentang mengapa pembelajaran mendalam generatif dapat berubah menjadi salah satu bidang teknologi paling penting dalam pembelajaran mendalam dalam 5-10 tahun ke depan.
RingkasanDalam dunia di mana menjadi semakin sulit untuk membedakan kenyataan dari fiksi, pekerjaan insinyur yang memahami secara rinci prinsip-prinsip karya model generatif dan tidak takut akan kemungkinan keterbatasan teknologi menjadi sangat penting.
Saya harap buku saya akan membantu Anda mengambil langkah pertama untuk memahami teknologi terbaru ini, dan juga akan menjadi bacaan yang menarik dan menyenangkan bagi Anda.