Olá colegas!
Temos o prazer de anunciar que nossos planos de publicação para o início do próximo ano incluem um excelente novo livro sobre Aprendizagem Profunda Generativa de David Foster
O autor, comparando esse trabalho com o pouso de Apolo na lua, publicou no Medium uma revisão detalhada de sua obra-prima, que propomos considerar um teaser próximo à realidade.
Boa leitura, siga o anúncio!
Minha jornada de 459 dias do blog para reservar e voltar
20:17 UTC, 20 de julho de 201950 anos antes, minuto a minuto - o módulo Eagle foi pilotado por Neil Armstrong e Buzz Aldrin. Foi a mais alta manifestação de engenharia, coragem e determinação genuína.
Avance 50 anos - e descubra que todo o poder de processamento do
computador de controle a bordo da nave Apollo (AGC), que entregou essas pessoas à Lua, agora cabe no seu bolso muitas vezes. De fato, o poder computacional do iPhone 6 traria simultaneamente à Lua 120 milhões de naves espaciais como a Apollo 11.
Esse fato de forma alguma prejudica a grandeza do AGC. Dada a lei de Moore, você pode usar qualquer dispositivo de computador e não se enganar, dizendo que em 50 anos haverá uma máquina que funcionará 2 vezes mais rápido.
Margaret Hamilton, chefe da equipe de programadores que escreveu o código para o AGC, considerou as limitações de hardware dos computadores da época não como um obstáculo, mas como um desafio. Ela usou todos os recursos à sua disposição para realizar o impensável.
Margaret Hamilton e código para o AGC (fonte: Science History Images)
E agora, quero falar sobre ...
O livro "Aprendizagem profunda generativa"459 dias atrás, recebi uma carta da O'Reilly Media, perguntando-me como seria interessante escrever um livro. Eu gostei dessa ideia, por isso concordei e decidi escrever o guia mais atualizado sobre modelagem generativa, ou melhor, um livro prático que mostrasse como criar modelos de aprendizado profundo consagrados pelo tempo que podem desenhar, escrever textos, compor músicas e tocar .
Mais importante, depois de ler este livro, eu gostaria que o leitor entendesse detalhadamente o aprendizado profundo generativo e tentasse criar modelos que fossem coisas realmente surpreendentes; Além disso, esses modelos não requerem recursos computacionais enormes e caros, que ainda funcionam muito lentamente.
Estou profundamente convencido: para aprender qualquer tópico técnico, é necessário começar resolvendo pequenos problemas, mas entendê-los com tanto detalhe que você entende a lógica de todas as linhas de código em uma única.
Se você começar com grandes conjuntos de dados e com esses modelos, cada um deles demorando um dia inteiro e não uma hora para ser executado, não aprenda nada além do mínimo - gaste 24 vezes mais tempo em treinamento.
A coisa mais importante que o pouso de Apollo na lua nos ensinou é que você pode obter resultados absolutamente surpreendentes com recursos de computação muito modestos. Exatamente a mesma impressão que você terá sobre modelagem generativa depois de ler meu livro.
Qual é o problema com o papagaio?Escrever para O'Reilly é ainda mais agradável, pois eles selecionam ilustrações animalescas para a capa do seu livro. Peguei um papagaio de cauda vermelha, que batizei de Neil Wingstrong em um ataque de sentimentos.
Neil Wingstrong é da família Parrot.
Então, o papagaio pousou. O que deve ser esperado do livro?
Sobre o que é este livro?Este livro é um guia aplicado à modelagem generativa.
Ele define todas as coisas básicas que ajudam a construir os modelos generativos mais simples. Então o material gradualmente se torna mais complexo para modelos mais avançados, passo a passo. Todas as seções são acompanhadas por exemplos práticos, diagramas de arquitetura e código.
Este livro é para todos que desejam entender melhor o hype futuro sobre modelagem generativa. A leitura de um livro não requer conhecimento de aprendizado profundo, todos os exemplos de código são fornecidos em Python.
O que é considerado no livro?Tentei cobrir no livro todos os principais desenvolvimentos no campo da modelagem generativa nos últimos 5 anos. Acontece essa escala.
O livro está dividido em duas partes, uma breve visão geral dos capítulos é apresentada abaixo:
Parte 1: Introdução ao Deep Learning GenerativoO objetivo dos quatro primeiros capítulos do livro é apresentar as principais técnicas necessárias para começar a construir os modelos generativos de aprendizado profundo.
1. Modelagem GenerativaEm um contexto amplo, consideraremos a disciplina da modelagem generativa e o tipo de tarefas que estamos tentando resolver usando uma abordagem probabilística. Em seguida, examinamos nosso primeiro exemplo do modelo gerador probabilístico probabilístico mais simples e analisamos por que pode ser necessário recorrer a métodos de aprendizado profundo em caso de complicação da tarefa generativa.
2. Aprendizagem profundaEste capítulo o ajudará a navegar pelas ferramentas e técnicas de aprendizado profundo necessárias para começar a criar modelos generativos mais complexos. Aqui você encontrará o
Keras , uma estrutura para a construção de redes neurais que pode ser útil para construir e treinar algumas das arquiteturas de redes neurais profundas ultramodernas discutidas na literatura.
3. Auto-codificadores de variaçãoNeste capítulo, veremos nosso primeiro modelo de aprendizado profundo generativo - o codificador automático variacional. Essa abordagem poderosa nos ajudará a gerar rostos realistas do zero e alterar as imagens existentes - por exemplo, adicionar um sorriso ao rosto ou alterar a cor do cabelo.
4. Redes de contenção generativa (GAN)Este capítulo discute uma das variedades mais bem-sucedidas de modelagem generativa que surgiram nos últimos anos - a rede competitiva-generativa. Com base nessa bela estrutura para estruturar as tarefas de modelagem generativa, muitos dos modelos generativos mais avançados são construídos. Vamos considerar como ele pode ser ajustado e por que ele permite expandir constantemente os limites do que é possível obter por meio da modelagem generativa.
Parte 2: Ensinamos máquinas a desenhar, escrever, compor músicas e tocarA Parte 2 apresenta casos que ajudam a entender como as técnicas de modelagem generativa podem ser usadas para resolver problemas específicos.
5. DesenhoEste capítulo discute duas técnicas relacionadas ao desenho da máquina. Primeiro, discutiremos a rede neural CycleGAN, que, como o nome indica, é uma adaptação da arquitetura GAN, que permite ao modelo aprender como converter uma foto em uma pintura escrita em um determinado estilo (ou vice-versa). Também falaremos sobre a técnica de transferência neural incorporada a muitos aplicativos móveis de edição de fotos, que ajuda a transferir o estilo da foto para a foto, a fim de criar a impressão de que essa foto é apenas mais uma das fotos do mesmo artista.
6. Escrever textosNeste capítulo, nos voltamos para textos escritos à máquina; nessa área, é necessário enfrentar outros desafios que não sejam a geração de imagens. Aqui você aprenderá sobre redes neurais recorrentes (RNN) - uma arquitetura que é conveniente para resolver problemas associados a dados seriais. Também discutiremos como a arquitetura do codificador-decodificador funciona e escreveremos a pergunta e o gerador de respostas.
7. compondo músicaEste capítulo é dedicado à geração de músicas e esta tarefa também está relacionada à geração de dados seriais. Mas, ao contrário dos textos escritos, neste caso, existem dificuldades adicionais - por exemplo, modelagem de timbre e ritmo musicais. Garantiremos que muitas das técnicas usadas para gerar o texto sejam aplicáveis nesta área, além de explorar a arquitetura de aprendizado profundo chamada MuseGAN, que adapta as idéias do capítulo 4 (sobre o GAN) aos dados musicais.
8. o jogoEste capítulo descreve como os modelos generativos são compatíveis com outras áreas do aprendizado de máquina, incluindo o aprendizado reforçado. Discutiremos um dos artigos científicos mais interessantes publicados recentemente, chamado 'Modelos do Mundo' (Modelos do mundo). Os autores deste artigo mostram como o modelo generativo pode ser usado como um ambiente em que o agente é treinado, permitindo que ele “pense” em possíveis cenários futuros e imagine o que acontecerá se determinadas ações forem tomadas, e tudo isso está completamente dentro do contexto de nosso conceito. modelos ambientais.
9. O futuro da modelagem generativaAqui resumimos o atual cenário tecnológico da modelagem generativa e olhamos para trás, lembrando algumas das técnicas apresentadas neste livro. Também falaremos sobre como as arquiteturas de redes neurais mais modernas disponíveis atualmente, por exemplo, GPT-2 e BigGAN, podem mudar nossas idéias sobre atividade criativa. Eu me pergunto se será possível criar um sistema artificial que possa gerar obras indistinguíveis de amostras de arte visual humana, literatura e música.
10. ConclusãoConsiderações finais sobre por que o aprendizado profundo generativo pode se tornar uma das áreas de tecnologia mais importantes no aprendizado profundo nos próximos 5 a 10 anos.
SumárioEm um mundo em que está se tornando cada vez mais difícil distinguir realidade da ficção, o trabalho de engenheiros que entendem em detalhes os princípios do trabalho de modelos generativos e não têm medo de possíveis limitações tecnológicas se torna vital.
Espero que meu livro o ajude a dar os primeiros passos para entender essas tecnologias mais recentes e também se torne uma leitura interessante e agradável para você.