Programação probabilística e o método bayesiano para hackers

Olá colegas. Hoje, queríamos perguntar como é exigido que você encontre o livro ligeiramente desatualizado " Métodos Bayesianos para Hackers ", publicado no original em 2015, mas ainda não traduzido para o russo.


O livro está posicionado como aplicado, na medida do possível, livre da matemática e sem idade.

Sob o corte, há uma tradução ligeiramente abreviada da resenha deste livro publicada pelo autor no Github.
Por favor vote

O método bayesiano é uma abordagem natural da conclusão lógica, no entanto, em muitos livros sobre esse tópico, a essência do método bayesiano está completamente perdida por trás de capítulos inteiros de dolorosas análises matemáticas. Um livro típico sobre a teoria bayesiana começa com dois ou três capítulos sobre a teoria das probabilidades, após o que é contado o que é a conclusão bayesiana. Infelizmente, devido à impossibilidade de apresentar a maioria dos modelos bayesianos em uma linguagem matemática, apenas exemplos simples e artificiais são mostrados ao leitor. Assim, uma pessoa pode ter a impressão imaginária de que ele supostamente entendeu a conclusão bayesiana - enquanto na realidade ele apenas aprendeu a interpretação do autor desse método.

Depois que os métodos bayesianos foram claramente bem-sucedidos nas competições de aprendizado de máquina, decidi reexplorar esse tópico. Mesmo com minha bagagem matemática, passei os três dias inteiros estudando exemplos e tentando reunir todos os fragmentos para lidar com todos os métodos. Para colocar a teoria em prática, eu simplesmente não tinha literatura suficiente. Esse mal-entendido surgiu porque eu não conseguia preencher a lacuna entre a matemática bayesiana e a programação probabilística. Então, eu sofri e quero salvar os leitores desse sofrimento. Foi por isso que eu mesmo escrevi esse livro.

Se a conclusão bayesiana é nosso objetivo, a análise matemática é apenas um dos caminhos para isso. Por outro lado, o poder da computação ficou muito mais barato e podemos usar uma maneira alternativa, isto é, a programação probabilística. A segunda opção é muito mais conveniente, porque não requer recurso à matemática em todas as etapas da solução do problema; em outras palavras, permite que você fique sem a análise matemática, que muitas vezes acaba sendo um obstáculo intransponível para a conclusão bayesiana. Figurativamente falando, no segundo caso, passamos do começo ao fim em pequenos traços, e no primeiro - em grandes saltos, por causa dos quais podemos pousar bem longe do alvo. Além disso, sem uma preparação matemática séria, o leitor pode simplesmente não conseguir lidar com a análise desde a primeira opção.

O livro Métodos Bayesianos para Hackers foi concebido como uma introdução à conclusão bayesiana, com foco na compreensão dos principais conceitos e no uso do poder da computação (a matemática é secundária). Obviamente, este livro é introdutório e continuará sendo introdutório. Para quem é experiente em matemática, pode simplesmente despertar curiosidade e abri-la para outros textos escritos com o apoio de uma análise matemática séria. Para um entusiasta interessado na aplicação prática dos métodos bayesianos, e não em seus conhecimentos matemáticos, o livro será bastante informativo e interessante.

O PyMC é escolhido para programação probabilística neste livro, por duas razões. No momento da redação deste artigo, não havia recurso centralizado na Internet com exemplos e explicações de métodos de trabalho no ecossistema PyMC. A documentação oficial pressupõe que o leitor já tenha uma idéia da inferência bayesiana e da programação probabilística. Esperamos que este livro incentive os leitores com qualquer nível de preparação a dar uma olhada no PyMC.

Ao trabalhar com o PyMC, você deve levar em consideração as dependências, a saber, do NumPy (de acordo com a situação) do SciPy. Para não limitar o leitor, os exemplos deste livro usam apenas PyMC, NumPy, SciPy e Matplotlib.

Conteúdo

(Os capítulos listados abaixo são exibidos no nbviewer em nbviewer.ipython.org, são somente leitura e são abertos em tempo real. Notebooks e exemplos interativos podem ser baixados por clonagem!)

• Prólogo : Por que fazer isso.
• Capítulo 1 : Introdução aos Métodos Bayesianos. Familiaridade com a filosofia e a prática dos métodos bayesianos, uma história sobre programação probabilística. Alguns exemplos:

 Mudança no comportamento humano - uma conclusão baseada na frequência do envio de SMS.

• Capítulo 2 : Um pouco mais sobre o PyMC Discutiremos a modelagem de problemas bayesianos usando exemplos que usarão a biblioteca PyMC (Python). Como criar modelos bayesianos? Entre os exemplos estão:
•  Cálculo da probabilidade de colisão do ônibus espacial Challenger

• Capítulo 3 : Abrindo a caixa preta do MCMC Vamos falar sobre como o MCMC e as ferramentas de diagnóstico funcionam. Entre os exemplos estão:
•  Cluster Bayesiano no exemplo de modelos mistos

• Capítulo 4 : O maior teorema sobre o qual você nunca foi informado aqui Vamos explorar um teorema incrivelmente útil e perigoso: a lei dos grandes números. Entre os exemplos estão:
•  Pesquisa do conjunto de dados Kaggle e armadilhas da análise ingênua
•  Como classificar os comentários do Reddit do melhor para o pior (não é tão simples quanto você pensa)

• Capítulo 5 : Do que você prefere desistir - com a mão ou o pé? Familiaridade com as funções de perda e sua aplicação (incomparável) nos métodos bayesianos. Entre os exemplos estão:
•  Otimização de previsões financeiras
• Solução Kaggle Dark World Winning Competition

• Capítulo 6 : Esclarecimento de prioridades. Talvez o capítulo mais importante. Aqui respondemos perguntas, recorrendo a opiniões de especialistas. Entre os exemplos estão:
•  Bandidos multi-armados e uma solução bayesiana para esse problema.
•  Qual a relação entre tamanho da amostra e dados a priori?
•  Avaliação de incógnitas financeiras usando dados a priori de especialistas.
• Também aqui você encontrará dicas valiosas sobre objetividade na análise e as armadilhas comuns associadas a probabilidades a priori.

Instalação e configuração

Se você deseja executar o IPython Notepad no seu computador local, precisará instalar o seguinte:

• IPython 0.13 - necessário para visualizar arquivos ipynb. Você pode baixá-lo aqui .
• Os usuários do Linux podem instalar facilmente o Numpy, Scipy e PyMC. Para usuários do Windows, existem versões pré-compiladas se você de repente encontrar alguma dificuldade.

No diretório styles /, existem vários arquivos adaptados para trabalhar com o bloco de notas. Eles não são projetados apenas especificamente para o livro, mas também são especialmente otimizados para trabalhar com matplotlib e IPython.