Probabilistische Programmierung und die Bayes'sche Methode für Hacker

Hallo Kollegen. Heute wollten wir fragen, wie gefragt Sie das etwas veraltete Buch " Bayesian Methods for Hackers " finden, das 2015 im Original veröffentlicht, aber noch nicht ins Russische übersetzt wurde.


Das Buch ist so positioniert, wie es angewendet wird, so weit wie möglich von Mathematik befreit und zeitlos.

Unter dem Schnitt befindet sich eine leicht abgekürzte Übersetzung der Rezension dieses Buches, die vom Autor auf Github veröffentlicht wurde.
Bitte stimmen Sie ab

Die Bayes'sche Methode ist eine natürliche Herangehensweise an die logische Schlussfolgerung. In vielen Büchern zu diesem Thema geht jedoch die Essenz der Bayes'schen Methode hinter ganzen Kapiteln schmerzhafter mathematischer Analyse völlig verloren. Ein typisches Buch über die Bayes'sche Theorie beginnt mit zwei oder drei Kapiteln über die Wahrscheinlichkeitstheorie, wonach erklärt wird, was die Bayes'sche Schlussfolgerung ist. Leider werden dem Leser aufgrund der Unmöglichkeit, die meisten Bayes'schen Modelle in einer mathematischen Sprache darzustellen, nur einfache, künstliche Beispiele gezeigt. So kann eine Person den imaginären Eindruck haben, dass sie angeblich die Bayes'sche Schlussfolgerung verstanden hat - während sie in Wirklichkeit nur die Interpretation dieser Methode durch den Autor gelernt hat.

Nachdem die Bayes'schen Methoden bei maschinellen Lernwettbewerben eindeutig erfolgreich waren, beschloss ich, dieses Thema erneut zu untersuchen. Selbst mit meinem mathematischen Gepäck verbrachte ich die ganzen drei Tage damit, Beispiele zu studieren und zu versuchen, alle Fragmente zusammenzusetzen, um mit allen Methoden fertig zu werden. Um die Theorie in die Praxis umzusetzen, hatte ich einfach nicht genug Literatur. Dieses Missverständnis entstand, weil ich die Lücke zwischen Bayes'scher Mathematik und probabilistischer Programmierung nicht schließen konnte. Ich habe also gelitten und möchte die Leser vor solchen Leiden bewahren. Deshalb habe ich selbst ein solches Buch geschrieben.

Wenn die Bayes'sche Schlussfolgerung unser Ziel ist, dann ist die mathematische Analyse nur einer der Wege dorthin. Andererseits ist die Rechenleistung inzwischen viel billiger geworden, und wir können einen alternativen Weg verwenden, nämlich die probabilistische Programmierung. Die zweite Option ist viel praktischer, da nicht in allen Phasen der Problemlösung auf Mathematik zurückgegriffen werden muss. Mit anderen Worten, Sie können auf mathematische Analysen verzichten, was sich häufig als unüberwindbares Hindernis für die Bayes'sche Schlussfolgerung herausstellt. Im übertragenen Sinne bewegen wir uns im zweiten Fall von Anfang bis Ende in kleinen Strichen und im ersten Fall in großen Sprüngen, wodurch wir ziemlich weit vom Ziel entfernt landen können. Darüber hinaus kann der Leser ohne ernsthafte mathematische Vorbereitung die Analyse der ersten Option möglicherweise einfach nicht bewältigen.

Das Buch Bayesian Methods for Hackers wurde als Einführung in die Bayesian-Schlussfolgerung konzipiert, wobei der Schwerpunkt auf dem Verständnis von Schlüsselkonzepten und dem Einsatz von Rechenleistung liegt (Mathematik ist zweitrangig). Natürlich ist dieses Buch einführend und wird einleitend bleiben. Für diejenigen, die sich mit Mathematik auskennen, kann es einfach Neugier wecken und es dann für andere Texte öffnen, die mit Unterstützung einer ernsthaften mathematischen Analyse geschrieben wurden. Für einen Enthusiasten, der sich für die praktische Anwendung der Bayes'schen Methoden und nicht für ihren mathematischen Hintergrund interessiert, ist das Buch sehr informativ und interessant.

PyMC wird in diesem Buch aus zwei Gründen für die probabilistische Programmierung ausgewählt. Zum Zeitpunkt des Schreibens gab es im Internet keine zentralisierte Ressource mit Beispielen und Erklärungen zu Arbeitsmethoden im PyMC-Ökosystem. Die offizielle Dokumentation geht davon aus, dass der Leser bereits eine Vorstellung von Bayes'scher Inferenz und probabilistischer Programmierung hat. Wir hoffen, dass dieses Buch Leser mit allen Vorbereitungsstufen dazu ermutigt, sich PyMC genauer anzusehen.

Bei der Arbeit mit PyMC müssen Sie die Abhängigkeiten berücksichtigen, nämlich von NumPy (je nach Situation) von SciPy. Um den Leser nicht einzuschränken, verwenden die Beispiele in diesem Buch nur PyMC, NumPy, SciPy und Matplotlib.

Inhalt

(Die unten aufgeführten Kapitel werden in nbviewer auf nbviewer.ipython.org angezeigt, sind schreibgeschützt und in Echtzeit geöffnet. Interaktive Notizblöcke und Beispiele können durch Klonen heruntergeladen werden!)

• Prolog : Warum das?
• Kapitel 1 : Einführung in die Bayes'schen Methoden. Bekanntschaft mit der Philosophie und Praxis der Bayes'schen Methoden, eine Geschichte über probabilistische Programmierung. Einige Beispiele:

 Änderung des menschlichen Verhaltens - eine Schlussfolgerung, die auf der Häufigkeit des Versendens von SMS basiert.

• Kapitel 2 : Ein wenig mehr über PyMC Wir werden die Modellierung von Bayes'schen Problemen anhand von Beispielen diskutieren, die die PyMC-Bibliothek (Python) verwenden. Wie erstelle ich Bayes'sche Modelle? Unter den Beispielen sind:
•  Berechnung der Wahrscheinlichkeit des Absturzes des Space Shuttles Challenger

• Kapitel 3 : Öffnen der MCMC-Blackbox Lassen Sie uns über die Funktionsweise von MCMC und Diagnosetools sprechen. Unter den Beispielen sind:
•  Bayesianisches Clustering am Beispiel gemischter Modelle

• Kapitel 4 : Der größte Satz, von dem Sie hier noch nie erzählt wurden Wir werden einen unglaublich nützlichen und gefährlichen Satz untersuchen: das Gesetz der großen Zahlen. Unter den Beispielen sind:
•  Kaggle-Datensatzforschung und Fallstricke der naiven Analyse
•  Wie man Kommentare von Reddit vom Besten zum Schlechtesten sortiert (es ist nicht so einfach, wie Sie denken)

• Kapitel 5 : Was möchten Sie lieber aufgeben - mit Ihrer Hand oder Ihrem Fuß? Vertrautheit mit den Verlustfunktionen und ihrer (unvergleichlichen) Anwendung in Bayes'schen Methoden. Unter den Beispielen sind:
•  Optimierung von Finanzprognosen
•  Kaggle Dark World Winning-Wettbewerbslösung

• Kapitel 6 : Klärung der Prioritäten. Vielleicht das wichtigste Kapitel. Hier beantworten wir Fragen und greifen auf Expertenmeinungen zurück. Unter den Beispielen sind:
•  Mehrarmige Banditen und eine Bayes'sche Lösung für ein solches Problem.
•  Wie ist die Beziehung zwischen Stichprobengröße und A-priori-Daten?
•  Bewertung von finanziellen Unbekannten anhand von Experten-A-priori-Daten.
• Auch hier finden Sie wertvolle Tipps zur Objektivität in der Analyse und zu den allgemeinen Fallen, die mit a priori-Wahrscheinlichkeiten verbunden sind.

Installation und Konfiguration

Wenn Sie IPython Notepad auf Ihrem lokalen Computer ausführen möchten, müssen Sie Folgendes installieren:

• IPython 0.13 - erforderlich, um ipynb-Dateien anzuzeigen. Sie können es hier herunterladen.
• Linux-Benutzer können Numpy, Scipy und PyMC problemlos installieren. Für Windows-Benutzer gibt es vorkompilierte Versionen, wenn Sie plötzlich auf Schwierigkeiten stoßen.

Im Verzeichnis styles / befinden sich eine Reihe von Dateien, die für die Arbeit mit dem Editor angepasst sind. Sie wurden nicht nur speziell für das Buch entwickelt, sondern sind auch speziell für die Arbeit mit Matplotlib und IPython optimiert.