Bayes-Theorem: Worum geht es in der ganzen Aufregung?

Der Satz von Bayes wird als mächtige Methode zur Schaffung neuen Wissens bezeichnet, kann aber auch zur Werbung für Aberglauben und Pseudowissenschaften verwendet werden.

Der Satz von Bayes wurde so populär, dass er sogar in der Fernsehsendung The Big Bang Theory gezeigt wurde. Aber wie jedes Werkzeug kann es für gut oder schlecht verwendet werden.

Ich weiß nicht genau, wann ich zum ersten Mal von ihr gehört habe. Aber wirklich, ich begann erst in den letzten zehn Jahren Interesse an ihr zu zeigen, nachdem einige der größten Nerds meiner Schüler begonnen hatten, sie als magischen Führer im Leben zu bewerben.

Das Studentengespräch war für mich verwirrend, ebenso wie die Erklärungen des Satzes auf Wikipedia und anderen Websites - sie waren entweder völlig dumm oder zu kompliziert. Ich entschied, dass Bayes eine vorübergehende Modeerscheinung war, und es hatte keinen Sinn, gründlich zu recherchieren. Aber jetzt ist das Bayes'sche Fieber zu nervig geworden, um es zu ignorieren.

Laut der New York Times dringen die Bayes'schen Statistiken "überall ein, von der Physik bis zur Krebsforschung, von der Ökologie bis zur Psychologie". Physiker haben Bayes'sche Interpretationen der Quantenmechanik und Bayes'sche Abwehrmechanismen der Stringtheorie und der Multiversumstheorie vorgeschlagen. Philosophen argumentieren, dass die gesamte Wissenschaft als Bayes'scher Prozess angesehen werden kann und dass Bayes dazu beiträgt, Wissenschaft und Pseudowissenschaft besser zu unterscheiden als die von Karl Popper populäre Fälschbarkeitsmethode .

Forscher für künstliche Intelligenz, einschließlich der Robomobile-Entwickler von Google, verwenden Bayes'sche Software, um Maschinen dabei zu helfen, Muster zu erkennen und Entscheidungen zu treffen. Bayesianische Programme, so Sharon Bertsch McGrayne, Autor der populären Geschichte des Bayes-Theorems, "sortieren E-Mails und Spam, bewerten medizinische Risiken und die Sicherheit des Staates, entschlüsseln DNA usw." Bei Edge.org befürchtet der Physiker John Mater, dass Bayes'sche Maschinen so intelligent werden können, dass sie Menschen verdrängen.

Kognitionswissenschaftler schlagen vor, dass Bayes-Algorithmen in unserem Gehirn funktionieren, wenn es erkennt, reflektiert und Entscheidungen trifft. Im November untersuchten Wissenschaftler und Philosophen diese Möglichkeit auf einer Konferenz an der New York University mit dem Titel "Funktioniert das Gehirn in Bayes?"

Fanatiker bestehen darauf, dass die Welt viel besser wäre, wenn mehr Menschen die Denkmethode von Bayes übernehmen würden (anstelle der unbewussten Arbeit von Bayes, die angeblich ins Gehirn geht). In dem Artikel „Eine intuitive Erklärung des Bayes-Theorems“ spricht die KI-Theoretikerin Elizer Yudkovsky über die Anbetung von Bayes:

„Warum erregt das mathematische Konzept bei seinen Schülern so seltsame Begeisterung? Was ist das sogenannte "Bayesianische Revolution", die sich über verschiedene Bereiche der Wissenschaft erstreckt und die Absorption selbst experimenteller Methoden als Sonderfälle deklariert? Welches Geheimnis ist Bayes-Anhängern bekannt? Welches Licht haben sie gesehen? Sie werden es bald herausfinden. Bald wirst du einer von uns sein. “ Yudkovsky scherzt. Oder nicht?

Wegen all dieses Hype habe ich ein für alle Mal versucht, mit Bayes fertig zu werden. Ich fand die besten Erklärungen des Theorems unter ihren unzähligen im Internet von Yudkovsky, Wikipedia, und den Werken des Philosophen Curtis Brown und der Informatiker Oscar Bonill und Kalid Azad. Jetzt werde ich hauptsächlich für mich selbst versuchen zu erklären, was das Wesen des Satzes ist.

Bayes-Theorem, benannt nach dem presbyterianischen Priester Thomas Bayes aus dem 18. Jahrhundert [ korrekte Transkription - Bayes / ca. perev. ] Ist eine Methode zur Berechnung der Gültigkeit von Überzeugungen (Hypothesen, Aussagen, Vorschläge) basierend auf verfügbaren Beweisen (Beobachtungen, Daten, Informationen). Die einfachste Version ist:

ursprünglicher Glaube + neuer Beweis = neuer, verbesserter Glaube

Wenn mehr: Die Wahrscheinlichkeit, dass ein Glaube mit neuen Beweisen wahr ist, ist gleich der Wahrscheinlichkeit, dass der Glaube ohne diese Beweise wahr ist, multipliziert mit der Wahrscheinlichkeit, dass der Beweis im Fall der Wahrheit des Glaubens wahr ist, und geteilt durch die Wahrscheinlichkeit, dass der Beweis unabhängig davon wahr ist die Wahrheit der Überzeugung. Okay?

Eine einfache mathematische Formel sieht folgendermaßen aus:

P (B | E) = P (B) · P (E | B) / P (E)

Wo P Wahrscheinlichkeit ist, B Glaube ist, ist E Beweis. P (B) ist die Wahrscheinlichkeit, dass B wahr ist, P (E) ist die Wahrscheinlichkeit, dass E wahr ist. P (B | E) ist die Wahrscheinlichkeit B im Fall der Wahrheit E und P (E | B) ist die Wahrscheinlichkeit E im Fall der Wahrheit B.

Um zu demonstrieren, wie die Formeln funktionieren, wird häufig ein Beispiel mit medizinischen Tests verwendet. Angenommen, Sie werden auf Krebs getestet, der bei 1% der Menschen in Ihrem Alter auftritt. Wenn der Test zu 100% zuverlässig ist, brauchen Sie den Satz von Bayes nicht, um zu verstehen, was ein positives Ergebnis bedeutet - aber schauen wir uns eine solche Situation als Beispiel an.

Um den Wert von P (B | E) zu berechnen, müssen Sie die Daten auf der rechten Seite der Gleichung platzieren. P (B) beträgt die Wahrscheinlichkeit, dass Sie vor dem Test Krebs haben, 1% oder 0,01. Ebenso wie P (E) ist die Wahrscheinlichkeit, dass das Testergebnis positiv ist. Da sie sich im Zähler und Nenner befinden, werden sie reduziert und P (B | E) = P (E | B) = 1 bleibt erhalten. Wenn das Testergebnis positiv ist, haben Sie Krebs und umgekehrt.

In der realen Welt erreicht die Testzuverlässigkeit selten 100%. Angenommen, Ihr Test ist zu 99% zuverlässig. Das heißt, 99 von 100 krebskranken Menschen erhalten ein positives Ergebnis, und 99 von 100 gesunden Menschen erhalten ein negatives Ergebnis. Und es wird immer noch ein erstaunlich zuverlässiger Test sein. Frage: Wenn Ihr Test positiv ist, wie hoch ist die Wahrscheinlichkeit, dass Sie Krebs haben?

Nun zeigt der Satz von Bayes die ganze Kraft. Die meisten Leute werden feststellen, dass die Antwort 99% oder so ist. Der Test ist doch so zuverlässig, oder? Aber die richtige Antwort wird sein - nur 50%.

Fügen Sie die Daten auf der rechten Seite der Gleichung ein, um herauszufinden, warum. P (B) ist immer noch 0,01. P (E | B) beträgt die Wahrscheinlichkeit, bei Krebs einen positiven Test zu erhalten, 0,99. P (B) * P (E | B) = 0,01 * 0,99 = 0,0099. Dies ist die Wahrscheinlichkeit, dass Sie einen positiven Test erhalten, der zeigt, dass Sie krank sind.

Was ist mit dem Nenner P (E)? Es gibt einen kleinen Trick. P (E) - die Wahrscheinlichkeit, einen positiven Test zu erhalten, unabhängig davon, ob Sie krank sind. Mit anderen Worten, es enthält falsch positive und wahr positive Ergebnisse.

Um die Wahrscheinlichkeit eines falsch positiven Ergebnisses zu berechnen, müssen Sie die Anzahl der falsch positiven Ergebnisse (1% oder 0,01) mit dem Prozentsatz der Menschen ohne Krebs multiplizieren - 0,99. Es stellt sich heraus, 0,0099. Ja, Ihr ausgezeichneter Test mit einer Genauigkeit von 99% führt zu ebenso vielen falsch positiven wie echten.

Beenden Sie die Berechnungen. Um P (E) zu erhalten, addieren Sie die wahren und falschen Positiven, erhalten Sie 0,0198, dividieren Sie durch 0,0099 und erhalten Sie 0,5. Also, P (B | E), die Wahrscheinlichkeit, dass Sie im Falle eines positiven Tests Krebs haben, beträgt 50%.

Wenn Sie den Test erneut bestehen, können Sie die Unsicherheit drastisch reduzieren, da die Wahrscheinlichkeit, an Krebs P (B) zu erkranken, bereits 50% statt 1 beträgt. Wenn der zweite Test nach dem Bayes-Theorem ebenfalls positiv ist, beträgt die Wahrscheinlichkeit, an Krebs zu erkranken, 99%. oder 0,99. Wie dieses Beispiel zeigt, kann das Wiederholen des Satzes eine sehr genaue Antwort geben.

Wenn die Zuverlässigkeit des Tests jedoch 90% beträgt, was überhaupt nicht schlecht ist, liegt die Wahrscheinlichkeit, dass Sie Krebs haben, selbst bei zweimal positiv erhaltenen Ergebnissen, immer noch unter 50%.

Die meisten Menschen, einschließlich Ärzte, haben Schwierigkeiten, diese Verteilung der Chancen zu verstehen, was die übermäßige Anzahl von Diagnosen und Behandlungen für Krebs und andere Krankheiten erklärt. Dieses Beispiel legt nahe, dass die Bayesianer Recht haben: Die Welt wäre besser, wenn mehr Menschen - noch mehr Patienten und Ärzte - die Bayes'sche Logik akzeptieren würden.

Der Satz von Bayes hingegen ist nur eine Zusammenstellung des gesunden Menschenverstandes zu einem Code. Yudkovsky schreibt am Ende seines Schulungsmaterials: „Zu diesem Zeitpunkt mag der Satz von Bayes völlig offensichtlich erscheinen und einer Tautologie ähneln, anstatt überraschend und neu zu sein. In diesem Fall hat diese Einführung ihr Ziel erreicht. “

Zurück zum Krebsbeispiel: Der Satz von Bayes besagt, dass die Wahrscheinlichkeit, bei positiven Testergebnissen an Krebs zu erkranken, gleich der Wahrscheinlichkeit ist, ein wahres positives Ergebnis zu erhalten, geteilt durch die Wahrscheinlichkeit aller positiven Ergebnisse, wahr und falsch. Achten Sie im Allgemeinen auf Fehlalarme.

Hier ist meine Verallgemeinerung dieses Prinzips: Die Glaubwürdigkeit Ihres Glaubens hängt davon ab, wie stark Ihr Glaube die Fakten erklärt. Je mehr Möglichkeiten zur Erklärung der Fakten bestehen, desto weniger zuverlässig ist Ihre persönliche Überzeugung. Aus meiner Sicht ist dies die Essenz des Satzes.

"Alternative Erklärungen" können viele Dinge beinhalten. Ihre Fakten können falsch sein, mit Hilfe eines falsch funktionierenden Tools, falscher Analyse, der Tendenz, das gewünschte Ergebnis zu erzielen, und sogar gefälscht werden. Ihre Fakten mögen zutreffend sein, aber viele andere Überzeugungen oder Hypothesen können sie erklären.

Mit anderen Worten, es gibt keine Magie in Bayes 'Satz. Es kommt alles darauf an, dass Ihre Überzeugungen so zuverlässig sind, wie die Beweise für sie zutreffen. Wenn Sie gute Beweise haben, liefert der Satz gültige Ergebnisse. Wenn die Beweise so lala sind, hilft Ihnen der Satz nicht. Müll am Eingang, Müll am Ausgang.

Probleme mit dem Theorem können mit dem Wert von P (B) beginnen, der anfänglichen Annahme über die Wahrscheinlichkeit Ihrer Überzeugungen, die oft als a priori Wahrscheinlichkeit bezeichnet wird. Im obigen Beispiel hatten wir eine schöne und genaue a priori Wahrscheinlichkeit von 0,01. In der realen Welt streiten sich Experten darüber, wie Krebs diagnostiziert und erklärt werden kann. Ihre a priori Wahrscheinlichkeit besteht höchstwahrscheinlich aus einem Bereich, nicht aus einer einzelnen Zahl.

In vielen Fällen basiert die Schätzung der Wahrscheinlichkeit von vornherein nur auf Vermutungen und lässt subjektive Faktoren in die Berechnungen einfließen. Man kann vermuten, dass die Wahrscheinlichkeit, dass etwas existiert - im Gegensatz zum gleichen Krebs - einfach Null ist, zum Beispiel Strings, Multiversum, Inflation oder Gott. Sie können sich auf zweifelhafte Beweise für zweifelhaften Glauben beziehen. In solchen Fällen kann der Satz von Bayes neben dem gesunden Menschenverstand für Pseudowissenschaften und Aberglauben werben.

Der Satz enthält eine Warnung: Wenn Sie nicht gewissenhaft nach alternativen Erklärungen für die Beweise suchen, bestätigen die Beweise nur das, was Sie bereits glauben. Wissenschaftler übersehen dies oft, was erklärt, warum so viele wissenschaftliche Aussagen falsch sind. Bayesianer argumentieren, dass ihre Methoden Wissenschaftlern helfen können, die Tendenz zu überwinden, nach Fakten zu suchen, die ihren Glauben stützen und zuverlässigere Ergebnisse liefern - aber ich bezweifle es.

Wie bereits erwähnt, verwenden einige Liebhaber der String- und Multiversum-Theorie die Bayes'sche Analyse. Warum? Weil Enthusiasten es satt haben zu hören, dass Stringtheorie und Multiversumstheorie nicht fälschbar und daher unwissenschaftlich sind. Der Satz von Bayes ermöglicht es ihnen, diese Theorien in einem besseren Licht darzustellen. In diesen Fällen beseitigt der Satz die Verzerrung nicht, sondern gibt sie nach.

Laut Faye Flam, einer Journalistin, die in der New York Times mit populärwissenschaftlichen Themen arbeitet, kann die Bayes'sche Statistik „uns nicht vor schlechter Wissenschaft retten“. Der Bayes-Satz ist universell und kann jedem Zweck dienen. Der angesehene Bayesianische Statistikspezialist Donald Rubin war als Berater für Tabakunternehmen in Rechtsstreitigkeiten im Zusammenhang mit rauchbedingten Krankheiten tätig.

Und doch bewundere ich den Satz von Bayes. Es erinnert mich an die Evolutionstheorie, eine andere Idee, die der Tautologie je nach Sichtweise einfach oder deprimierend tief erschien und die Menschen auf die gleiche Weise sowohl zu Unsinn als auch zu erstaunlichen Entdeckungen inspirierte.

Vielleicht, weil mein Gehirn nach Bayes arbeitet, werden überall Anspielungen auf diesen Satz gesehen. Beim Durchblättern der gesammelten Werke von Edgar Allan Poe auf meinem Kindle stieß ich auf den folgenden Satz aus Die Geschichte der Abenteuer von Arthur Gordon Pym: „Aufgrund unserer Sucht oder Vorurteile können wir selbst aus den offensichtlichsten Dingen keine Lektion lernen“ [ per. George Pavlovich Zlobin ].

Denken Sie daran, bevor Sie sich für Bayes-Anhänger anmelden.