Le théorème de Bayes est appelé une méthode puissante de création de nouvelles connaissances, mais il peut également être utilisé pour annoncer la superstition et la pseudoscience.
Le théorème de Bayes est devenu si populaire qu'il a même été montré dans l'émission de télévision The Big Bang Theory. Mais, comme tout outil, il peut être utilisé pour le bien ou pour le mal.
Je ne sais pas exactement quand j'ai entendu parler d'elle pour la première fois. Mais vraiment, j'ai commencé à ne m'intéresser à elle qu'au cours des dix dernières années, après que plusieurs des plus gros nerds de mes élèves ont commencé à la promouvoir comme un guide magique dans la vie.
Le discours des étudiants m'a dérouté, tout comme les explications du théorème sur Wikipédia et d'autres sites - elles étaient soit complètement stupides soit trop compliquées. J'ai décidé que Bayes était une mode passagère, et il n'y avait aucun intérêt à des recherches approfondies. Mais maintenant, la fièvre bayésienne est devenue trop agaçante pour être ignorée.
Selon le New York Times, les statistiques bayésiennes «pénètrent partout, de la physique à la recherche sur le cancer, de l'écologie à la psychologie». Les physiciens ont proposé des interprétations bayésiennes de la mécanique quantique et des défenses bayésiennes de la théorie des cordes et de la théorie multivers. Les philosophes soutiennent que l'ensemble de la science peut être considéré comme un processus bayésien et que Bayes aide à mieux distinguer la science de la pseudoscience que la méthode de
falsifiabilité popularisée par
Karl Popper .
Les chercheurs en intelligence artificielle, y compris les développeurs de robots de Google, utilisent un logiciel bayésien pour aider les machines à reconnaître les modèles et à prendre des décisions. Les programmes bayésiens, selon Sharon Bertsch McGrayne, auteur de l'histoire populaire du théorème de Bayes, "trient les e-mails et les spams, évaluent les risques médicaux et la sécurité de l'État, décryptent l'ADN, etc." Chez Edge.org, le physicien John Mater craint que les machines bayésiennes ne deviennent si intelligentes qu'elles évincent les gens.
Les scientifiques cognitifs suggèrent que les algorithmes de Bayes fonctionnent dans notre cerveau lorsqu'il détecte, réfléchit et prend des décisions. En novembre, des universitaires et des philosophes ont étudié cette possibilité lors d'une conférence à l'Université de New York intitulée "Le cerveau fonctionne-t-il à Bayes?"
Les fanatiques insistent sur le fait que si plus de gens adoptaient la méthode de pensée de Bayes (au lieu du travail inconscient de Bayes, qui est censé aller dans le cerveau), le monde serait bien meilleur. Dans l'article «Une explication intuitive du théorème de Bayes», le théoricien de l'IA Elizer Yudkovsky parle de l'adoration de Bayes:
«Pourquoi le concept mathématique suscite-t-il un enthousiasme si étrange parmi ses élèves? Quel est le soi-disant «Révolution bayésienne», qui balaie divers domaines scientifiques, déclarant l'absorption de méthodes même expérimentales comme des cas particuliers? Quel secret est connu des adeptes de Bayes? Quelle lumière ont-ils vu? Vous le saurez bientôt. Bientôt, tu seras l'un des nôtres. » Yudkovsky plaisante. Ou pas?
À cause de tout ce battage médiatique, j'ai essayé une fois pour toutes de traiter avec Bayes. J'ai trouvé le meilleur des explications du théorème parmi leur myriade sur Internet de Yudkovsky, Wikipedia, et les travaux du philosophe Curtis Brown et des informaticiens Oscar Bonill et Kalid Azad. Je vais maintenant essayer, principalement pour moi, d'expliquer quelle est l'essence du théorème.
Théorème de Bayes, du nom du prêtre presbytérien du XVIIIe siècle Thomas Bayes [
transcription correcte - Bayes
/ env. perev. ] Est une méthode de calcul de la validité des croyances (hypothèses, déclarations, suggestions) basée sur les preuves disponibles (observations, données, informations). La version la plus simple est:
foi originale + nouvelle preuve = foi nouvelle et améliorée
Si plus: la probabilité qu'une croyance soit vraie avec de nouvelles preuves est égale à la probabilité que la croyance était vraie sans ces preuves, multipliée par la probabilité que les preuves soient vraies dans le cas de la vérité de la croyance, et divisée par la probabilité que les preuves soient vraies indépendamment la vérité de la conviction. D'accord?
Une formule mathématique simple ressemble à ceci:
P (B | E) = P (B) * P (E | B) / P (E)
Où P est probabilité, B est croyance, E est évidence. P (B) est la probabilité que B soit vrai, P (E) est la probabilité que E soit vrai. P (B | E) est la probabilité B en cas de vérité E, et P (E | B) est la probabilité E en cas de vérité B.
Pour démontrer le fonctionnement des formules, un exemple avec des tests médicaux est souvent utilisé. Supposons que vous subissiez un test de dépistage du cancer, qui apparaît chez 1% des personnes de votre âge. Si le test est fiable à 100%, alors vous n'avez pas besoin du théorème de Bayes pour comprendre ce que signifie un résultat positif - mais regardons simplement une telle situation comme exemple.
Pour calculer la valeur de P (B | E), vous devez placer les données sur le côté droit de l'équation. P (B), le risque de cancer avant le test est de 1%, soit 0,01. Il en va de même pour P (E), la probabilité que le résultat du test soit positif. Puisqu'ils sont au numérateur et au dénominateur, ils sont réduits et P (B | E) = P (E | B) = 1. Si le résultat du test est positif, vous avez un cancer, et vice versa.
Dans le monde réel, la fiabilité des tests atteint rarement 100%. Disons que votre test est fiable à 99%. Autrement dit, 99 personnes atteintes de cancer sur 100 obtiendront un résultat positif et 99 personnes sur 100 en bonne santé obtiendront un résultat négatif. Et ce sera toujours un test incroyablement fiable. Question: Si votre test est positif, quelle est la probabilité que vous ayez un cancer?
Maintenant, le théorème de Bayes montre toute la puissance. La plupart des gens trouveront que la réponse est de 99%, ou quelque chose comme ça. Après tout, le test est si fiable, non? Mais la bonne réponse sera - seulement 50%.
Collez les données sur le côté droit de l'équation pour savoir pourquoi. P (B) est toujours de 0,01. P (E | B), la probabilité d'obtenir un test positif en cas de cancer est de 0,99. P (B) * P (E | B) = 0,01 * 0,99 = 0,0099. Il s'agit de la probabilité que vous obteniez un test positif montrant que vous êtes malade.
Qu'en est-il du dénominateur, P (E)? Il y a un petit truc. P (E) - la probabilité d'obtenir un test positif, que vous soyez malade ou non. En d'autres termes, cela inclut les faux positifs et les vrais positifs.
Pour calculer la probabilité d'un faux positif, vous devez multiplier le nombre de faux positifs, 1% ou 0,01, par le pourcentage de personnes sans cancer - 0,99. Il s'avère que 0,0099. Oui, votre excellent test avec une précision de 99% produit autant de faux positifs que de vrais.
Terminez les calculs. Pour obtenir P (E), ajoutez les vrais et les faux positifs, obtenez 0,0198, divisez par 0,0099 et obtenez 0,5. Donc, P (B | E), la probabilité que vous ayez un cancer dans le cas d'un test positif est de 50%.
Si vous réussissez à nouveau le test, vous pouvez réduire considérablement l'incertitude, car la probabilité d'avoir votre cancer P (B) sera déjà de 50% au lieu de 1. Si le deuxième test est également positif, selon le théorème de Bayes, la probabilité d'avoir votre cancer sera de 99%, ou 0.99. Comme le montre cet exemple, la répétition du théorème peut donner une réponse très précise.
Mais si la fiabilité du test est de 90%, ce qui n'est pas mal du tout, les chances que vous ayez un cancer, même dans le cas de résultats positifs reçus deux fois, restent inférieures à 50%.
La plupart des gens, y compris les médecins, ont du mal à comprendre cette répartition des chances, ce qui explique le nombre excessif de diagnostics et de traitements pour le cancer et d'autres maladies. Cet exemple suggère que les Bayésiens ont raison: le monde serait meilleur si plus de gens - encore plus de patients et de médecins - acceptaient la logique bayésienne.
Le théorème de Bayes, d'autre part, n'est qu'une compilation de bon sens dans un code. Comme l'écrit Yudkovsky à la fin de son matériel de formation: «À ce stade, le théorème de Bayes peut sembler complètement évident et ressembler à une tautologie, au lieu d'être surprenant et nouveau. Dans ce cas, cette introduction a atteint son objectif. »
Revenons à l'exemple du cancer: le théorème de Bayes dit que la probabilité d'avoir un cancer en cas de résultats de test positifs est égale à la probabilité d'obtenir un vrai résultat positif divisée par la probabilité de tous les résultats positifs, vrais et faux. En général, méfiez-vous des faux positifs.
Voici ma généralisation de ce principe: la crédibilité de votre croyance dépend de la force avec laquelle votre croyance explique les faits. Plus il y a d'options pour expliquer les faits, moins votre croyance personnelle est fiable. De mon point de vue, c'est l'essence du théorème.
Les «explications alternatives» peuvent inclure beaucoup de choses. Vos faits peuvent être faux, obtenus à l'aide d'un outil qui a mal fonctionné, une analyse incorrecte, une tendance à obtenir le résultat souhaité, et même falsifié. Vos faits peuvent être exacts, mais de nombreuses autres croyances ou hypothèses peuvent les expliquer.
En d'autres termes, il n'y a pas de magie dans le théorème de Bayes. Tout se résume au fait que vos croyances sont aussi fiables que les preuves en leur faveur sont vraies. Si vous avez de bonnes preuves, le théorème produit des résultats valides. Si les preuves sont telles, le théorème ne vous aidera pas. Ordures à l'entrée, ordures à la sortie.
Les problèmes avec le théorème peuvent commencer par la valeur de P (B), l'hypothèse initiale sur la probabilité de vos croyances, souvent appelée probabilité a priori. Dans l'exemple ci-dessus, nous avions une belle et précise probabilité a priori de 0,01. Dans le monde réel, les experts se disputent sur la façon de diagnostiquer et de rendre compte du cancer. Votre probabilité a priori consistera très probablement en une plage, pas en un seul chiffre.
Dans de nombreux cas, l'estimation d'une probabilité a priori est basée uniquement sur des conjectures et permet à des facteurs subjectifs de s'infiltrer dans les calculs. On peut deviner que la probabilité de l'existence de quelque chose - contrairement au même cancer - est tout simplement nulle, par exemple, les cordes, le multivers, l'inflation ou Dieu. Vous pouvez vous référer à des preuves douteuses de foi douteuse. Dans de tels cas, le théorème de Bayes peut annoncer la pseudoscience et la superstition, avec le bon sens.
Le théorème contient une édification: si vous ne recherchez pas scrupuleusement des explications alternatives pour les preuves, alors les preuves ne feront que confirmer ce que vous croyez déjà. Les scientifiques l'ignorent souvent, ce qui explique pourquoi un si grand nombre de déclarations scientifiques sont incorrectes. Les Bayésiens soutiennent que leurs méthodes peuvent aider les scientifiques à surmonter la tendance à rechercher des faits qui soutiennent leur foi et à produire des résultats plus fiables - mais j'en doute.
Comme je l'ai mentionné, certains amateurs de théorie des cordes et multivers utilisent l'analyse bayésienne. Pourquoi? Parce que les passionnés en ont assez d'entendre que la théorie des cordes et la théorie du multivers ne sont pas falsifiables, et donc non scientifiques. Le théorème de Bayes leur permet de présenter ces théories sous un meilleur jour. Dans ces cas, le théorème n'élimine pas le biais, mais s'y livre.
Selon Faye Flam, journaliste travaillant sur des sujets scientifiques populaires dans le New York Times, les statistiques bayésiennes "ne peuvent pas nous sauver de la mauvaise science". Le théorème de Bayes est universel et peut servir n'importe quel but. L'éminent spécialiste des statistiques bayésiennes, Donald Rubin, a travaillé comme consultant auprès des compagnies de tabac dans les litiges liés aux maladies liées au tabagisme.
Et pourtant j'admire le théorème de Bayes. Cela me rappelle la théorie de l'évolution, une autre idée qui semblait à la tautologie simple ou profondément déprimante, selon le point de vue, et de la même manière a inspiré les gens à la fois pour n'importe quel non-sens et pour des découvertes incroyables.
Peut-être parce que mon cerveau fonctionne selon Bayes, des allusions à ce théorème commencent à être vues partout. En parcourant les œuvres rassemblées d'Edgar Allan Poe sur mon Kindle, je suis tombé sur la phrase suivante du conte des aventures d'Arthur Gordon Pym: «En raison de nos dépendances ou de nos préjugés, nous ne sommes pas en mesure d'apprendre une leçon, même à partir des choses les plus évidentes» [
par. George Pavlovich Zlobin ].
Gardez cela à l'esprit avant de vous inscrire pour les adhérents Bayes.