Une mauvaise recherche gagne de plus en plus d'argent

Victor Petrik démontre son nanofiltre (Source: rusphysics.ru)

En 1963, Jacob Ken, psychologue à l'Université de New York, a analysé environ 70 articles publiés dans le Journal of Abnormal and Social Psychology et a découvert un fait intéressant. Seul un petit nombre de scientifiques ont reconnu l'échec de leurs recherches dans les travaux. Pour ces matériaux, il a calculé leur «puissance statistique». Le terme «puissance statistique» signifie la probabilité de rejet de l'hypothèse nulle, si elle est réellement incorrecte.

Selon les statistiques, la confirmation du résultat attendu par le chercheur se manifeste au cours de seulement 20% des expériences réalisées. Il s'est avéré que dans presque toutes les études étudiées par Cohen, les auteurs ont indiqué un résultat positif attendu de la recherche. Il s'avère que les auteurs ne signalent tout simplement pas d'échecs. De plus, certains auteurs déforment les résultats de leurs recherches, indiquant un effet positif même lorsqu'il ne l'est pas.

La quantité de puissance lors du test d'une hypothèse statistique dépend des facteurs suivants :

• le niveau de signification indiqué par la lettre grecque α (alpha), sur la base de laquelle il est décidé de rejeter ou d'accepter une hypothèse alternative;
• l'ampleur de l'effet (c'est-à-dire la différence entre les moyennes comparées);
• la taille de l'échantillon nécessaire pour confirmer l'hypothèse statistique.

Plus d'un demi-siècle s'est écoulé depuis la publication des travaux de Jacob Cohen, mais les auteurs de la recherche scientifique parlent encore de leurs succès, cachant la défaite. Ceci est prouvé par les résultats d'un autre travail récemment publié dans la Royal Society Open Science. Les auteurs de ce travail sont Paul Smaldino de l'Université de Californie et Richard Mac Elres du Max Planck Society Institute for Evolutionary Anthropology . Selon les chercheurs, les articles modernes ne se sont pas améliorés. Au moins, des articles qui concernent la psychologie, la neurologie et les sciences médicales.

Après avoir étudié des dizaines d'articles publiés entre 1960 et 2011, les scientifiques ont déterminé que la puissance statistique moyenne dans ce cas est de 24%. Ce n'est que légèrement supérieur au paramètre calculé par Cohen. Et cela malgré le fait que ces dernières années, les méthodes de recherche scientifique sont devenues plus précises, et de plus en plus de livres et d'articles sont publiés pour les chercheurs décrivant les principes et les méthodes du travail scientifique.


La puissance statistique moyenne des publications publiées dans des revues scientifiques de 1960 à 2011

Ayant obtenu un tel résultat, les scientifiques ont réfléchi à ce qui pourrait changer l'état actuel des choses pour que les auteurs d'ouvrages scientifiques deviennent plus consciencieux. Pour ce faire, Mac Elres et Smaldino ont créé un modèle évolutif informatique. Dans ce modèle, une centaine de laboratoires virtuels se disputaient le droit de recevoir une rémunération. Elle a été payée si, dans le cadre de l'étude, l'équipe du laboratoire a obtenu un résultat vraiment significatif. Pour déterminer le montant de la rémunération, les scientifiques ont utilisé un indicateur tel que le volume des publications.

Comme il s'est avéré, certains laboratoires ont travaillé plus efficacement que d'autres, montrant plus de résultats. Dans le même temps, ces laboratoires ont souvent donné les attentes comme réelles. Dans ce cas, les résultats ont été vérifiés moins bien et les résultats ont été interprétés comme positifs. Si les résultats des travaux étaient vérifiés de manière plus approfondie, alors moins de travaux étaient publiés.

Dans chaque cycle de simulation, tous les laboratoires simulés ont effectué des expériences et publié les résultats. Après cela, les scientifiques ont nettoyé le plus ancien laboratoire d'un certain nombre de sites sélectionnés au hasard. Et les laboratoires d'une autre liste aléatoire (critère de sélection - le nombre maximum de récompenses reçues) ont permis de créer notre propre unité, qui était engagée dans un travail actif sur la publication de matériel scientifique. Les résultats préliminaires de l'analyse du modèle informatique l'ont démontré: les laboratoires qui ont publié le plus de travaux n'ont consacré qu'une fraction du temps à la vérification des résultats et sont devenus les plus autorisés, diffusant leurs méthodes de recherche dans la communauté scientifique.

Mais il y avait encore une chose. Il s'est avéré que la répétition des résultats des travaux d'un laboratoire par une équipe d'un autre conduit à une amélioration de la réputation du premier laboratoire. Mais le fait de ne pas répéter les résultats d'une expérience entraîne des problèmes et réduit la réputation du laboratoire, qui a mené une telle expérience en premier. Dans ce cas, un filtre est déclenché qui empêche l'apparition de fausses recherches dans la communauté scientifique avec des résultats de recherche modifiés.

Plus la sanction imposée à ceux qui ont publié des résultats non vérifiés est forte, plus le filtre de recherche de mauvaise qualité est puissant. Avec une pénalité maximale de 100 points de laboratoires avec de fausses données, le nombre de publications avec des résultats réels a fortement augmenté. De plus, le nombre d'expériences répétées que d'autres laboratoires ont menées avec l'intention de répéter les résultats obtenus par quelqu'un a augmenté.

Permettez-moi de vous rappeler que tout ce qui précède est une situation simulée sur un PC. Les auteurs de l'étude tirent la conclusion suivante: comme précédemment, les organisations scientifiques qui publient plus d'ouvrages que d'autres sont désormais considérées comme les plus autorisées. Malheureusement, le filtre des publications de faible qualité qui fonctionnait dans le monde virtuel ne fonctionne pas très bien dans le monde réel. Le fait est que les instituts de recherche et les chercheurs individuels ne se vérifient pas trop souvent les résultats. Si de tels contrôles avec l'intention de répéter le résultat obtenu par le partenaire étaient effectués plus souvent, alors les «faux résultats» dans le monde de la science deviendraient beaucoup moins.

Les auteurs de l'étude estiment que le modèle informatique a montré la possibilité de changer l'état actuel des choses. Si les fonds et les organisations scientifiques ne donnaient pas d'argent aux scientifiques et aux laboratoires qui ont publié les résultats non vérifiés de leurs recherches, les faisant passer pour un résultat positif, les trompeurs deviendraient rapidement moins. Mais mettre en œuvre un tel modèle dans le monde réel est assez difficile. «Plus facile à dire qu'à faire», explique Smaldino.

Donc pour l'instant, les organisations qui publient de nombreux articles sont en territoire positif. Mais les organisations qui vérifient soigneusement leurs résultats sont publiées moins fréquemment.

DOI: 10.1098 / rsos.160384

Source: https://habr.com/ru/post/fr397897/