Geekly articles weekly

La nature se demande si les expériences scientifiques modernes sont reproductibles.



Par hasard dans un flux de nouvelles et d'informations, je suis tombé sur un article dans Nature Scientific Reports . Il présente les données d'une enquête auprès de 1 500 scientifiques sur la reproductibilité des résultats de la recherche. Si auparavant ce problème a été soulevé pour la recherche biologique et médicale , où il s'explique d'une part (fausses corrélations, la complexité globale des systèmes à l'étude, parfois même les logiciels scientifiques sont mis en cause ), d'autre part il est phénoménologique (par exemple, les souris ont tendance à se comporter différemment avec les scientifiques différents sexes ( 1 et 2 )).

Cependant, tout n'est pas fluide et avec plussciences naturelles telles que la physique et l'ingénierie, la chimie, l'écologie. Il semblerait que ce soient ces disciplines qui reposent sur des expériences «absolument» reproductibles réalisées dans les conditions les plus contrôlées, hélas, un étourdissement - dans tous les sens du terme - du résultat de l'enquête: jusqu'à 70% des chercheurs ont rencontré des expériences non reproductibles et des résultats obtenus non seulement par d'autres groupes de scientifiques , MAIS et par les auteurs / co-auteurs des articles scientifiques publiés!

Chaque bécasseau loue-t-il son marais?


Bien que 52% des répondants indiquent une crise de reproductibilité dans le domaine scientifique, moins de 31% considèrent que les données publiées sont fondamentalement incorrectes et la majorité a indiqué qu'ils font toujours confiance aux travaux publiés.


Question: Y a - t-il une crise de reproductibilité des résultats?

Bien sûr, cela ne vaut pas la peine de pirater et de lyncher toute la science en tant que telle uniquement sur la base de cette enquête: la moitié des répondants étaient encore des scientifiques liés, d'une manière ou d'une autre, aux disciplines biologiques. Comme le notent les auteurs, en physique et en chimie le niveau de reproductibilité et de confiance dans les résultats obtenus est beaucoup plus élevé (voir le graphique ci-dessous), mais toujours pas à 100%. Mais en médecine, les choses sont très mauvaises par rapport au reste.

Une blague me vient à l'esprit:
- ?
-50:50. , .

Marcus Munafo, psychologue biologique de l'Université de Bristol (Angleterre), s'intéresse depuis longtemps au problème de la reproductibilité des données scientifiques. Rappelant les jours de ses jours d'étudiant, il dit:
Une fois, j'ai essayé de reproduire une expérience à partir de sources littéraires, ce qui me semblait simple, mais je ne pouvais tout simplement pas le faire. J'ai eu une crise de confiance, mais j'ai réalisé que mon expérience n'était pas si rare.



Question: Combien d'œuvres déjà publiées dans votre industrie sont reproductibles?

Latitude et longitude du problème


Imaginez que vous êtes un scientifique. Vous tombez sur un article intéressant, mais les résultats / expériences ne peuvent pas être reproduits en laboratoire. Il est logique d'écrire à ce sujet aux auteurs de l'article original, de demander des conseils et de poser des questions de clarification. Selon un sondage, moins de 20% l' ont déjà fait dans leur carrière universitaire!

Les auteurs de l'étude notent que ces contacts et conversations sont peut-être trop compliqués pour les scientifiques eux-mêmes, car ils révèlent leur incompétence et leur incohérence dans certains problèmes ou révèlent trop de détails sur le projet en cours.

De plus, une minorité absolue de scientifiques a tenté de publier une réfutation de résultats irréproductibles, tout en rencontrant l'opposition des éditeurs et des critiques qui ont exigéminimiser la comparaison avec l'étude originale. Faut-il s'étonner que la possibilité de signaler l'irréproductibilité des résultats scientifiques soit d'environ 50%.


Première question: avez-vous essayé de reproduire les résultats de l'expérience?
Deuxième question: avez-vous essayé de publier votre tentative de reproduction des résultats?

Peut-être que cela vaut la peine de faire au moins un test de reproductibilité à l'intérieur du laboratoire? Le plus triste, c'est qu'un tiers des répondants n'ont jamais pensé à créer des méthodes de vérification de la reproductibilité des données. Seulement 40% ont indiqué qu'ils utilisent régulièrement de telles techniques.


Question:Avez-vous déjà développé des techniques / processus techniques spéciaux pour améliorer la reproductibilité des résultats?

Un autre exemple, une biochimiste du Royaume-Uni, qui n'a pas voulu révéler son nom, dit que les tentatives de répétition, de reproduction du travail pour son projet de laboratoire doublent simplement le temps et les coûts matériels, ne donnant rien et n'apportant rien de nouveau au travail. Des contrôles supplémentaires ne sont effectués que pour les projets innovants et les résultats inhabituels.

Et bien sûr, les éternelles questions russes qui ont commencé à torturer des collègues étrangers: qui est à blâmer et que faire?

Qui est à blâmer?


Les auteurs de l'ouvrage ont identifié trois problèmes principaux de reproductibilité des résultats:
  • Pression des supérieurs pour publier une œuvre à temps
  • ( , , «» )
  • ( )



: ?
( ): – – – / – – – – – – – / – – – –« »

?


1500, 1000 , , .


: ?
( ): – – – – – – – – – – –


Premièrement , même pour moi, en tant que scientifique, les résultats sont stupéfiants, même si je suis déjà habitué à un certain degré d’irréproductibilité des résultats. Cela est particulièrement prononcé dans les œuvres exécutées par les Chinois et les Indiens sans «audit» tiers sous la forme de professeurs américains / européens. Il est bon que le problème ait été réalisé et réfléchi à sa (ses) solution (s). Je garderai avec tact le silence sur la science russe à propos du récent scandale , bien que beaucoup fassent honnêtement leur travail.

Deuxièmement, l'article cache (ou plutôt ne considère pas) le rôle des métriques scientifiques et des revues scientifiques à comité de lecture dans l'émergence et le développement du problème de l'irreproductibilité des résultats de la recherche. À la recherche de la vitesse et de la fréquence des publications (lecture, augmentation des indices de citation), la qualité baisse fortement et il ne reste plus de temps pour une vérification supplémentaire des résultats.

Comme on dit, tous les personnages sont fictifs, mais basés sur des événements réels. D'une manière ou d'une autre, un étudiant a eu l'occasion de revoir l'article, car tous les professeurs n'ont pas le temps et l'énergie de lire les articles de manière réfléchie, de sorte que l'opinion de 2-3-4 étudiants et médecins est recueillie, à partir de laquelle la revue est composée. Une revue a été rédigée, elle a indiqué l'irreproductibilité des résultats selon la méthode décrite dans l'article. Cela a été clairement démontré au professeur. Mais afin de ne pas gâcher les relations avec les «collègues» - après tout, ils réussissent - la revue a été «ajustée». Et ces articles ont publié 2 ou 3 pièces.

Il en résulte un cercle vicieux. Le chercheur envoie un article de l'éditeur du magazine, qui indique le « désiré » et, surtout, " indésirables"Les examinateurs, c'est-à-dire ne laissant en fait qu'une attitude positive envers l'équipe d'auteurs. Ils examinent le travail, mais ils ne peuvent pas «chier dans les commentaires» et essayer de choisir le moindre de deux maux - voici une liste de questions auxquelles il faut répondre, et nous publierons l'article.

Un autre exemple dont l'éditeur Nature a parlé il y a tout juste un mois est celui des panneaux solaires Grazel . En raison de l'énorme intérêt pour ce sujet dans la communauté scientifique (car ils veulent toujours un article dans Nature!), Les éditeurs ont dû créer un questionnaire spécial dans lequel ils devaient spécifier un grand nombre de paramètres, fournir des étalonnages d'équipement, des certificats, etc. pour confirmer que la technique de mesure de l'efficacité Les panneaux sont conformes à certains principes et normes généraux.

Et troisièmement, quand une fois de plus vous entendez parler d'un vaccin miracle qui vainc tout et tout le monde, une nouvelle histoire sur Jobs in a jupe , de nouvelles batteries ou les dangers / avantages des OGM ou l' émission de smartphones , surtout si elle a été publiée par des écrivains jaunes du journalisme, alors soyez compréhensif et ne faites pas de conclusions hâtives. Attendez la confirmation des résultats par d'autres groupes de scientifiques, l'accumulation du tableau et des échantillons de données.

Et que pensez-vous, chers utilisateurs Habr / GT, de la reproductibilité des données scientifiques? Partagez votre opinion dans les commentaires!

PS: L' article a été traduit et rédigé à la hâte, sur toutes les erreurs et inexactitudes constatées, merci d'écrire dans le PM.

Parfois, il est possible de lire brièvement, et parfois pas tellement sur les nouvelles de la science et de la technologie sur ma chaîne Telegram - nous sommes les bienvenus;)

Source: https://habr.com/ru/post/fr394685/

More articles:


All Articles