PubPeer en tant qu'outil anonyme d'évaluation par les pairs

Depuis 2012, le forum en ligne PubPeer joue le rôle de 4chan for science, permettant à chacun de poster des commentaires anonymes sur la recherche. Initialement, il était destiné à discuter des méthodes et des résultats, mais maintenant il est devenu l'un des centres d'information et d'analyse les plus connus pour les accusations d'erreurs scientifiques, de faux et de mauvaise conduite. Grâce à lui, les magazines ont publié des corrections, rappelé des documents, ruiné des carrières et finalement impliqué le site dans un litige, où ses avocats étaient une équipe de l'American Civil Liberties Union, ACLU, qui a travaillé avec Edward Snowden.

Les critiques disent que PubPeer soutient un flux non censuré d'allégations irresponsables. Mais les partisans disent que PubPeer est peut-être le seul moyen efficace d'exposer les erreurs et les contrefaçons dans le système scientifique actuel. Cela fonctionne pendant une crise silencieuse de la science et des revues scientifiques, lorsque la communauté est préoccupée par les problèmes de l'unicité des résultats - les soi-disant " crise de reproductibilité ", et le nombre d'œuvres retirées augmente . Le système traditionnel d'examen par les pairs ne résout pas ces problèmes.

"Nous avons commencé le projet parce que nous voulions obtenir des arguments plus détaillés sur la science, et avons été choqués par le nombre de problèmes avec le travail scientifique, y compris des pratiques de recherche très controversées et des abus très évidents", a déclaré Brandon Stell, neurologue à National. Centre de recherche de Paris, créateur de PubPeer.

Et il n'y a rien à discuter. Selon le blog Retraction Watch , qui surveille les corrections, les erreurs et les contrefaçons dans le travail scientifique, le travail d' au moins trois scientifiques hautement cotés au cours des derniers mois a été révoqué par les magazines après que leurs données aient mis en doute les commentateurs anonymes de PubPeer.

Un universitaire, Fazlul Sarkar, poursuit plusieurs commentateurs. Ses avocats soutiennent que le site devrait révéler l'identité des utilisateurs qui ont nui à sa carrière - il a perdu son emploi à l'Université du Mississippi. PubPeer a refusé de le faire. Google et Twitter ont écrit un texte pour le tribunal à l'appui du site, qui est désormais proposé gratuitement par les avocats de l'ACLU.

C'est peut-être l'un des cas les plus intéressants liés à la confidentialité sur Internet, parmi ceux dont vous n'avez pas entendu parler. Tout cela découle de la frustration des scientifiques face à une politique incompréhensible de publications et d'évaluations d'experts des travaux.

En fait, PubPeer est un site qui permet à chacun de commenter n'importe quel article scientifique dans la base de données publique PubMed., à la fois de manière anonyme et avec une signature. C'est très simple, mais la possibilité de commentaires anonymes en fait un endroit sûr pour les scientifiques, en particulier les jeunes, pour discuter et critiquer la recherche sans crainte de punition. Et ils veulent vraiment le faire: depuis le lancement, il y a déjà plus de 55 000 commentaires anonymes sur le site.

En octobre 2013, quelqu'un a commencé à discuter d'une vingtaine d'ouvrages publiés par Fazlul Sarkar, chercheur sur le cancer à la Wayne State University dans le Michigan. Les articles sont publiés depuis plus de 10 ans et décrivent divers systèmes complexes de signalisation moléculaire du cancer. Mais les questions soulevées par les commentaires étaient simples: les commentateurs ont affirmé que les images dans différentes œuvres étaient copiées et légèrement modifiées, ce qui laissait entrevoir la possibilité de l'absence d'expériences réelles - ou que les expériences pouvaient conduire à des résultats différents.

Stell a noté qu'afin de maintenir l'ordre et la loi dans la discussion, PubPeer exige que les commentateurs ne blâment pas directement les auteurs de fraude. Les commentaires sont modérés, de telles accusations sont donc toujours assez discrètes.

Mais cela ne rend pas les gardiens autoproclamés moins efficaces. La pire chose qu'un chercheur de PubPeer puisse voir est "qu'il y a des problèmes".

La discussion des «problèmes» dans le travail de Sarkar s'est rapidement répandue quand il est devenu clair que les commentateurs ont trouvé une mine d'or: selon une base de données de l'Institut d'État de la santé et de PubMed, Sakar a reçu plus de 12 millions de dollars de financement et publié plus de 500 ouvrages. Les commentateurs travaillent avec beaucoup de soin - ils sont connus pour avoir souvent creusé des dissertations il y a des décennies à la recherche de "saleté". En général, sur le forum, vous pouvez trouver 77 œuvres de Sarkar, qui ont fait l'objet d'une étude approfondie. Si vous les comparez les uns aux autres, des tendances apparaissent. Par exemple, un utilisateur affirmeque le même ensemble d'images a été reproduit 54 fois en 13 œuvres sur 3 ans. Apparemment, le public a révélé un photoshop quasi scientifique actif, qui depuis dix ans n'a pas été remarqué par les comités, les éditeurs et les experts de magazines prestigieux.

De nombreux visiteurs du site adoptent ce type d'enquête. «Je suis venue à PubPeer en partie à cause de la déception», explique Elizabeth Beek, microbiologiste de l'Université de Stanford et utilisatrice régulière de PubPeer. Elle dit qu'elle commente en son nom la discussion sur les avantages scientifiques de l'article, mais reste anonyme dans un autre domaine d'activité: la détection des manipulations et des contrefaçons d'images dans les œuvres. Bick dit que dans ses discussions, elle n'a pas abordé le travail de Sarkar.

«Dans certains cas, je me suis plainte auprès des éditeurs de magazines», dit-elle. «C'était la manière la plus honnête, qui a également permis aux auteurs de répondre, mais j'ai été déçu de voir que de nombreux rédacteurs ne m'ont pas répondu, ou ont répondu quelque chose comme« Nous enquêtons sur ce problème », puis le silence.»

D'autres érudits en conversation avec moi ont dit la même chose, et ils n'ont pas laissé le sentiment qu'ils essayaient de couvrir celui qu'ils critiquaient.

En réponse à notre question sur les préoccupations des scientifiques, un représentant de Nature Research a répondu par e-mail que les travaux qui leur sont soumis "font l'objet d'un suivi approfondi par des experts" et il est supposé que les travaux ont été réalisés "de bonne foi". Ils sont automatiquement vérifiés pour le plagiat et la manipulation d'image, et les éditeurs, avec des experts, peuvent réparer quelque chose ou retirer le travail en cas de suspicion.

"Nous prenons au sérieux tous les soupçons concernant les œuvres publiées, elles proviennent de personnes spécifiques ou de sources anonymes, et nous considérons tous les cas séparément", ont-ils écrit.

Représentant Cell PressIl affirme également que les rédacteurs en chef cherchent à corriger les notes scientifiques, notant que "puisque nous maintenons la confidentialité des enquêtes, nous ne divulguons pas leurs coordonnées à ceux qui ont partagé leurs soupçons".



De nombreux observateurs ne croient pas que les magazines et autres intermédiaires font tout ce qu'ils peuvent. «Pendant des décennies, les chercheurs et les éditeurs ont ignoré les commentaires anonymes et critiques jusqu'à ce qu'ils soient identifiés», explique Ivan Oransky de Retraction Watch. Il dit que les critiques et les informateurs contactent constamment son site, mais le volume de ces plaintes est trop important pour une petite équipe de journalistes. Selon lui, PubPeer fournit aux critiques un débouché.

Les accusations de faux ne sont pas des jouets pour vous, surtout pour l'accusé. Les accusations de Sarkar n'étaient pas seulement des exercices inutiles: comme c'est souvent le cas avec les fils de pub populaires, les gens ont envoyé des problèmes découverts à toutes les chaînes officielles qui pouvaient tout faire, y compris les magazines qui ont publié la recherche et son personnel.

Malheureusement pour Sarkar, cela s'est produit à un moment critique de sa carrière. Selon les documents judiciaires reçus par Retraction Watch, en juin 2014, il quitte Wayne State University, acceptant une offre prestigieuse de l'Université du Mississippi, comprenant le paiement de l'ouverture du laboratoire et un salaire de 350 000 $. Mais seulement 11 jours avant le début prévu des travaux, alors qu'il avait déjà pris soin de sa maison à Oxford, une offre rappelé. Et tout cela à cause de l'enquête qui a commencé chez PubPeer.

Selon des documents judiciaires, une lettre datée du 19 juin 2014 de Larry Walker, directeur du State Research Center for Natural Products de l'Université du Mississippi of Cancer, et du principal contact de Sarkar, indique que Walker a reçu un devis d'une source anonyme (?) Du site PubPeer.com concernant plusieurs œuvres de Sarkar. Des lettres auraient été envoyées à d'autres chercheurs de l'université, à la suite de quoi tous les nouveaux collègues de Sarkar étaient à jour avant même qu'il ne se présente sur le lieu de travail.

Sarkar a répondu en poursuivant l'université pour avoir retiré la proposition et plusieurs commentateurs anonymesavec PubPeer pour diffamation. En janvier 2016, le juge a classé l'affaire contre l'Université du Mississippi, mais l'affaire est toujours pendante contre PubPeer. Les avocats de Sarkar affirment que les commentateurs ont non seulement discuté de son travail, mais l'ont attaqué personnellement. Ils ont envoyé à PubPeer un procès pour les noms et adresses IP des commentateurs.

PubPeer a commencé comme passe-temps d'un jeune scientifique et de ses collègues, il n'était donc pas bien préparé pour la défense devant les tribunaux. Mais son credo en tant que plateforme anonyme pour les informateurs l'a conduit à se retrouver dans le sillage d'un débat sur la vie privée et la divulgation de données personnelles, bouillonnant un an après la première publication des documents de la NSA par Snowden.

«J'ai reçu cette lettre d'une personne anonyme qui a contacté Ben Wiesner, et il sera intéressant pour Ben de nous en parler», explique Stell. Ben Wiesner, directeur du projet ACLU Speech, Privacy and Technology et l'un des avocats d'Edward Snowden. "On m'a dit qu'il voulait aider, et j'étais terriblement heureux!" L'ACLU a rapidement mis sur pied une équipe chargée de protéger gratuitement PubPeer.

«Ce n'est pas que les gens soient jetés dans des cachots, mais les discussions scientifiques souffrent si les scientifiques ne peuvent pas parler librement sans craindre que leurs patrons actuels ou futurs ne s'en rendent compte», explique Alexander Abdo, avocat en chef de l'ACLU et l'un des membres de l'équipe. travailler sur le cas PubPeer. «Nous devons brûler tous les ponts avant de lancer des critiques publiques. L'anonymat laisse une marge de manœuvre. » «Je pense que PubPeer essaie d'utiliser l'anonymat pour la même raison que la constitution le protège. L'anonymat vous protège de ceux qui pourraient vous punir pour vos opinions », ajoute-t-il.

Stell, fondateur de PubPeer, est d'accord. «Si nous essayons d'exprimer notre opinion sur le travail de nos collègues, cela peut entraîner de graves conséquences pour notre carrière», dit-il.

Et Nicholas Roumel, un partenaire de la firme de Nicholas au Michigan, NachtLaw, représentant Sarkara, affirme que les commentateurs anonymes sont mieux protégés que leur cible, qui ne peut même pas les aborder par leur nom. «Bien sûr, les commentateurs anonymes peuvent se défendre avec le premier amendement. Le problème est de savoir si les preuves anonymes doivent être protégées davantage que les preuves non anonymes. Les lâches qui publient des accusations anonymes méritent davantage d'être protégés parce qu'ils craignent la persécution - mais ils détruisent sans aucun doute des carrières comme le Dr Sarkar l'a fait dans une embuscade. C'est de l'hypocrisie. "

Rumel, qui prétend être membre de l'ACLU et président du comité local de l'ACLU, affirme que son client est jugé plus sévèrement que ses accusateurs et qu'en envoyant des brochures à l'appui de PubPeer, des géants comme Google et Twitter sont d'accord avec une idée qu'il considère comme alarmante. "Ils disent que les victimes comme le Dr Sarkar devraient avoir plus de mal à prouver leur innocence en poursuivant des personnes anonymes", dit-il. Sarkar lui-même n'a pas commenté l'histoire.

Jusqu'à présent, l'affaire est dans une impasse. En mars 2015, un juge a rejeté une demande de publication de données sur les utilisateurs de PubPeer, mais une seule. Les avocats de Sarkar ont estimé que sa contribution à la discussion était la plus nuisible. PubPeer a reçu l'ordre de donner toutes les informations pour cet utilisateur, y compris l'adresse IP.

L'ACLU a fait appel de la décision et les avocats de Sarkar ont fait appel de la décision du juge de rejeter les demandes d'informations d'autres utilisateurs. L'audience est prévue pour octobre.

Fait intéressant, selon les avocats de Sarkar, ce même utilisateur malveillant a utilisé l'adresse e-mail de Claire Francis. Francis est un pseudonyme que divers chercheurs ont envoyé des centaines (et peut-être des milliers) de lettres anonymes aux rédacteurs en chef de magazines depuis environ 2010 . La fécondité du pseudonyme a contraint le géant des éditions Elsevier à édicter des règles spéciales pour les éditeurs prescrivant le traitement de ces lettres. Sans aucun doute, l'habitude de Francis d'envoyer des copies de lettres au New York Times a influencé cela.

Il s'avère que ce procès pourrait potentiellement révéler l'un des mystères les plus anciens des publications scientifiques et révéler la ou les personnes responsables du phénomène appelé "Claire Francis".

Bien que l'affaire soit lente, la carrière de Sakar est endommagée. Treize de ses travaux ont déjà été rappelés dans les journaux qui les ont publiés (six d’entre eux en un mois ), et le nom de Sarkar figure sur la liste de ceux qui quittent l’Université Wayne cette année.

Mais de nombreux membres de la communauté scientifique ne sont pas pressés de trop faire confiance aux capacités de la société anonyme. Les rédacteurs en chef de deux grands magazines s'opposent à de telles critiques . Michael Blatt, rédacteur en chef de Physiologie végétale, s'est adressé directementà PubPeer. Dans la chronique du rédacteur en chef, Blatt a convenu qu’un moyen de lutter contre la contrefaçon dans son domaine, la biologie végétale, devait exister. Dans le même temps, il dit que «l'anonymat n'est pas la réponse, si votre objectif est les méthodes légales et la protection des innocents».

De nombreux utilisateurs de PubPeer se sont inquiétés du fait que les commentateurs anonymes puissent poursuivre des objectifs personnels ou faire des erreurs. "Il y a certainement des cas où il est clair que le commentateur a des motifs cachés", a expliqué l'un d'eux. Un autre a suggéré que, dans certains cas, un ancien étudiant ou membre du personnel peut facturer sans justification en raison d'une mauvaise expérience de collaboration.

Mais même dans le cas d'intentions sincères, il existe un risque d'accusations erronées. Bick, microbiologiste de Stanford, a déclaré qu'elle avait fait une erreur une fois en essayant d'exposer la manipulation d'image via PubPeer. Les cas les plus simples de fausses accusations sont rapidement traités soit par les commentateurs eux-mêmes, soit par les auteurs de l'ouvrage. Mais les auteurs déplorent que ces discussions dans le domaine public soient liées à leur travail. Bick dit que cela est devenu plus précis depuis.

Mais les contrefaçons scientifiques sont peut-être plus courantes que nous ne le pensons. Bick a transformé son intérêt pour l'exposition de la manipulation d'images en un sujet de recherche distinct, et a même récemment publié un article à ce sujet. Avec les co-auteurs, ils ont montré que près de 4% des 20 000 images examinées étaient «problématiques», dont beaucoup contiennent des signes de manipulation. Dans l'article, ils écrivent que si l'auteur a une telle image, il est probable qu'il y en ait d'autres, alors que dans certaines revues ce problème est plus courant que dans d'autres.

Jusqu'à présent, il s'avère que la meilleure façon de prêter attention à ces problèmes est un message anonyme. Comme l'a souligné Oransky de Retraction Watch, PubMed a récemment introduit un système de commentaires lié aux adresses e-mail des scientifiques, permettant aux commentaires d'être laissés sous les travaux en leur nom réel. Mais elle ne donne pas de résultats comparables. «Il n'y a aucun cas de rappel de travaux liés aux commentaires. L'anonymat est la clé. "

Stell dit que bien qu'il espère inspirer les gens à utiliser de vrais noms et à développer des discussions scientifiques, il prévoit toujours de soutenir PubPeer en tant que plate-forme efficace pour les dénonciateurs. Il dit que le site augmente l'anonymat des utilisateurs en stockant le moins d'informations possible à leur sujet, ce qui facilite l'accès au site via Tor, et s'efforce d'inspirer plus de gens à utiliser de vrais noms.

L'idée est que lorsque tous les scientifiques, pas seulement les experts sélectionnés, seront en mesure d'évaluer la recherche dans un forum public, les contrefaçons et les mauvaises données cesseront d'être un tel problème. Mais tant que les fondateurs de PubPeer conduisent les utilisateurs d'une hiérarchie rigide de revues scientifiques à une meilleure discussion scientifique, la communauté peut continuer à travailler comme une mauvaise conscience pour les puissants, en utilisant l'anonymat et Internet pour nettoyer la science de toutes les manières possibles.

Source: https://habr.com/ru/post/fr398075/