Science jamais citée

"Devis requis"

Le généticien et prix Nobel Oliver Smitis , décédé en janvier 2017 à l'âge de 91 ans, était un inventeur modeste et préféré. Il était typique pour lui de raconter l'histoire de son plus grand fiasco: le travail sur la mesure de la pression osmotique, publié en 1953 [Smithies, O. Biochem. J. 55, 57–67 (1953)], qui, comme il l'a dit, «a eu une réalisation douteuse sous la forme d'un manque de références à elle».

"Personne n'y a jamais fait référence et personne n'a jamais utilisé cette méthode", a-t-il déclaré aux étudiants lors d'une réunion à Lindau en Allemagne en 2014.

En fait, le travail de Smithies a attiré beaucoup plus d'attention qu'il ne le pensait: au cours des dix années qui ont suivi sa publication, neuf œuvres y ont fait allusion. Mais l'erreur est compréhensible - de nombreux scientifiques perçoivent à tort la non-citation des œuvres, tant du point de vue de l'ampleur de ce phénomène que de son influence sur le monde de la science.

Une évaluation fréquemment répétée, mentionnée dans un article controversé publié dans la revue Science en 1990, affirme que plus de la moitié de tous les articles scientifiques restent sans référence pendant cinq ans après leur publication. Et les scientifiques sont très inquiets à ce sujet, explique Jevin West, spécialiste de la théorie de l'information à l'Université de Washington à Seattle, qui étudie les modèles à grande échelle de la littérature de recherche. En effet, la citation est une mesure universellement reconnue de l'influence académique: un marqueur du fait que l'ouvrage n'a pas seulement été lu, mais aussi considéré comme utile pour des études ultérieures. Les chercheurs craignent qu'un grand nombre d'ouvrages non cités indiquent l'émergence d'une montagne de recherches inutiles ou sans conséquence. «Et ne comptez pas combien de fois les gens m'ont demandé au dîner:« Quelle partie de la littérature est laissée complètement sans liens? »- dit West.

En fait, la recherche sans référence n'est pas toujours inutile. De plus, il existe peu d'études de ce type, explique Vincent Larivière, spécialiste en théorie de l'information à l'Université de Montréal au Canada.

Pour mieux comprendre ce coin sombre et oublié des œuvres publiées, le magazine Nature a plongé dans les chiffres avec l'intention de savoir combien d'œuvres sont réellement laissées sans mention. Il est probablement impossible de le savoir, car les bases de données de citations sont incomplètes. Mais il est clair qu'au moins l'épine dorsale de 12 000 revues de Web of Science, une grande base de données de Clarivate Analytics, les travaux sans mention sont beaucoup moins courants qu'on ne le croit généralement.

Les archives du Web of Science indiquent que moins de 10% des articles scientifiques sont laissés sans référence à eux. Ce chiffre devrait être encore plus faible, car un grand nombre d'œuvres marquées dans la base de données comme n'ayant aucune référence sont en fait mentionnées quelque part par quelqu'un.

Cela ne signifie pas nécessairement qu'il y a moins d'articles de mauvaise qualité: des milliers de revues ne sont pas indexées par la base de données Web of Science, et le souci que les scientifiques remplissent leur curriculum vitae avec des articles sans signification reste réel.

Mais de nouveaux chiffres peuvent rassurer les gens, effrayés par les récits d'océans de travaux abandonnés. De plus, en examinant de plus près certaines des œuvres que personne n'a mentionnées, il s'avère qu'elles ont une bonne - et elles sont lues - malgré le mépris apparent. «L'absence de citations ne peut pas être interprétée comme des articles inutiles ou sans valeur», a déclaré David Pendlebury, analyste en chef des citations chez Clarivate.

Sans mentionner les mythes

L'idée que la littérature scientifique est remplie de recherches banales remonte à quelques articles de la revue Science, de 1990 à 1991 [Pendlebury, DA Science 251.1410-1411 (1991)]. Un rapport de 1990 indique que 55% des articles publiés de 1981 à 1985 n'ont été mentionnés nulle part dans les cinq ans suivant leur publication. Mais ces analyses sont trompeuses, principalement parce qu'elles ont pris en compte des types de publications telles que des lettres, des corrections, des procès-verbaux de réunions et d'autres documents éditoriaux, qui ne sont généralement pas cités. Si vous supprimez tout, ne laissant que des articles de recherche et des articles de synthèse, les pourcentages d'articles non mentionnés s'effondreront. Et si vous prolongez la période d'attente sur cinq ans, ces pourcentages diminueront encore plus.

En 2008, Larivière et ses collègues ont jeté un nouveau regard sur Web of Science et rapporté non seulement que le nombre d'œuvres non citées était inférieur à celui estimé, mais aussi que le pourcentage d'œuvres sans références avait diminué depuis plusieurs décennies. Le magazine Nature a demandé à Larivier, avec Cassidy Sugimoto [Cassidy Sugimoto] de l'Université de l'Indiana à Bloomington, de mettre à jour son analyse et de la commenter pour cet article.

Les nouveaux chiffres, qui tiennent compte des articles de recherche et des critiques, indiquent que dans la plupart des domaines, le nombre d'œuvres qui n'attirent pas de liens est égalisé pour une période de cinq à dix ans après la publication, bien que chaque région ait ses propres proportions. De tous les travaux sur la biomédecine publiés en 2006, aujourd'hui seulement 4% ne sont pas cités; en chimie, ce chiffre est de 8% et en physique, il est plus proche de 11%. Si vous supprimez les cas d'auto-citations, ces chiffres augmentent - et dans certaines disciplines une fois et demie. Dans les domaines de l'ingénierie et de la technologie, le pourcentage de travail sans référence en 2006 est de 24%, bien supérieur à celui des sciences naturelles. Cela peut être dû à la nature technique de ces articles, qui résolvent des problèmes spécifiques, au lieu de fournir à d'autres scientifiques une base pour poursuivre leurs travaux, explique Larivière.


Le graphique supérieur est la distribution du nombre d'œuvres sans liens par année.
Inférieur - différences dans différents domaines scientifiques; la ligne pointillée indique le graphique général pour toutes les zones.

Si nous prenons tous les articles dans leur ensemble - 39 millions d'articles de recherche dans tous les domaines enregistrés dans le Web of Science de 1900 à la fin de 2015 - alors 21% d'entre eux sont restés sans mention. Sans surprise, la plupart des travaux sans référence à eux sont apparus dans des magazines peu connus. Presque tous les travaux dans des revues célèbres sont ensuite cités.

Mesures impossibles

Ces données ne donnent qu'une partie de l'image. Mais remplir toutes les informations manquantes sur la littérature scientifique est une tâche pratiquement impossible.

La vérification d'un petit nombre d'œuvres est déjà une tâche assez difficile. Par exemple, en 2012, Peter Heneberg, un biologiste de l'Université Charles à Prague, a décidé de vérifier les enregistrements Web of Science pour 13 lauréats du prix Nobel afin de vérifier les déclarations de sondage sauvage d'un autre article affirmant que personne ne fait référence à environ 10% des études des lauréats du prix Nobel . Sa première étude, Web of Science, a trouvé un chiffre proche de 1,6%. Mais ensuite, en utilisant le service Google Scholar , Heneberg a constaté que la plupart des œuvres restantes étaient toujours référencées, mais elles n'ont pas été prises en compte en raison d'erreurs dans la saisie des données et de fautes de frappe dans les œuvres. De plus, les magazines et les livres qui n'étaient pas indexés par Web of Science contenaient des citations supplémentaires. Au moment où Heneberg a arrêté sa recherche, après avoir passé environ 20 heures, il avait réduit le nombre d'œuvres sans en mentionner cinq autres à 0,3%.

Ce sont ces lacunes qui rendent impossible de connaître le nombre réel d'œuvres qui n'ont jamais été citées: il faudra trop de temps pour répéter une vérification manuelle après Heneberg à grande échelle. Le Web of Science indique, par exemple, que 65% du travail humanitaire publié en 2006 n'a jamais été mentionné par personne. Et c'est effectivement le cas - une grande partie du travail humanitaire est laissée sans mention, en particulier, parce que les nouvelles recherches dans ce domaine ne dépendent pas tant des connaissances accumulées. Mais Web of Science ne reflète pas correctement la situation dans ce domaine, car il néglige de nombreux magazines et livres.

Les mêmes raisons compromettent la fiabilité des comparaisons de différentes nations. Web of Science montre que les œuvres écrites par des universitaires de Chine, d'Inde et de Russie seront plus susceptibles d'être ignorées que celles écrites aux États-Unis ou en Europe. Mais la base de données ne suit généralement pas de nombreux magazines locaux qui pourraient réduire cet écart, explique Larivière.

Malgré les problèmes de nombre absolu, la réduction du travail sans mention dans Web of Science est strictement observée, précise Larivier. Internet a grandement facilité la tâche de trouver et de citer le bon travail, dit-il. Il est possible que cela contribue également à la volonté d'ouvrir l'accès aux articles. Mais Larivière prévient que cette tendance ne doit pas être surestimée. Dans son étude de 2009 [Wallace, ML, Larivière. V. & Gingras, YJ Informetrics 3, 296–303 (2009)] soutient que le nombre d'œuvres sans citations diminue parce que les scientifiques publient de plus en plus d'ouvrages et poussent de plus en plus de références à d'autres ouvrages. Spécialiste dans le domaine de la bibliométrie [analyse statistique de la littérature scientifique / env. trans.] Ludo Waltman de l'Université de Leiden aux Pays-Bas est d'accord. «Je n'interpréterais pas ces chiffres comme une garantie que de plus en plus de travaux scientifiques deviennent utiles.»


Le nombre de liens avec le travail augmente progressivement

Waltman dit que de nombreux travaux évitent à peine le sort des non-cités: des calculs indépendants de Waltman et Larivier montrent que le Web of Science a plus d'un travail mentionné que ceux qui n'en ont aucune mention. «Et nous savons que de nombreux liens sont réellement formalisés, pour le spectacle», dit-il. Ou ils peuvent être un signe du système «vous - à moi, je - à vous» par les scientifiques, dit Dahlia Remler, spécialiste en économie de la santé à l'École des relations publiques et internationales. Marx à New York. «Même les recherches très citées peuvent faire partie d'un jeu auquel les scientifiques jouent ensemble et qui n'est bon pour personne», dit-elle.

Pas complètement inutile

Certains chercheurs peuvent être tentés d'abandonner le travail sans mentionner comme sans importance. Après tout, s'ils avaient au moins une certaine signification, quelqu'un ne les aurait-il pas mentionnés?

Probablement, mais pas nécessairement. Les scientifiques sont influencés par beaucoup plus d'articles qu'ils n'en mentionnent plus tard, explique Michael Macroberts, botaniste à l'Université de Louisiane à Shreveport. Dans un article de 2010 sur le manque d'analyse des citations, Macroberts a fait allusion à son propre travail de 1995 sur la découverte de Palinhaea cernua au Texas. C'était la première et la seule fois que quelqu'un faisait référence à ce travail, mais les informations qui y sont mentionnées sont entrées dans des atlas de plantes et de grandes bases de données. Les personnes utilisant ces bases de données s'appuient sur ce travail et sur des milliers d'autres rapports botaniques. «Les informations contenues dans ces articles dits non cités sont utilisées; ils ne sont tout simplement pas cités », dit-il.

De plus, les articles non cités sont toujours lus. En 2010, des chercheurs du Département de la santé et de l'hygiène psychologique de New York ont ​​publié une étude analysant les lacunes du kit de test de salive pour le VIH réalisée à l'aide de programmes spéciaux [Egger, JR, Konty, KJ, Borrelli, JM, Cummiskey, J. & Blank, S. PLoS ONE 5, e12231 (2010)]. Quelques années plus tôt, l'utilisation de la trousse avait été suspendue dans les cliniques puis reprise. Les auteurs ont souhaité mettre à profit l'expérience des cliniques pour étudier la question de savoir si le logiciel peut analyser la qualité des sets en cas de problème.

Leur travail, publié dans la revue PLoS ONE, n'a jamais été mentionné. Mais il a été vu plus de 1 500 fois et téléchargé plus de 500 fois, a déclaré Joe Egger, co-auteur de l'ouvrage, qui travaille actuellement au Duke Institute for World Health à Durham, en Caroline du Nord. «Le but de cet article est d'améliorer les pratiques qui soutiennent les soins de santé, plutôt que de faire avancer la science», dit-il.

D'autres articles peuvent ne pas être mentionnés car ils couvrent des domaines de recherche improductifs, explique Nicklaas Buyurma, chimiste à l'Université de Cardiff, en Grande-Bretagne. En 2003, Buyurma et ses collègues ont publié un document sur le «différend isochore» - sur la question de savoir s'il serait utile de limiter l'expansion ou la contraction du solvant pendant la réaction qui se produit lorsque les températures changent. En théorie, cette expérience techniquement sophistiquée pourrait conduire à de nouvelles connaissances sur la façon dont les solvants affectent le taux de réactions chimiques. Mais les tests Buyurma ont montré que les chimistes n'apprendraient rien de nouveau de telles expériences. «Nous avons décidé de prouver que quelque chose ne valait pas la peine - et nous l'avons montré», dit-il. «Je suis fier de ce travail, car il n'implique aucune mention», ajoute-t-il.

Oliver Smitis, s'exprimant lors d'une réunion à Lindau, a déclaré qu'il reconnaissait l'importance du travail de 1953, malgré le fait qu'il pensait qu'il n'était pas mentionné. Il a déclaré au public que le travail accompli l'avait aidé à obtenir un diplôme et à devenir un scientifique à part entière. En fait, c'était l'apprentissage du futur lauréat du prix Nobel. «J'ai vraiment apprécié de le faire», a-t-il déclaré, «et j'ai appris à bien faire les sciences.» Smithies a en fait au moins un travail sans aucune mention: l' article de 1976 , qui a montré qu'un gène spécifique associé au système immunitaire se trouve sur le chromosome humain . Mais c'était important, pour d'autres raisons, a déclaré le généticien Raju Kucherlapati de la Harvard Medical School de Boston, Massachusetts, l'un des auteurs de l'ouvrage. Il dit que l'article a été le début d'une longue collaboration avec le laboratoire Smithies, aboutissant à un travail sur la génétique des souris qui a valu à Smithies le prix Nobel 2007 en physiologie ou médecine. "Pour moi," dit Kucherlapati, "l'importance de ce travail était que j'ai reconnu Oliver."

Histoire des œuvres non citées

Longue attente

Pour chaque chercheur qui souhaite que quelqu'un mentionne son travail, il y a de l'espoir si l'on prend en compte l'histoire d'Albert Peck, dont le travail de 1926, décrivant l'une des variétés de défauts du verre, a été cité pour la première fois en 2014. Dans les années 1950, le travail a perdu son utilité car les fabricants ont compris comment fabriquer du verre lisse sans les défauts décrits. Mais en 2014, le chercheur en matériaux Kevin Knowles de l'Université de Cambridge en Grande-Bretagne est tombé sur Google pour faire ce travail tout en écrivant une revue de ce domaine - il a été impliqué dans l'utilisation de ces défauts pour diffuser la lumière. Maintenant, il l'a citée dans quatre articles. «J'aime écrire des œuvres dans lesquelles je peux mentionner des articles peu connus.»

Vague perdue

En 2016, le doctorant Francisco Pina-Martins de l'Université de Lisbonne a publié un article sur l'interprétation des données de séquençage génétique, en étant sûr que personne ne le mentionnerait car la technologie décrite dans ce document développée par 454 Life Sciences était dépassée et non utilisée. Il a téléchargé son logiciel d'analyse de données sur GitHub, un site où les gens partagent le code source, en 2012 - et cela a été mentionné dans plusieurs travaux. Mais la publication de l'étude elle-même a pris quatre ans, car, selon lui, elle est associée à un problème rare que les spécialistes qui ont étudié l'article auparavant n'ont tout simplement pas compris.

Impasse

Beaucoup d'histoires sur le travail sans mention sont tristes. En 2010, le neuroscientifique Adriano Ceccarelli a publié un article sur la régulation des gènes dans le mucus Dictyostelium dans la revue PLoS ONE. Ses demandes de subventions de recherche sont restées sans réponse et le travail n'a jamais été cité. "Eh bien, vous savez ce qui se passe avec la recherche - il s'avère que le travail a conduit à une impasse", dit-il. - Mes idées n'ont pas de valeur pour le financement. Maintenant, j'enseigne et j'attends la retraite. Mais je me ferais un plaisir de travailler si je recevais des fonds demain. »