Wissenschaft nie zitiert

"Zitate erforderlich"

Der Genetiker und Nobelpreisträger Oliver Smitis , der im Januar 2017 im Alter von 91 Jahren starb, war ein bescheidener und bevorzugter Erfinder. Es war typisch für ihn, die Geschichte seines größten Fiaskos zu erzählen: die 1953 veröffentlichte Arbeit zur Messung des osmotischen Drucks [Smithies, O. Biochem. J. 55, 57–67 (1953)], der, wie er es ausdrückte, „eine zweifelhafte Leistung in Form eines Mangels an Hinweisen darauf hatte“.

„Niemand hat jemals darauf hingewiesen und niemand hat diese Methode jemals angewendet“, sagte er den Studenten bei einem Treffen in Lindau im Jahr 2014.

Tatsächlich erregte die Arbeit von Smithies viel mehr Aufmerksamkeit als er dachte: In den zehn Jahren seit ihrer Veröffentlichung haben neun Werke darauf angespielt. Der Fehler ist jedoch verständlich - viele Wissenschaftler nehmen das Nichtzitieren von Werken falsch wahr, sowohl unter dem Gesichtspunkt des Ausmaßes dieses Phänomens als auch seines Einflusses auf die Welt der Wissenschaft.

Eine häufig wiederholte Einschätzung, die in einem kontroversen Artikel erwähnt wurde, der 1990 in der Zeitschrift Science veröffentlicht wurde, besagt, dass mehr als die Hälfte aller wissenschaftlichen Artikel nach ihrer Veröffentlichung fünf Jahre lang ohne Bezug auf sie bleiben. Und Wissenschaftler sind darüber sehr besorgt, sagt Jevin West, ein Spezialist für Informationstheorie an der Universität von Washington in Seattle, der die großräumigen Muster der Forschungsliteratur untersucht. In der Tat ist das Zitieren ein allgemein anerkanntes Maß für den akademischen Einfluss: ein Hinweis darauf, dass die Arbeit nicht nur gelesen, sondern auch für spätere Studien als nützlich angesehen wurde. Die Forscher befürchten, dass eine große Anzahl nicht zitierter Werke auf die Entstehung eines Berges nutzloser oder belangloser Forschung hinweist. „Und zählen Sie nicht, wie oft mich die Leute beim Abendessen gefragt haben:„ Welcher Teil der Literatur ist völlig ohne Links? “- sagt West.

In der Tat ist Forschung ohne Bezug darauf nicht immer nutzlos. Darüber hinaus gibt es nur wenige solcher Studien, sagt Vincent Larivière, ein Spezialist für Informationstheorie an der Universität von Montreal in Kanada.

Um diese dunkle, vergessene Ecke der veröffentlichten Werke besser zu verstehen, tauchte das Nature-Magazin in Zahlen auf, um herauszufinden, wie viele Werke tatsächlich ohne Erwähnung übrig sind. Es ist wahrscheinlich unmöglich herauszufinden, da die Zitierdatenbanken unvollständig sind. Es ist jedoch klar, dass zumindest das Rückgrat von 12.000 Zeitschriften in Web of Science, einer großen Datenbank von Clarivate Analytics, ohne Erwähnung funktioniert, weitaus seltener ist als allgemein angenommen.

Aus Web of Science-Aufzeichnungen geht hervor, dass weniger als 10% der wissenschaftlichen Arbeiten ohne Bezug darauf verbleiben. Diese Zahl sollte noch niedriger sein, da eine große Anzahl von Werken, die in der Datenbank als nicht referenziert gekennzeichnet sind, tatsächlich irgendwo von jemandem erwähnt werden.

Dies bedeutet nicht unbedingt, dass es weniger Papiere von geringer Qualität gibt: Tausende von Zeitschriften werden nicht von der Web of Science-Datenbank indiziert, und die Sorge, dass Wissenschaftler ihre Lebensläufe mit bedeutungslosen Papieren füllen, bleibt real.

Aber neue Zahlen können Menschen beruhigen, die Angst vor Geschichten über Ozeane verlassener Arbeit haben. Bei näherer Betrachtung einiger der von niemandem erwähnten Werke stellt sich außerdem heraus, dass sie trotz der scheinbaren Missachtung gut sind - und gelesen werden. "Das Fehlen von Zitaten kann nicht als nutzlose oder wertlose Artikel interpretiert werden", sagte David Pendlebury, Chief Quotation Analyst bei Clarivate.

Keine Erwähnung von Mythen

Die Vorstellung, dass wissenschaftliche Literatur mit unauffälliger Forschung gefüllt ist, geht auf einige Artikel in der Zeitschrift Science aus den Jahren 1990 und 1991 zurück [Pendlebury, DA Science 251.1410-1411 (1991)]. Ein Bericht aus dem Jahr 1990 berichtet, dass 55% der von 1981 bis 1985 veröffentlichten Artikel innerhalb von fünf Jahren nach ihrer Veröffentlichung nirgendwo erwähnt wurden. Diese Analysen sind jedoch irreführend, vor allem, weil sie Veröffentlichungen wie Briefe, Korrekturen, Sitzungsprotokolle und anderes redaktionelles Material berücksichtigen, das normalerweise nicht zitiert wird. Wenn Sie alles löschen und nur Forschungsarbeiten und Artikel überprüfen, werden die Prozentsätze der nicht erwähnten Artikel reduziert. Und wenn Sie die Wartezeit auf fünf Jahre verlängern, sinken diese Prozentsätze noch mehr.

Im Jahr 2008 haben Lariviere und seine Kollegen einen neuen Blick auf Web of Science geworfen und berichtet, dass nicht nur die Anzahl der überhaupt nicht zitierten Werke geringer war als angenommen, sondern auch, dass der Prozentsatz der Werke ohne Referenzen seit mehreren Jahrzehnten zurückgegangen ist. Das Nature-Magazin bat Larivier zusammen mit Cassidy Sugimoto [Cassidy Sugimoto] von der Indiana University in Bloomington, seine Analyse zu aktualisieren und für diesen Artikel zu kommentieren.

Die neuen Zahlen, die Forschungsartikel und Rezensionen enthalten, zeigen, dass in den meisten Bereichen die Anzahl der Werke, die überhaupt keine Links anziehen, für einen Zeitraum von fünf bis zehn Jahren nach Veröffentlichung ausgeglichen wird, obwohl jede Region ihre eigenen Proportionen hat. Von allen 2006 veröffentlichten Arbeiten zur Biomedizin werden heute nur noch 4% nicht zitiert; in der Chemie liegt diese Zahl bei 8% und in der Physik bei 11%. Wenn Sie die Fälle von Selbstzitaten entfernen, erhöhen sich diese Zahlen - und in einigen Disziplinen eineinhalb Mal. In den Bereichen Ingenieurwesen und Technologie liegt der Anteil der Arbeiten ohne Referenz im Jahr 2006 bei 24% und damit weit über dem der Naturwissenschaften. Dies könnte auf den technischen Charakter dieser Artikel zurückzuführen sein, die bestimmte Probleme lösen, anstatt anderen Wissenschaftlern eine Grundlage für die Fortsetzung ihrer Arbeit zu bieten, sagt Lariviere.


Die obere Grafik zeigt die Verteilung der Anzahl der Werke ohne Links nach Jahr.
Geringere Unterschiede in verschiedenen Bereichen der Wissenschaft; Die gepunktete Linie zeigt das allgemeine Diagramm für alle Bereiche.

Wenn wir alle Artikel als Ganzes betrachten - 39 Millionen Forschungsarbeiten in allen Bereichen, die von 1900 bis Ende 2015 im Web of Science erfasst wurden -, dann blieben 21% davon ohne Erwähnung. Es überrascht nicht, dass die meisten Arbeiten ohne Bezug darauf in wenig bekannten Magazinen erschienen. Fast alle Werke berühmter Zeitschriften werden später zitiert.

Unmögliche Messungen

Diese Daten geben nur einen Teil des Bildes wieder. Es ist jedoch praktisch unmöglich, alle fehlenden Informationen zur wissenschaftlichen Literatur auszufüllen.

Das Überprüfen einer kleinen Anzahl von Arbeiten ist bereits eine ziemlich schwierige Aufgabe. Zum Beispiel beschloss Peter Heneberg, ein Biologe der Karlsuniversität in Prag, 2012, die Aufzeichnungen des Web of Science auf 13 Nobelpreisträger zu überprüfen, um die wild klingenden Aussagen eines anderen Artikels zu überprüfen, in dem behauptet wird, niemand beziehe sich auf etwa 10% der Studien von Nobelpreisträgern . Seine erste Studie, Web of Science, ergab eine Zahl von fast 1,6%. Mithilfe des Google Scholar- Dienstes stellte Heneberg jedoch fest, dass auf viele der verbleibenden Werke noch verwiesen wurde, diese jedoch aufgrund von Fehlern bei der Eingabe von Daten und Tippfehlern in den Werken nicht berücksichtigt wurden. Darüber hinaus enthielten Zeitschriften und Bücher, die nicht von Web of Science indexiert wurden, zusätzliche Zitate. Als Heneberg seine Suche stoppte, hatte er nach etwa 20 Stunden die Anzahl der Arbeiten ohne weitere fünfmalige Erwähnung auf 0,3% reduziert.

Solche Mängel führen auch dazu, dass es unmöglich ist, die tatsächliche Anzahl der nie zitierten Werke herauszufinden: Es wird zu lange dauern, eine manuelle Überprüfung nach Heneberg in großem Maßstab zu wiederholen. Das Web of Science zeigt zum Beispiel, dass 65% der 2006 veröffentlichten humanitären Arbeit von niemandem erwähnt wurden. Und das ist tatsächlich so - ein Großteil der humanitären Arbeit wird nicht erwähnt, insbesondere weil neue Forschungen in diesem Bereich nicht so sehr von angesammelten Vorkenntnissen abhängen. Das Web of Science spiegelt die Situation in diesem Bereich jedoch nicht korrekt wider, da es viele Zeitschriften und Bücher vernachlässigt.

Die gleichen Gründe untergraben die Zuverlässigkeit von Vergleichen verschiedener Nationen. Web of Science zeigt, dass Werke von Wissenschaftlern aus China, Indien und Russland eher ignoriert werden als Werke aus den USA oder Europa. In der Datenbank werden jedoch im Allgemeinen nicht viele lokale Magazine erfasst, die diese Lücke schließen würden, sagt Lariviere.

Trotz Problemen mit der absoluten Zahl wird die Reduzierung der Arbeit ohne Erwähnung im Web of Science strikt eingehalten, sagt Larivier. Das Internet habe die Suche und das Zitieren der richtigen Arbeit erheblich erleichtert, sagt er. Möglicherweise trägt dies auch zum Wunsch bei, den Zugang zu Artikeln zu öffnen. Lariviere warnt jedoch davor, diesen Trend zu überschätzen. In seiner Studie von 2009 [Wallace, ML, Larivière. V. & Gingras, YJ Informetrics 3, 296–303 (2009)] argumentiert, dass die Anzahl der Werke ohne Zitate sinkt, weil Wissenschaftler immer mehr Werke veröffentlichen und immer mehr Verweise auf andere Werke schieben. Spezialist auf dem Gebiet der Bibliometrie [statistische Analyse der wissenschaftlichen Literatur / ca. trans.] Ludo Waltman von der Universität Leiden in den Niederlanden stimmt zu. "Ich würde diese Zahlen nicht als Garantie dafür interpretieren, dass immer mehr wissenschaftliche Arbeiten nützlich werden."


Die Anzahl der Links zur Arbeit wächst allmählich

Waltman sagt, dass viele Werke das Schicksal der Unzitierten kaum meiden: Unabhängige Berechnungen von Waltman und Larivier zeigen, dass das Web of Science mehr als eine erwähnte Arbeit hat als jene, die überhaupt keine Erwähnung haben. "Und wir wissen, dass viele Links tatsächlich formal für die Show hergestellt werden", sagt er. Oder sie sind ein Zeichen für das System „Sie - für mich, ich - für Sie“ von Wissenschaftlern, sagt Dahlia Remler, Spezialistin für Gesundheitsökonomie an der School of Public and International Relations. Marx in New York. "Selbst häufig zitierte Forschung kann Teil eines Spiels sein, das Wissenschaftler zusammen spielen und das für niemanden gut ist", sagt sie.

Nicht ganz sinnlos

Einige Forscher könnten versucht sein, die Arbeit fallen zu lassen, ohne dies als unwichtig zu erwähnen. Wenn sie zumindest eine gewisse Bedeutung hätten, hätte sich dann nicht jemand auf sie bezogen?

Wahrscheinlich, aber nicht unbedingt. Wissenschaftler werden von weit mehr Artikeln beeinflusst, als sie später erwähnen, sagt Michael Macroberts, Botaniker an der Universität von Louisiana in Shreveport. In einem Artikel aus dem Jahr 2010 über das Fehlen von Zitieranalysen spielte Macroberts auf seine eigene Arbeit von 1995 über die Entdeckung der Palinhaea cernua in Texas an. Dies war das erste und einzige Mal, dass jemand auf diese Arbeit verwies, aber die darin erwähnten Informationen gelangten in Anlagenatlanten und große Datenbanken. Menschen, die diese Datenbanken verwenden, verlassen sich auf diese Arbeit und Tausende anderer botanischer Berichte. „Informationen in diesen sogenannten nicht zitierten Artikeln werden verwendet; Sie werden einfach nicht zitiert “, sagt er.

Außerdem werden Artikel, die nicht zitiert werden, noch gelesen. Im Jahr 2010 veröffentlichten Forscher des New Yorker Ministeriums für Gesundheit und psychologische Hygiene eine Studie, in der die Mängel des Speicheltestkits für HIV analysiert wurden, die mit speziellen Programmen durchgeführt wurden [Egger, JR, Konty, KJ, Borrelli, JM, Cummiskey, J. & Blank, S. PLoS ONE 5, e12231 (2010)]. Einige Jahre zuvor wurde die Verwendung des Kits in Kliniken ausgesetzt und dann wieder aufgenommen. Die Autoren wollten die Erfahrungen der Kliniken nutzen, um die Frage zu untersuchen, ob die Software bei Problemen die Qualität der Sets analysieren kann.

Ihre in der Zeitschrift PLoS ONE veröffentlichte Arbeit wurde nie erwähnt. Aber es wurde mehr als 1.500 Mal angesehen und mehr als 500 Mal heruntergeladen, sagte Joe Egger, Co-Autor der Arbeit, die jetzt am Duke Institute for World Health in Durham, North Carolina, arbeitet. "Der Zweck dieses Artikels ist es, Praktiken zu verbessern, die das Gesundheitswesen unterstützen, anstatt die Wissenschaft voranzutreiben", sagt er.

Andere Artikel werden möglicherweise nicht erwähnt, da sie unproduktive Forschungsbereiche abdecken, sagt Nicklaas Buyurma, Chemiker an der Universität von Cardiff, Großbritannien. Im Jahr 2003 veröffentlichten Buyurma und Kollegen ein Papier über den „isochoren Streit“ - darüber, ob es sinnvoll wäre, die Expansion oder Kontraktion des Lösungsmittels während der Reaktion, die bei Temperaturänderungen auftritt, einzudämmen. Theoretisch könnte dieses technisch anspruchsvolle Experiment zu neuen Erkenntnissen darüber führen, wie Lösungsmittel die Geschwindigkeit chemischer Reaktionen beeinflussen. Buyurma-Tests zeigten jedoch, dass Chemiker aus solchen Experimenten nichts Neues lernen würden. „Wir haben uns entschlossen zu beweisen, dass sich etwas nicht lohnt - und es gezeigt“, sagt er. „Ich bin stolz auf diese Arbeit, da sie keine Erwähnung bedeutet“, fügt er hinzu.

Oliver Smitis sagte bei einem Treffen in Lindau, er habe die Bedeutung der Arbeit von 1953 erkannt, obwohl er der Meinung war, dass sie nicht erwähnt wurde. Er sagte der Öffentlichkeit, dass die geleistete Arbeit ihm geholfen habe, einen Abschluss zu machen und ein vollwertiger Wissenschaftler zu werden. Tatsächlich war es die Ausbildung des zukünftigen Nobelpreisträgers. "Ich habe es wirklich genossen", sagte er, "und ich habe gelernt, wie man Wissenschaft richtig macht." Smithies hat tatsächlich mindestens eine Arbeit ohne Erwähnung: den Artikel von 1976 , der zeigte, dass sich ein spezifisches Gen, das mit dem Immunsystem assoziiert ist, auf dem menschlichen Chromosom befindet . Aber das war aus anderen Gründen wichtig, sagte der Genetiker Raju Kucherlapati von der Harvard Medical School in Boston, Massachusetts, einer der Autoren der Arbeit. Er sagt, der Artikel markiert den Beginn einer langen Zusammenarbeit mit dem Smithies-Labor, die in einer Arbeit zur Mausgenetik gipfelte, die Smithis 2007 den Nobelpreis für Physiologie oder Medizin einbrachte. "Für mich", sagt Kucherlapati, "war die Bedeutung dieser Arbeit, dass ich Oliver erkannte."

Geschichte nicht zitierter Werke

Lange warten

Für jeden Forscher, der möchte, dass jemand seine Arbeit erwähnt, besteht Hoffnung, wenn wir die Geschichte von Albert Peck berücksichtigen, dessen Arbeit von 1926, die eine der Arten von Glasdefekten beschreibt, erstmals 2014 zitiert wurde. In den 1950er Jahren verlor die Arbeit ihre Nützlichkeit, als die Hersteller herausfanden, wie glattes Glas ohne die beschriebenen Mängel hergestellt werden kann. Im Jahr 2014 stolperte der Materialforscher Kevin Knowles von der Universität Cambridge in Großbritannien über Google, um diese Aufgabe zu erledigen, während er eine Überprüfung dieses Bereichs verfasste. Er war daran beteiligt, solche Defekte zur Streuung von Licht zu verwenden. Jetzt hat er sie in vier Artikeln zitiert. "Ich schreibe gerne Werke, in denen ich wenig bekannte Artikel erwähnen kann."

Verlorene Welle

Im Jahr 2016 veröffentlichte der Doktorand Francisco Pina-Martins von der Universität Lissabon einen Artikel über die Interpretation genetischer Sequenzierungsdaten, wobei er sicher war, dass niemand dies erwähnen würde, da die von 454 Life Sciences entwickelte Technologie veraltet war und nicht verwendet wurde. 2012 hat er seine Datenanalysesoftware auf GitHub hochgeladen, eine Website, auf der Menschen Quellcode teilen - und dies wurde in mehreren Werken erwähnt. Die Veröffentlichung der Studie selbst dauerte jedoch vier Jahre, da sie seiner Meinung nach mit einem seltenen Problem verbunden ist, das Fachleute, die den Artikel zuvor studiert hatten, einfach nicht verstanden haben.

Sackgasse

Viele Geschichten über die Arbeit ohne Erwähnung sind traurig. 2010 veröffentlichte der Neurowissenschaftler Adriano Ceccarelli in der Zeitschrift PLoS ONE einen Artikel über die Regulation von Genen im Dictyostelium-Schleim. Seine Anfragen nach Forschungsstipendien blieben unbeantwortet, und die Arbeit wurde nie zitiert. "Nun, Sie wissen, was mit Forschung passiert - es stellt sich heraus, dass die Arbeit zu einer Sackgasse geführt hat", sagt er. - Meine Ideen sind für die Finanzierung nicht wertvoll. Jetzt unterrichte ich nur noch und warte auf den Ruhestand. Aber ich würde gerne arbeiten, wenn ich morgen Geld bekommen würde. “