Geekly articles weekly

Die Natur fragt sich, ob moderne wissenschaftliche Experimente reproduzierbar sind.



Durch Zufall stieß ich in einem Strom von Nachrichten und Informationen auf einen Artikel in Nature Scientific Reports . Es präsentiert Daten aus einer Umfrage unter 1.500 Wissenschaftlern zur Reproduzierbarkeit von Forschungsergebnissen. Wenn dieses Problem früher für die biologische und medizinische Forschung angesprochen wurde , wo es einerseits erklärbar ist (falsche Korrelationen, die Gesamtkomplexität der untersuchten Systeme, manchmal wird sogar wissenschaftliche Software verantwortlich gemacht ), ist es andererseits phänomenologisch (zum Beispiel verhalten sich Mäuse gegenüber Wissenschaftlern tendenziell anders verschiedene Geschlechter ( 1 und 2 )).

Allerdings ist nicht alles glatt und mit mehrNaturwissenschaften wie Physik und Ingenieurwesen, Chemie, Ökologie. Es scheint, dass es diese Disziplinen sind, die auf „absolut“ reproduzierbaren Experimenten basieren, die unter den kontrolliertesten Bedingungen durchgeführt wurden. Leider ist das Ergebnis der Umfrage - im wahrsten Sinne des Wortes - atemberaubend: Bis zu 70% der Forscher sind auf nicht reproduzierbare Experimente und Ergebnisse gestoßen, die nicht nur von anderen Gruppen von Wissenschaftlern erhalten wurden , ABER und von den Autoren / Mitautoren veröffentlichter wissenschaftlicher Arbeiten!

Lobt jeder Flussuferläufer seinen Sumpf?


Obwohl 52% der Befragten eine Krise der Reproduzierbarkeit in der Wissenschaft angeben, halten weniger als 31% die veröffentlichten Daten für grundlegend falsch und die Mehrheit gibt an, dass sie den veröffentlichten Werken weiterhin vertrauen.


Frage: Gibt es eine Krise der Reproduzierbarkeit der Ergebnisse?

Natürlich lohnt es sich nicht, die gesamte Wissenschaft als solche nur auf der Grundlage dieser Umfrage zu hacken und zu lynchen: Die Hälfte der Befragten waren immer noch Wissenschaftler, die auf die eine oder andere Weise mit biologischen Disziplinen verbunden waren. Wie die Autoren bemerken, ist in der Physik und Chemie die Reproduzierbarkeit und das Vertrauen in die erzielten Ergebnisse viel höher (siehe Grafik unten), aber immer noch nicht 100%. Aber in der Medizin sind die Dinge im Vergleich zu den anderen sehr schlecht.

Ein Witz fällt mir ein:
- ?
-50:50. , .

Marcus Munafo, ein biologischer Psychologe von der Universität Bristol (England), interessiert sich seit langem für das Problem der Reproduzierbarkeit wissenschaftlicher Daten. Er erinnert sich an die Tage seiner Studentenzeit und sagt:
Einmal habe ich versucht, ein Experiment aus literarischen Quellen zu reproduzieren, was mir einfach erschien, aber ich konnte es einfach nicht tun. Ich hatte eine Vertrauenskrise, aber dann wurde mir klar, dass meine Erfahrung nicht so selten war.



Frage: Wie viele bereits veröffentlichte Werke in Ihrer Branche sind reproduzierbar?

Breite und Länge des Problems


Stellen Sie sich vor, Sie sind Wissenschaftler. Sie stoßen auf einen interessanten Artikel, aber die Ergebnisse / Experimente können nicht im Labor reproduziert werden. Es ist logisch, den Autoren des Originalartikels darüber zu schreiben, um Rat zu fragen und klärende Fragen zu stellen. Laut einer Umfrage haben weniger als 20% dies jemals in ihrer akademischen Karriere getan!

Die Autoren der Studie stellen fest, dass solche Kontakte und Gespräche für die Wissenschaftler selbst möglicherweise zu kompliziert sind, weil sie ihre Inkompetenz und Inkonsistenz in bestimmten Fragen offenbaren oder zu viele Details des aktuellen Projekts enthüllen.

Darüber hinaus versuchte eine absolute Minderheit von Wissenschaftlern, eine Widerlegung nicht reproduzierbarer Ergebnisse zu veröffentlichen, während sie auf Widerstand von Redakteuren und Gutachtern stieß, die dies fordertenSpielen Sie den Vergleich mit der ursprünglichen Studie herunter. Ist es ein Wunder, dass die Wahrscheinlichkeit, über die Irreproduzierbarkeit wissenschaftlicher Ergebnisse zu berichten, bei etwa 50% liegt?


Erste Frage: Haben Sie versucht, die Ergebnisse des Experiments zu reproduzieren?
Zweite Frage: Haben Sie versucht, Ihren Versuch, die Ergebnisse zu reproduzieren, zu veröffentlichen?

Vielleicht lohnt es sich zumindest, einen Reproduzierbarkeitstest im Labor durchzuführen? Das Traurigste ist, dass ein Drittel der Befragten NIE darüber nachgedacht hat, Methoden zur Überprüfung der Reproduzierbarkeit von Daten zu entwickeln. Nur 40% gaben an, solche Techniken regelmäßig anzuwenden.


Frage:Haben Sie jemals spezielle Techniken / technische Verfahren entwickelt, um die Reproduzierbarkeit der Ergebnisse zu verbessern?

Ein anderes Beispiel, eine Biochemikerin aus Großbritannien, die ihren Namen nicht preisgeben wollte, sagt, dass Versuche, die Arbeit für ihr Laborprojekt zu wiederholen und zu reproduzieren, einfach die Zeit- und Materialkosten verdoppeln, nichts geben und nichts Neues in die Arbeit bringen. Zusätzliche Überprüfungen werden nur für innovative Projekte und ungewöhnliche Ergebnisse durchgeführt.

Und natürlich die ewigen russischen Fragen, die ausländische Kollegen zu quälen begannen: Wer ist schuld und was zu tun?

Wer ist schuld?


Die Autoren der Arbeit identifizierten drei Hauptprobleme der Reproduzierbarkeit der Ergebnisse:
  • Druck der Vorgesetzten, eine Arbeit rechtzeitig zu veröffentlichen
  • ( , , «» )
  • ( )



: ?
( ): – – – / – – – – – – – / – – – –« »

?


Von den 1.500 Befragten sprachen sich mehr als 1.000 Experten für eine Verbesserung der Statistiken bei der Erfassung und Verarbeitung von Daten, eine Verbesserung der Qualität der Überwachung durch die Chefs sowie eine strengere Planung der Experimente aus.


Frage: Welche Faktoren tragen zur Verbesserung der Reproduzierbarkeit bei?
Antworten ( von oben nach unten): -Best Verständnis Statistiken -Mehr strenge Überwachung -Verbessertes Design von Experimenten -Training -Vnutrilaboratornaya -Verbesserung Überprüfung der praktischen Fähigkeiten -Stimulation auf einen formalen Quer Prüfung der Daten -Mezhlaboratornaya -Vydelenie überprüfen verwendete für ng größere Menge an Zeit für das Projektmanagement -Erhöhung wissenschaftliche Standards -Vydelenie Protokolle verwenden für ng größere Menge an Zeit , um die Arbeit mit Laboraufzeichnungen

Fazit und einige persönliche Erfahrungen


Erstens sind die Ergebnisse selbst für mich als Wissenschaftler atemberaubend, obwohl ich bereits an ein gewisses Maß an Irreproduzierbarkeit der Ergebnisse gewöhnt bin. Dies ist besonders ausgeprägt bei Arbeiten, die von Chinesen und Indern ohne ein „Audit“ Dritter in Form von amerikanischen / europäischen Professoren durchgeführt werden. Es ist gut, dass das Problem erkannt und über seine Lösung (en) nachgedacht wurde. Ich werde taktvoll über die russische Wissenschaft im Zusammenhang mit dem jüngsten Skandal schweigen , obwohl viele ehrlich ihren Job machen.

ZweitensDer Artikel verbirgt (oder berücksichtigt nicht) die Rolle wissenschaftlicher Metriken und von Experten begutachteter wissenschaftlicher Zeitschriften bei der Entstehung und Entwicklung des Problems der Nichtreproduzierbarkeit von Forschungsergebnissen. Bei der Verfolgung der Geschwindigkeit und Häufigkeit von Veröffentlichungen (Lesen, Erhöhen der Zitierindizes) sinkt die Qualität stark, und es bleibt keine Zeit für eine zusätzliche Überprüfung der Ergebnisse.

Wie sie sagen, sind alle Charaktere fiktiv, basieren aber auf realen Ereignissen. Irgendwie hatte ein Student die Möglichkeit, den Artikel zu rezensieren, da nicht jeder Professor die Zeit und Energie hat, die Artikel nachdenklich zu lesen, so dass die Meinung von 2-3-4 Studenten und Ärzten gesammelt wird, aus denen sich die Rezension zusammensetzt. Es wurde eine Überprüfung verfasst, die die Unreproduzierbarkeit der Ergebnisse gemäß der im Artikel beschriebenen Methode anzeigte. Dies wurde dem Professor klar demonstriert. Aber um die Beziehungen zu „Kollegen“ nicht zu beeinträchtigen - schließlich gelingt es ihnen -, wurde die Überprüfung „angepasst“. Und solche Artikel veröffentlichten 2 oder 3 Stücke.

Es stellt sich ein Teufelskreis heraus. Der Wissenschaftler sendet den Artikel an den Herausgeber der Zeitschrift, wo er das " Gewünschte " und vor allem das " Unerwünschte " angibt"Rezensenten, das heißt in der Tat, nur eine positive Einstellung gegenüber dem Autorenteam. Sie überprüfen die Arbeit, können aber nicht "in die Kommentare scheißen" und versuchen, das kleinere von zwei Übeln zu wählen - hier ist eine Liste von Fragen, die beantwortet werden müssen, und wir werden den Artikel veröffentlichen.

Ein weiteres Beispiel, über das der Nature-Editor vor einem Monat gesprochen hat, sind die Grazel-Solarmodule . Aufgrund des großen Interesses der Wissenschaft an diesem Thema (weil sie immer noch einen Artikel in Nature wollen!) Mussten die Redakteure einen speziellen Fragebogen erstellen, in dem sie viele Parameter angeben, Gerätekalibrierungen, Zertifikate usw. bereitstellen mussten, um die Effizienzmesstechnik zu bestätigen Die Panels entsprechen einigen allgemeinen Grundsätzen und Standards.

Und drittensWenn Sie wieder einmal von einem Wunderimpfstoff hören, der alles und jeden besiegt, eine neue Geschichte über Jobs in einem Rock , neue Batterien oder die Gefahren / Vorteile von GVO oder die Emission von Smartphones , insbesondere wenn er von gelben Journalisten aus dem Journalismus veröffentlicht wurde, dann seien Sie verständnisvoll und Machen Sie keine voreiligen Schlussfolgerungen. Warten Sie auf die Bestätigung der Ergebnisse durch andere Wissenschaftlergruppen, die Anhäufung des Arrays und der Datenproben.

Und was denken Sie, liebe Habr / GT-Nutzer, über die Reproduzierbarkeit wissenschaftlicher Daten? Teilen Sie Ihre Meinung in den Kommentaren!

PS: Der Artikel wurde in Eile übersetzt und geschrieben, über alle festgestellten Fehler und Ungenauigkeiten, bitte schreiben Sie in der PM.

Manchmal ist es möglich, kurz zu lesen, und manchmal nicht so viel über die Nachrichten von Wissenschaft und Technologie auf meinem Telegrammkanal - wir sind willkommen;)

Source: https://habr.com/ru/post/de394685/

More articles:


All Articles