Geekly articles weekly

La naturaleza se pregunta si los experimentos científicos modernos son reproducibles.



Por casualidad, en una corriente de noticias e información, me encontré con un artículo en Nature Scientific Reports . Presenta datos de una encuesta de 1.500 científicos sobre la reproducibilidad de los resultados de la investigación. Si anteriormente se planteó este problema para la investigación biológica y médica , donde es explicable por un lado (correlaciones falsas, la complejidad general de los sistemas en estudio, a veces incluso se culpa al software científico ), por otro lado, es fenomenológico (por ejemplo, los ratones tienden a comportarse de manera diferente con los científicos diferentes sexos ( 1 y 2 )).

Sin embargo, no todo es sencillo y con másciencias naturales como física e ingeniería, química, ecología. Parecería que son estas disciplinas las que se basan en experimentos reproducibles "absolutamente" llevados a cabo bajo las condiciones más controladas, por desgracia, un resultado sorprendente - en todos los sentidos de la palabra - el resultado de la encuesta: hasta el 70% de los investigadores han encontrado experimentos irreproducibles y resultados obtenidos no solo por otros grupos de científicos , PERO y por los autores / coautores de artículos científicos publicados!

¿Cada lavandera alaba su pantano?


Aunque el 52% de los encuestados indica una crisis de reproducibilidad en la ciencia, menos del 31% considera que los datos publicados son fundamentalmente incorrectos y la mayoría indicó que todavía confía en los trabajos publicados.


Pregunta: ¿Existe una crisis de reproducibilidad de resultados?

Por supuesto, no vale la pena hackear y linchar toda la ciencia como tal solo en base a esta encuesta: la mitad de los encuestados seguían siendo científicos conectados, de una forma u otra, con disciplinas biológicas. Como señalan los autores, en física y química el nivel de reproducibilidad y confianza en los resultados obtenidos es mucho mayor (ver el gráfico a continuación), pero aún no es del 100%. Pero en medicina, las cosas son muy malas en comparación con el resto.

Me viene a la mente una broma:
- ?
-50:50. , .

Marcus Munafo, psicólogo biológico de la Universidad de Bristol (Inglaterra), tiene un interés de larga data en el problema de la reproducibilidad de los datos científicos. Recordando los días de sus días de estudiante, dice:
Una vez intenté reproducir un experimento de fuentes literarias, lo cual me pareció simple, pero no pude hacerlo. Tuve una crisis de confianza, pero luego me di cuenta de que mi experiencia no era tan rara.



Pregunta: ¿Cuántos trabajos ya publicados en su industria son reproducibles?

Latitud y longitud profundidad del problema


Imagina que eres un científico. Te encuentras con un artículo interesante, pero los resultados / experimentos no pueden reproducirse en el laboratorio. Es lógico escribir sobre esto a los autores del artículo original, pedir consejo y hacer preguntas aclaratorias. Según una encuesta, ¡ menos del 20% ha hecho esto en su carrera académica!

Los autores del estudio señalan que tal vez tales contactos y conversaciones son demasiado complicados para los propios científicos, porque revelan su incompetencia e inconsistencia en ciertos temas o revelan demasiados detalles del proyecto actual.

Además, una minoría absoluta de científicos trató de publicar una refutación de resultados irreproducibles, mientras se encontraba con la oposición de editores y revisores que exigíanminimice la comparación con el estudio original. No es de extrañar que la posibilidad de informar la irreproductibilidad de los resultados científicos sea de aproximadamente el 50%.


Primera pregunta: ¿Has intentado reproducir los resultados del experimento?
Segunda pregunta: ¿Has intentado publicar tu intento de reproducir los resultados?

¿Quizás entonces valga la pena al menos realizar una prueba de reproducibilidad dentro del laboratorio? Lo más triste es que un tercio de los encuestados NUNCA han pensado en crear métodos para verificar la reproducibilidad de los datos. Solo el 40% indicó que usa regularmente tales técnicas.


Pregunta:¿Alguna vez ha desarrollado técnicas especiales / procesos técnicos para mejorar la reproducibilidad de los resultados?

Otro ejemplo, una bioquímica del Reino Unido, que no quiso revelar su nombre, dice que los intentos de repetir, reproducir el trabajo para su proyecto de laboratorio simplemente duplican el tiempo y los costos de material, sin dar nada y sin aportar nada nuevo al trabajo. Se realizan verificaciones adicionales solo para proyectos innovadores y resultados inusuales.

Y, por supuesto, las eternas preguntas rusas que comenzaron a torturar a colegas extranjeros: ¿quién tiene la culpa y qué hacer?

¿Quién tiene la culpa?


Los autores del trabajo identificaron tres problemas principales de reproducibilidad de resultados:
  • Presión de los superiores para publicar un trabajo a tiempo
  • ( , , «» )
  • ( )



: ?
( ): – – – / – – – – – – – / – – – –« »

?


De los 1.500 encuestados, más de 1.000 expertos se manifestaron a favor de mejorar las estadísticas al recopilar y procesar datos, mejorar la calidad de la supervisión de los jefes, así como una planificación más rigurosa de los experimentos.


Pregunta: ¿Qué factores ayudarán a aumentar la reproducibilidad?
Respuestas (de arriba a abajo): -Best estadísticas comprensión -Más estricta diseño -Mejora de la supervisión de los experimentos -Formación -Vnutrilaboratornaya -Mejorar la verificación de habilidades prácticas -estímulo a un formal de verificación cruzada de los datos -Mezhlaboratornaya comprobar -Vydelenie utiliza para ng mayor cantidad de tiempo para la gestión de proyectos -Aumento estándares científicos logs -Vydelenie utilizados para ng mayor cantidad de tiempo para trabajar con los registros de laboratorio

Conclusión y alguna experiencia personal.


En primer lugar , incluso para mí, como científico, los resultados son impresionantes, aunque ya estoy acostumbrado a un cierto grado de irreproductibilidad de los resultados. Esto es especialmente pronunciado en trabajos realizados por chinos e indios sin una "auditoría" de terceros en forma de profesores estadounidenses / europeos. Es bueno que el problema se haya realizado y se haya pensado en su (s) solución (es). Me mantendré en silencio con tacto sobre la ciencia rusa en relación con el reciente escándalo , aunque honestamente muchos hacen su trabajo.

En segundo lugar, el artículo oculta (o, más bien, no considera) el papel de las métricas científicas y las revistas científicas revisadas por pares en el surgimiento y desarrollo del problema de la irreproducibilidad de los resultados de la investigación. En la búsqueda de la velocidad y frecuencia de las publicaciones (lectura, aumento de los índices de citas), la calidad cae bruscamente y no queda tiempo para la verificación adicional de los resultados.

Como dicen, todos los personajes son ficticios, pero basados ​​en hechos reales. De alguna manera, un estudiante tuvo la oportunidad de revisar el artículo, porque no todos los profesores tienen el tiempo y la energía para leer cuidadosamente los artículos, por lo que se recopila la opinión de 2-3-4 estudiantes y médicos, de los cuales se compone la revisión. Se escribió una revisión que indicaba la irreproducibilidad de los resultados según el método descrito en el artículo. Esto se demostró claramente al profesor. Pero para no estropear las relaciones con los "colegas", después de todo, tienen éxito, la revisión fue "ajustada". Y tales artículos publicaron 2 o 3 piezas.

Resulta un círculo vicioso. El científico envía el artículo al editor de la revista, donde indica lo " deseado " y, lo más importante , " no deseado ""Los revisores, de hecho, solo dejan una actitud positiva hacia el equipo de autores. Revisan el trabajo, pero no pueden "cagar en los comentarios" e intentar elegir el menor de los dos males: aquí hay una lista de preguntas que deben responderse, y publicaremos el artículo.

Otro ejemplo del que habló el editor de Nature hace apenas un mes son los paneles solares de Grazel . Debido al gran interés en este tema en la comunidad científica (¡porque todavía quieren un artículo en Nature!), Los editores tuvieron que crear un cuestionario especial en el que debían especificar muchos parámetros, proporcionar calibraciones de equipos, certificados, etc. para confirmar que la técnica de medición de eficiencia Los paneles cumplen con algunos principios y estándares generales.

Y tercero, cuando una vez más escuche sobre una vacuna milagrosa que derrota a todo ya todos, una nueva historia sobre Jobs en una falda , baterías nuevas o los peligros / beneficios de los OGM o la emisión de teléfonos inteligentes , especialmente si fue publicitada por escritores amarillos del periodismo, entonces comprenda y No saque conclusiones apresuradas. Espere la confirmación de los resultados por parte de otros grupos de científicos, la acumulación de la matriz y las muestras de datos.

¿Y qué piensan ustedes, queridos usuarios de Habr / GT, acerca de la reproducibilidad de los datos científicos? ¡Comparte tu opinión en los comentarios!

PD: El artículo fue traducido y escrito a toda prisa, sobre todos los errores e inexactitudes notados, por favor escriba en el PM.

A veces es posible leer brevemente, y a veces no tanto sobre las noticias de ciencia y tecnología en mi canal de Telegram : somos bienvenidos;)

Source: https://habr.com/ru/post/es394685/

More articles:


All Articles