La pobre investigación obtiene más y más dinero

Victor Petrik demuestra su nanofiltro (Fuente: rusphysics.ru)

En 1963, Jacob Ken, psicólogo de la Universidad de Nueva York, analizó unos 70 artículos publicados en el Journal of Abnormal and Social Psychology y encontró un hecho interesante. Solo un pequeño número de científicos reconoció el fracaso de su investigación en el trabajo. Para estos materiales, calculó su "poder estadístico". El término "poder estadístico" significa la probabilidad de rechazo de la hipótesis nula, si es realmente incorrecta.

De acuerdo con las estadísticas, la confirmación del resultado esperado por el investigador se manifiesta en el curso de solo el 20% de los experimentos realizados. Al final resultó que, en casi todos los estudios estudiados por Cohen, los autores indicaron un resultado positivo esperado de la investigación. Resulta que los autores simplemente no informan fallas. Además, algunos autores distorsionan los resultados de su investigación, lo que indica un efecto positivo incluso cuando no lo es.

La cantidad de potencia al probar una hipótesis estadística depende de los siguientes factores :

• el nivel de significancia indicado por la letra griega α (alfa), sobre la base de la cual se toma la decisión de rechazar o aceptar una hipótesis alternativa;
• la magnitud del efecto (es decir, la diferencia entre las medias comparadas);
• El tamaño de la muestra necesario para confirmar la hipótesis estadística.

Ha pasado más de medio siglo desde la publicación del trabajo de Jacob Cohen, pero los autores de la investigación científica aún hablan de sus éxitos, ocultando la derrota. Esto se demuestra por los resultados de otro trabajo publicado recientemente en la Royal Society Open Science. Los autores de este trabajo son Paul Smaldino de la Universidad de California y Richard Mac Elres del Instituto de Antropología Evolutiva de la Sociedad Max Planck . Según los investigadores, los artículos modernos no han mejorado. Al menos, artículos relacionados con psicología, neurología y ciencias médicas.

Después de estudiar docenas de artículos publicados entre 1960 y 2011, los científicos determinaron que el poder estadístico promedio en este caso es del 24%. Esto es solo un poco más alto que el parámetro calculado por Cohen. Y esto a pesar del hecho de que en los últimos años los métodos de investigación científica se han vuelto más precisos, y cada vez se publican más libros y artículos para investigadores que describen los principios y métodos del trabajo científico.


El poder estadístico promedio de las publicaciones publicadas en revistas científicas de 1960 a 2011

Una vez obtenido ese resultado, los científicos pensaron en qué podría cambiar el estado actual de las cosas para que los autores de trabajos científicos se volvieran más conscientes. Para hacer esto, Mac Elres y Smaldino crearon un modelo evolutivo de computadora. Dentro de este modelo, alrededor de 100 laboratorios virtuales compitieron por el derecho a recibir una remuneración. Se pagó si, en el marco del estudio, el equipo de laboratorio recibió un resultado realmente significativo. Para determinar el monto de la remuneración, los científicos utilizaron un indicador como el volumen de publicaciones.

Como resultó, algunos laboratorios trabajaron más eficientemente que otros, mostrando más resultados. Al mismo tiempo, estos laboratorios a menudo dieron lo esperado como real. En este caso, los resultados se verificaron peor y los resultados se interpretaron como positivos. Si los resultados del trabajo se verificaron más a fondo, se publicaron menos trabajos.

En cada ciclo de simulación, todos los laboratorios simulados realizaron experimentos y publicaron los resultados. Después de eso, los científicos limpiaron el laboratorio más antiguo de una serie de seleccionados al azar. Y los laboratorios de otra lista aleatoria (criterio de selección: el número máximo de recompensas recibidas) hicieron posible crear nuestra propia unidad, que participó activamente en la publicación de materiales científicos. Los resultados preliminares del análisis del modelo informático demostraron: los laboratorios que publicaron la mayor parte del trabajo dedicaron solo una fracción del tiempo a verificar los resultados y se convirtieron en los más autorizados, difundiendo sus métodos de investigación en la comunidad científica.

Pero había una cosa más. Al final resultó que, la repetición de los resultados del trabajo de un laboratorio por un equipo de otro conduce a una mejora en la reputación del primer laboratorio. Pero el hecho de no repetir los resultados de cualquier experimento conduce a problemas y baja la reputación del laboratorio, que realizó dicho experimento primero. En este caso, se activa un filtro que evita la aparición de investigaciones falsas en la comunidad científica con resultados de investigación modificados.

Cuanto más fuerte fue el castigo para aquellos que publicaron resultados no verificados, más poderoso resultó ser el filtro de la investigación de baja calidad. Con una penalización máxima de 100 puntos por parte de laboratorios con datos falsos, el número de publicaciones con resultados reales aumentó considerablemente. Además, aumentó el número de experimentos repetidos que otros laboratorios realizaron con la intención de repetir los resultados obtenidos por alguien.

Permíteme recordarte que todo lo dicho anteriormente es una situación simulada en una PC. Los autores del estudio llegan a la siguiente conclusión: como antes, ahora las organizaciones científicas que publican más obras que otras se consideran las más autorizadas. Desafortunadamente, el filtro de publicaciones de baja calidad que funcionó en el mundo virtual no funciona muy bien en el mundo real. El hecho es que los institutos de investigación y los investigadores individuales no verifican los resultados de los demás con demasiada frecuencia. Si tales controles con la intención de repetir el resultado obtenido por el socio se llevaran a cabo con mayor frecuencia, entonces los "resultados falsos" en el mundo de la ciencia serían mucho menores.

Los autores del estudio creen que el modelo informático mostró la posibilidad de cambiar el estado actual de las cosas. Si los fondos y las organizaciones científicas no dieran dinero a aquellos científicos y laboratorios que publicaron resultados no verificados de su investigación, haciéndolos pasar por un resultado positivo, entonces los engañadores se volverían rápidamente menos. Pero implementar tal modelo en el mundo real es bastante difícil. "Es más fácil decirlo que hacerlo", dice Smaldino.

Entonces, por ahora, las organizaciones que publican muchos artículos están en territorio positivo. Pero las organizaciones que verifican cuidadosamente sus resultados se publican con menos frecuencia.

DOI: 10.1098 / rsos.160384

Source: https://habr.com/ru/post/es397897/