Geekly articles weekly

A natureza se pergunta se os experimentos científicos modernos são reproduzíveis.



Por acaso, em um fluxo de notícias e informações, me deparei com um artigo no Nature Scientific Reports . Apresenta dados de uma pesquisa com 1.500 cientistas sobre a reprodutibilidade dos resultados da pesquisa. Se anteriormente esse problema foi levantado para a pesquisa biológica e médica , onde é explicável, por um lado (correlações falsas, a complexidade geral dos sistemas em estudo, às vezes até o software científico é responsabilizado ), por outro, é fenomenológico (por exemplo, os ratos tendem a se comportar de maneira diferente com os cientistas sexos diferentes ( 1 e 2 )).

No entanto, nem tudo é tranquilo e com maisciências naturais, como física e engenharia, química, ecologia. Parece que são essas disciplinas que se baseiam em experimentos reproduzíveis “absolutamente” realizados sob as condições mais controladas, infelizmente, um resultado impressionante - em todos os sentidos da palavra - do resultado da pesquisa: até 70% dos pesquisadores encontraram experimentos e resultados improdutíveis obtidos não apenas por outros grupos de cientistas , MAS e pelos autores / co-autores de trabalhos científicos publicados!

Todo maçarico elogia seu pântano?


Embora 52% dos entrevistados indiquem uma crise de reprodutibilidade na ciência, menos de 31% consideram os dados publicados fundamentalmente incorretos e a maioria indicou que ainda confia nos trabalhos publicados.


Pergunta: Existe uma crise de reprodutibilidade de resultados?

Obviamente, não vale a pena invadir e linchar toda a ciência como tal apenas com base nesta pesquisa: metade dos entrevistados ainda eram cientistas conectados, de uma forma ou de outra, a disciplinas biológicas. Como observam os autores, em física e química o nível de reprodutibilidade e confiança nos resultados obtidos é muito maior (veja o gráfico abaixo), mas ainda não é 100%. Mas na medicina, as coisas são muito ruins em comparação com o resto.

Uma piada vem à mente:
- ?
-50:50. , .

Marcus Munafo, psicólogo biológico da Universidade de Bristol (Inglaterra), tem um interesse de longa data no problema da reprodutibilidade de dados científicos. Recordando os dias de seus dias de estudante, ele diz:
Uma vez tentei reproduzir um experimento de fontes literárias, o que me pareceu simples, mas simplesmente não consegui. Eu tive uma crise de confiança, mas depois percebi que minha experiência não era tão rara.



Pergunta: Quantos trabalhos já publicados em seu setor são reproduzíveis?

Latitude e longitude profundidade do problema


Imagine que você é um cientista. Você se depara com um artigo interessante, mas os resultados / experiências não podem ser reproduzidos em laboratório. É lógico escrever sobre isso para os autores do artigo original, pedir conselhos e fazer perguntas esclarecedoras. Segundo uma pesquisa, menos de 20% já fizeram isso em sua carreira acadêmica!

Os autores do estudo observam que talvez esses contatos e conversas sejam muito complicados para os próprios cientistas, porque revelam sua incompetência e inconsistência em certas questões ou revelam muitos detalhes do projeto atual.

Além disso, uma minoria absoluta de cientistas tentou publicar uma refutação de resultados irreprodutíveis, enquanto encontrava oposição de editores e revisores que exigiamsubestimar a comparação com o estudo original. É de admirar que a chance de relatar a irreprodutibilidade dos resultados científicos seja de cerca de 50%.


Primeira pergunta: você tentou reproduzir os resultados do experimento?
Segunda pergunta: você tentou publicar sua tentativa de reproduzir os resultados?

Talvez valha a pena pelo menos realizar um teste de reprodutibilidade dentro do laboratório? O mais triste é que um terço dos entrevistados NUNCA pensou em criar métodos para verificar os dados quanto à reprodutibilidade. Apenas 40% indicaram que usam regularmente essas técnicas.


Pergunta:Você já desenvolveu técnicas / processos técnicos especiais para melhorar a reprodutibilidade dos resultados?

Outro exemplo, uma bioquímica do Reino Unido, que não quis revelar seu nome, diz que as tentativas de repetir, reproduzir o trabalho de seu projeto de laboratório simplesmente dobram o tempo e os custos de material, não dando nada e não trazendo nada de novo ao trabalho. Verificações adicionais são realizadas apenas para projetos inovadores e resultados incomuns.

E, é claro, as eternas perguntas russas que começaram a torturar colegas estrangeiros: quem é o culpado e o que fazer?

Quem é o culpado?


Os autores do trabalho identificaram três problemas principais de reprodutibilidade dos resultados:
  • Pressão dos superiores para publicar uma obra a tempo
  • ( , , «» )
  • ( )



: ?
( ): – – – / – – – – – – – / – – – –« »

?


1500, 1000 , , .


: ?
( ): – – – – – – – – – – –


Em primeiro lugar , mesmo para mim, como cientista, os resultados são impressionantes, embora eu já esteja acostumado a algum grau de irreprodutibilidade dos resultados. Isso é especialmente pronunciado em trabalhos realizados por chineses e indianos sem uma “auditoria” de terceiros na forma de professores americanos / europeus. É bom que o problema tenha sido realizado e pensado em suas soluções. Manterei o tato em silêncio sobre a ciência russa em conexão com o recente escândalo , embora muitos honestamente façam seu trabalho.

Em segundo lugar, o artigo oculta (ou melhor, não considera) o papel das métricas científicas e dos periódicos científicos revisados ​​por pares no surgimento e desenvolvimento do problema de irreprodutibilidade dos resultados da pesquisa. Na busca pela velocidade e frequência das publicações (leitura, aumento dos índices de citação), a qualidade cai acentuadamente e não resta tempo para verificação adicional dos resultados.

Como se costuma dizer, todos os personagens são fictícios, mas baseados em eventos reais. De alguma forma, um aluno teve a oportunidade de revisar o artigo, porque nem todo professor tem tempo e energia para ler cuidadosamente os artigos, de modo que a opinião de 2-3-4 estudantes e médicos é coletada, a partir da qual a revisão é composta. Foi feita uma revisão, indicando a irreprodutibilidade dos resultados de acordo com o método descrito no artigo. Isso foi claramente demonstrado ao professor. Mas, para não prejudicar as relações com os "colegas" - afinal, eles conseguem - a revisão foi "ajustada". E esses artigos publicaram 2 ou 3 peças.

Acontece um círculo vicioso. O cientista envia o artigo ao editor da revista, onde indica o " desejado " e, mais importante , " indesejado ""Revisores, ou seja, deixando apenas uma atitude positiva em relação à equipe de autores. Eles revisam o trabalho, mas não podem "cagar nos comentários" e tentam escolher o menor dos dois males - aqui está uma lista de perguntas que precisam ser respondidas e publicaremos o artigo.

Outro exemplo sobre o qual o editor da Nature falou há apenas um mês são os painéis solares Grazel . Devido ao grande interesse desse tópico na comunidade científica (porque eles ainda querem um artigo na Nature!), Os editores precisaram criar um questionário especial no qual precisavam especificar muitos parâmetros, fornecer calibrações de equipamentos, certificados etc. para confirmar que a técnica de medição de eficiência Os painéis estão em conformidade com alguns princípios e normas gerais.

E terceiro, quando mais uma vez você ouvir sobre uma vacina milagrosa que derrota tudo e todos, uma nova história sobre Jobs de saia , novas baterias ou os perigos / benefícios dos OGM ou a emissão de smartphones , especialmente se ela foi divulgada por escritores amarelos do jornalismo, esteja entendendo e não tire conclusões precipitadas. Aguarde a confirmação dos resultados por outros grupos de cientistas, o acúmulo da matriz e as amostras de dados.

E o que vocês, queridos usuários da Habr / GT, pensam sobre a reprodutibilidade dos dados científicos? Compartilhe sua opinião nos comentários!

PS: O artigo foi traduzido e escrito às pressas, sobre todos os erros e imprecisões observados, por favor escreva no PM.

Às vezes é possível ler brevemente, e às vezes nem tanto sobre as notícias de ciência e tecnologia no meu canal Telegram - somos bem-vindos;)

Source: https://habr.com/ru/post/pt394685/

More articles:


All Articles