Pesquisas fracas ganham cada vez mais dinheiro

Victor Petrik demonstra seu nanofiltro (Fonte: rusphysics.ru)

Em 1963, Jacob Ken, psicólogo da Universidade de Nova York, analisou cerca de 70 artigos publicados no Journal of Anormal and Social Psychology e descobriu um fato interessante. Apenas um pequeno número de cientistas reconheceu o fracasso de suas pesquisas no trabalho. Para esses materiais, ele calculou seu "poder estatístico". O termo "poder estatístico" significa a probabilidade de rejeição da hipótese nula, se estiver realmente incorreta.

De acordo com estatísticas, a confirmação do resultado esperado pelo pesquisador se manifesta no curso de apenas 20% dos experimentos realizados. Como se viu, em quase todos os estudos estudados por Cohen, os autores indicaram um resultado esperado positivo da pesquisa. Acontece que os autores simplesmente não relatam falhas. Além disso, alguns autores distorcem os resultados de suas pesquisas, indicando um efeito positivo mesmo quando não o são.

A quantidade de energia ao testar uma hipótese estatística depende dos seguintes fatores :

• o nível de significância indicado pela letra grega α (alfa), com base na qual é tomada a decisão de rejeitar ou aceitar uma hipótese alternativa;
• a magnitude do efeito (isto é, a diferença entre as médias comparadas);
• o tamanho da amostra necessário para confirmar a hipótese estatística.

Mais de meio século se passou desde a publicação do trabalho de Jacob Cohen, mas os autores da pesquisa científica ainda falam sobre seus sucessos, ocultando a derrota. Isso é comprovado pelos resultados de outro trabalho publicado recentemente na Royal Society Open Science. Os autores deste trabalho são Paul Smaldino, da Universidade da Califórnia, e Richard Mac Elres, do Instituto de Antropologia Evolucionária da Sociedade Max Planck . Segundo os pesquisadores, os artigos modernos não se tornaram melhores. Pelo menos, artigos relacionados à psicologia, neurologia e ciências médicas.

Depois de estudar dezenas de artigos publicados entre 1960 e 2011, os cientistas determinaram que o poder estatístico médio neste caso é de 24%. Isso é apenas ligeiramente superior ao parâmetro calculado por Cohen. E isso apesar do fato de que nos últimos anos os métodos de pesquisa científica se tornaram mais precisos, e mais e mais livros e artigos são publicados para pesquisadores que descrevem os princípios e métodos do trabalho científico.


O poder estatístico médio das publicações publicadas em revistas científicas de 1960 a 2011

Tendo obtido esse resultado, os cientistas pensaram sobre o que poderia mudar o estado atual das coisas, para que os autores de trabalhos científicos se tornassem mais conscientes. Para fazer isso, Mac Elres e Smaldino criaram um modelo evolutivo por computador. Nesse modelo, cerca de 100 laboratórios virtuais competiam pelo direito de receber remuneração. Foi pago se, no âmbito do estudo, a equipe do laboratório recebeu um resultado realmente significativo. Para determinar a quantidade de remuneração, os cientistas usaram indicadores como o volume de publicações.

Como se viu, alguns laboratórios trabalharam com mais eficiência do que outros, mostrando mais resultados. Ao mesmo tempo, esses laboratórios costumavam dar o esperado como real. Nesse caso, os resultados foram verificados piores, e os resultados foram interpretados como positivos. Se os resultados do trabalho foram verificados mais minuciosamente, menos trabalhos foram publicados.

Em cada ciclo de simulação, todos os laboratórios simulados realizaram experimentos e publicaram os resultados. Depois disso, os cientistas limparam o laboratório mais antigo de vários selecionados aleatoriamente. E laboratórios de outra lista aleatória (critério de seleção - o número máximo de recompensas recebidas) possibilitaram a criação de nossa própria unidade, que se dedicava ao trabalho ativo na publicação de material científico. Resultados preliminares da análise do modelo computacional demonstrado: os laboratórios que publicaram o maior número de trabalhos dedicaram apenas uma fração do tempo à verificação dos resultados e se tornaram os mais competentes, disseminando seus métodos de pesquisa na comunidade científica.

Mas havia mais uma coisa. Como se viu, a repetição dos resultados do trabalho de um laboratório por uma equipe de outro leva a uma melhoria na reputação do primeiro laboratório. Mas a falha em repetir os resultados de qualquer experimento leva a problemas e diminui a reputação do laboratório, que realizou esse experimento primeiro. Nesse caso, é acionado um filtro que impede o aparecimento de pesquisas falsas na comunidade científica com resultados de pesquisa modificados.

Quanto mais forte a punição para aqueles que publicaram resultados não verificados, mais poderoso acabou sendo o filtro da pesquisa de baixa qualidade. Com uma penalidade máxima de 100 pontos em laboratórios com dados falsos, o número de publicações com resultados reais aumentou bastante. Além disso, aumentou o número de experimentos repetidos que outros laboratórios realizaram com a intenção de repetir os resultados obtidos por alguém.

Deixe-me lembrá-lo de que tudo o que foi dito acima é uma situação simulada em um PC. Os autores do estudo concluem a seguinte: como antes, agora as organizações científicas que publicam mais obras do que outras são consideradas as mais autoritárias. Infelizmente, o filtro de publicações de baixa qualidade que funcionou no mundo virtual não funciona muito bem no mundo real. O fato é que institutos de pesquisa e pesquisadores individuais não verificam os resultados um do outro com muita frequência. Se tais verificações com a intenção de repetir o resultado obtido pelo parceiro fossem realizadas com mais frequência, os "resultados falsos" no mundo da ciência se tornariam muito menos.

Os autores do estudo acreditam que o modelo de computador mostrou a possibilidade de alterar o estado atual das coisas. Se os fundos e as organizações científicas não desseem dinheiro aos cientistas e laboratórios que publicaram resultados não verificados de suas pesquisas, transmitindo-os como um resultado positivo, os enganadores rapidamente se tornariam menos. Mas implementar esse modelo no mundo real é bastante difícil. "Mais fácil falar do que fazer", diz Smaldino.

Então, por enquanto, as organizações que publicam muitos artigos estão em território positivo. Mas as organizações que verificam cuidadosamente seus resultados são publicadas com menos frequência.

DOI: 10.1098 / rsos.160384

Source: https://habr.com/ru/post/pt397897/