Ciência nunca citada

"Cotações necessárias"

O geneticista e ganhador do Nobel Oliver Smitis , que morreu em janeiro de 2017 aos 91 anos, era um inventor modesto e preferido. Era típico para ele contar a história de seu maior fiasco: o trabalho sobre medição de pressão osmótica, publicado em 1953 [Smithies, O. Biochem. J. 55, 57-67 (1953)], que, como ele disse, "teve uma conquista dúbia na forma de uma falta de referências a ele".

"Ninguém nunca se referiu a ele e nunca usou esse método", disse ele a estudantes em uma reunião em Lindau, na Alemanha, em 2014.

De fato, o trabalho de Smithies atraiu muito mais atenção do que ele pensava: nos dez anos desde sua publicação, nove trabalhos fizeram alusão a ele. Mas o erro é compreensível - muitos cientistas percebem incorretamente a não citação de obras, tanto do ponto de vista da escala desse fenômeno quanto de sua influência no mundo da ciência.

Uma avaliação frequentemente repetida, mencionada em um artigo controverso publicado na revista Science em 1990, afirma que mais da metade de todos os artigos científicos permanecem sem referência a eles por cinco anos após sua publicação. E os cientistas estão muito preocupados com isso, diz Jevin West, especialista em teoria da informação da Universidade de Washington em Seattle, que estuda os padrões em larga escala da literatura de pesquisa. De fato, a citação é uma medida universalmente reconhecida de influência acadêmica: um marcador do fato de que o trabalho não foi apenas lido, mas também considerado útil para estudos subsequentes. Os pesquisadores temem que um grande número de trabalhos não citados indique o surgimento de uma montanha de pesquisas inúteis ou inconseqüentes. “E não conte quantas vezes as pessoas me perguntaram no jantar:“ Que parte da literatura fica completamente sem links? ”- diz West.

De fato, a pesquisa sem referência a ela nem sempre é inútil. Além disso, existem poucos estudos, diz Vincent Larivière, especialista em teoria da informação da Universidade de Montreal, no Canadá.

Para entender melhor esse canto sombrio e esquecido dos trabalhos publicados, a revista Nature mergulhou em números com a intenção de descobrir quantos trabalhos são realmente deixados sem menção. Provavelmente é impossível descobrir, pois os bancos de dados de citações estão incompletos. Mas está claro que pelo menos a espinha dorsal de 12.000 periódicos no Web of Science, um grande banco de dados do Clarivate Analytics, funciona sem menção são muito menos comuns do que se costuma acreditar.

Os registros do Web of Science indicam que menos de 10% dos trabalhos científicos são deixados sem referência a eles. Esse número deve ser ainda menor, pois um grande número de trabalhos marcados no banco de dados como sem referências são realmente mencionados em algum lugar por alguém.

Isso não significa necessariamente que há menos artigos de baixa qualidade: milhares de periódicos não são indexados pelo banco de dados da Web of Science, e a preocupação de que os cientistas estão preenchendo seus currículos com trabalhos sem sentido permanece real.

Mas novos números podem tranquilizar as pessoas, assustadas com histórias de oceanos de trabalho abandonado. Além disso, após uma análise mais aprofundada de alguns dos trabalhos que ninguém mencionou, verifica-se que eles têm bons - e são lidos - apesar do aparente desrespeito. "A falta de cotações não pode ser interpretada como artigos inúteis ou inúteis", disse David Pendlebury, analista-chefe de cotações da Clarivate.

Mitos sem menção

A noção de que a literatura científica está repleta de pesquisas não dignas de nota remonta a alguns artigos da revista Science, de 1990 e 1991 [Pendlebury, DA Science 251.1410-1411 (1991)]. Um relatório de 1990 relata que 55% dos artigos publicados de 1981 a 1985 não foram mencionados em nenhum lugar nos cinco anos seguintes à sua publicação. Mas essas análises são enganosas, principalmente porque levaram em conta tipos de publicações como cartas, correções, atas de reuniões e outros materiais editoriais, que geralmente não são citados. Se você excluir tudo, deixando apenas documentos de pesquisa e artigos de revisão, as porcentagens de artigos não mencionados entrarão em colapso. E se você estender o período de espera por cinco anos, essas porcentagens cairão ainda mais.

Em 2008, Lariviere e seus colegas deram uma nova olhada no Web of Science e relataram não apenas que o número de trabalhos não citados era menor do que se pensava, mas também que a porcentagem de trabalhos sem referências vinha diminuindo há várias décadas. A revista Nature pediu a Larivier, juntamente com Cassidy Sugimoto [Cassidy Sugimoto], da Universidade de Indiana, em Bloomington, que atualizasse sua análise e comentasse sobre este artigo.

Os novos números, que incluem artigos de pesquisa e resenhas, indicam que na maioria das áreas o número de trabalhos que não atraem links é igualado por um período de cinco a dez anos após a publicação, embora cada região tenha suas próprias proporções. De todos os trabalhos sobre biomedicina publicados em 2006, hoje apenas 4% não são citados; em química esse número é de 8% e em física é mais próximo de 11%. Se você remover os casos de auto-citações, esses números aumentam - e em algumas disciplinas, uma vez e meia. Nos campos de engenharia e tecnologia, o percentual de 2006 trabalha sem referência é de 24%, muito mais alto que as ciências naturais. Isso pode ser devido à natureza técnica desses artigos, que resolvem problemas específicos, em vez de fornecer a outros cientistas uma base para continuar seu trabalho, diz Lariviere.


O gráfico superior é a distribuição do número de obras sem links por ano.
Menor - diferenças nos diferentes campos da ciência; a linha pontilhada indica o gráfico geral para todas as áreas.

Se pegarmos todos os artigos como um todo - 39 milhões de trabalhos de pesquisa em todas as áreas registradas na Web of Science de 1900 até o final de 2015 -, 21% deles foram deixados sem menção. Não surpreendentemente, a maior parte do trabalho sem referência a eles apareceu em revistas pouco conhecidas. Quase todos os trabalhos em revistas famosas são citados posteriormente.

Medições impossíveis

Esses dados fornecem apenas parte da imagem. Mas preencher todas as informações que faltam na literatura científica é uma tarefa praticamente impossível.

Verificar um pequeno número de trabalhos já é uma tarefa bastante difícil. Por exemplo, em 2012, Peter Heneberg, um biólogo da Universidade Charles em Praga, decidiu verificar os registros da Web of Science em busca de 13 ganhadores do Nobel, a fim de verificar as declarações sombrias de outro artigo, alegando que ninguém se refere a cerca de 10% dos estudos sobre os ganhadores do Nobel. . Seu primeiro estudo, Web of Science, encontrou um número próximo a 1,6%. Mas então, usando o serviço Google Scholar , Heneberg descobriu que muitos dos trabalhos restantes ainda eram referenciados, mas não foram levados em consideração devido a erros na inserção de dados e erros de digitação nos trabalhos. Além disso, revistas e livros que não foram indexados pelo Web of Science tiveram citações adicionais. Quando Heneberg interrompeu sua busca, depois de passar cerca de 20 horas, ele havia reduzido o número de obras sem mencionar outras cinco vezes, para 0,3%.

Tais deficiências também levam ao fato de que é impossível descobrir o número real de trabalhos que nunca foram citados: levará muito tempo para repetir uma verificação manual após Heneberg em larga escala. A Web of Science indica, por exemplo, que 65% do trabalho humanitário publicado em 2006 nunca foi mencionado por ninguém. E isso é realmente verdade - muito trabalho humanitário é deixado sem menção, em particular, porque novas pesquisas nessa área não dependem muito do conhecimento prévio acumulado. Mas o Web of Science não reflete corretamente a situação nessa área, pois negligencia muitas revistas e livros.

As mesmas razões minam a confiabilidade das comparações de diferentes nações. O Web of Science mostra que é mais provável que trabalhos escritos por estudiosos da China, Índia e Rússia sejam ignorados do que aqueles escritos nos Estados Unidos ou na Europa. Mas o banco de dados geralmente não rastreia muitas revistas locais que diminuiriam essa lacuna, diz Lariviere.

Apesar dos problemas com o número absoluto, a redução do trabalho sem mencionar no Web of Science é estritamente observada, diz Larivier. A Internet facilitou muito a tarefa de encontrar e citar o trabalho certo, diz ele. É possível que isso também contribua para o desejo de abrir o acesso aos artigos. Mas Lariviere alerta que essa tendência não deve ser superestimada. Em seu estudo de 2009 [Wallace, ML, Larivière. V. & Gingras, YJ Informetrics 3, 296-303 (2009)] argumenta que o número de trabalhos sem aspas cai porque os cientistas publicam cada vez mais trabalhos e cada vez mais referências a outros trabalhos. Especialista no campo da bibliometria [análise estatística da literatura científica / aprox. trans.] Ludo Waltman, da Universidade de Leiden, na Holanda, concorda. "Eu não interpretaria esses números como uma garantia de que mais e mais trabalhos científicos se tornem úteis."


O número de links para o trabalho está aumentando gradualmente

Waltman diz que muitos trabalhos mal evitam o destino dos incitados: cálculos independentes de Waltman e Larivier mostram que a Web of Science tem mais de um trabalho mencionado do que aqueles que não têm nenhuma menção. "E sabemos que muitos links são feitos formalmente, para exibição", diz ele. Ou eles podem ser um sinal do sistema “você - para mim, eu - para você” pelos cientistas, diz Dahlia Remler, especialista em economia da saúde da Escola de Relações Públicas e Internacionais. Marx em Nova York. "Até pesquisas altamente citadas podem fazer parte de um jogo que os cientistas jogam juntos, o que não é bom para ninguém", diz ela.

Não é completamente inútil

Alguns pesquisadores podem ficar tentados a abandonar o trabalho sem mencionar como sem importância. Afinal, se eles tivessem pelo menos algum significado, alguém não teria se referido a eles?

Provavelmente, mas não necessariamente. Os cientistas são influenciados por muito mais artigos do que mencionam mais tarde, diz Michael Macroberts, botânico da Universidade da Louisiana em Shreveport. Em um artigo de 2010 sobre a falta de análise de citação, Macroberts fez alusão ao seu próprio trabalho de 1995 sobre a descoberta da Palinhaea cernua no Texas. Foi a primeira e única vez que alguém se referiu a este trabalho, mas as informações mencionadas chegaram a atlas de plantas e grandes bancos de dados. As pessoas que usam esses bancos de dados confiam neste trabalho e em milhares de outros relatórios botânicos. “As informações contidas nos chamados artigos não citados são usadas; eles simplesmente não são citados ”, diz ele.

Além disso, os artigos que não são citados ainda são lidos. Em 2010, pesquisadores do Departamento de Saúde e Higiene Psicológica de Nova York publicaram um estudo analisando as deficiências do kit de teste de saliva para HIV feito usando programas especiais [Egger, JR, Konty, KJ, Borrelli, JM, Cummiskey, J. & Blank, S. PLoS ONE 5, e12231 (2010)]. Alguns anos antes, o uso do kit foi suspenso nas clínicas e retomado novamente. Os autores queriam usar a experiência das clínicas para estudar a questão de saber se o software pode analisar a qualidade dos conjuntos em caso de problemas.

O trabalho deles, publicado na revista PLoS ONE, nunca foi mencionado. Mas ele foi visto mais de 1.500 vezes e baixado mais de 500 vezes, disse Joe Egger, co-autor do trabalho, agora trabalhando no Instituto Duke de Saúde Mundial em Darham, Carolina do Norte. "O objetivo deste artigo é melhorar as práticas que apóiam a assistência médica, em vez de avançar a ciência", diz ele.

Outros artigos podem não ser mencionados porque cobrem áreas de pesquisa improdutivas, diz Nicklaas Buyurma, químico da Universidade de Cardiff, na Grã-Bretanha. Em 2003, Buyurma e colegas publicaram um artigo sobre a “disputa isocórica” - sobre se seria útil tentar restringir a expansão ou contração do solvente durante a reação que ocorre quando as temperaturas mudam. Em teoria, esse experimento tecnicamente sofisticado pode levar a novos conhecimentos sobre como os solventes afetam a taxa de reações químicas. Mas os testes de Buyurma mostraram que os químicos não aprendiam nada de novo com esses experimentos. "Decidimos provar que algo não vale a pena fazer - e mostrou", diz ele. "Estou orgulhoso deste trabalho, pois não implica uma menção", acrescenta.

Oliver Smitis, falando em uma reunião em Lindau, disse que reconheceu a importância do trabalho de 1953, apesar de achar que não havia sido mencionado. Ele disse ao público que o trabalho realizado o ajudou a se formar e a se tornar um cientista de pleno direito. De fato, foi a aprendizagem do futuro ganhador do Nobel. "Gostei muito de fazê-lo", disse ele, "e aprendi a fazer ciência adequadamente". Na verdade, Smithies tem pelo menos um trabalho sem nenhuma menção: o artigo de 1976 , que mostrou que um gene específico associado ao sistema imunológico está localizado no cromossomo humano . Mas isso foi importante, por outras razões, disse o geneticista Raju Kucherlapati, da Harvard Medical School, em Boston, Massachusetts, um dos autores do trabalho. Ele diz que o artigo marca o início de uma longa colaboração com o laboratório Smithies, culminando em um trabalho sobre genética de ratos que trouxe a Smithis o Prêmio Nobel de 2007 em Fisiologia ou Medicina. "Para mim", diz Kucherlapati, "a importância deste trabalho foi que eu reconheci Oliver".

História de obras não citadas

Longa espera

Para todo pesquisador que deseja que alguém mencione seu trabalho, há esperança se levarmos em conta a história de Albert Peck, cujo trabalho de 1926, descrevendo uma das variedades de defeitos de vidro, foi citado pela primeira vez em 2014. Na década de 1950, o trabalho perdeu sua utilidade quando os fabricantes descobriram como fabricar vidro liso sem os defeitos descritos. Mas em 2014, o pesquisador de materiais Kevin Knowles, da Universidade de Cambridge, na Grã-Bretanha, encontrou este trabalho no Google enquanto escrevia uma revisão dessa área - ele estava envolvido no uso de tais defeitos para espalhar a luz. Agora ele a citou em quatro artigos. "Gosto de escrever trabalhos nos quais posso mencionar artigos pouco conhecidos."

Onda perdida

O aluno de doutorado Francisco Pina-Martins, da Universidade de Lisboa, em 2016, publicou um artigo sobre a interpretação de dados de sequenciamento genético, tendo certeza de que ninguém o mencionaria, porque a tecnologia descrita por ele desenvolvida pela 454 Life Sciences estava desatualizada e não era usada. Ele enviou seu software de análise de dados para o GitHub, um site onde as pessoas compartilham o código-fonte em 2012 - e isso foi mencionado em vários trabalhos. Mas a publicação do estudo em si levou quatro anos, porque, segundo ele, está associado a um problema raro que os especialistas que estudaram anteriormente o artigo simplesmente não entenderam.

Beco sem saída

Muitas histórias sobre o trabalho sem menção são tristes. Em 2010, o neurocientista Adriano Ceccarelli publicou um artigo sobre a regulação de genes no muco Dictyostelium na revista PLoS ONE. Seus pedidos de bolsas de pesquisa permaneceram sem resposta, e o trabalho nunca foi citado. "Bem, você sabe o que acontece com a pesquisa - acontece que o trabalho levou a um beco sem saída", diz ele. - Minhas idéias não são valiosas para financiamento. Agora eu apenas ensino e espero a aposentadoria. Mas ficaria feliz em trabalhar se recebesse financiamento amanhã. ”