Artigos que revelam achados de estudos que não podem ser verificados, são os mais citados em pesquisas acadêmicas
 |
| ilustração - livro artigo |
Uma nova crise de replicação: pesquisas com menos probabilidade de serem verdadeiras são mais citadas
Artigos que não podem ser replicados são citados 153 vezes mais porque suas descobertas são interessantes
De acordo com um novo estudo da Rady School of Management da Universidade da Califórnia em San Diego, os artigos em importantes periódicos científicos, econômicos e de psicologia que não se reproduzem e, portanto, têm menos probabilidade de serem verdadeiros.
Publicado na Science Advances , o artigo explora a "crise de replicação" em curso, na qual os pesquisadores descobriram que muitas descobertas nos campos das ciências sociais e da medicina não se sustentam quando outros pesquisadores tentam repetir os experimentos.
O artigo revela que achados de estudos que não podem ser verificados quando os experimentos são repetidos têm maior influência ao longo do tempo. A pesquisa não confiável tende a ser citada como se os resultados fossem verdadeiros muito depois de a publicação ter falhado em replicar.
“Também sabemos que os especialistas podem prever bem quais artigos serão replicados”, escrevem as autoras Marta Serra-Garcia, professora assistente de economia e estratégia da Rady School e Uri Gneezy, professor de economia comportamental também da Rady School. "Dada essa previsão, perguntamos 'por que os artigos não replicáveis são aceitos para publicação em primeiro lugar?'"
A resposta possível é que as equipes de revisão de periódicos acadêmicos enfrentam uma compensação. Quando os resultados são mais "interessantes", eles aplicam padrões mais baixos em relação à sua reprodutibilidade.
A ligação entre descobertas interessantes e pesquisas não replicáveis também pode explicar por que é citado em uma taxa muito mais alta - os autores descobriram que artigos que se reproduzem com sucesso são citados 153 vezes menos do que aqueles que falharam.
"Descobertas interessantes ou atraentes também são mais cobertas pela mídia ou compartilhadas em plataformas como o Twitter, gerando muita atenção, mas isso não as torna verdade", disse Gneezy.
Serra-Garcia e Gneezy analisaram dados de três projetos de replicação influentes que tentaram replicar sistematicamente as descobertas nas principais revistas de psicologia, economia e ciências gerais (Nature e Science). Em psicologia, apenas 39% dos 100 experimentos foram replicados com sucesso. Em economia, 61% dos 18 estudos se replicaram, assim como 62% dos 21 estudos publicados na Nature / Science.
Com as descobertas desses três projetos de replicação, os autores usaram o Google Scholar para testar se os artigos que não foram replicados são citados com muito mais frequência do que aqueles que foram replicados com sucesso, antes e depois da publicação dos projetos de replicação. A maior lacuna foi em artigos publicados na Nature / Science: artigos não replicáveis foram citados 300 vezes mais do que os replicáveis.
Quando os autores levaram em consideração várias características dos estudos replicados - como o número de autores, a taxa de autores do sexo masculino, os detalhes do experimento (local, linguagem e implementação online) e o campo em que o artigo foi publicado - - a relação entre replicabilidade e citações permaneceu inalterada.
Eles também mostram que o impacto dessas citações aumenta com o tempo. As contagens de citações anuais revelam uma lacuna pronunciada entre os artigos que se replicaram e os que não o fizeram. Em média, os artigos que não se replicaram são citados 16 vezes mais por ano. Essa lacuna permanece mesmo após a publicação do projeto de replicação.
"Surpreendentemente, apenas 12 por cento das citações pós-replicação de descobertas não replicáveis reconhecem a falha na replicação", escrevem os autores.
A influência de um artigo impreciso publicado em um periódico de prestígio pode ter repercussões por décadas. Por exemplo, o estudo que Andrew Wakefield publicou no The Lancet em 1998 transformou dezenas de milhares de pais em todo o mundo contra a vacina contra sarampo, caxumba e rubéola por causa de uma ligação implícita entre vacinas e autismo. As descobertas incorretas foram retiradas pelo The Lancet 12 anos depois, mas as alegações de que o autismo está relacionado às vacinas continuam.
Os autores acrescentaram que os periódicos podem se sentir pressionados a publicar descobertas interessantes, assim como os acadêmicos. Por exemplo, nas decisões de promoção, a maioria das instituições acadêmicas usa citações como uma métrica importante na decisão de promover ou não um membro do corpo docente.
Esta pode ser a fonte da "crise de replicação", descoberta pela primeira vez no início dos anos 2010.
"Esperamos que nossa pesquisa incentive os leitores a serem cautelosos se lerem algo que seja interessante e atraente", disse Serra-Garcia. “Sempre que os pesquisadores citarem um trabalho mais interessante ou que tenha sido muito citado, esperamos que eles verifiquem se os dados de replicação estão disponíveis e o que essas descobertas sugerem”.
Gneezy acrescentou: "Nos preocupamos com o campo e com a produção de pesquisas de qualidade e queremos que seja verdade."
Fonte da história:
Materiais fornecidos pela University of California - San Diego . Original escrito por Christine Clark.
