PESQUISA
Recepção: 1 Junho 2017
Revised document received: 23 Dezembro 2017
Aprovação: 29 Janeiro 2018
DOI: https://doi.org/10.1590/1983-80422018262245
Resumo: Resultados nulos, negativos ou inesperados são ocorrências possíveis para pesquisadores em todo o mundo. Não publicar tais resultados representa desperdício de recursos (de tempo, dinheiro e esforços). O objetivo deste estudo foi avaliar, mediante aplicação de questionário, o que estudantes de medicina e médicos pensam sobre a publicação de resultados inesperados ou negativos em pesquisa e discutir os aspectos éticos da questão. As questões foram respondidas por 40 alunos e 30 médicos de uma faculdade privada de medicina. Conclui-se que ainda é pouco discutida e aceita a publicação de resultados negativos ou inesperados, persistindo a crença que publicar tais resultados pode prejudicar a reputação dos pesquisadores. Quase todos os participantes acreditam ser importante a publicação desse tipo de resultados, mas apenas cerca de 60% os publicariam. Torna-se, então, importante e necessário ampliar a discussão sobre o assunto nas escolas médicas para se criar nova mentalidade acadêmica.
Palavras chave: Publicações, Políticas editoriais, Viés de publicação, Reprodutibilidade dos testes, Revisão por pares.
Resumen: Los resultados nulos, negativos o inesperados son acontecimientos posibles para los investigadores en todo el mundo. No publicar tales resultados representa un desperdicio de recursos (de tiempo, dinero y esfuerzos). El objetivo de este estudio fue evaluar, a través de la aplicación de un cuestionario, qué piensan los estudiantes de medicina y los médicos sobre la publicación de resultados inesperados o negativos en la investigación y discutir los aspectos éticos de la cuestión. 40 alumnos y 30 médicos de una facultad privada de medicina respondieron al cuestionario. Se concluye que aún es poco discutida y aceptada la publicación de resultados negativos o inesperados, persistiendo la creencia de que publicar tales resultados puede perjudicar la reputación de los investigadores. Casi todos los participantes creen que es importante la publicación de este tipo de resultados, pero solo el 60% de ellos los publicaría. Se hace importante y necesario, entonces, ampliar la discusión sobre este tema en las facultades médicas para crear una nueva mentalidad académica.
Palabras clave: Publicaciones, Políticas editoriales, Sesgo de publicación, Reproducibilidad de resultados, Revisión por expertos.
Abstract: Null, negative or unexpected results are possible occurrences for researchers around the world. Not publishing such results is a waste of resources (time, money, and effort). The objective of this study was to evaluate, through a questionnaire, what medical students and physicians thought about the publication of unexpected or negative results in research and to discuss the ethical aspects of the matter. The questions were answered by 40 students and 30 physicians from a private medical school. It is concluded that the publication of negative or unexpected results is still insufficiently discussed and accepted, perpetuating the belief that publishing such results may harm the researchers’ reputation. Almost all participants believe it is important to publish these kind of results, but only about 60% of them would publish such results. It is therefore important and necessary to broaden the discussion on this subject in medical schools to create a new academic mindset.
Keywords: Publications, Editorial policies, Publications bias, Reproducibility of results, Peer review.
A comunidade acadêmica é constantemente pressionada a obter financiamento para suas pesquisas e, após finalizá-las, publicar os resultados obtidos. Tal processo aprimora o conhecimento científico e traz benefícios para os pesquisadores que, com isso, conquistam maior credibilidade, melhores posições acadêmicas e garantem a continuidade de recursos para seus projetos 1-5.
A política de “publicar ou perecer” (publish or perish) induz à associação de produtividade científica com sucesso acadêmico e ameaça os pesquisadores, podendo distorcer o conhecimento, particularmente quando os resultados obtidos não são aqueles esperados. Ainda assim, é necessário publicar sempre, buscando periódicos com alto impacto 3,4.
A competição não deve impedir a comunidade científica de publicar quaisquer resultados, pois produzir e divulgar o conhecimento é o objetivo final e desejado da ciência. O pesquisador precisa prestar contas à sociedade, ao serviço acadêmico ou de assistência ao qual pertence, e aos patrocinadores dos estudos. Além destes aspectos inerentes à responsabilidade acadêmica, a publicação de resultados negativos pode acelerar os estudos sobre determinado tema evitando que esforços sejam empreendidos quando já se sabe que não se obterá o resultado esperado.
A publicação de resultados inesperados ou negativos acarreta dificuldades extras ao investigador. Muitos enfatizam, exploram e discutem resultados positivos, deixando de documentar resultados negativos que, dessa forma, passam a ser considerados insignificantes 6-8. No entanto, publicar esses resultados é importante, pois observar os erros já cometidos traz sempre algum aprendizado e economiza tempo e recursos, além do que avaliar apenas resultados selecionados pode nos conduzir a conclusões erradas 9,10.
Deixar de publicar resultados inesperados ou negativos é preocupante para o conhecimento científico 11 e pode ter várias razões que incluem, entre outras, o temor de que isso possa sugerir desenho inadequado do estudo, induzindo a avaliação desfavorável da pesquisa pelos editores das revistas, quando comparada a outras com resultados positivos ou ainda desacreditar o pesquisador. Considerando-se a necessidade de melhor discutir esse assunto e esclarecer possíveis dúvidas éticas, o objetivo deste estudo foi avaliar o que estudantes de medicina e médicos pensam sobre a publicação de resultados inesperados ou negativos e discutir os aspectos éticos envolvidos na questão.
Método
O projeto foi aprovado pelo comitê de ética institucional atendendo às normas para pesquisas envolvendo seres humanos do Conselho Nacional de Saúde (CNS): Resolução CNS 466/2012. Todos os participantes da pesquisa assinaram termo de consentimento livre e esclarecido.
Trata-se de estudo transversal exploratório realizado mediante questionários com questões abertas e fechadas para avaliar o conhecimento sobre hábito de leitura de artigos científicos, participação prévia em pesquisa clínica e redação de artigos científicos, importância da publicação de resultados negativos e aspectos éticos da divulgação de tais resultados. Uma amostra de conveniência representada por 70 sujeitos selecionados numa escola privada de medicina (curso de medicina da Faculdade São Leopoldo Mandic, Campinas, São Paulo) foi dividida em dois grupos: Grupo 1 com 40 estudantes de medicina (10 em cada série da 1ª a 4ª) e Grupo 2 com 30 médicos (de diferentes especialidades, docentes ou não).
Os dados coletados a partir do questionário aplicado na amostra estudada foram tabulados no programa Excel e analisados estatisticamente no programa GraphPad Prism (versão 6.0, La Jolla, CA, USA). As taxas de resposta nos grupos foram calculadas em porcentagem usando intervalo de confiança de 95%, e o teste exato de Fisher foi usado para comparar os grupos (docentes e discentes), considerando o nível de significância de 5%.
Resultados
Os médicos tinham em média 20,7 anos de formados, apresentavam média de idade (desvio padrão) de 45,8 (9,4) anos e 29 deles exerciam atividades docentes. Os estudantes tinham em média 23,3 (5,1) anos. Todos os entrevistados, exceto um estudante, referiram ler artigos científicos (na área médica) com frequência, sendo que 76,6% dos médicos e 46,1% dos estudantes afirmaram ler mais de cinco artigos/mês. Todos os médicos e 72% dos estudantes informaram que leem artigos em outros idiomas, além do português.
Declararam também estar participando de projetos de pesquisa, no momento da entrevista, 86,7% dos médicos e 55% dos estudantes (p*=0,084); 66,7% dos médicos entrevistados informaram ter participado de projetos de pesquisa enquanto estudantes. Entre os 27 (do total de 30) médicos (90%) que informaram já ter lido artigos contendo resultados negativos ou inesperados, 18 (66,6%) lembravam o assunto, mas entre os 17 (42,5%) estudantes que referiram ter lido tais artigos, apenas 7 (41,2%) lembravam o tema apresentado.
Vinte e oito dos 30 médicos e todos os 40 alunos acreditam ser importante a publicação de resultados negativos de pesquisa, mas apenas 20 médicos e 26 estudantes publicariam tais resultados em seus relatos. 90% dos médicos e 87,5% dos estudantes acreditam que os sujeitos de pesquisa devem ser informados sobre resultados negativos obtidos, e 80% dos médicos e 25% dos estudantes referiram conhecer pesquisadores que publicaram resultados negativos de pesquisas. Todos os estudantes e 29 dos 30 médicos acreditam que é importante publicar esse tipo de resultado, mas apenas dois médicos e um estudante conhecem revistas com esse propósito.
As respostas dadas por estudantes e médicos às questões sobre publicação de resultados de pesquisa e sua importância, incluindo questões éticas, encontram-se na Tabela 1.
Respostas de médicos e estudantes às questões sobre resultados negativos de pesquisa
Discussão
Embora erroneamente reconhecidos como indicativos de pesquisas malsucedidas, os resultados negativos, nulos ou inesperados são frequentes e podem ser úteis na programação de novas pesquisas, poupando tempo e recursos 7,9. Publicar esses resultados, entretanto, costuma requerer esforço maior do que publicar pesquisas com resultados positivos. Segundo Teixeira da Silva 10, entre 13 publicações originalmente criadas para divulgar resultados inesperados ou negativos, apenas cinco permaneciam ativas em 2015 e continuam ativas até hoje.
A primeira publicação desse tipo de que se tem notícia é de 1997, na Journal of Negative Observations in Genetic Oncology, que já se encontra descontinuada 10. Outro periódico destinado a publicar resultados negativos foi lançado em 2002 – Journal of Negative Results in Biomedicine – com a premissa de que tanto resultados negativos quanto positivos podem melhorar pesquisas futuras e tomadas de decisão.
Entretanto, num estudo de 2011, Fanelli 1 avaliou o impacto do que supôs ser resultado da competição por financiamento e da busca por estabelecer citações entre autores, observando que dos 4.600 artigos analisados entre 1990 e 2007 houve aumento de 22% nos relatos de resultados positivos, com crescimento mais significante nos países da Ásia em relação à Europa e Estados Unidos. Embora não tenha sido possível explicar esse padrão, sugeriu uma diminuição no pioneirismo e/ou objetividade das pesquisas.
O curso de medicina da Faculdade São Leopoldo Mandic tinha apenas quatro anos de funcionamento no momento da realização deste estudo (2016), mas prioriza o estímulo à participação em projetos de pesquisa, o que pôde ser evidenciado pela informação obtida de que 86,7% dos médicos e 55% dos estudantes estavam participando de pesquisas na ocasião.
A alta taxa de leitura de artigos científicos pela maioria dos entrevistados e mesmo a leitura de pesquisas publicadas com resultados negativos ou inesperados (90% dos médicos e 42,5% dos alunos entrevistados) talvez sofram influência do caráter voluntário de participar da pesquisa, uma vez que os participantes que responderam ao questionário tendem a ser aqueles que já realizaram pesquisas e desejam colaborar com outros pesquisadores respondendo ao estudo. Porém, mesmo lendo com frequência literatura médica, mais de 90% dos entrevistados desconheciam a existência de periódicos especificamente destinados a tais publicações.
A iniciativa norte-americana Clinical Trials 12, criada em 1977 como ação conjunta da agência Food and Drug Administration e do Departamento de Saúde e Serviços Humanos (HSS) dos Estados Unidos, por intermédio dos Institutos Nacionais de Saúde (NIH), tem o propósito de estabelecer plataforma para registro de informações sobre ensaios clínicos conduzidos pela iniciativa pública (institutos de pesquisa e agências governamentais) e privada (companhias farmacêuticas) visando obter dados atualizados e fidedignos de pesquisas clínica. A Organização Mundial da Saúde (OMS) e o International Committee of Medical Journal Editors (ICMJE) criaram, em 2004, a Plataforma para Registro de Ensaios Clínicos 13 com objetivo de registrar os ensaios clínicos e garantir a publicação de todos os resultados, negativos ou positivos.
No entanto, o acordo internacional em que periódicos mundiais passaram a publicar apenas artigos com registro prévio nessas plataformas em 2005 não foi suficiente para evitar desvios na publicação dos resultados 13. Na população que estudamos, todos os entrevistados, exceto um estudante, reconhecem que resultados negativos não são destituídos de valor e devem ser publicados mesmo sendo desfavoráveis. Ainda assim, um terço dos médicos e 15% dos estudantes acreditam que periódicos científicos preferem publicar resultados positivos e que isso pode ser influenciado pelos interesses econômicos nas pesquisas financiadas (13,3% dos médicos e 2,5% dos estudantes).
A preocupação com a repercussão no meio acadêmico com a publicação de resultados negativos ficou evidente quando verificamos que 4 dos 30 médicos e 12 dos 40 estudantes afirmaram que a reputação do pesquisador pode ser prejudicada por isso. Mesmo acreditando que a publicação de resultados negativos economiza recursos, e que isso vem crescendo nos últimos anos (43,3% dos médicos e 47,5% dos estudantes), a crença é que, na prática, quase nenhum resultado negativo é referido ou publicado (43,3% dos médicos e 40 dos estudantes).
Apesar da obrigação de divulgar resultados, alguns autores mencionam que os resultados de pesquisas publicadas após a criação do Registro de Pesquisas Clínicas apresentam objetivos diferentes daqueles originalmente apontados no momento da elaboração da pesquisa no registro 13,14. Por outro lado, Kaplan e Irvin 15, em 2015, identificaram aumento expressivo de resultados nulos em pesquisas na área de cardiologia com o registro.
Na área de pediatria, estudo retrospectivo conduzido entre 2008 e 2010 para avaliar ensaios clínicos com pacientes pediátricos revelou que a descontinuação e a não publicação eram frequentes, com milhares de crianças expostas a intervenções que não resultaram em informações úteis: de 559 ensaios analisados, 19% foram descontinuados precocemente e dos 455 completos, 136 não foram publicados, representando 69.165 pacientes pediátricos 16.
A submissão de resultados de pesquisas para publicação em revistas implica revisão por pares (peer review) quando deve ocorrer cuidadoso exame do manuscrito por especialistas que auxiliam o editor do periódico na decisão de aceitar ou não o artigo para publicação. Essa revisão pode sofrer viés de avaliação, favorecendo a aceitação de estudos com resultados positivos. Essa maior probabilidade de publicação de estudos com resultados favoráveis, positivos ou estatisticamente significantes, quando comparada com a de estudos de qualidade similar com resultados negativos ou que não foram capazes de mostrar diferenças estatisticamente significativas, tem sido chamada de “viés de resultado positivo” (positive-outcome bias) 17,18.
Um interessante e esclarecedor estudo de Emerson e colaboradores 19 investigou a influência da apresentação de resultado nulo ou positivo na aceitação para publicação em periódicos com revisão por pares: dois manuscritos “intencionalmente fabricados” (um com o resultado final positivo, confirmando a hipótese principal e outro com resultado nulo) foram enviados a dois grupos diferentes de revisores de dois jornais de ortopedia. O manuscrito com resultados positivos resultou em maior taxa de aprovação (97,3 versus 80%; p<0,001) e menor apontamento de erros metodológicos (0,41 versus 0,85; p<0,001). Outros estudos, entretanto, não observaram influência da apresentação de resultados negativos na aceitação para publicação entre 246 resumos enviados para análise por pares em periódicos internacionais 20.
Editores de revistas científicas devem considerar a possibilidade de oferecer orientação específica para revisores avaliarem manuscritos que descrevam resultados negativos ou nulos a fim de minimizar os efeitos do “viés de resultado positivo”, encorajando os autores a submeter seus estudos (desde que com boa qualidade) mesmo que apresentem resultados negativos ou nulos (19).
São vários os obstáculos para a publicação desses estudos: os próprios autores não têm muito estímulo para reportar os dados; se há financiamento, os financiadores não costumam ter interesse na publicação dos dados e os periódicos científicos não costumam aceitar tais manuscritos 21. Publicar resultados de ensaios clínicos independente do seu resultado é forma de contribuir para o conhecimento médico científico, mas também obrigação ética e legal do pesquisador e dos financiadores da pesquisa 21,22.
A questão ética é muito importante: se indivíduos deram seu consentimento para participar de estudo clínico ou observacional, eles o fizeram porque acreditaram que os resultados esperados seriam benéficos e úteis para a ciência ou para outras pessoas; eles se expuseram ao risco e à inconveniência de participar do estudo tendo em vista boas ações e que os autores deveriam tornar públicos os dados obtidos para benefício de todos 22.
Uma iniciativa internacional denominada “All Trials” tenta estimular a publicação de todos os ensaios clínicos, independentemente de resultados, e conta com o apoio de revistas científicas para tanto, levando em conta que informações resultantes de ensaios com resultados negativos podem se perder, resultando na prática de medicina de má qualidade, decisões erradas no tratamento de doenças e repetições desnecessárias de estudos 23.
Para obter sucesso na publicação de todos os resultados de pesquisas é necessária mudança cultural no meio acadêmico. Discutir e esclarecer essas questões com alunos de medicina pode inspirar nova geração de pesquisadores que valorizará todos os desfechos científicos obtidos, possibilitando mais transparência, redução de esforços e novos métodos de investigação científica.
Considerações finais
Nosso estudo exploratório utilizou uma amostra de conveniência com apenas 70 participantes, o que é uma limitação e não permite afirmar que os resultados obtidos sejam válidos para outros grupos de médicos e estudantes de medicina. Nesta amostra, os sujeitos entrevistados têm a percepção de que os periódicos preferem publicar pesquisas que tenham resultados positivos: 66% dos médicos e 85% dos estudantes acreditam que é mais fácil publicar tais resultados.
Apesar de mencionarem leitura científica habitual, ainda é pouco discutida e aceita na população estudada a publicação de resultados negativos ou inesperados em pesquisa científica. A falta da publicação desses tipos de desfecho pode perpetuar conclusões errôneas obtidas pela seleção de resultados. Ampliar a discussão sobre este assunto é importante em todo meio acadêmico, mas principalmente nas escolas médicas, para esclarecer, contribuir com o conhecimento científico e reforçar conceitos éticos.
Referências
1. Fanelli D. Negative results are disappearing from most disciplines and countries. Scientometrics. 2012;90(3):891-904.
2. Meis L, Velloso A, Lannes D, Carmo MS, Meis C. The growing competition in Brazilian science: rites of passage, stress and burnout. Braz J Med Biol Res [Internet]. 2003 [acesso 10 maio 2018]; 36(9):1135-41. Disponível: http://ref.scielo.org/9mkvgr
3. Angell M. Publish or perish: a proposal. Ann Intern Med. 1986;104(2):261-2.
4. Lawrence PA. The politics of publication: authors, reviewers and editors must act to protect the quality of research. Nature [Internet]. 2003 [acesso 10 maio 2018];422(6929):259-61. Disponível: https://bit.ly/2Iucka9
5. Monteiro R, Jatene FB, Goldenberg S, Población DA, Pellizzon RF. Critérios de autoria em trabalhos científicos: um assunto polêmico e delicado. Rev Bras Cir Cardiovasc [Internet]. 2004 [acesso 10 maio 2018];19(4):III-VIII. Disponível: http://ref.scielo.org/wmwmmm
6. Parasuraman S. Prospective on publishing negative results. J Pharm Negat Results [Internet]. 2015 2015 [acesso 10 maio 2018];6(1):1. Disponível: https://bit.ly/2IcJtni
7. Prasad V, Vandross A, Toomey C, Cheung M, Rho J, Quinn S et al. A decade of reversal: an analysis of 146 contradicted medical practices. Mayo Clin Proc [Internet]. 2013 [acesso 10 maio 2018];88(8):790-8. Disponível: https://mayocl.in/2jOLpb7
8. Oberhofer AL, Lennon RP. A call for greater power in an era of publishing negative results. Acta Med Acad [Internet]. 2014 [acesso 10 maio 2018];43(2):172-3. Disponível: https://bit.ly/2rB18xV
9. Prasad V, Cifu A, Ioannidis JP. Reversals of established medical practices: evidence to abandon ship. Jama. 2012;307(1):37-8.
10. Teixeira da Silva JA. Negative results: negative perceptions limit their potential for increasing reproducibility. J Negat Results Biomed [Internet]. 2015 [acesso 10 maio 2018];14:12. Disponível: https://bit.ly/2I6TUwz
11. Knight J. Negative results: null and void. Nature. 2003;422(6932):554-5.
12. U.S. National Institutes of Health. ClinicalTrials.gov is a registry and results database of publicly and privately supported clinical studies of human participants conducted around the world [Internet]. c2015 [acesso 10 abr 2017]. Disponível: https://clinicaltrials.gov/
13. World Health Organization. International Clinical Trials Registry Platform (ICTRP) [Internet]. Geneva: WHO, c2015 [acesso 10 abr 2017]. Disponível: http://bit.ly/2HDbDY2
14. Rasmussen N, Lee K, Bero L. Association of trial registration with the results and conclusions of published trials of new oncology drugs. Trials [Internet]. 2009 [acesso 10 maio 2018];10:116. Disponível: https://bit.ly/2rAJMkP
15. Kaplan RM, Irvin VL. Likelihood of null effects of large NHLBI clinical trials has increased over time. PLoS One [Internet]. 2015 [acesso 10 maio 2018];10(8):e0132382. Disponível: https://bit.ly/1J15XWG
16. Ross JS, Mulvey GK, Hines EM, Nissen SE, Krumholz HM. Trial publication after registration in ClinicalTrials.gov: a cross-sectional analysis. PLoS Med [Internet]. 2009 [acesso 10 maio 2018]; 6(9):e1000144. Disponível: https://bit.ly/2I6qWND
17. Pica N, Bourgeois F. Discontinuation and nonpublication of randomized clinical trials conducted in children. Pediatrics [Internet]. 2016 [acesso 10 maio 2018];138(3):e20160223. Disponível: https://bit.ly/2rAbEWi
18. Dickersin K, Min YI, Meinert CL. Factors influencing publication of research results: follow-up of applications submitted to two institutional review boards. Jama. 1992;267(3):374-8.
19. Emerson GB, Warme WJ, Wolf FM, Heckman JD, Brand RA, Leopold SS. Testing for the presence of positive-outcome bias in peer review: a randomized controlled trial. Arch Intern Med [Internet]. 2010 [acesso 10 maio 2018];170(21):1934-9. Disponível: https://bit.ly/2rygXGj
20. Van Lent M, IntHout J, Out HJ. Peer review comments on drug trials submitted to medical journals differ depending on sponsorship, results and acceptance: a retrospective cohort study. BMJ Open [Internet]. 2015 [acesso 10 maio 2015];5(9):e007961. Disponível: https://bit.ly/2KSE46P
21. Anderson ML, Chiswell K, Peterson ED, Tasneem A, Topping J, Califf RM. Compliance with results reporting at ClinicalTrials.gov. N Engl J Med. 2015;372(11):1031-9.
22. Sandercock P. Negative results: why do they need to be published? Int J Stroke. 2012;7(1):32-3.
23. All Trials. All trials registered/all results reported [Internet]. c2017 [acesso 18 jan 2018]. Disponível: http://bit.ly/1h9PUXL
Autor notes
Renan Arthur Bosio Guimarães colheu os dados, supervisionado por Guilherme de Menezes Succi e Regina Célia de Menezes Succi. Renan Arthur Bosio Guimarães, Guilherme de Menezes Succi, Ana Júlia Schmidt Niederauer e Victor A. Montalli revisaram o manuscrito. Regina Célia de Menezes Succi desenhou o estudo e escreveu o artigo. Todos os autores contribuíram com a interpretação e análise dos dados.
Correspondência. Regina Célia de Menezes Succi – Rua Pedro de Toledo, 928, Vila Clementino CEP 04039-003. São Paulo/SP, Brasil. Renan Arthur Bosio Guimarães – Graduando – fussen@europe.com Guilherme de Menezes Succi – Doutor – guilherme.succi@slmandic.edu.br Victor Angelo Martins Montalli – Doutor – victor.montalli@slmandic.edu.br Ana Júlia Schmidt Niederauer – Graduanda – ana_niederauer@hotmail.com Regina Célia de Menezes Succi – Livre Docente – succi@picture.com.br
Declaração de interesses
