1 INTRODUÇÃO

Ao longo da existência da raça humana, como parte de sua evolução, o homem busca meios de aprimorar suas alternativas de sobrevivência e melhorar sua qualidade de vida. Sendo assim, é possível observar os frequentes avanços tecnológicos como um dos marcos essenciais do século XXI advindos da sociedade da informação, que, pode-se afirmar, ainda está em processo de expansão e formação. No campo científico não é diferente: visionários motivados pela curiosidade proporcionaram grandes saltos para a humanidade, trazendo-nos conhecimentos que hoje são considerados comuns, mas só foram possíveis devido a descobertas científicas. Considerando o que tem sido observado no decorrer da pandemia de COVID-19, pode-se tomar como evento certo que a Medicina será diferente nas próximas décadas. Por essa razão, mais do que nunca, destaca-se a importância do compartilhamento das informações científicas entre pesquisadores com a sociedade.

A geração de conhecimentos novos é um dos principais resultados da atividade de pesquisa. Assim, a comunicação desses resultados, que consiste na troca de informações entre membros da comunidade científica, abrange ações como a produção, a disseminação e uso da informação. Sua principal atribuição está totalmente alinhada com o fazer científico, que tem o objetivo de dar seguimento ao conhecimento para desenvolvimento de outras pesquisas, autenticando ou questionando seus resultados e instaurando novos objetivos em diferentes áreas.

A busca pela qualidade tem grande relevância entre docentes dos programas de pós-graduação (PPGs), tanto no que tange à realização da pesquisa em si quanto à publicação de seus resultados, dos quais se espera que alcancem maior visibilidade e acessibilidade, principalmente em um contexto em que a mensuração da qualidade da pesquisa é uma prática usual, apesar de não ser uma questão trivial. Isso explica a diversidade de indicadores existentes – ao mesmo tempo, a necessidade de adequá-los a diversos contextos – e a necessidade de se evitar o uso de métricas isoladas, sendo sempre indicado complementá-las com informações qualitativas. Nesse sentido, um meio eficaz para análise da qualidade de um artigo científico na área da Saúde é a metodologia preconizada pela Medicina Baseada em Evidências.

Diante desse cenário, o Serviço de Biblioteca do Instituto de Ortopedia e Traumatologia (IOT) da Faculdade de Medicina da Universidade de São Paulo (FMUSP) tem como objetivo dar suporte às atividades de ensino, pesquisa e assistência da comunidade médica, paramédica e a estudantes de pós-graduação da instituição. Tal contexto propicia a reflexão acerca do papel do bibliotecário atuante na área da Saúde e sua assistência no processo de produção do conhecimento científico. Seu protagonismo na geração de relatórios de produtividade científica contribui para clarear a relação entre a Ciência da Informação (CI) e a Saúde no que se refere à busca da qualidade da produção científica (AZEVEDO; BERAQUET, 2010; SAVI; SILVA, 2010).

Assim, a questão que direciona este estudo é se a qualidade metodológica dos artigos dos pesquisadores vinculados ao Programa de Pós-Graduação em Ortopedia e Traumatologia (PPGOT) tem sido coerente com os níveis dos periódicos em que eles têm sido publicados. A partir dessa discussão, será possível avaliar se o PPGOT tem alcançado a melhor performance no processo de avaliação conduzido pela Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), considerando os critérios da Área de Avaliação Medicina III para a classificação dos periódicos.

Considerando duas dimensões como fatores para análise da produção científica dos pesquisadores – Medicina Baseada em Evidências (MBE) e indicadores de impacto –, o objetivo deste estudo é mapear, discutir e avaliar o impacto e a qualidade metodológica dos artigos científicos publicados pelos pesquisadores do PPGTO da FMUSP nos anos de 2012 a 2014.

2 Referencial teórico

A necessidade de busca e avaliação da informação é um elemento presente na vida do pesquisador e muitas vezes recorre a serviços especializados, já que as fontes, ferramentas e metodologias multiplicam-se constantemente. Além disso, a diversidade das áreas faz com que bibliotecários se vejam diante da necessidade de especialização. Nesse sentido, faz-se necessário caracterizar as especificidades da área da saúde, em um tema ainda mais definido: a Medicina Baseada em Evidências.

2.1 Medicina Baseada Em Evidências

Um novo paradigma se instalou na área de medicina com a chegada do termo “Medicina Baseada em Evidências” (MBE).

Sumarizando, a Medicina Baseada em Evidências é um conjunto de metodologias que se fundamenta em uma eficiente revisão de literatura para melhorar a prática médica, auxiliando o profissional a tomar a decisão sobre o melhor tratamento para seu paciente, não dispensando sua experiência e instinto clínico. Trata-se de agregar e integrar a expertise do profissional com a melhor evidência disponível na literatura (EVIDENCE-BASED MEDICINE WORKING GROUP, 1992; SACKETT; ROSENBERG; GRAY et al., 1996).

A MBE surge para agregar sentido à prática clínica ao preconizar a utilização de provas científicas existentes e disponíveis como norte para as tomadas de decisões sobre os cuidados em saúde. Esse conceito requer uma série de novas habilidades do médico para melhor aproveitamento da MBE, incluindo uma pesquisa eficiente e a aplicação de regras formais de prova, mediante avaliação crítica da literatura clínica (EVIDENCE-BASED MEDICINE WORKING GROUP, 1992; SACKETT et al., 1996; ATALLAH, 1998).

O bom uso da MBE traz ferramentas sistemáticas para identificação da veracidade e relevância das informações para a conduta médica. Como essas práticas podem ser abordadas no dia a dia clínico? Primeiramente, devem seguir os quatro passos em que a MBE está pautada: (1) formulação da pergunta clínica; (2) busca de informações relevantes na literatura; 3) avaliação crítica da evidência (quanto à sua validade e utilidade) e (4) aplicabilidade na prática clínica (EVIDENCE-BASED MEDICINE WORKING GROUP, 1992; OXMAN; SACKETT; GUYATT, 1993; ROSENBERG; DONALD, 1995; ATALLAH, 1998; ATALLAH; TREVISANI; VALENTE, 2001; EL DIB, 2007).

Tudo se inicia com uma pergunta de pesquisa clínica bem formulada oriunda de dúvidas no atendimento ao paciente ou no início de artigo científico e até mesmo com algum paciente interessado, pois este será o alicerce da boa pesquisa, potencializando a busca nas bases de dados (ATALLAH, 1998; EL DIB, 2007, 2014).

Como mencionado anteriormente, a questão clínica é a sustentação de uma boa pesquisa, pois foca seu escopo, evita a realização de buscas desnecessárias economizando tempo no processo de busca e diminui a possibilidade de ocorrências de erros sistemáticos durante as diversas fases de um projeto de pesquisa (WYATT; GULY, 2002; BERNARDO; NOBRE; JATENE, 2004; EL DIB, 2007, 2014).

Diferenciar prontamente a comunicação científica adequada da quantidade de informações exageradas e das fake news nesse atual cenário de pandemia é um desafio. Os pilares da MBE devem ser relembrados continuamente (IOANNIDIS, 2020; BEDAQUE et al., 2020).

2.2 Perspectivas da Medicina Baseada em Evidências para bibliotecários

O hábito pela busca de informações que subsidiem a prática clínica e a pesquisa está cada vez mais presente na vida dos profissionais da saúde e o uso das fontes de informação especializadas tornou-se imprescindível.

O bibliotecário da área da saúde está apto a atuar em bibliotecas médicas universitárias e hospitalares de ensino e pesquisa, consultorias e projetos, revisão e orientação em trabalhos científicos (BERAQUET; CIOL, 2009). Amplificando esse leque de opções, Silva (2005, p. 135) acrescenta “universidades comunitárias e universidades de ensino superior, corporações (por exemplo: em companhias de publicações, de seguros e farmacêuticas, agências governamentais, portais da internet, bibliotecas públicas e centros de pesquisa e fundações)”.

No que tange às novas atribuições do bibliotecário, estudos apontam as habilidades que esse profissional precisa desenvolver, como assumir o papel de educador, proporcionando ao usuário a orientação necessária; conhecer o usuário da informação em saúde e suas necessidades de desenvolver competências e habilidades para busca, análise e avaliação da informação em Ciências da Saúde; conhecimento da prática baseada em evidências e de métodos de pesquisa; proporcionar a construção do conhecimento integrando as áreas de tecnologia e Informação em Ciências da Saúde e trabalho com equipes multidisciplinares (PINTO, 2005; SILVA, 2005; BERAQUET; CIOL, 2009).

Os bibliotecários podem e devem atuar como um elo entre o profissional da saúde e as melhores evidências disponíveis por possuírem em seu arsenal de conhecimento técnicas para a busca, tendo como foco a MBE e considerando cada situação clínica encontrada nos atendimentos médicos. Essa faceta da biblioteconomia com a área das Ciências da Saúde constitui em uma referência para o bibliotecário exercer mais que apenas suas atividades corriqueiras de buscas na literatura e abre precedentes para a atuação no envolvimento com a prática e a capacitação para a seleção com qualidade e avaliação crítica dessa literatura.

2.3 Fontes de Informação na área da saúde: visibilidade e avaliação

As fontes de informações são de grande importância para todas as áreas do conhecimento e disseminar seus variados tipos é essencial, pois o uso regular das fontes de informação é a chave para a pesquisa consistente e atualizada. No entanto, na área da saúde, as bases de evidência têm especial destaque, permitindo a recuperação de revisões sistemáticas, ensaios clínicos, entre outras informações baseadas em evidências (YOUNG; WARD, 1999).

Na Medicina, Bernardo, Nobre e Jetene (2004) consideram fontes primárias as que disponibilizam trabalhos em sua forma original. Já as fontes secundárias contêm informações originais, que são reproduzidas, comentadas e avaliadas criticamente – um exemplo é a Biblioteca Cochrane, demandando menos tempo para a avaliação crítica do pesquisador. Sumariamente, as fontes primárias são mais úteis para encontrar informações para desenvolvimento de trabalhos e atividades de pesquisas, divulgação científica ou necessidade de informação mais recente, enquanto as fontes secundárias auxiliam na aplicação prática, economizando o tempo que seria gasto com avaliações críticas (BERNARDO; NOBRE; JATENE, 2004).

Pelo fato de as coleções de bases de dados de periódicos serem determinadas por rígidos processos seletivos, é importante considerar que o conteúdo científico é fator determinante para um periódico alcançar qualidade. Além disso, Santos e Mugnaini (2019) mencionam que a difusão da produção científica em âmbito internacional e o impacto medido por citações são fatores observáveis quando o conteúdo publicado é relevante. Nesse sentido, o sistema de revisão por pares tem papel essencial para validar ou não o que irá ser publicado.

Vale destacar ainda que a indexação em bases de dados, além de consistir em uma instância complementar de avaliação, pode proporcionar visibilidade. Packer e Meneguini (2006, p. 235) conceituam a visibilidade como a “capacidade de exposição que uma fonte ou fluxo de informação possui de, por um lado, influenciar seu público alvo e, por outro, ser acessada em resposta a uma demanda de informação”. Estabelecem ainda duas dimensões para os periódicos: ser referência de qualidade e credibilidade e ser indexado em índices de prestígio nacional e internacional.

Uma forma recorrente de mensuração da visibilidade de periódicos é utilizar indicadores de citação. O Fator de Impacto, do Journal Citation Reports (disponibilizado pela empresa Clarivate Analytics), é o indicador mais conhecido mundialmente. No entanto, sua fama também diz respeito aos vieses que apresenta: por priorizar as publicações no idioma inglês, assim como comunidades ou áreas de pesquisa maiores e normalmente as Ciências Naturais, além de ignorar os diferentes níveis de obsolescência da literatura das áreas.

As controvérsias sobre a utilização desse indicador se devem ao fato de ele ser tomado como indicador de qualidade atrelado à política científica de países como o Brasil, especialmente na área das Ciências da Saúde, como se pode observar no Qualis (MUGNAINI; PIO; PAULA, 2019). O Qualis consiste na classificação de periódicos científicos, que atribui pontos para publicações realizadas pelos pesquisadores dos PPGs do país. Integra o Sistema de Avaliação da Pós-Graduação, orientado pela CAPES.

No ano de 2012, no intuito de melhor captar o impacto da pesquisa, a Declaração de São Francisco sobre Avaliação da Pesquisa – DORA (AMERICAN SOCIETY FOR CELL BIOLOGY, 2012) reuniu uma série de recomendações no sentido de chamar a atenção para dois aspectos importantes: evitar a avaliação indireta da pesquisa, ou seja, usar um indicador de impacto do periódico para mensuração da qualidade do artigo (alertando para a necessidade de se propor indicadores no nível do artigo), e calibrar a avaliação da pesquisa, mesclando aspectos qualitativos e quantitativos.

Há mais de duas décadas antes da DORA, já se podia contar com compilações de estudos que reuniam as diversas limitações das análises quantitativas de citações (MACROBERTS; MACROBERTS, 1989). Posteriormente, outros autores destacavam a importância da implementação de cuidados metodológicos que minimizassem tais limitações, mas principalmente alertando para a importância de se considerar em conjunto, aspectos qualitativos (SCHOONBAERT; ROELANTS, 1996).

Outro aspecto igualmente importante diz respeito ao percentual de artigos não citados. Contudo, Larivière, Gingras e Archambault (2009) descobriram que, para a área de Medicina, a taxa era a menor (12%), em contraste com as Ciências Naturais e Engenharias (27%) e Ciências Sociais (32%).

Já um estudo de revisão mais recente (TAHAMTAN; AFSHAR; AHAMDZADEH, 2016) concluiu que, além da qualidade do artigo, o fator de impacto do periódico, o número de autores, a visibilidade e a colaboração internacional são fatores mais associados ao número de citações recebidas pelos artigos. Especificamente nas áreas médicas, o tamanho da amostra de estudo e a presença de um grupo de controle igualmente mostraram associação com a taxa de citação (CALLAHAM; WEARS; WEBER, 2002), além do financiamento e do resultado favorável para a indústria (KULKARNI; BUSSE; SHAMS, 2007). Finalmente, também são importantes os níveis de evidência (OKIKE et al., 2011).

Nesse sentido, esta pesquisa lança mão da análise de citação a artigos, comparando seu impacto com os níveis de periódicos onde foram publicados (classificação Qualis) e os aspectos de qualidade metodológica (níveis de evidência).

3 METODOLOGIA

Este estudo se caracteriza como descritivo transversal, com uma abordagem qualitativa e quantitativa que se apoia em técnicas de coleta de dados a partir dos artigos científicos publicados pelos pesquisadores vinculados ao PPGOT da FMUSP.

3.1 Fontes de informação e período selecionado

A produção científica foi delimitada para o período entre 2012 e 2014, pois baseado nos relatórios de produção científica do Serviço de Biblioteca. Não foram utilizados artigos com anos de publicação posteriores a 2015, já que, no momento da coleta (19/05/2018), ainda não permitiam a utilização de uma janela de citação de pelo menos quatro anos (o próprio ano de publicação e os três posteriores). As buscas foram efetuadas nas bases de dados internacionais Pubmed, Web of Science (WoS) e Scopus.

3.2 Gerenciamento, coleta de dados e estratégias de busca

A identificação dos pesquisadores foi realizada a partir da relação fornecida pela secretaria de pós-graduação, resultando em 19 pesquisadores permanentes durante o período de analisado.

As buscas foram realizadas pelo nome de cada pesquisador, de acordo com as etapas abaixo. Utilizaram-se os gerenciadores Mendeley® e Zotero®, além do Excel para o gerenciamento dos dados.

Pesquisa nas bases de dados:

a) definição das variações dos nomes dos autores e estratégias de buscas para cada base;

b) recuperação das referências nas bases, totalizando 3.560 registros, sendo 1.290 na Scopus, 1.110 na WoS e 1.160 no Pubmed;

c) refinamento das estratégias de busca obedecendo os critérios de exclusão abaixo:

- aplicação do primeiro filtro de data (2012, 2013, 2014), totalizando 961 registros, sendo: 360 na Scopus; 293 na WoS; e 308 no Pubmed;

- aplicação do segundo filtro de tipo de documento (artigos originais e de revisão), totalizando 812 registros, sendo: 264 na Scopus; 240 na WoS; e 308 no Pubmed (os tipos de artigos disponíveis no Pubmed são excessivamente diversificados das demais bases escolhidas, direcionando a uma possível perda de registros);

- critérios de exclusão: não foram considerados cartas aos editores, editoriais, eventos, e artigos cuja filiação não fossem o Departamento de Ortopedia, Hospital das Clínicas, Universidade de São Paulo.

Processamento dos dados:

a) importação e correção de duplicidades das referências no Mendeley (549 artigos duplicados/triplicados);

b) exportação para o Zotero® e, em seguida, para planilha em Excel na seguinte configuração: Publication Year, Author Title, Publication Title, Pages, Issue, Volume, Abstract Note, para facilitar a exploração dos dados.

Após a eliminação das duplicidades e aplicação dos critérios de exclusão, restaram 263 artigos para verificação de pertinência ao objeto de estudo.

Análise dos artigos selecionados:

De posse dos artigos, os seguintes procedimentos foram seguidos:

a) os trabalhos foram analisados por meio de leitura dos títulos;

b) aplicaram-se os critérios para exclusão por tipo de artigo, restando 245 artigos;

c) em seguida, aplicou-se o critério de exclusão de filiação, restando 179 artigos;

d) verificaram-se as perdas do Mendeley® (registros cuja duplicidade o gerenciador não reconheceu por estarem com a forma de entrada diferente em cada base de dados – por exemplo, títulos em caixa alta), restando 158 artigos;

e) por fim, foram considerados 157 artigos na íntegra, pois um artigo não tinha seu PDF disponível, mesmo após a solicitação aos autores.

Análise metodológica da qualidade dos artigos:

A análise metodológica da qualidade dos artigos contou com dois pesquisadores: a autora deste trabalho (AS) e uma médica especialista em Ortopedia e Traumatologia (NVMR). Os artigos foram avaliados de forma independente, sendo que os desacordos ou as dúvidas foram resolvidas através do consenso entre os autores AS e NVMR. Seguiram os seguintes passos:

a) categorização dos artigos de acordo com seu tipo de estudo: Estudos Terapêuticos; Estudos Prognósticos; Estudos Diagnósticos; Análises Econômicas e Dúvida;

b) classificação dos artigos segundo níveis de evidência (Níveis de I, II, III, IV, V e Dúvida) proposto pelo Centro de Medicina Baseada em Evidências de Oxford e adaptado pelo periódico Acta Ortopédica Brasileira (ACTA ORTOPÉDICA BRASILEIRA, ©2018);

c) os estudos de Ciência Básica foram divididos em Estudos Experimentais e Estudo de Anatomia e cada um deles nos tipos prospectivos, prospectivos controlados e randomizados. Esse processo foi avaliado pelos pesquisadores AS e NVMR.

A avaliação da qualidade do conteúdo, segundo o prontuário desenvolvido por Amatuzzi (2007), consiste na aplicação de dez perguntas (cuja resposta para cada uma deve ser “SIM”, “NÃO” ou “Dúvida”). A pesquisadora NVMR, especialista em Ortopedia, procedeu a realização desta etapa, que revelou a contagem de respostas “SIM” obtida por cada um dos trabalhos selecionados. Assim, uma maior incidência de respostas “SIM” denota que o desenho metodológico está mais bem delineado, possibilitando uma maior chance de o artigo evidenciar um nível de evidência mais alto.

Análise bibliométrica:

Para a análise de citação, foi considerada uma janela de citação de quatro anos (o próprio ano de publicação do artigo e os três posteriores) dos artigos indexados na base de dados Scopus, pois essa base possibilita o levantamento de citações. Então, se o artigo foi publicado em 2012, foram contabilizadas as citações provenientes de artigos publicados entre 2012 e 2015. O mesmo procedimento foi utilizado para os artigos de 2013 e 2014, a fim de garantir a comparabilidade entre anos, evitando-se assim distorções resultantes do efeito acumulativo das citações.

O estrato Qualis, apesar de não ser um indicador bibliométrico, mas um critério de classificação dos periódicos, foi adotado como indicador pelo simples fato de a área depender exclusivamente do fator de impacto. Dessa forma, ao utilizar o estrato Qualis, considerou-se que é o valor do fator de impacto que o está determinando, conforme o documento da área Medicina III, referente aos anos de 2010 a 2012.

Foram analisados tanto o total de artigos quanto a média de citações na referida janela de citação, segundo as seguintes variáveis:

a) nível de evidência;

b) estrato Qualis do periódico;

c) estrato Qualis e nível de evidência.

A apresentação dos resultados foi baseada na leitura dos protocolos de 157 artigos selecionados para este estudo dos anos de 2012 a 2014 e os questionamentos de pesquisa e suas respectivas análises estão divididos em duas partes:

a) mapeamento da produção científica individual dos pesquisadores, devendo-se considerar que, devido ao fato de publicarem em coautoria, o total de artigos será maior e foi considerada cada variável relativa à qualidade metodológica dos artigos, assim como aquelas provenientes de indicadores bibliométricos;

b) avaliação da qualidade metodológica e impacto dos artigos segundo a Medicina Baseada em Evidências – as duas variáveis metodológicas nesse aspecto serão tipos de estudos e níveis de evidência.

Todas as análises foram feitas baseadas na frequência de artigos publicados e suas respectivas médias de citações, mas vale ressaltar que houve uma variação no tamanho da amostra (.) quando considerado o desenho de estudo dos artigos (157). Já o nível de evidência considerou somente 138 artigos, pois 19 artigos eram de ciência básica. Além disso, quatro artigos não estavam indexados na base de dados Scopus (foram excluídos por não permitirem análise de citação), resultando, respectivamente, em dois conjuntos de artigos: 153 e 135 artigos.

4 RESULTADOS

Os 153 artigos foram classificados de acordo com níveis de evidência ou estudos de Ciência Básica, totalizando 138 e 19 artigos, respectivamente. No entanto, na Tabela 1, os dados são apresentados para cada pesquisador, resultando em um total de 293 participações em publicações, por conta da coautoria. Pode-se notar, entre os tipos de estudo, a predominância de participações em Estudos Terapêuticos, ao passo que, nos Estudos Anatômicos, apenas sete pesquisadores participam, porém, apresentam a maior média total de citações (16,7).

Outro aspecto observado na Tabela 1 é que oito pesquisadores são os mais produtivos (mais de 20 artigos publicados) e três apresentam maiores médias de citação (superior a dez), sendo que dois deles (os de número 02 e 17) estão nos dois conjuntos. Ambos obtiveram maior média de citações em seus Estudos Anatômicos, o que, mais uma vez, evidencia a maior taxa de citação desse tipo de estudo.

A Tabela 2 toma os artigos como unidade de análise e, mesmo desconsiderando a duplicação de dados dos diferentes autores, mantém os Estudos Anatômicos com maior média, seguidos dos Diagnósticos. É importante notar que o maior volume de citações recebidas se dá nos anos de 2013 e 2014, o que permite a observação do quanto esse indicador pode ser enviesado por algum ou por poucos artigos mais citados (já que apenas dois artigos de Anatomia receberam em média 32 citações em 2013, claramente inflando a média total deste ano). Isso pode ser um bom exemplo da necessidade de cautela na análise dos indicadores, bastando considerar o fato de que os Estudos Terapêuticos, apesar de representarem o maior número de artigos, equiparam-se em média de citações no período aos Estudos Diagnósticos. Enquanto os últimos têm sua média inflada por apenas um artigo (o artigo de 2013 representa 12% do total de citações recebidas no período), os primeiros apresentam mais homogeneidade ao longo dos anos.

Na Tabela 3, é analisada a variável Nível de Evidência, onde se observa que os estudos do nível I foram os mais citados (média de 18,4 citações no período), recebendo maior volume de citações no ano de 2012. Os demais, com exceção do nível V, aumentaram a média de citações no decorrer do período. A frequência de artigos não sofre alterações significativas ao longo dos anos, denotando a constância de publicação dos pesquisadores do PPGOT.

Pelo fato de a Tabela 3 apresentar os Níveis de Evidência em ordem decrescente da média de citações, não se observa clara associação com a média de citações, uma vez que os níveis II e III, assim como os IV e V, encontram-se em ordem invertida. Por outro lado, a Tabela 4 (que cruza os tipos de estudo com os Níveis de Evidência e Estudos de Ciência Básica) permite observar que os Estudos Diagnósticos são os responsáveis pela maior média de citações dos artigos dos níveis III em relação ao nível II. No caso dos artigos do nível V, os Estudos Terapêuticos é que respondem pela maior média de citações em relação ao nível IV.

Na Tabela 4, observa-se que os tipos de estudo mais prevalentes (Diagnósticos, Prognósticos e Terapêuticos) são os que se distribuem por quase todos os níveis de evidência, enquanto as Análises Econômicas se concentram apenas nos níveis IV e V. Já entre os estudos de Ciência Básica, os Estudos Experimentais encontram-se em ambas as classificações, enquanto os de Anatomia são todos prospectivos.

A Tabela 4 permite observar que os artigos mais citados foram os do nível I, sobre Estudos Terapêuticos (média de 19,7). Ao se analisar os periódicos em que os dez artigos foram publicados (Figura 3), percebe-se que a maioria (sete artigos dos dez) foi publicada em periódicos de estratos Qualis menores (B1 a B4) e que o volume de citações recebidas por cada um dos três artigos publicados em um mesmo periódico do estrato A1 foi significativamente maior. Assim, fica evidente a pertinência de se analisar conjuntamente as variáveis Níveis de Evidência e estrato Qualis.

Na Tabela 5, verifica-se que a média de citações apresenta indícios de associação com os estratos Qualis, havendo distância significativa da média entre A1 e A2, e dos estratos A em relação aos estratos B.

Os artigos classificados com nível I e publicados em periódicos com estrato A1 foram os mais citados (média de 46,0), conforme observado também na Figura 1. Já no estrato A2, com número de artigos apenas superior que o estrato B5, os Níveis de Evidência em destaque foram II e III.

A maior concentração de publicações dos pesquisadores do PPGOT se dá no nível IV e em periódicos do estrato B3 (28 artigos), representando pouco mais que 60% dos artigos neste estrato. O segundo estrato com maior número de artigos é o B1, que tem os artigos mais bem distribuídos entre os Níveis de Evidência.

Tabela 5 - Total de artigos publicados e média de citações segundo estrato Qualis e nível de evidência

Os níveis III e V, conforme observado anteriormente, apresentam maior média de citações em relação aos níveis II e IV, respectivamente; por outro lado, nota-se maior concentração de artigos nos níveis III e V em estratos mais altos, além de maior média de citações a esses artigos, e também explicando maior impacto dos artigos desses níveis em relação aos níveis II e IV.

Ainda sobre a Tabela 5, convém observar um aspecto que vai ao encontro da pergunta de pesquisa que inspirou este estudo. A concentração de artigos de nível I nos estratos B permitem questionar se não poderiam ter sido publicados em periódicos de estratos mais altos, independentemente do número de citações alcançado – até porque pode-se cogitar que o maior número de citações dos artigos no periódico A1 pode ter sido influenciado pela visibilidade do periódico. O mesmo poderia ser dito dos artigos de nível II publicados no estrato B3.

Finalmente, considerando o grau de atendimento ao conjunto de quesitos estipulados pelo protocolo de Amatuzzi, pode-se avaliar o delineamento do estudo. Pode-se observar na Tabela 6 que, dentre os Estudos Terapêuticos, obteve-se a maior quantidade de artigos que atenderam todos os quesitos. Já a Figura 2 mostra que esses artigos foram classificados em um maior nível de evidência, com exceção de um (nível IV) e que, ainda, dois deles foram publicados em periódicos com estrato B4. Mais uma vez, pode-se questionar se o maior Nível de Evidência, somado à totalidade de atendimento aos quesitos do protocolo, não seriam elementos suficientes para publicação em estratos mais altos.

Tabela 6 - Total de artigos publicados segundo incidência de atendimento a quesitos de qualidade do conteúdo do artigo e tipo de estudo

Por outro lado, houve dois artigos de Estudos Terapêuticos que não obtiveram nenhuma resposta “SIM”. Ainda que seu nível de evidência tenha sido o menor disponível (Nível V), foram publicados em periódicos com estrato B2 e B3.

Em contraste com o exposto acima, dez artigos de Estudos Prognósticos obtiveram sete respostas “SIM”, permitindo observar a classificação predominante em Nível III de evidência, sendo que suas publicações foram equilibradas entre os periódicos com estratos A2 e B1. Finalmente, ao se analisar o artigo de Estudo Prognóstico que obteve apenas duas respostas “SIM”, observa-se declínio em seu nível de evidência (Nível V) e com publicação em periódico com estrato Qualis B4.

O estudo permitiu identificar a preferência entre os pesquisadores do PPGOT pelos Estudos Terapêuticos, o que se deve ao fato de a Ortopedia estar inserida na área de Medicina III que, por sua vez, inclui todas as especialidades cirúrgicas. Além disso, grande parte das publicações é em nível IV de evidência, sendo metade dessas publicadas em periódicos nacionais com estrato Qualis B3 e recebendo uma menor média de citações. Em contraposição, notou-se uma baixa frequência de estudos de nível I de evidência.

5 CONSIDERAÇÕES FINAIS

O protocolo utilizado desenvolvido por Amatuzzi (2007) para classificação por Níveis de Evidência serve como uma variável qualitativa complementar à classificação Qualis. Principalmente por não estar associada ao periódico, mas sim aos artigos, alinhando-se aos princípios preconizados pela declaração DORA. Suas perguntas podem servir de guia ao autor, para o melhor detalhamento metodológico de seu trabalho, ao mesmo tempo em que permite identificar os pontos fracos e fortes de sua pesquisa, gerando resultados mais confiáveis, e tendendo a viabilizar a publicação em periódicos de alto impacto.

Uma classificação por níveis de evidência para enquadrar todos os artigos publicados em Ortopedia e Traumatologia, assim como uma lista unificada de avaliação de qualidade, é difícil de ser encontrada e, devido a essa dificuldade, buscamos utilizar o protocolo de Amatuzzi, que reúne as classificações propostas por Atallah (2001), viabilizando a classificação de artigos da área e permitindo, assim, a avaliação do alcance de cada desenho de pesquisa.

Constatou-se que os estudos classificados com nível I de evidência são os mais citados e, dentre os tipos de estudo, os de Anatomia (Ciências Básicas). Em concordância aos nossos achados, temos o estudo de Bhandari, Busse e Devereaux (2007) que concluem, em seus resultados, que artigos de Ciência Básica receberam mais citações, tanto em periódicos ortopédicos como em não-ortopédicos. Porém, ao se considerar essas variáveis em conjunto, os Estudos Terapêuticos de nível I é que se sobressaíram, por serem estudos mais comumente encontrados em periódicos de ortopedia (OKIKE; KOCHER; TORPEY, 2011).

Ademais, a maioria dos artigos do nível I foi publicada em estratos Qualis menores (B1, B2 e B4) e, ainda assim, receberam um número médio de citações superior aos artigos dos respectivos estratos, mas em menores níveis de evidência, permitindo vislumbrar que o nível de evidência pode evidenciar mais citação, independentemente do estrato. Da mesma forma, os resultados permitiram indagar se parte dos artigos de níveis I e II dos estratos B não poderiam ter sido publicados em estratos mais altos, ou até mesmo A. Por exemplo, os Estudos Terapêuticos atenderam todos os quesitos do Protocolo Amatuzzi e foram publicados em periódicos do estrato B4, o que sugere que poderiam ter sido publicados em estratos mais altos.

Certamente, este estudo não está livre de limitações. Primeiro, deve ser replicado com dados mais robustos, reunindo outros PPGs, assim como outras especialidades da Medicina. Além disso, o uso da base Scopus é outra limitação, pelo fato de representar um universo de periódicos específicos, sendo que, se reproduzido com outra base de dados, os resultados poderiam variar. O período de três anos considerado seria outro aspecto que mereceria atenção, quando da decisão de alçar uma análise mais robusta. E, finalmente, merece destaque a avaliação dos artigos, que contou apenas com a participação do especialista em Ortopedia. Apesar de uma escolha consciente, pode-se reconhecer que, se analisado pois mais um ou dois avaliadores, o estudo poderia garantir maior confiabilidade. Por outro lado, os resultados obtidos – associação entre Níveis de Evidência e impacto em citações – permitem afirmar que a utilização do referido protocolo pode ser um guia metodológico útil para docentes e alunos da pós-graduação, viabilizando maior impacto em citações.

Este estudo sugere que mais altos níveis metodológicos, conforme preconiza a Medicina Baseada em Evidências, aumentam as possibilidades de publicação em periódicos de circulação mais ampla, consequentemente aprimorando a performance do PPGOT da FMUSP na avaliação da Capes. Nesse processo, a atuação do bibliotecário em Ciência da Saúde amplifica-se, fazendo estudos bibliométricos prospectivos a fim de auxiliar os pesquisadores na escolha dos caminhos da comunicação científica.

REFERÊNCIAS

ACTA ORTOPÉDICA BRASILEIRA. Instruções aos autores. São Paulo, SP: Acta Ortopédica Brasileira, c2018.

AMATUZZI, M. L. L. Avaliação metodológica dos artigos publicados na área de Ortopedia e Traumatologia nos anos de 2004 e 2005. 83 f. Tese (Doutorado em Ciências) - Faculdade de Medicina, Universidade de São Paulo, São Paulo, 2007.

AMERICAN SOCIETY FOR CELL BIOLOGY (ASCB). San Francisco declaration on research assessment: putting science into the assessment of research. San Francisco, CA: ASCB, 2012.

ATALLAH, A. N. Medicina baseada em evidências: o elo entre a boa ciência e a boa prática clínica. 1998. p. 325-343.

ATALLAH, A. N.; TREVISANI, V.; VALENTE, O. Tomada de decisões terapêuticas com base em evidências científicas. In: PRADO, F. C.; VALLE, J. R.; RAMOS, J. A. (Ed.). Atualização terapêutica: manual prático de diagnóstico e tratamento. São Paulo: Artes Médicas, 2001. p. 6–7.

AZEVEDO, A. W.; BERAQUET, V. S. M. Formação e competência informacional do bibliotecário médico brasileiro. Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, v.7, n. 2, p. 199-218, 2010.

BEDAQUE, H. P., SOUZA, A. K. C., LOPES, I. S., et al. Evidence-based-medicine amidst the pandemic: A path towards continuing medical education and the combat of misinformation. Education for health, Mumbai, v. 33, n.30, p.120–121, 2020.

BERAQUET, V. S. M.; CIOL, R. O bibliotecário clínico no Brasil: reflexões sobre uma proposta de atuação em hospitais universitários. DataGramaZero - Revista de Ciência da Informação, [s.l.], v.10, n. 2, p. A05-0, 2009.

BERNARDO, W. M.; NOBRE, M. R. C.; JATENE, F. B. A prática clínica baseada em evidências. Parte II - Buscando as evidências em fontes de informação. Revista Brasileira de Reumatologia, São Paulo, v. 44, n. 6, p. 403–409, 2004.

BHANDARI, M., BUSSE, J., DEVEREAUX, P. J., et al. Factors associated with citation rates in the orthopedic literature. Canadian Journal of Surgery, Toronto, v. 50, n. 2, p. 119–123, 2007.

CALLAHAM, M.; WEARS, R. L.; WEBER, E. Journal prestige, publication bias, and other characteristics associated with citation of published studies in peer-reviewed journals. Journal of the American Medical Association, Chicago, v. 287, n. 21, p. 2847-2850, 2002.

EL DIB, R. Como praticar a medicina baseada em evidências. Jornal Vascular Brasileiro, São Paulo, v. 6, n. 1, p. 1–4, 2007.

EL DIB, R. Guia prático de medicina baseada em evidências. São Paulo: Cultura Acadêmica, 2014.

EVIDENCE-BASED MEDICINE WORKING GROUP, E. Evidence-based medicine: a new approach to teaching the practice of medicine. Journal of the American Medical Association, Chicago, v. 268, n. 17, p. 2420–2425, 1992.

IOANNIDIS, J. Coronavirus disease 2019: the harms of exaggerated information and non-evidence-based measures. European journal of clinical investigation, Berlin, n. e13223, 2020.

KULKARNI, A. V.; BUSSE, J. W.; SHAMS, I. Characteristics associated with citation rate of the medical literature. PloS one, San Francisco, v. 2, n. 5, p. e403, 2007.

LARIVIÈRE, V.; GINGRAS, Y.; ARCHAMBAULT, E. The decline in the concentration of citations, 1900–2007. Journal of the American Society for Information Science and Technology, Nova Jersey, v. 60, n. 4, p. 858-862, 2009.

MACROBERTS, M. H.; MACROBERTS, B. R. Problems of citation analysis: A critical review. Journal of the American Society for Information Science, Nova Jersey, v. 40, n. 5, p. 342-349, 1989.

MUGNAINI, R.; PIO, L. A. S.; PAULA, A. S. A. A comunicação científica em periódicos no Brasil: índices de citação, indexação e indicadores bibliométricos na avaliação da ciência. In: CARNEIRO, F. F. B.; FERREIRA NETO, A.; SANTOS, W. (Org.). A comunicação científica em periódicos. Curitiba: Appris, 2019. p. 173-202.

OKIKE, K., KOCHER, M. S., TORPEY, J. L., et al. Level of evidence and conflict of interest disclosure associated with higher citation rates in orthopedics. Journal of Clinical Epidemiology, Nova York, v. 64, n. 3, p. 331–338, 2011.

OXMAN, A. D.; SACKETT, D. L.; GUYATT, G. H. User's guides to the medical literature I. How to get started. Journal of the American Medical Association, Chicago, v. 270, n. 17, p. 2093–2095, 1993.

PACKER, A.; MENEGUINI, R. Visibilidade da produção científica. In: POBLACION, D. A. (Org.). Comunicação e produção científica: contexto, indicadores, avaliação. São Paulo: Angellara, 2006. p. 235–260.

PINTO, R. R. O profissional da informação em Ciências da Saúde: subsídios para o desenvolvimento de cursos de capacitação no Brasil. 2005. 118f. (Mestrado Profissional em Ensino em Ciências da Saúde) - Escola Paulista de Medicina, Universidade Federal de São Paulo, 2005.

ROSENBERG, W.; DONALD, A. Evidence based medicine: an approach to clinical problem-solving. BMJ: British Medical Journal, Londres, v. 310, n. 6987, p. 1122–1126, 1995.

SACKETT, D. L.; ROSENBERG, W. M., GRAY, J. A, et al. Evidence based medicine: what it is and what it isn’t. BMJ: British Medical Journal, Londres, v. 312, n. 7023, p. 71–72, 1996.

SANTOS, S. M; MUGNAINI, R. Comunicação científica em periódicos e a internacionalização das ciências brasileiras. In: CARNEIRO, F. F. B.; FERREIRA NETO, A.; SANTOS, W. (Org.). A comunicação científica em periódicos. Curitiba: Appris, 2019. p. 73-94.

SAVI M. G. M; SILVA, E. L. O uso da informação na prática clínica na perspectiva da medicina baseada em evidências. Informação & Sociedade: Estudos, João Pessoa, v.20, n.2, p. 37-50, 2010.

SCHOONBAERT, D.; ROELANTS, G. Citation analysis for measuring the value of scientific publications: quality assessment tool or comedy of errors? Tropical Medicine & International Health, Oxford, v. 1, n. 6, p. 739-752, 1996.

SILVA, F. C. C. A atuação do bibliotecário médico e sua interação com os profissionais da saúde para busca e seleção de informação especializada. Revista Digital de Biblioteconomia e Ciência da Informação, Campinas, v. 3, n. 1, p. 131–151, 2005.

TAHAMTAN, I.; AFSHAR, A. S.; AHAMDZADEH, K. Factors affecting number of citations: a comprehensive review of the literature. Scientometrics, [s.l.], v. 107, n. 3, p. 1195-1225, 2016.

WYATT, J.; GULY, H. Identifying the research question and planning the project. Emergency Medicine Journal, Londres, v. 19, n. 4, p. 318–21, 2002.

YOUNG, J. M.; WARD, J. E. General practitioners' use of evidence databases. Medical journal of Australia, Sydney, v. 170, n. 2, p. 56-58, 1999.

Notas de autor

Información adicional

Como citar: SOUZA, Andressa da Costa Santos; RODRIGUES, Natasha Vogel Majewski; MUGNAINI, Rogério. Níveis de evidência e níveis de periódicos: análise de impacto de artigos na área de Ortopedia e Traumatologia. Em Questão, Porto Alegre, v. 27, n. 4, p 189-214, 2021.

Declaração de autoria: Concepção e elaboração do estudo: Andressa Souza, Rogério Mugnaini Coleta de dados: Andressa Souza, Natasha Rodrigues Análise e interpretação de dados: Andressa Souza, Rogério Mugnaini, Natasha Rodrigues Redação: Andressa Souza, Rogério Mugnaini, Natasha Rodrigues Revisão crítica do manuscrito: Rogério Mugnaini, Natasha Rodrigues