Artigo
Recepção: 16 Agosto 2017
Aprovação: 29 Novembro 2018
DOI: https://doi.org/10.5007/1518-2924.2019v24n54p62
Resumo: O objetivo desta pesquisa foi analisar os artigos científicos brasileiros que abordam o Fator de Impacto (FI), seja como procedimento metodológico, objeto de estudo e publicados em periódicos indexados nas bases de dados SciELO, Scopus e Web of Science. Buscaram-se os artigos brasileiros que apresentam o termo “fator de impacto” ou “impact factor” no período de 2005 a 2015. Utilizou-se a técnica de coocorrência de palavras para identificar as correlações entre as palavras-chaves e o termo FI. Como resultado, identificaram-se a área do conhecimento e o assunto tratados, possibilitando o entendimento da forma de abordagem desse indicador nas pesquisas brasileiras.
Palavras-chave: Ciência da Informação, Bibliometria, Fator de Impacto, Base de dados.
Abstract: This research analyzes the Brazilian scientific papers published in journals indexed in SciELO, Scopus and Web of Science databases that approach the indicator Impact Factor (IF), as a methodological procedure or object of study. Brazilian papers with the term “fator de impacto” or "impact factor" were searched from 2005 to 2015. The co-word analysis was used to identify the correlations between keywords and the term IF. As result, it was possible identify the knowledge area and the subject dealt, allowing to understand the approaching ways this indicator in Brazilian research.
Keywords: Information Science, Bibliometrics, Impact factor, Database.
1 INTRODUÇÃO
A análise da produção científica contribui para se identificar e visualizar o comportamento das comunidades científicas, instituições, disciplinas, áreas do conhecimento e países, evidenciando sua elite científica, frente de pesquisa, temáticas mais vigorosas, assim como as ligações dentro e entre estas instâncias, entre outros. Desde o seu surgimento, a Bibliometria tem desempenhado um papel importante nesse contexto, ao consignar os indicadores destinados à análise da ciência. Os indicadores bibliométricos podem ser agrupados em indicadores de produção, indicadores de citação e indicadores de ligação (OKUBO, 1997; SPINAK, 1998). Os indicadores de citação subsidiam a análise do impacto, reconhecimento e uso do conhecimento gerado pela comunidade científica (GLÄNZEL, 2003). Entre eles, destaca-se o fator de impacto (FI), criado por Eugene Garfield, em 1955, para avaliar o impacto das revistas e periódicos científicos, tomando como fonte as bases de dados da Web of Science (WoS) do Institute of Scientific Information (ISI) (GARFIELD; SHER, 1963) e mais tarde o consolidado Journal Citation Reports (JCR).
O FI de um periódico científico, em um determinado ano, é definido como a razão entre o total de citações recebidas, naquele ano, pelos artigos publicados nos dois últimos anos e o número de artigos publicados nesses dois anos. Entretanto, a janela temporal do cálculo do FI pode ser calculada para períodos maiores, como três ou cinco anos. Esse indicador é um dos mais utilizados para avaliar o impacto e visibilidade de periódicos científicos (SPINAK, 1998; GLÄNZEL, 2003) e constitui importante subsídio nas tomadas de decisão em relação à alocação de recursos, por instituições e agências de fomento e também na avaliação da produção científica de pesquisadores e instituições (KALTENBORN, 2004; SILVA, 2010; MARCHLEWSKI et al., 2011; WALTMAN, 2016).
No entanto, têm sido apontadas críticas e limitações na literatura quanto a sua utilização (SEGLEN, 1997; GLÄNZEL; MOED, 2002; FERNANDES-LLIMÓS, 2003; KALTENBORN, 2004; CROSS, 2009; BLANDFORD, 2016; WALTMAN, 2017).
Em consequência, vários indicadores têm sido desenvolvidos para subsidiar a avaliação do impacto da produção científica disseminada por um periódico, a partir de outras bases de dados multidisciplinares de abrangência mundial e regional, a fim de ampliar e aperfeiçoar a avaliação da sua preeminência, tornando a medida mais fidedigna ao seu real impacto, visibilidade e importância como veículo de disseminação do conhecimento de uma área científica.
A base de dados WoS, responsabilidade da Clarivate Analytics, abriu o caminho para medição do impacto dos periódicos científicos com a criação do FI. Atualmente, a WoS é composta por grandes bases de dados (Citation Index Science Social (SSCI), Science Citation Index Expanded (SCI Expandido), Conference Proceedings Citation Index Science (CPCI-S), Artes e Humanidades Citation Index (A & HCI) e Conference Proceedings Citation Index-Science Social and Humanidades (CPCI-SSH), Index Chemicus e Current Chemical Reactions (CCR-Expanded), entre outras), incluindo mais de 10.000 periódicos e revistas de diferentes áreas do conhecimento, relatórios, livros, conferências e outros materiais editoriais, sendo a mais antiga e de ampla cobertura de dados de citação e dados bibliográficos (BOYLE; SHERMAN, 2006).
Durante muito tempo, a WoS manteve a hegemonia da cobertura das diferentes áreas do conhecimento até a Elsevier Science lançar em 2004, a base de dados Scopus. Embora de acesso fechado assim como a WoS, a Scopus tornou-se no mercado uma alternativa de base de dados multidisciplinar da literatura científica, incluindo publicações comerciais, periódicos científicos, relatórios, livros, conferências, materiais editoriais e revistas de acesso aberto, contendo 20.500 revisores de 5.000 editores e de ampla cobertura de dados de citação (BOYLE; SHERMAN, 2006; CHADEGANI et al., 2013).
No entanto, as grandes bases de dados reconhecidas mundialmente indexam a ciência mainstream[1], ao passo que a ciência periférica é menos visível na ciência internacional (VELHO, 1985). Apesar da importância dessas bases, existem bases de dados especializadas e de grande relevância nacional e regional de países considerados periféricos, como é o caso do Brasil.
No Brasil, a base de dados mais importante é a Scientific Electronic Library On-Line (SciELO), mantida em parceria pela FAPESP, Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde (Bireme) e Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq). Criada em 1996, a SciELO constitui uma rede de coleções de periódicos publicados na Internet, de acesso aberto e com a finalidade de promover a visibilidade, credibilidade nacional e internacional e acessibilidade das publicações científicas da América Latina e do Caribe (MENEGHINI, 2003).
Nesse cenário, destaca-se o papel das bases de dados para o desenvolvimento de métricas baseadas em publicações, citações, autores, instituições, entre outras, ao fornecerem informações que possibilitam estudos comparativos e de acompanhamento do FI dos periódicos científicos nelas indexados. Desse modo, embora o Institute for Scientific Information (ISIS) Clarivate Analytics seja o proprietário do FI e responsável pela sua publicação no Journal of Citation Report (JRC), as bases de dados Scopus e SciELO fornecem dados que possibilitam que os pesquisadores efetuem o seu cálculo.
Nessa perspectiva, a partir de um levantamento na base de dados WoS e uso do método de coocorrência de palavras (co-words), Van Leeuwen e Wouters (2013) identificaram os periódicos que publicaram estudos relacionados ao FI, áreas científicas desses periódicos, os países e as palavras associadas ao termo FI no desenvolvimento da produção científica da temática, no período de 1996 a 2010. Identificaram ainda a finalidade da pesquisa: medir o impacto das pesquisas; ferramenta de gestão de pesquisa; discussão e debate relativos à pertinência da utilização do FI.
Em pesquisa subsequente, utilizando a mesma base de dados e a mesma metodologia, Van Leeuwen e Wouters (2017) ampliaram a janela temporal para o período 1981 a 2015. Embora tenham obtido resultados semelhantes, abriram caminho para estudos envolvendo uma nova especialidade relativa à temática FI.
Nesse contexto, considerando a importância do FI como um indicador utilizado para a classificação de periódicos, financiamento de projetos de pesquisas e avaliação de pesquisadores e instituições, esta pesquisa tem por objetivo geral identificar e analisar os artigos científicos brasileiros publicados em periódicos indexados nas bases de dados SciELO, Scopus e WoS que abordam o tema Fator de Impacto, assim como visualizar as associações estabelecidas entre o indicador FI e outros termos descritores da pesquisa, presentes nas palavras-chave desta literatura científica.
De forma mais específica, objetiva-se: a) classificar os artigos publicados quanto à forma de abordagens do FI (procedimento metodológico, objeto de reflexão ou crítica, objeto de estudo para análise do seu desenvolvimento ou propriedades); b) identificar os periódicos que publicaram os artigos científicos brasileiros que abordam o indicador FI, indexados nas bases SciELO, Scopus e WoS; c) agrupar os periódicos segundo as áreas do conhecimento; d) analisar a coocorrência das palavras presentes com o termo FI nos artigos analisados.
A escolha da tipologia artigos científicos, como universo de pesquisa, foi baseada em um estudo relativo às “metrias” (bibliometria, cienciometria, informetria, patentometria, webometria, altmetria, arquivometria) no Brasil, em que a forma de comunicação predominante são os artigos publicados em periódicos (60%), congresso (36,5%), capítulos de livros (2,5%), notas editorias (1,13%), cartas editoriais (0,13%) (URBIZAGASTEGUI, 2014). Para o levantamento do conjunto de artigos brasileiros que abordam a temática FI, utilizaram-se os termos de busca “fator de impacto” e “impact factor” nas bases WoS, Scopus e SciELO, no título, resumo e palavras-chave. Em seguida, em cada base de dados, limitaram-se os artigos àqueles com autoria de pelo menos um pesquisador brasileiro, resultando um total de 34 artigos no SciELO, 22 artigos na base Scopus e 17 artigos indexados na base de dados WoS.
Em relação à classificação dos periódicos segundo as áreas do conhecimento, optou-se pela utilização da classificação do portal SCImagoJournal& Country Rankings (Scopus), uma vez que apresenta um maior número de periódicos brasileiros indexados em relação à base multidisciplinar WoS (MIGUEL, 2011).
A análise das coocorrências das palavras-chave dos artigos analisados com o termo FI permite identificar as proximidades temáticas e contexto em que ocorrem os estudos relativos a esse indicador, uma vez que quando o autor registra uma palavra-chave, ela representa um tema/assunto abordado no trabalho (IGAMI, 2011). Assim, a intensidade da coocorrência das palavras evidencia as associações do FI com as demais temáticas presentes no conjunto de artigos analisados, possibilitando a visualização do domínio em que esta temática tem sido estudada. Parte-se ainda do pressuposto que o Fator de Impacto pode estar presente nos artigos científicos por diferentes motivos: como objeto de estudo, procedimento metodológico e análise crítica (SEGLEN, 1997; SIMONS, 2008; VAN LEEUWEN e WOUTERS, 2013; WALTMAN, 2016). Ressalta-se a importância de compreender os contextos/motivos pelos quais os artigos brasileiros abordam o FI em suas pesquisas, a fim de contribuir para a ampliação e aprofundamento do conhecimento deste indicador em âmbito nacional.
2 PROCEDIMENTOS METODOLÓGICOS
O estudo foi elaborado a partir de uma revisão de artigos brasileiros publicados e indexados nas bases de dados SciELO, Scopus e WoS, de acordo com os procedimentos seguintes.
2.1 Universo do estudo
O universo de estudo consiste dos artigos científicos publicados no período de 2005 a 2015 em periódicos indexados em três bases de dados: SciELO, por ser uma base de dados nacional e regional, importante para traçar a situação real da produção cientifica de países considerados periféricos, como é o caso do Brasil; Scopus, base internacional multidisciplinar com o maior número de periódicos brasileiros indexados; WoS, base de ampla cobertura e reconhecimento científico mundial.
2.2 Busca de dados
Para a identificação e seleção do corpus da pesquisa, buscaram-se nas bases SciELO, Scopus e WoS, os artigos que apresentassem o termo “Fator de Impacto” ou “Impact fator”, no título, resumo ou palavras-chave, com a janela temporal relativa ao período de 2005 a 2015, tipologia documental "Artigo" e país de origem “Brasil” ou “Brazil”. Esclarece-se que Van Leewen e Wouters (2013) utilizaram procedimento de coleta de dados semelhante, ao utilizar o termo “Impact fator”, no título e resumo, em todas as publicações da WoS no período de 1996 a 2010.
A Figura 1 apresenta a estrutura da busca dos dados nas bases utilizadas neste estudo.
Figura 1
Representação das bases do estudo.
Fonte: Dados da pesquisa.
A partir desse levantamento, o critério de seleção adotado recuperou-se um total de 94 artigos, reunidos e armazenados no software Excel. A seguir, com o propósito de excluir os artigos indexados simultaneamente em mais de uma das bases de dados utilizadas (SciELO, Scopus e WoS), filtrou-se manualmente o conjunto de artigos recuperados, resultando no total de 73 artigos: 34 artigos referentes a base SciELO, 22 referente a Scopus e 17 da base WoS. Os artigos foram publicados em 44 periódicos distintos. Em relação aos artigos que estavam indexados simultaneamente em mais de uma base de dados, optou-se por registrá-los como advindos da base de dados Scopus, com o propósito de excluir as presenças duplicadas ou triplicadas, em um total de 21 artigos nesta situação.
2.3 Análise de dados
Para a geração dos gráficos, foi utilizado o software Excel. As análises referentes aos artigos e periódicos foram feitas utilizando SPSS (Statistical Package for Social Science) versão 21.0.
O estudo das associações das palavras-chave encontradas nos artigos com o termo FI, aplicou-se a técnica de coocorrência de palavras que permitiu identificar a intensidade das associações existentes entre as palavras-chave arroladas nos artigos publicados e o termo FI, e visualizar as conexões temáticas e o contexto dos estudos brasileiros que abordam a temática FI (COURTIAL, 1994; HE, 2008; NEFF; CORLEY, 2009; VAN LEEWEN; WOUTERS, 2013). Esta técnica é fundamentada na análise de cluster, que permite uma taxonomia dos elementos estudados (aqui palavras-chave presentes nos artigos analisados), por meio do chamado “agrupamento do vizinho mais próximo”.
Para a análise de coocorrência de palavras, utilizaram-se apenas os artigos que continham pelo menos uma palavra-chave, resultando em 65 artigos, sendo 34 artigos da base SciELO, 17 oriundos da Scopus e 14 da base WoS. A seguir, foi realizado um pré-tratamento dos dados, seguido da contagem da frequência das palavras e subsequente tratamento morfológico das palavras, com a intenção de uniformizar a ocorrência de algumas palavras-chave cognatas e/ou similares, visto que foram encontrados artigos brasileiros escritos na língua inglesa e espanhola. Este procedimento resultou em 143 palavras diferentes descritas no campo “palavras-chaves”.
A seguir, de acordo com as relações e finalidade da presença do Fator de Impacto no estudo, os artigos foram agrupados e contabilizados em três grupos:
-
C1 - “FI como procedimento de pesquisa”: artigos em que o FI é utilizado como indicador para análise do domínio estudado ou como filtro para identificar os periódicos com alto impacto ou baixo impacto;
-
C2 - “Críticas ao uso do FI”: artigos que analisaram de maneira crítica a utilização do FI nas pesquisas científicas;
-
C3 - “FI como objeto de pesquisa”: artigos que tratam dos aspectos conceituais e metodológicos do Fator de Impacto, contribuição para as reflexões, discussões e aprimoramento do conhecimento deste indicador.
Essas categorias foram baseadas no estudo de Van Leeuwen e Wouters (2013), que identificou o aumento das pesquisas relativas ao FI, diferenciando as pesquisas segundo as dimensões: metodológica, aplicação e utilização do indicador.
Como passo seguinte, identificaram-se os periódicos que disseminaram os artigos analisados. Esclarece-se que a repetição do periódico em mais de uma base para a mesma categoria (C1, C2 ou C3) é decorrente do fato de nem todos os artigos do mesmo periódico estarem indexados em todas as bases em que se encontra o periódico, ou seja, para um mesmo periódico o corpus de artigos disseminados em bases distintas apresentam diferenças. Assim, por exemplo, o periódico Revista da Associação Médica Brasileira aparece na categoria C1 nas três bases pesquisadas e os artigos considerados em cada base são distintos. Todavia, salienta-se que, conforme já relatado, os artigos indexados simultaneamente em mais de uma base de dados foram registrados somente como advindos da base de dados Scopus, excluindo-se, assim, as duplicações. Assim, a base de dados Scopus tende a apresentar maior número de artigos em função do critério adotado e os artigos recuperados na base WoS ou SciELO não constam em nenhuma outra base.
Além disso, foram localizados os países de origem dos periódicos e se, no momento do estudo, eles eram do tipo acesso aberto (Open Access).
Para analisar as áreas de conhecimento dos periódicos em que os artigos foram publicados, recorreu-se ao portal SCImago Journal&Country Rankings, que indexa e apresenta indicadores de todos os periódicos da base Scopus, em 27 áreas de conhecimento.
Para os artigos publicados nos periódicos classificados na área das Ciência Sociais Aplicadas na base SciELO, registrou-se a área Ciências Sociais presente no portal do SCImago; os artigos publicados nos periódicos indexados a outras áreas não precisaram de ajustes no agrupamento, uma vez que foi observada uma equivalência entre as áreas de indexação entre as bases.
Por fim, para o aprofundamento do estudo, partiu-se da intensidade das palavras-chave registradas nos artigos do estudo, com o propósito de evidenciar o contexto e as proximidades temáticas em que se circunscrevem os estudos que mencionaram o FI. A relação da proximidade de palavras foi analisada conforme a técnica de análise de cluster (comumente chamada de agrupamento de vizinhos próximos).
3 RESULTADOS E DISCUSSÕES
A Tabela 1 apresenta a distribuição dos percentuais dos artigos científicos indexados nas bases SciELO, Scopus e WoS (período 2005-2015), em que se observa que, dos 73 artigos brasileiros analisados, quase metade está indexada na base SciELO, evidenciando a relevância desta base para a disseminação das pesquisas brasileiras que estudam, analisam ou aplicam um indicador bibliométrico de significativa importância contemporânea e influência nas tomadas de decisão de agências de fomento, instituições científicas e pesquisadores das diversas áreas do conhecimento. Por outro lado, a base WoS foi responsável pela menor quantidade de disseminação de artigos brasileiros que abordaram o FI nos estudos.
Distribuição dos artigos científicos brasileiros de periódicos indexados nas bases SciELO Scopus e WoS segundo classificação do FI nos estudos período 2005 2015
Fonte: Dados da pesquisa.
Observa-se que dos 73 artigos brasileiros, 86,3% são estudos nos quais o Fator de Impacto constitui procedimento de pesquisa, indicando que são pesquisas metateóricas desenvolvidas a fim de contribuir para a compreensão de um domínio do conhecimento. Estes artigos concentram-se principalmente na base SciELO. Vale ressaltar que a base de dados brasileira SciELO, criada em 1996, constitui uma rede de coleções de periódicos publicados na Internet, com acesso aberto, com a finalidade de promover a visibilidade e o acesso a publicações científicas da América Latina e do Caribe (MENEGHINI, 2003).
Além disso, os esforços em desenvolver projetos conjuntamente com as grandes bases de dados de relevância mundial na indexação de periódicos de acesso aberto. Visto que a importância da qualidade dos artigos indexados nestas bases, pode-se aumentar o número de artigos e citações, a dinâmica qualidade-quantidade pode atrair leitores e trazer efeitos positivos sobre o impacto científico, por consequente no FI desses periódicos (LÓPEZ-PIÑERO; TERRADA, 1992).
No entanto, Waltman (2016) afirma que os pesquisadores precisam estar cientes das críticas, limitações e consequências do uso metodológico do FI em suas pesquisas, mesmos que utilizem o FI para uma simples seleção de periódico.
Constata-se ainda na Tabela 1, em uma pequena porcentagem (9,6%) dos artigos, o FI aparece como objeto de crítica nas pesquisas, agrupadas na categoria C2, com os estudos analisando de maneira crítica a utilização do FI nas pesquisas científicas. Também em relação a este tipo de estudo, prevalece a presença da base SciELO, uma vez que metade (4) dos artigos desta natureza encontram-se indexados nesta base. Artigos que abordam o Fator de Impacto como objeto de pesquisa (C3) foram bastante raros entre os pesquisadores brasileiros, considerando que somente 4,1% dos artigos trataram os aspectos conceituais e metodológicos do FI.
A Tabela 2 apresenta as frequências com que os periódicos publicaram os artigos sobre Fator de Impacto, categorias (C1, C2, C3) e bases de dados em que foram localizados os artigos, em que se observa-se que a produção científica brasileira a respeito da temática Fator Impacto encontra-se majoritariamente em periódicos de acesso aberto, uma vez que somente 9 (12,3%) dos 73 artigos foram disponibilizados em 5 periódicos distintos de acesso fechado. Em 8 dos 9 artigos, o Fator de Impacto é abordado como procedimento metodológico (C1), nos 4 seguintes periódicos: International Nursing Review (Reino Unido); Enfermeria Clinica (Espanha), Journal of Neurolinguistics (Reino Unido) e Scientometrics (Holanda).
Assim, os artigos que utilizam o FI como procedimento metodológico e disseminam o conhecimento em acesso restrito estão essencialmente indexados na área de ciências da saúde.
Distribuição das quantidades de artigos publicados nos periódicos
Fonte: Dados da pesquisa.1 OA = Open Access (sim, não)
A partir da Tabela 2, observa-se que a disseminação das pesquisas brasileiras que abordam o indicador FI alinham-se aos resultados dos estudos de Van Leeuwen e Wouters (2013,2017), que identificaram o periódico Scientometrics, como o principal canal de disseminação de pesquisas envolvendo o FI, no período de 1996 a 2015, segundo levantamento na base WoS. Também o periódico PLoS ONE,presente na Tabela 1, aparece entre os cinco mais dedicados aos estudos de FI desses autores, ratificando a compreensão que os estudos brasileiros têm buscado os principais canais de interlocução em âmbito internacional quanto a essa temática.
Destaca-se, ainda, que dos 44 periódicos distintos que disseminaram os 73 artigos analisados, somente 3 periódicos são específicos da área da Ciência da Informação, à qual o FI está consignado dada sua origem e subárea de consignação (Bibliometria); são eles: Ciência da Informação, Perspectivas em Ciência da Informação e Scientometrics, que juntos publicaram 8 (11%) dos artigos analisados. Ressalta-se que dos 3 periódicos da Ciência da Informação, 2 são brasileiros. É destacável o fato de nenhum dos 7 artigos pertencentes ao grupo C2, em que o FI é abordado como objeto de crítica, ter sido publicado em periódico da Ciência da Informação, sugerindo que o debate crítico a respeito deste indicador tem passado ao largo da Ciência da Informação, área em que o indicador foi proposto e que constitui âmbito consignado aos estudos, debate, reflexão, proposição e desenvolvimento dos indicadores bibliométricos. Dos 3 artigos em que o FI é objeto de estudo (C3), apenas 2 artigos foram publicados em periódicos brasileiros da Ciência da Informação.
Este resultado é discrepante daquele obtido por Van Leeuwen e Wouters (2017), uma vez que constataram que os periódicos que mais publicam assuntos relacionados ao FI são do campo da Biblioteconomia e Ciência da Informação, que ocupam a primeira posição do ranking, seguido da área de Medicina (geral e interna), o que evidencia uma realidade distinta dos estudos brasileiros ligados ao assunto FI e indica uma carência de pesquisas brasileiras proveniente da área de Ciência da Informação.
Ademais, na Tabela 2, somente 11 (15%) do total de artigos analisados foram publicados em periódicos não brasileiros, sendo 10 deles relativos a pesquisas em que o FI configura procedimento metodológico (C1), o que evidencia a incipiente participação brasileira nos estudos relativos ao tema em âmbito internacional.
A Tabela 3 mostra a área do conhecimento dos periódicos, segundo a classificação presente no portal SCImagoJournal&CountryRankings (Scopus), de acordo com as categorias (C1, C2 e C3).
Área do conhecimento à qual o periódico está indexado na Scopus
Fonte: Elaborado pela autora.
Na Tabela 3, observa-se que, dos 44 periódicos indexados nas bases SciELO, Scopus e WoS, 18 (41%) estão indexados na área de Medicina. Esta constatação alinha-se à observação de diversos estudiosos (PEREIRA; ESCUDER, 1999; MENEGHINI; PACKER, 2006; FREITAS et al., 2017; FREITAS, 2017) que apontam um aumento significativo da produção científica na área de Medicina, quando comparado a outras áreas do conhecimento no Brasil.
Considera-se que uma hipótese para esse resultado consiste do fato de, na área de Medicina, um dos principais critérios de classificação dos periódicos para a avaliação da produção bibliográfica dos programas de pós-graduação ser o uso do FI para definir o Qualis-Periódico. Consequentemente, os pesquisadores tendem a contribuir com pesquisas que abordam esse indicador (BARATA, 2016; GARCIA; DUARTE, 2017).
Outra hipótese decorre do fato de os periódicos relevantes da área de medicina indexados às bases de dados internacionais terem alto valores de FI, o que leva os pesquisadores a buscarem publicar nesses periódicos de alto valor de FI, refletindo na familiaridade e incentivo científico relativo a esse indicador. (BARATA, 2016; GARCIA; DUARTE, 2017; VAN LEEWEN; WOUTERS, 2017).
Entretanto, Van Leewen e Wouters (2013) destacam que a principal razão de as áreas da Biblioteconomia e Ciência da Informação e da Medicina publicarem mais artigos relativos à temática FI é o aumento de pesquisas abordando a dimensão teórico-metodológica e de aplicação, respectivamente, nas quais o FI assume um papel central das pesquisas.
Nesse contexto, a Ciência da Informação desempenha um importante papel no desenvolvimento de indicadores bibliométricos, principalmente no histórico de publicação do assunto que envolve o FI (VAN LEEWEN; WOUTERS; 2017).
Os resultados presentes na Tabela 3 alinham-se àqueles observados na Tabela 1, ao evidenciar o caráter interdisciplinar do conhecimento gerado em periódicos da Ciência da Informação, em especial, os estudos bibliométricos destinados a compor a metodologia de metapesquisas nas diferentes áreas do conhecimento, ao proporcionar indicadores para análise do domínio estudado ou pelo uso do FI, como filtro para identificar os periódicos com alto impacto ou baixo impacto.
Ainda (Tabela 3), outras duas áreas que também apresentam uma presença significativa (9,1%) em relação à indexação dos periódicos são: Agricultura e Ciências Biológicas e Ciências Sociais. Além disso, destaca-se uma porcentagem significativa (22,7%) de periódicos indexados em duas ou mais áreas do conhecimento. Entre eles, o periódico Brazilian Journal of Medical and Biological Research, com dois artigos publicados, é indexado nas áreas: Bioquímica, Genética e Biologia Molecular, Imunologia e Microbiologia, Medicina, Neurociência, Farmacologia, Toxicologia e Farmacêutica.
Neste estudo, realizou-se uma análise considerando apenas os artigos que tinham palavras-chave totalizando 65 artigos (8 artigos não fizeram menção a nenhuma palavra-chave), sendo que 56 artigos foram classificados como componentes do grupo C1- “FI como procedimento de pesquisa”, 7 artigos do grupo C2 - “Críticas ao uso do FI" e 2 artigos do grupo C3- “FI como objeto de pesquisa".
A Tabela 4 apresenta a frequência das palavras-chave registradas nos 56 artigos componentes do grupo C1- “FI como procedimento de pesquisa”. Destaca-se, inicialmente, que a palavra-chave “Fator de Impacto” apareceu em 37 dos 56 artigos, o que sugere que aproximadamente 66% dos artigos deste grupo (C1) consideraram importante indexar o indicador utilizado (FI) entre os termos que descrevem o estudo.
Optou-se por não listar o termo FI nas Tabelas 4, 5 e 6, deixando o espaço para a análise do estudo do contexto em que este apareceu.
Palavraschave nos artigos em que FI é utilizado como procedimento de pesquisa C1
Fonte: Dados da pesquisa. 1 Bibliometria = Bibliometria, Cientometria, análise bibliométrica, indicador bibliométrico
2 Periódicos = periódicos, revistas, periódicos brasileiros;
3 artigos de revista = artigos de revista, artigo de jornal
4 bases de dados = bases de dados, SciELO, bases de dados bibliográficas
Observa-se, na Tabela 4, que a palavra-chave Bibliometria e suas congêneres e afins são aquelas que aparece com a maior intensidade nos artigos em que o FI é utilizado como método, evidenciando que os autores têm ciência de que este indicador é uma especialidade da Ciência da Informação, em seu campo da Bibliometria.
A seguir, a palavra-chave Periódicos e suas correlatas apareceram com frequência também significativa nos estudos em que FI compõem os procedimentos metodológicos, indicando que os autores estão utilizando este indicador no contexto dos periódicos, o que compõem uma descrição, usualmente, natural para o FI, considerando que foi criado com a finalidade de avaliar o impacto dos periódicos. O fato de as palavras-chave artigo de revista, base de dados, Brasil e publicação também apresentarem uma frequência destacada em relação às demais, sugere que os artigos analisados tendem a utilizar o FI no contexto da avaliação da publicação brasileira a partir da sua presença nas bases de dados.
A Figura 2 apresenta a proximidade das palavras com o FI no grupo da categoria C1.
Figura 2
Palavras-chaves relacionadas com o termo FI – grupo C1.
Fonte: Dados da pesquisa.
A Figura 2 mostra dois grupos de palavras mais próximas do FI à direita (indicada pelo círculo laranja), um primeiro formado pelos termos “indexação”, “índice h” e “método”, evidenciando o contexto teórico deste indicador e um segundo formado pelos termos Oftalmologia, pesquisa médica e publicação, permitindo a visualização do principal contexto em que o FI foi aplicado. Assim, nesta categoria, a maioria dos artigos foi publicada na área de medicina e de periódicos ligados a área da saúde. Esse resultado se aproxima daquele obtido por Van Leewen e Wouters (2017), que utilizando uma técnica similar da proximidade de palavras-chave, mapearam seis agrupamentos de termos relacionados ao FI, sendo um deles relacionado a área da Medicina, e um aumento de publicações como foco em discussões relativas aos indicadores bibliométricos, em especial o FI.
Em um estudo da área médica da Alemanha e outros países europeus, Kaltenborn (2004) questionou a utilização do FI como um indicador para alocar recursos financeiros aos departamentos com disciplinas heterogêneas, tais como genética molecular, cirurgia, medicina dentária, informática médica de forma agrupada, sem considerar cada área separadamente.
Do lado esquerdo do termo FI, observa-se um terceiro grupo de termos destacado pelo círculo verde, composto pelos termos catálise, bibliografia e avaliação educacional, que sugere a utilização do FI como filtro de pesquisa. Em seu estudo sobre proximidade de palavras-chave, SAES (2005) apontou que a associação das palavras infere um campo ou domínio de conhecimento. No presente estudo, busca-se apenas identificar a relação das palavras-chave e o termo FI, em uma tentativa de visualizar o contexto em que este está sendo aplicado, sem todavia, a pretensão de determinar um campo ou domínio de conhecimento, uma vez que as associações observadas não são suficientes para esta caracterização, mas pode indicar o comportamento de um grupo.
A Tabela 5 apresenta a frequência das palavras-chave registradas nos sete artigos alocados no grupo C2- “Críticas ao uso do FI" para visualizar o contexto em que se inserem os estudos nos quais o FI é objeto de estudo, de forma crítica.
Palavraschave dos artigos presentes na categoria C2
Fonte: Dados da pesquisa. 1Bibliometria = Bibliometria, Cientometria, ferramentas bibliométricas, instrumentos bibliométricos, indicador bibliométrico.
2 Índice de citação = índice de citação e índices de citação
Esclarece-se, inicialmente, que a palavra-chave “Fator de Impacto” apareceu em todos os 7 artigos componentes do grupo C2, indicando que todos os autores estavam cientes da necessidade da indexar o artigo corretamente a fim de que os estudos críticos possam ser localizados por outros estudiosos interessados neste indicador.
Assim como entre os artigos em que FI aparece como procedimento metodológico, o termo Bibliometria e suas cognatas ou palavras afins aparece com a maior intensidade quando o FI é objeto de estudo em uma perspectiva crítica (Tabela 5), evidenciando que também nestes estudos os autores sinalizam o campo científico em que se insere o objeto de estudo. A seguir, o termo índice de citação e seu congênere aparece também com significativa frequência nestes estudos, especificando ainda mais o âmbito do trabalho. Os demais termos presentes na Tabela 5 sugerem que os estudos componentes do grupo C2 estão voltados para uma crítica às políticas científicas destinadas à avaliação da produção científica, considerada centrada no produtivismo.
Van Leewen e Wouters (2017) encontraram um dos grupos com características semelhantes a do grupo C2, com termos correspondendo à avaliação de pesquisa, tais como, produtividade de países e instituições, indicadores de avaliação, política editorial, etc.
A Figura 3 apresenta a proximidade das palavras com o FI. No entanto, a baixa frequência das palavras possibilitou apenas a indicação dos seus posicionamentos em relação ao termo FI.
Observa-se que para a categoria C2 - “Críticas ao uso do FI”, as palavras mais próximas foram “índice de citação” e índice h, pelo lado direito, e Capes e Bibliometria, pelo lado esquerdo. Embora, a baixa frequência de palavras não permita indicar a intensidade ou grau de associação, a proximidade com estas palavras evidencia que a crítica associa-se ao contexto do uso do FI pela Capes, no âmbito dos indicadores bibliométricos de citação.
Destaca-se que os sete artigos componentes da categoria C2 foram disseminados em periódicos indexados em sua maioria na área da Medicina, seguida de Agricultura e Ciências Biológicas e Educação, apontando as limitações deste indicador e as consequências nas pesquisas científicas.
Nesse sentido, Silva (2010) criticou o cálculo do FI como um dos indicadores do sistema Qualis/CAPES nas áreas da Medicina e Saúde e refletiu sobre os problemas que este indicador pode acarretar na classificação dos periódicos, consequentemente influenciando na qualidade dos periódicos.
Figura 3
Palavras-chave relacionadas com o termo FI – grupo C2.
Fonte: Dados da pesquisa.
A Tabela 6 apresenta a frequência das palavras-chave registradas nos dois artigos (vale ressaltar que dos três artigos deste grupo, apenas um artigo não mencionou nenhuma palavra-chave) alocados no grupo C3- “FI como objeto de pesquisa", possibilitando a visualização do contexto em que se inserem os estudos nos quais o FI é objeto de estudo, os quais contribuem para reflexões e aprimoramento deste indicador.
Palavraschave nos artigos em que FI é objeto de estudo C3
Fonte: Dados da pesquisa. 1 avaliação científica = avaliação científica, avaliação da produção científica
Destaca-se que também no contexto da abordagem do FI como objeto de pesquisa (C3), o termo “Fator de Impacto” apareceu nos dois artigos que arrolaram palavras-chave, evidenciando que também neste contexto os autores estavam cientes da necessidade da descrever o artigo em função do seu objeto de estudo (FI), para que seus resultados possam ser localizados por outros estudiosos interessados em estudá-lo.
Observa-se ainda, que a finalidade dos resultados é contribuir para a avaliação e política científica. Para a categoria (C3), dado ser um universo pequeno (três artigos), não foi possível analisar as relações das palavras-chave com o termo FI. Destaca-se que dois artigos classificados na categoria C3 foram disseminados na área de Ciências Sociais, mais especificamente na Ciência da Informação. Considera-se que estes artigos são significativos por envolver os aspectos conceituais e metodológicos do FI. Um deles foi publicado no periódico Ciência da Informação (STREHL, 2005) e o outro artigo foi publicado no periódico Perspectivas em Ciência da Informação (MUGNAINI, 2006), ambos da área de Ciência da Informação. Esclarece-se que estes trabalhos versaram sobre os aspectos conceituais, metodológicos e de utilização do FI, evidenciando os esforços desses pesquisadores e outros no entendimento da concepção e utilização desse indicador.
Van Leewen e Wouters (2017) identificaram um grupo de estudos relativo ao FI com características semelhantes à do grupo C3 da presente pesquisa, denominado como núcleo da pesquisa cientométrica, com os termos avaliação científica, métricas, índice de citação, métodos, cálculos, novos indicadores biliométricos, entre outros, o que demonstra a preocupação dos pesquisadores com os aspectos conceituais, metodológicos e de o contexto de aplicação do FI.
4 CONSIDERAÇÕES FINAIS
Esta pesquisa analisou os artigos brasileiros publicados em periódicos indexados as bases SciELO, Scopus e WoS, que versam sobre o Fator de Impacto e destacam a sua presença no estudo, seja pela presença do termo no título, resumo ou palavras-chaves do artigo, a fim de identificar qual o papel ocupado por esse indicador no estudo - procedimento de pesquisa, objeto de crítica, objeto de estudo - e o contexto em que ocorre, via palavras-chave elencadas pelos autores, a fim de contribuir para a visualização do espaço ocupado na agenda científica brasileira.
Observou-se que a maior parte dos artigos estava dispersa em diferentes periódicos indexados na base SciELO, em especial indexados nas áreas de Medicina, Agricultura e Ciências Biológicas e Ciências Sociais. Ademais, os resultados encontrados divergiram da tendência apontada na literatura internacional, que aponta a área das Ciência Sociais, em especial, Biblioteconomia e Ciência da Informação, como a que tem contribuído mais fortemente para a discussão e desenvolvimento desse indicador. Em âmbito brasileiro, observou-se que a área das Ciências Sociais, mais especificamente da Ciência da Informação, tem contribuído com poucos artigos para a discussão das bases conceituais e metodológicas do FI, embora em âmbito mundial, a tendência é que estas discussões sejam iniciadas pela área da Ciência da Informação e Biblioteconomia.
A partir da análise de coocorrência de palavras-chave, observou-se que no grupo que aborda o FI como procedimento metodológico, sua aplicação ocorre em dois contextos - teórico e da pesquisa médica. Além disso, esses estudos utilizam também o FI como filtro de pesquisa.
Observou-se que na quase totalidade dos artigos analisados, o Fator de Impacto constitui procedimento de pesquisa, indicando que são pesquisas metateóricas. Nesse contexto, evidencia-se a natureza interdisciplinar do conhecimento dos estudos bibliométricos, subcampo da Ciência da Informação, ao contribuírem para o avanço do conhecimento nos diferentes campos científicos, por meio dos seus indicadores, uni-variados e relacionais como aporte para os estudos de Análise do Domínio. Além disso, nos estudos esporádicos em que o FI apareceu como objeto de estudo, a pesquisa apresentou uma perspectiva da crítica à sua utilização.
Neste sentido, destaca-se a necessidade do desenvolvimento de estudos brasileiros que contribuam para as reflexões, discussões e aprimoramento do conhecimento relativo ao Fator de Impacto.
Destaca-se, nesse contexto, a necessidade de estudos futuros que investiguem as características das pesquisas que tratam do FI e se essas características demonstram um avanço científico em torno desse indicador ou se apenas replicam as constatações informadas pela comunidade científica.
REFERÊNCIAS
BARATA, R. C. B. Dez coisas que você deveria saber sobre o Qualis. RBPG, Brasília, v. 13, n. 30, p. 013 – 040, jan./abr. 2016.
BOYLE, F.; SHERMAN, D. The product and its development. The Serials Librarian, Philadelphia, v. 49, n. 3, p. 147-153, 2006.
BLANFORD, C. F. Impact factors; citation distributions and journal stratification. J. Mater Sci, Netherlands, v. 51, p. 10319–10322, 2016.
COURTIAL, J. P. A co-word analysis of Scientometrics. Scientometrics, Netherlands, v. 32, n. 3, p. 251-260, 1994.
CROSS, J. Impact factors – the basics. In: CROSS, J. The E-Resources Management Handbook. Holanda, 2009, p. 1-12. doi:10.1629/ 9552448–0-3.17.
FAPESP. FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO. Análise da produção científica a partir de publicações em periódicos especializados. In: FAPESP. FUNDAÇÃO DE AMPARO À PESQUISA DO ESTADO DE SÃO PAULO. Indicadores de ciência, tecnologia e inovação em São Paulo. São Paulo, 2010.
FERNANDÉZ-LLIMÓS, F. Análisis de la cobertura del concepto de Pharmaceutical Care en fuentes primarias y secundarias de información. Granada: Universidad de Granada, 2003.
FREITAS, J. L. et. al. El interdominio de los estudios métricos de la información en Iberoamérica y Sudáfrica: análisis en la base SciELO en el período 1978-2013. Revista Cubana de Información en Ciencias de la Salud, Cuba, v. 28, n. 1, 2017.
FREITAS, J. L. Dimensões da pesquisa brasileira no interdomínio dos estudos métricos da informação em medicina. 2017, 201 f. Tese. (Doutorado em Ciência da Informação) – Universidade Estadual Paulista, Marília, 2017.
GARCIA, L. P.; DUARTE, E. Epidemiologia e Serviços de Saúde: revista do Sistema Único de Saúde do Brasil classificada como Qualis/Capes B2 na área da Saúde Coletiva. Epidemiol. Serv. Saúde, Brasília, vol. 26, n. 2, p. 243-244, 2017. doi:10.5123/s1679-49742017000200001
GARFIELD, E.; SHER, I. H. 1961 Science Citation Index. Philadelphia: Institute for Scientific Information, 1963.
GLÄNZEL, W.; MOED, F. H. Journal impact measures in bibliometric research. Holanda: Scientometrics, 2002.
GLÄNZEL, W. Bibliometrics as a research field: a course on theory and application of bibliometric indicators. Coursehandouts, 2003.
HE, Q. Knowledge discovery through co-word analysis. LibraryTrends, Illinois, v. 48, n. 3, p. 133-159, 2008.
IGAMI, M. P. Z. Elaboração de indicadores de produção científica com base na análise cientométrica das dissertações e teses do IPEN. Instituto de Pesquisas Energéticas e Nucleares: São Paulo, 2011.
KALTENBORN, F. K. Validity and fairness of the impact factor. German: Birkhäuser, 2004.
LÓPEZ PIÑERO, J. M.; TERRADA, M. L. F. Los indicadores bibliométricos y la evaluación de la actividad médico-científica: los indicadores de producción, circulación y dispersión, consumo de la información y repercusión. Revista Medicina Clínica, Espanha, v. 98, n. 4, 1992.
MARCHLEWSKI, C.; SILVA, M. P.; SORIANO, B. J. A Influência do sistema de avaliação Qualis na produção do conhecimento científico: algumas reflexões sobre a Educação Física. Motriz, Rio Claro, v. 17, n. 1, jan-mar., 2011.
MENEGHINI, R. O projeto Scielo (Scientific Electronic Library on Line) e a visibilidade da literatura científica "Periférica". Química Nova, São Paulo, v. 26, n. 2, São Paulo, 2003.
MIGUEL, S. Revistas y producción científica de América Latina y El Caribe: su visibilidad en SciELO, RedALyC y SCOPUS. Revista Interamericana de Bibliotecología, Colombia, v. 34, n. 2, 187-199, 2011.
MUGNAINI, R. Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional. 2006. 235 f. Tese – (Doutorado em Ciência da Informação) Escola de Comunicações e Artes da Universidade de São Paulo, São Paulo, 2006.
NEFF, M. W.; CORLEY, E. A. 35 years and 160,000 articles: a bibliometric exploration of the evolution of ecology. Scientometrics, Holanda, v. 80, n. 3, p. 657-682, 2009.
OKUBO, Y. Bibliometric Indicators and analysis of research systems: methods and examples. In: STI WORKING PAPERS, 1997, Paris: OECD, 1997.
PACKER, L. A.; MENEGHINI, R. Articles with authors affiliated to Brazilian institutions published from 1994 to 2003 with 100 or more citations: I - the weight of international collaboration and the role of the networks. An. Acad. Bras. Ciências, Rio de Janeiro, v. 78, n. 4, 2006.
PEREIRA, J. C. R.; ESCUDER, M. M. L.; ZANETTA, D. M. T. Brazilian sciences and government funding at the State of São Paulo. Scientometrics, Netherlands, v. 43, n. 2, p. 177-188, 1998.
SAES, S. G. Aplicação de métodos bibliométricos e a “co-word analysis” na avaliação da literatura científica brasileira em Ciências da Saúde de 1990 a 2002. São Paulo: Faculdade de Saúde Pública da Universidade de São Paulo, 2005.
SEGLEN, P. O. Citations and journal impact factors: Questionable indicators of research quality. Allergy, Dinamarca, v. 52, p. 1050-1056, 1997.
SILVA, R. M. Qualis 2011-20123 – os três erres. Clinics, São Paulo, v. 65, n. 10, jan. 2010.
SIMONS, K. The misused Impact Factor. Science, USA, v. 322, n. 10, 2008.
SPINAK, E. Indicadores cienciométricos. Ciência da Informação, Brasília, v. 27, n. 2, p. 141-148, 1998.
STREHL, L. O fator de impacto do ISI e a avaliação da produção científica: aspectos conceituais e metodológicos. Ciência da Informação, Brasília, v. 34, n. 1, p. 19-27, jan./abr. 2005.
WALTMAN, L. The importance of taking a clear position in the impact factor debate. In: CWTS (Centre for Science and Technology Studies) Meaningful metric, Leiden University, Netherlands, 2016. Disponível em: https://www.cwts.nl/blog?article=n-q2w2c4. Acesso em: 06 dez. 2016.
WALTMAN, L.; TRAAG, V. Use of the journal impact factor for assessing individual articles need not be wrong. In: CWTS (Centre for Science and Technology Studies) Meaningful metric; Leiden University, Netherlands, 2017. Disponível em: https://www.cwts.nl/blog?article=n-q2w2c4. Acesso em: 03 ago. 2018.
URBIZAGÁSTEGUI, A. R. A Bibliometria, Informetria, Cienciometria e outras “Metrias” no Brasil. In: ENCONTRO BRASILEIRO DE BIBLIOMETRIA E CIENTOMETRIA, 5, Recife. Anais eletrônicos… EBBC, 2014.
VAN LEEUWEN, T.; WOUTERS, P. Analysis of journal impact factor research in time: development of a specialty? In: Proceedings of ISSI, 14th International Society of Scientometrics and Informetrics Conference, Austria, v. 1, 2013.
VAN LEEUWEN, T.; WOUTERS, P. F. Analysis of Publications on Journal Impact Factor Over Time. Front. Res. Metr. Anal, Switzerland, v. 2, 2017. Disponível em: https://www.researchgate.net/publication/316457235_Analysis_of_Publications_on_Journal_Impact_Factor_Over_Time Acesso em: 20 abr. 2018.
VELHO, M. L. Como medir a Ciência? Revista brasileira de tecnologia, Brasília, v. 16, n.1, p.35-41, jan/fev 1985.
Notas
Informação adicional
Editores do artigo: Enrique Muriel-Torrado, Edgar Bisset Alvarez, Camila Barros.
