1 Introdução

As políticas públicas nacionais voltadas à Ciência, Tecnologia e Inovação (CT&I) dos diferentes países são, geralmente, similares nos aspectos relativos às bases conceituais, à estrutura organizacional, ao financiamento e às formas de avaliação, desde o início de sua institucionalização até os dias atuais (SAGASTI, 1989; SALOMON, 1989; VELHO, 2004).

No que se refere às formas de avaliação das atividades em CT&I, os procedimentos metodológicos e os instrumentos utilizados para sua medição devem ser sensíveis ao contexto conceitual, social, econômico e histórico da sociedade em que se desenvolvem. Nesse contexto, a metodologia para essa avaliação pode envolver dois componentes: os critérios de mensuração da atividade científica e a relação entre indicadores estabelecidos para avaliação. (SPINAK, 1998). Além disso, o processo de avaliação necessita de integração entre os elementos inerentes à avaliação, como a coleta e o tratamento dos dados, cálculo dos indicadores e o monitoramento, constituindo como componentes da política científica, buscando identificar e analisar o contexto em que o fenômeno observado ocorre, visando à proposição de metas, objetivos e ações para o desenvolvimento científico.

Neste contexto, é necessário dispor de métodos adequados para a descrição e a análise do sistema científico de um país e a forma com que esse se relaciona e impacta na sociedade, uma vez que não existe um método único capaz de identificar e visualizar tal fenômeno. Essa recomendação vem sendo discutida na comunidade científica, como pode ser observado em alguns manifesto cujos signatários são estudiosos da área: San Francisco Declaration on Research Assessment (DORA), relativa à utilização do fator de impacto (FI) na avaliação de pesquisa e evidenciada em manifestos internacionais; manifesto de Leiden (HICKS et al., 2015) que versa sobre o uso adequado de indicadores de avaliação científica em diferentes contextos, visto que o único modelo de avaliação não se aplica a todos os contextos.

Desse modo, salienta-se a relevância da definição dos indicadores a serem utilizados, cada um retrata um aspecto particular de uma questão complexa e de múltiplas perspectivas. Por outro lado, os indicadores relacionam com a política adotada e, ainda, subsidiam o entendimento da estrutura, o funcionamento, as prioridades e a evolução da CT&I. Neste cenário, destaca-se a importância da garantia precedente de eficiência e eficácia do método empregado no processo de seu acompanhamento, sem prescindir da gestão da política de CT&I, e o conceito dominante de Ciência, decorrente dos paradigmas subjacentes adotados por seus pesquisadores (SPINAK, 1998; QUIÑONES, 2008; VELHO, 2011).

Nesta perspectiva, no contexto brasileiro, no início da década de 1950, a fim de viabilizar e sistematizar a proposição de políticas nacionais voltadas para o avanço científico e tecnológico do país, por meio da ampliação do número de pessoal qualificado, centros de pesquisa, universidades e cursos de pós-graduação, criaram-se as instituições de fomento como o Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e a Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES). Embora as primeiras experiências de estudos de pós-graduação tenham sucedido em 1930, em algumas universidades organizadas em cátedras e iniciativa de pequenas dimensões, apenas em 1965 o Ministério da Educação regulamentou e reconheceu a pós-graduação como um ensino de nível superior (diferenciando o nível de mestrado e doutorado), com suas principais características fixadas no parecer de 977, chamada de Parecer Sucupira, aprovado pelo Conselho Federal de Educação (BALBACHEVSKY, 2005). Em 1968, o governo reformou o ensino superior brasileiro, modernizou e expandiu as instituições públicas, especificadamente, as universidades federais, criando condições propícias para as articulações de atividades de ensino e pesquisa (MARTINS, 2009). A partir dessas modificações acadêmicas, propostas pela reforma, foi criado um plano nacional de pós-graduação, conduzido pelas agências de fomento do governo federal, com a CAPES, apresentando um papel de destaque na formulação de política para a pós-graduação, na promoção de atividades, gestão de recursos financeiros e de outras fontes de fomento nacional e internacional (BRASIL, 2011).

Em meados de 1970, a CAPES implantou um sistema de avaliação de cursos de pós-graduação baseado no julgamento por pares (comissões composta de assessores de avaliação), visando garantir a qualidade acadêmica e o fortalecimento das bases científicas (MARTINS, 2009). O acompanhamento dos cursos foi estabelecido pelas diretrizes do Conselho Técnico-Científico da Educação Superior (CTC-ES), com os resultados da avaliação informados apenas às instituições, para as quais eram atribuídos um dos seguintes conceitos: A - muito bom; B - bom; C - regular; D – fraco; e E - insuficiente (BARATA, 2016). Ao longo do tempo, os processos avaliativos subsidiaram na determinação de padrões de qualidade de pesquisa, valorizando e fomentando determinados padrões de publicações e de interação com a comunidade internacional (COUTINHO, 1996).

Na década de 1990, os indicadores quantitativos baseados na contagem de artigos publicados foram agregados aos conceitos avaliativos (BRASIL, 2011). Todavia, uma mudança expressiva no sistema de avaliação dos programas de pós-graduação brasileiros ocorreu em 1998, com a inclusão das seguintes dimensões: proposta do programa, corpo docente, atividades de pesquisa, atividades de formação, teses e dissertações, produção intelectual e análise de diferentes tipos de indicadores (BALBACHEVSKY, 2005; BARATA, 2016). Nesse momento, propôs-se, também, a avaliação trienal da qualidade da produção científica dos programas de pós-graduação, por meio da qualificação e da categorização dos periódicos em que a produção científica foi disseminada, privilegiando os periódicos indexados às grandes bases de dados de relevância mundial e de um sistema de avaliação por pares (BARATA, 2016).

Atualmente, a avaliação dos cursos de pós-graduação é realizada por área do conhecimento dentro do Sistema Nacional de Pós-Graduação (SNPG) da CAPES, o qual é constituído por dois processos distintos: “Entrada” (Avaliação de Propostas de Cursos Novos); e “Permanência” (Avaliação Periódica dos Cursos). Na dimensão da Avaliação Periódica dos Cursos, o processo avaliativo é composto pelos documentos: “Fichas de Avaliação”, “Relatórios de Avaliação” e “Documentos de Área”, que sintetizam os resultados finais da avaliação dos cursos examinados. Os quesitos de avaliação presentes no Documento de área são compostos pelas dimensões: (1) Proposta do programa, (2) Corpo docente, (3) Corpo discente, teses e dissertações, (4) Produção intelectual e (5) Inserção social e relevância. Dentro do Sistema de Avaliação Periódica dos Cursos, desde que a estrutura e as regras gerais de avaliação sejam cumpridas, as diferentes áreas do conhecimento podem estabelecer critérios específicos para a classificação da sua produção científica. As grandes áreas de avaliação como Ciências Exatas e da Terra, Ciências Biológicas, Engenharias, Ciências da Saúde, Ciências Agrárias e Multidisciplinares utilizam critérios que combinam os aspectos de circulação, sendo avaliada por meio de base de dados, indicadores bibliométricos (um ou mais indicadores) obtidos por uma ou mais fontes de dados (BARATA, 2016).

Todavia, mesmo com a possibilidade de particularização dos critérios de avaliação da produção científica em diferentes áreas do conhecimento, o sistema de avaliação Qualis tem sido objeto de críticas por parte da comunidade acadêmica e dos pesquisadores (SILVA, 2010; MARCHLEWSKI; SILVA; SORIANO, 2011; KELLNER, 2017).

No caso específico da subárea Comunicação e Informação da área de Ciências Sociais Aplicada, a dimensão Produção Intelectual compreende 40% da avaliação o mestrado acadêmico e doutorado, a qual é dividida em 4 componentes de pesos e critérios distintos, sendo uma delas as “Publicações qualificadas do programa por docente permanente”, com o sistema Qualis Periódico, constituindo uma das partes deste processo avaliativo (BRASIL, 2014).

O Qualis Periódico/CAPES constitui um sistema de classificação dos periódicos em que a produção científica da pós-graduação brasileira é disseminada, juntamente com outros critérios de avaliação desta produção (CAMPOS, 2010; BRASIL, 2011; BARATA, 2016). Desde sua proposição e ao longo dos triênios de avaliação, o Qualis passou por ajustes e foi reformulado em 2007, adotando os seguintes estratos: A1, A2, B1, B2, B3, B4, B5 e o estrato C, destinado aos periódicos que não atendem critérios mínimos estabelecidos ou não constituem periódicos científicos (CAMPOS, 2010). Além disso, indicadores bibliométricos passam a integrar esse sistema de avaliação, entre eles, destaca-se o fator de impacto (FI).

O FI de um periódico científico é definido como um tipo específico de média de citações por artigo em uma dada janela temporal de dois anos, destinado a avaliar o impacto de revistas e periódicos científicos, a partir das bases de dados do Institute for Scientific Information (ISI), atualmente Clarivate Analytics. Esse indicador foi criado por Eugene Garfield, no início da década de 1960, para selecionar revistas e periódicos científicos (GARFIELD; SHER, 1963), mais tarde consolidado no Journal Citation Reports (JCR). Embora o FI seja um dos indicadores mais utilizados para avaliar o impacto e a visibilidade dos periódicos científicos (SPINAK, 1998; GLÄNZEL, 2003), críticas e limitações relativas à sua aplicação têm sido apontadas na literatura (SEGLEN, 1997; GLÄNZEL; MOED, 2002; FERNANDES-LLIMÓS, 2003; KALTENBORN, 2004; SIMONS, 2008; WALTMAN, 2016; WALTMAN; TRAAG, 2017).

Nesse contexto, o presente estudo tem por objetivo analisar o comportamento da variação do Fator de Impacto dos periódicos classificados no estrato A1 do Qualis Periódico, dentro da área de Comunicação e Informação. De forma mais específica, objetiva-se descrever as tendências de comportamento de variação do FI dos periódicos classificados como A1 nessa área de estudo, tomando como referência o seus valores calculado e divulgado pelo JRC (Web of Science - WoS) nos anos de 2012 e de 2015, visto que foram utilizados esses valores de FI no processo avaliativo da CAPES (BRASIL, 2014). Em seguida, identificar os periódicos e os seus fatores de impacto que apresentaram oscilações positivas, negativas ou que se mantiveram estáveis.

Justifica-se o estudo, a opção pela análise dos valores dos FI dos periódicos classificados no estrato A1 devido ao significativo impacto desses periódicos na avaliação dos programas de pós-graduação, em função da maior pontuação atribuída aos artigos publicados em periódicos do estrato A1, igual a 100, na média ponderada de artigos publicados por docente, nesta área, conforme descrição do documento (BRASIL, 2014). Além disso, os critérios para os periódicos classificados no estrato A1 da área de Comunicação e Informação, definidos nos “documentos de área” de 2013 e 2016 são: periódicos científicos indexados na base Web of Science (WoS) e/ou que apresentem FI do JCR. (BRASIL, 2014). No entanto, os valores de FI podem apresentar alteração de acordo com o ano de referência de seu cálculo, sendo divulgação pelo JRC (Clarivate Analytics). O processo de seleção ou exclusão de um periódico da base de dados WoS é definido por um conjunto de critérios e requisitos, sendo um processo que ocorre anualmente e envolvem vários fatores qualitativos e quantitativos tais como: padrão básico de edição, conteúdo editorial, foco internacional e análise de citação. A análise de citação do periódico desempenha um papel muito importante dentro desse processo, quando um periódico apresenta baixa taxa de citação poderá influenciar no cálculo do FI.

Dessa forma, afetará a sua posição de quartil da base em que o periódico estiver indexado, podendo assim, não fazer mais parte da coleção principal da WoS (SEGLEN, 1997; SIMON, 2008; TESTA, 2016). Para ilustrar essa situação, um estudo realizado com um conjunto de periódicos da África do Sul mostra o exemplo do periódico African Entomology que teve o FI de 0.455, posição de quartil Q3 e, em 2009, o FI de 0,420 posição de quartil Q4, indexado na base WoS, categoria Entomologia. Observa-se uma queda na posição do quartil. Esse fato aponta para a mudança na composição do domínio de periódicos, tornando mais difícil a competição de periódicos nacionais e privilegiando os periódicos internacionais (POURIS; POURIS, 2015). Outro estudo realizado com os periódicos de Matemática e Física apontou que o comportamento de variação dos valores de FI e dos quartis são decorrentes da instabilidade desse indicador e da composição da base WoS, sendo necessário realizar o monitoramento constante do comportamento do FI desses periódicos (FERRER-SAPENA et al., 2017).

2 Procedimentos metodológicos

Inicialmente, recuperou-se o conjunto de periódicos classificados como Qualis A1, consultados em abril/2017 na WebQualis (BRASIL, 2017) da área de Comunicação e Informação, presentes, simultaneamente, nos anos de 2012 e 2015. Esclarece-se que os dados do ano de 2012 antecederam o relatório do Documento de área de 2013 e os dados de 2015 antecederam o Documentos de área de 2016, ambos indexados na base de dados WoS. Vale ressaltar que o critério para os periódicos constituírem o estrato A1 nesta área é: ser “indexados na base Web of Science (WoS) e/ou apresentam FI do JCR (WoS)” (BRASIL, 2014). Por este motivo, considerou-se apenas essa base de dados neste estudo. Além disto, o ISI (Clarivate Analytics) é o responsável pelo cálculo e divulgação do indicador FI no JRC.

Em seguida, selecionou-se uma amostra não probabilística e de forma intencional, totalizando 26 periódicos. O procedimento adotado de amostragem intencional foi decorrente de algumas limitações ocorridas durante a busca dos dados, a saber: alguns periódicos não apresentavam valores de FI em nenhum dos períodos; outros faltavam o valor do FI em um dos períodos do estudo; outros foram classificados, simultaneamente, na mesma categoria de assunto Comunicação e Ciência da Informação e Biblioteconomia, sobrepondo os dois assuntos. Para cada periódico, a partir da consulta à base de dados JRC da WoS, foram obtidos os seguintes indicadores: valor do FI e o Quartil em que se encontra (Q1, Q2, Q3 e Q4). A busca destes dois indicadores decorre da sua relevância na composição do estudo do comportamento da variação do FI baseados nos trabalhos (POURIS; POURIS, 2015; FERRER-SAPENA et al., 2017).

Ressalta-se que todos os periódicos indexados na coleção principal da WoS são indexados em uma ou mais categoria de assunto, em relação à qual o periódico ocupa uma posição quartil, em função da ordenação (ranking) gerada a partir dos valores do FI do conjunto de periódicos indexados nesta categoria. Neste estudo, a maioria dos periódicos está indexada em apenas uma categoria do WoS: Ciência da Informação e Biblioteconomia. Para os periódicos que foram classificados em mais de uma categoria, considerou-se a categoria mais próxima da área de Ciências Sociais (CS), Comunicação ou Ciência da Informação e Biblioteconomia (CIB), conforme a descrição as categorias da WoS. Entretanto, nenhum dos periódicos foi classificado, simultaneamente, na mesma categoria Comunicação e Ciência da Informação e Biblioteconomia, portanto não havendo de coincidência de assuntos. O Quadro 1 apresenta a lista dos periódicos selecionados para o estudo e suas respectivas categorias de assunto (WoS).

De acordo com a informação da categoria de assunto (WoS) buscou-se a posição do quartil dos periódicos nessas categorias. Os indicadores foram registrados em Planilha Excel. Na sequência, para os 26 periódicos, calcularam-se as taxas de variação dos FIs de 2012 para 2015, a partir da fórmula:

A seguir, foram calculadas as estatísticas descritivas (mínimo, máximo, mediana, média, desvio padrão e coeficiente de variação) dos FIs e Taxa de variação do FI, para o conjunto de 26 periódicos analisados, por ano (2012 e 2015), a fim de verificar a tendência de comportamento da distribuição dos FIs em cada ano. Esclarece-se que o coeficiente de variação (CV) é uma medida de variabilidade relativa que permite comparar as distribuições dos indicadores quantitativos (FI2012, FI2015, Variação do FI) analisados quanto às suas variabilidades, calculado por:

Em que: S = desvio padrão e = média para o conjunto de dados analisados.

A partir dos valores obtidos para as taxas de variação do FI, criaram-se três categorias de periódicos: GN - grupo de periódicos que apresentou variação negativa para FI, ou seja, decréscimo do valor do FI de 2012 para 2015; GP1 - grupo de periódicos que apresentou variação positiva para FI entre 0% e 99%; e GP2 - grupo de periódicos que apresentou variação positiva para FI acima de 100%, para 2015, em relação a 2012. Na continuidade, construiu-se uma tabela de dupla classificação, levando em conta o quartil dos periódicos para os dois anos analisados, a fim de se visualizar a movimentação da categorização dos periódicos nos quartis em função dos seus respectivos valores de FI. Finalizando, a fim de se obter uma visualização das proximidades das oscilações dos FIs dos periódicos analisados, considerando todos os indicadores analisados na pesquisa, utilizou-se a técnica conhecida como Análise de Cluster hierárquica, em função do conjunto total de indicadores analisados (FI2012, FI2015, Variação do FI, Quartil2012, Quartil2015, Variação no Quartil). Esta análise permitiu encontrar subgrupos mais homogêneos, em função do próprio indicador tomado como critério do estrato A1, a saber, FI, e sua posição em relação ao total de periódicos (Quartil), em um olhar diacrônico (2012 e 2015).

Dessa forma, utilizou-se para Análise de Clusters, o método Ward, distância Euclidiana quadrada e sem padronização das variáveis, sendo o método que garantiu as suposições matemáticas e estatísticas (EVERITT, 2001). Além do mais, este método é o mais refinado em termos de uso das informações disponíveis e amplamente utilizado nos estudos bibliométricos da área da Ciência da Informação (LIBERATORE; HERRERO-SOLANA; GUIMARÃES, 2007; GRÁCIO; OLIVEIRA, 2014; CASTANHA; GRÁCIO, 2016). As análises estatísticas desta pesquisa foram feitas utilizando SPSS versão 21.0.

3 Resultados e discussão

A Tabela 1 apresenta os FIs, quartis (JRC), percentual de variação do FI (% variação FI) e situação da variação do quartil de 2012 para 2015 (Variação quartil) dos 26 periódicos da área de Comunicação e Informação, referentes ao estrato A1 de 2012 e 2015, apresentados em ordem alfabética.

Observa-se (Tabela 1) as estatísticas descritivas dos indicadores FI (2012 e 2015) e o % variação FI, em 2012, os FIs dos periódicos variaram entre 0,062, relativo ao periódico Investigación Bibliotecológica, e 2,133, relativo ao periódico Scientometrics. Neste ano, as medidas de posição dos FIs, média e mediana foram de 0,736 e 0,423, respectivamente, e o coeficiente de variação de 88,9% evidenciou a alta dispersão dos valores de FI dentro do estrato Qualis A1. Esta significativa variação entre os FI fica confirmada pela dispersão dos 26 periódicos nos quatro quartis, sendo: quatro periódicos pertencentes a Q1, cinco periódicos em Q2, oito periódicos em Q3 e nove periódicos em Q4, evidenciando que a maioria (65,4%) dos periódicos analisados se encontravam nos mais baixos quartis em 2012.

Observa-se, ainda que em 2015, os FIs variaram entre 0,043 e 2,981, relativos aos periódicos, Informação & Sociedade e Expert Systems with Applications, respectivamente. As medidas de posição dos FIs, média e mediana foram de 1,043 e 0,720, respectivamente, com coeficiente de variação igual a 87,5, indicando que a variabilidade entre os FIs dos periódicos analisados é alta. Apesar de alguns dos periódicos analisados terem apresentado deslocamento em relação ao quartil em que se encontravam em 2012, também, em 2015, a dispersão do FI destes periódicos mantevesse comprovada pela dispersão nos quatro quartis, sendo: seis periódicos pertencentes a Q1, cinco periódicos em Q2, seis periódicos em Q3 e nove periódicos em Q4 e, novamente, a maioria (57,7%) dos periódicos analisados estavam nos mais baixos quartis, correspondentes àqueles com menor impacto na comunidade científica, em relação ao conjunto total de periódicos indexados na área em estudo. Esses resultados evidenciam que, embora os 26 periódicos analisados estejam dentro da mesma categoria de excelência científica (Qualis A1) pela classificação da Avaliação da CAPES, 2012 e 2015, constatou-se uma grande dispersão nos valores dos fatores de impacto. Observa-se, também, na tabela 1, que alguns periódicos apresentaram um aumento expressivo do valor do FI de 2012 para 2015, com destaque para os periódicos Comunicar, cujo FI passou de 0,350, em 2012, para 1,438, em 2015, correspondendo a uma variação de 310,86%; Information Development com um crescimento do FI correspondente a 243,67%. Por outro lado, observaram-se periódicos com decréscimo do FI de 2012 para 2015, entre eles: Informação & Sociedade, com decréscimo de -72,26% no valor do FI de 2012 (FI = 0,155) para 2015 (FI = 0,043) e o periódico Transinformação, cuja variação foi de -31,14% de 2012 (FI = 0,167) para 2015 (FI = 0,115). Destaca-se, ainda, que todos os periódicos nacionais apresentaram um decréscimo no valor do FI de 2012 a 2015, ao passo que entre os periódicos estrangeiros essa situação foi menos frequente. Segundo Silva (2010), a cada nova regra estabelecida, a cada triênio, ocorrem mudanças que dão origem a uma nova classificação, podendo influenciar os periódicos brasileiros de alta qualidade. Por outro lado, a mudança da composição dos periódicos na base WoS aumenta a competição dos periódicos nacionais e privilegia os periódicos internacionais (POURIS; POURIS, 2015).

Em relação à variação, entre 2012 e 2015, do posicionamento do periódico nos quartis, observou-se que a maioria (14) manteve a posição no quartil, correspondendo a 54%, os quais somados aos sete periódicos que melhoraram sua posição quartil, atinge-se 81% dos periódicos. Têm-se como uma das hipóteses para este resultado a manutenção ou melhoria na posição quartil, uma manifestação do princípio mertoniano do ‘Efeito Mateus’, pelo qual o reconhecimento da excelência de um periódico quanto à relevância do seu conteúdo (em âmbito brasileiro, validada pelo Qualis Periódico), medido pelo impacto e uso dos seus artigos, fortalece o seu reconhecimento na comunidade, fomentando a demanda dos autores por disseminar suas publicações neste veículo de comunicação e facilitando, assim, a manutenção da produtividade com qualidade do periódico, em um processo retroalimentador.

O Gráfico 1 apresenta a dispersão dos valores do FI dos 26 periódicos analisados nos anos de 2012 e 2015, em que as linhas guia azuis vertical e horizontal representam as médias dos FIs em 2012 e 2015, respectivamente. Observa-se, no Gráfico 1, que somente oito (31%) periódicos apresentaram FIs acima da média nos 2 anos analisados (quadrante Q1), com destaque para os periódicos Scientometrics, Journal of Communication e Journal of the American Society for Information Science and Technology (JASIST), com valores para FI acima de 2,00 em ambos os anos. Ainda, todos os periódicos neste quadrante (Q1) são estrangeiros, publicados na língua inglesa. Por outro lado, a maioria (14 » 54%) dos periódicos apresentou FI abaixo da média nos dois anos (quadrante Q3), com todos os periódicos brasileiros com este comportamento. Entre as hipóteses para as tendências observadas no Gráfico 1, destacamos: a avaliação Qualis atribui um maior conceito para periódicos indexados nas bases de dados ISI e com maior fator de impacto, podendo, assim, desestimular a publicação em periódicos nacionais (MUGNAINI, 2006); o fato de um periódico não ser publicado na língua inglesa contribui para valores baixos do FI (SEGLEN, 1997; DONG; LOH; MONDRY, 2005).

Gráfico 1
Dispersão do FI dos periódicos analisados nos anos de 2012 e 2015
Fonte: Elaborado pelas autoras.

A tabela 2 apresenta os periódicos analisados agrupados nas três categorias construídas em função do comportamento do percentual de variação do FI de 2012 para 2015, agrupados nos três grupos, o quartil ao qual o periódico pertencia em 2012 e a influência na variação do quartil, em função da variação no valor do FI. Observa-se, nesta tabela, que no grupo GN - periódicos com decréscimo para o FI de 2012 para 2015-, esta diminuição no valor do FI levou a uma tendência de rebaixamento em relação ao enquadramento do quartil do periódico ou manutenção do quartil, pelo fato de estes já estarem enquadrados no quartil mais baixo (Q4) dos valores mais baixos de FI. Ainda, o rebaixamento do quartil Q3 para o quartil Q4 esteve, em geral, associado aos decréscimos mais intensos no valor do FI entre os anos analisados. Somente o periódico Information Research, apesar da diminuição de valor menos intenso, melhorou seu enquadramento de quartil, passando que Q4 para Q3. No grupo GP1, observa-se que, embora os periódicos tenham aumentado seu valor de FI, de 2012 para 2015, este acréscimo, em geral, não foi suficiente para alterar sua posição quartil, uma vez que sete dos 10 periódicos pertencentes a este grupo mantiveram suas posições. Os outros três periódicos tiveram destacados percentuais positivos de variação do FI, acima de 45%, com efeito na melhoria do enquadramento do quartil, passando do quartil Q2 para Q1. A Tabela 2 apresenta o percentual de variação dos FIs (variação FI em %), os quartis (JRC) e a situação da variação do quartil de 2012 para 2015 (Variação quartil) dos periódicos conforme agrupamento de variação FI.

No grupo GP2, em que ocorreram as maiores variações positivas do valor de FI de 2012 para 2015, observa-se que em três periódicos, embora tenham apresentado aumentos expressivos em seus FIs, o crescimento não foi suficiente para alterar o quartil em que estavam inseridos no primeiro ano de análise (2012), sendo dois deles pertencentes a Q4 e com taxa de crescimento do FI entre 105% e 135%, e o outro pertencente a Q3, com crescimento do FI de 243,67%. Por outro lado, três periódicos também pertencentes a Q4 e Q3, com incremento entre 160% e 311%, com este crescimento no FI, conseguiram subir em relação ao quartil que estavam em 2012. As altas taxas de crescimento para o FI observadas no grupo GP2 sugere uma melhoria do indicador, que em alguns casos leva à melhoria no ranking dos periódicos da área, avaliado aqui pelo quartil do FI ao qual pertence o periódico. Contudo, considera-se, também, cauteloso considerar os diversos fatores que podem contribuir para esta melhoria, como o aumento da taxa de citação, a readequação de critérios estabelecidos pelo ISI e dos responsáveis pelos periódicos, sendo, assim, necessária uma investigação minuciosa que apontem os fatores e o contexto em que ocorreu o fenômeno.

Desse modo, deve-se ter uma análise cuidadosa diante de uma alta variação dos valores dos FIs, uma vez que esta pode tanto ser reflexo da melhoria do periódico em análise, como um incremento no valor do FI para todos os periódicos da área ou um indicativo de decaimento do FI para alguns outros periódicos. Considerando que, usualmente, tem sido entendido que quanto maior o valor de FI de um periódico, “melhor” é este periódico, pelo fato de, em média, seus artigos serem mais citados na área em que está indexado, este indicador tem sido entendido como um sinônimo de qualidade.

Todavia, apenas o FI sozinho não fornece o conhecimento necessário para uma tomada de decisão (SEGLEN, 1997; SIMONS, 2008; WALTMAN, 2016; WALTMAN; TRAAG; 2017). Nesse sentido, destaca-se a contribuição da análise da posição quartil em que o periódico encontra-se, uma vez que esta dá indicativo do ranking do periódico analisado em relação aos demais indexados na área. Exemplos da contribuição deste indicador (Quartil), pode ser observada em especial na categoria GP2: o periódico Comunicar, com FI2012 = 0,350 e FI2015 = 1,438, apresentou um aumento expressivo, com alteração na posição no quartil de Q4 em 2012 para Q1 em 2015; o periódico Investigación Bibliotecológica, com FI2012 = 0,062 e FI2015 = 0,146, manteve sua posição quartil Q4, de 2012 para 2015. Por outro lado, em GN, o periódico Informação & Sociedade, com FI2012=0,155 e FI2015 = 0,043, manteve sua posição quartil Q4; e o periódico Scientometrics, com FI2012 = 2,133 e FI2015= 2,084, apresentou queda em sua posição do quartil, de Q1 em 2012 para Q2 em 2015.

Desse modo, o aumento de valor do FI não necessariamente implicou em uma mudança de quartil para uma posição melhor, uma vez que depende do comportamento e do desempenho do conjunto de periódicos considerados em cada categoria da base do ISI. A posição do FI no quartil está ligada as temáticas (categorias) das bases do ISI, comportamento de citação da área do assunto e dos pesquisadores, estabelecimentos de algoritmos de contagem de citação e documentos citáveis com regras específicas, capturas e classificação das categorias dos periódicos, entre outros fatores apontados na literatura que podem ser decorrentes de um viés sistêmico no levantamento de citações, consequentemente, refletindo no cálculo do valor de FI e na posição do quartil (MOED; VAN LEEUWEN; REEDIJK, 1996; SEGLEN; 1997; VANZ; CAREGNATO, 2003; SIMONS, 2008).

A Tabela 3 apresenta a distribuição de frequência conjunta dos quartis ocupados pelos 26 periódicos em 2012 e 2015, em que a cor amarela indica uma variação negativa (decréscimo da posição quartil de 2012 para 2015), a cor azul indica as frequências com que os periódicos mantiveram suas posições, por quartil (Q1 a Q4) e a cor verde indica as ocorrências de melhoria (aumento) da posição do periódico em 2015 em relação a 2012. A partir da análise da tabela 3, apresenta-se uma matriz de transição dos quartis dos periódicos e observa-se que, com exceção de um periódico que apresentou um expressivo deslocamento, saltando do quartil Q4 em 2012, para o quartil Q1 em 2015, a maioria manteve sua posição ou deslocou-se um quartil para mais ou para menos, não sendo observado grandes alterações de posicionamento(quartil) dos periódicos.

Dos quatro periódicos participantes do quartil Q1 em 2012, dois deles decaíram de quartil em 2015, passando para Q2. Por outro lado, entre os cinco periódicos categorizados em Q2 em 2012, 3 deles melhoraram sua categoria, passando a integrar o quartil Q1. Entre os periódicos categorizados em Q3 em 2012, observou-se tendência semelhante à observada para os periódicos participantes de Q1 em 2012. O quartil Q4 foi aquele mais estável, uma vez que a maioria (6 » 67%) dos periódicos a ele pertencentes em 2012, nele permaneceram em 2015.

A Tabela 4 apresenta os quatro agrupamentos obtidos para os 26 periódicos, obtidos a partir da Análise de Cluster hierárquico, dentro dos quais os periódicos apresentam maiores proximidades em relação ao conjunto de indicadores analisados na pesquisa. Observa-se, inicialmente, que todos os agrupamentos resultantes desta taxonomia apresentam uma dispersão interna tanto quanto ao país de editoração, quanto à Categoria de assunto (Quadro 1), evidenciando que tais propriedades dos periódicos não se configuram como características discriminatórias entre eles, ou seja, a origem do país de editoração e a área em que atua não são suficientes para distinguir os periódicos quanto ao impacto obtido no período analisado, medido em função das citações recebidas por estes. O Grupo 1, maior agrupamento, é constituído por 11 periódicos, os quais, com exceção de dois periódicos (Media, Culture & Society e Latin American Research Review), apresentaram taxa de variação do FI negativa. Todos os periódicos brasileiros - Transinformação, Informação & Sociedade e Dados - participam deste grupo. A Tabela 4 apresenta os FIs, os quartis (JRC), o percentual de variação do FI (%variação FI) e a situação da variação do quartil de 2012 para 2015 (Variação quartil) dos 26 periódicos após aplicação da técnica de Análise de Cluster.

O Grupo 2 é composto por quatro periódicos, com valores para FI menor que 1,0 tanto em 2012 como em 2015, com exceção do FI em 2015 do periódico Public Culture. Todos apresentam taxa de variação do FI entre 105% e 161%, constituindo assim, um subgrupo do GP2, apresentado na Tabela 2. O Grupo 3 reúne oito periódicos, todos com taxa de variação do FI entre 22% e 73%, constituindo assim um subgrupo de GP2 (Tabela 2) e valores de FI, tanto em 2012 como em 2015, com ampla dispersão. Além disso, todos os periódicos apresentam variação positiva (aumento) ou manutenção do quartil ao qual o periódico pertence. O Grupo 4, menor grupo, composto por 3 periódicos, constitui subgrupo de GP2, e apresenta as maiores taxas de variação do FI (entre 227% e 311%) de 2012 para 2015. Assim, o Grupo 3 apresenta somente variação positiva ou manutenção do quartil ao qual o periódico pertence.

A Figura 2 apresenta a distribuição dos seis indicadores analisados para os quatro agrupamentos construídos pela Análise de Cluster, para verificar as tendências presentes nos grupos. O primeiro gráfico é Box-plot, apresenta a distribuição do FI em 2012, o segundo a distribuição dos FIs dos periódicos no ano seguinte de análise (2015) e o terceiro a taxa de variação do FI dos periódicos de 2012 para 2015, comparando os agrupamentos presentes nas Tabela 4. Cada uma das quatro “caixas”, representa um grupo (Grupo 1, Grupo 2, Grupo 3 e Grupo 4), com o início e o final da “hastes verticais” indicando o valor mínimo e máximo ocorrido no grupo, o segmento de reta horizontal dentro de cada caixa, registrando a mediana do grupo e os pontos distantes da caixa e das hastes correspondente aos periódicos com valores de FI atípicos ou outliers em relação à tendência geral do grupo.

De forma comparativa, em 2012, as diferenças estatisticamente significativas ocorrem entre os grupos G3 e G4, não há sobreposição entre as caixas ou hastes destes dois grupos, com o Grupo 3 apresentando valores de FI, neste ano, significativamente maiores que os periódicos participantes do Grupo 4. Em relação à posição quartil dos periódicos participantes nestes dois grupos em 2012, o Grupo 3 não compreende nenhum periódico do 4º Quartil e o Grupo 4 não contém nenhum periódico que esteja nos quartis Q1 ou Q2, correspondentes aos melhores quartis de qualificação de periódicos. O periódico Scientometrics com FI outlier no Grupo 1, sendo o seu FI condizente com a tendência presentes no Grupo 3 e, em relação à distribuição aos quartis, o grupo 1 contém periódicos participantes de todos os quartis, com prevalência de Q4.

Figura 2
Gráficos da distribuição dos valores dos indicadores por grupo (1 a 4)
Fonte: Elaborado pelas autoras.

Em relação ao ano de 2015, observa-se a existência de diferenças estatisticamente significativas entre os grupos, ocorrendo entre o Grupo 1 e Grupo 3 e o Grupo 1 e Grupo 4, sendo que os grupos (3 e 4) apresenta os valores de FI significativamente maiores que o Grupo 1. Em 2015, aparece periódicos outliers no Grupo 1: este último, o valor de FI é condizente com os observados para o Grupo 3. Neste ano, o Grupo 1 não conteve mais periódicos do quartil Q1, assim como o Grupo2. O Grupo 3 apresentou um crescimento significativo de periódicos e nenhum periódico de Q4, assim como o Grupo 4, começou a registrar periódicos dos quartis Q1 e Q2, antes ausentes neste grupo. Quanto ao indicador taxa de variação do FI (3º Gráfico Box-Plot), observa-se uma diferença significativa entre todos os quatro grupos, o Grupo 1 configurando as menores taxas de variação (negativas - equivalente a uma redução do impacto médio dos artigos dos periódicos deste grupo) e Grupo 4 os periódicos com a maior dispersão das taxas de variação positiva do FI, de 2012 para 2015. Quanto à variação nos quartis, o Grupo 3 e Grupo 4, nenhum periódico apresentou decréscimo na posição quartil, o grupo 4 apresentou a maior porcentagem de periódicos com aumento na posição quartil. O Grupo 3 apresentou aumento na posição dos quartis, principalmente, para o quartil Q1, evidenciando uma melhora dos quartis dos periódicos ou manutenção das suas posições de 2012 para 2015. No Grupo 4, os periódicos que encontravam-se nos quartis Q4 e Q3 em 2012, melhorando suas posições de quartis Q3, Q2 e Q1em 2015. Destaca-se o periódico Comunicar (Grupo 4), com alta taxa de variação positiva e aumento na posição do quartil de Q4 para Q1. Somente os Grupos 1 e 2 apresentaram periódicos com decréscimo da posição quartil, sendo a porcentagem de periódicos nesta situação mais intensa no Grupo 1, embora, a maioria dos periódicos tenham se mantido no mesmo quartil, de 2012 para 2015. No Grupo 2, uma parte considerável dos periódicos mantiveram as suas posições de quartis, apesar do primeiro ano aparecem periódicos do quartil Q1 neste grupo, os quais em 2015 baixaram para os quartis Q4, Q3 e Q2.

4 Conclusão

Neste estudo, observou-se a importância de uma investigação cuidadosa para a definição de critérios referentes à qualificação de periódicos que subsidiam os instrumentos de avaliação dos cursos de pós-graduação. Destaca-se em especial, o estrato A1 (Qualis periódico), correspondente aos periódicos de excelência da área de Comunicação e Informação, o critério adotado para o periódico ser incluído neste estrato baseado no indicador FI, não se mostrou efetivo, robusto e estável, nos anos analisados, ocorrendo uma grande variabilidade dos valores de FI, esses valores deveriam apresentar uma maior homogeneidade. A identificação dos grupos de periódicos, gerados em função da análise conjunta de seis indicadores relacionados ao FI, permitiu encontrar subgrupos mais homogêneos de periódicos.

Conclui-se, ainda, apontando a importância do desenvolvimento de estudos que investiguem outros fatores envolvidos neste contexto, como a discussão das diferenças para os estratos inferiores do Qualis periódicos, a fim de verificar se as conclusões obtidas nesta pesquisa podem ser generalizadas para publicações associadas aos periódicos desses estratos, tanto da área de Comunicação e Informação como para outras áreas. Em continuidade a esta pesquisa, trabalhos futuros podem analisar a associação da frequência de publicação dos programas de pós-graduação e seus respectivos fatores de impacto, contribuindo para a reflexão apresentada nesta pesquisa.

Por fim, consideram-se necessários estudos que contribuam para a revisão constante de indicadores de avaliação científica, visto que os indicadores representam a qualidade dos periódicos. Esta recomendação é um dos eixos norteadores do manifesto de Leiden, os sistemas de indicadores devem ser revistos e modificados sempre que possível, com objetivo de melhorar a qualidade das métricas de avaliação de pesquisas.

Referências

BALBACHEVSKY, E. A pós-graduação no Brasil: novos desafios para uma política bem sucedida. In: SCHWARTZMAN, S.; BROCK, C. (Ed.). Os desafios da educação no Brasil. Rio de Janeiro: Nova Fronteira, 2005. p. 275-304.

BARATA R. C. B. Dez coisas que você deveria saber sobre o Qualis. Revista Brasileira de Pós-Graduação, Brasília, v. 13, n. 30, p. 13-40, 2016.

BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Avaliação trienal 2013. Brasília: CAPES, 2014.

BRASIL. Coordenação de Aperfeiçoamento de Pessoal de Nível Superior. Capes 60 anos. Brasília: CAPES, 2011.

BRASIL. Plataforma Sucupira. 2017.

CAMPOS, J. N. B. Qualis periódicos: conceitos e praticas nas Engenharias I. Revista Brasileira de Pós-Graduação, Brasília, v. 7, n. 14, p. 477-503, 2010.

CASTANHA,R. G.; GRÁCIO, M. C. C. Análise de cluster como aporte metodológico para avaliação de programas de pós-graduação: um estudo na área de Ciência da Informação (2010-2012) In: ENCONTRO BRASILEIRO DE BIBLIOMETRIA E CIENTOMETRIA, 5., 2016, São Paulo. Anais... São Paulo: USP, 2016.

COUTINHO, M. Ecology and environmental science in brazilian higher education: graduate programs, research and intelectual identity. São Paulo: NUPES-USP, 1996. Documento de trabalho.

DONG, P.; LOH, M.; MONDRY, A. The “impact factor“ revisited. Biomedical Digital Libraries, London, v. 2, n. 7, p. 1-8, 2005.

EVERITT, B. S.; LANDAU, S.; LEESE, M. Cluster analysis. 4. ed. London: Wiley, 2001.

FERNANDÉZ-LLIMÓS, F. Análisis de la cobertura del concepto de Pharmaceutical Care en fuentes primarias y secundarias de información. Granada: Universidad de Granada, 2003.

FERRER-SAPENA, A.; DÍAZ-NOVILLO, S.; SÁNCHEZ-PÉREZ, E.A. Measuring time-dynamics and time-stability of journal rankings in Mathematics and Physics by means of fractional p-variations. Publications, Basel, v. 5, n. 21, 2017.

GARFIELD, E.; SHER I. H. 1961 Science Citation Index. Philadelphia: Institute for Scientific Information, 1963.

GLÄNZEL, W. Bibliometrics as a research field: a course on theory and application of bibliometric indicators. [S.l.]: Coursehandouts, 2003.

GLÄNZEL, W., MOED, F. H. Journal impact measures in bibliometric research. Scientometrics, Dordrecht, v. 53, n. 2, p. 171–193, 2002.

GRÁCIO, M. C. C.; OLIVEIRA, E. F. T. Indicadores cientométricos normalizados: um estudo na produção científica brasileira internacional (1996 a 2011). Perspectivas em Ciência da Informação, Belo Horizonte, v. 19, n. 3, p.118-133, 2014.

HICKS, D. et al. The Leiden Manifesto for research metrics. Nature, London, v. 520, n. 7548, p. 429-431, 2015.

KALTENBORN, F. K. Validity and fairness of the impact factor. Birkhäuser, 2004.

KELLNER, A.W.A. The Qualis system: a perspective from a multidisciplinary journal. Anais da Academia Brasileira de Ciências, Rio de Janeiro, v. 89, n. 3, p. 1339-1342, 2017.

LIBERATORE, G.; HERRERO-SOLANA, V.; GUIMARÃES, J. A. C. Análise bibliométrica do periódico brasileiro ciência da informaçÃo durante o período 2000-2004. Brazilian Journal of Information Science, Marília, v. 1, n. 2, p. 3-21, 2007.

MARCHLEWSKI, C.; SILVA, M. P.; SORIANO, B. J. A Influência do sistema de avaliação Qualis na produção do conhecimento científico: algumas reflexões sobre a Educação Física. Motriz, Rio Claro, v. 17, n. 1, 2011.

MARTINS, C. B. A reforma universitária de 1968 e a abertura para o ensino superior privado no Brasil. Educação e Sociedade, Campinas, v. 30, n. 106, p. 15–35, 2009.

MOED, H. F., VAN LEEUWEN, T. N.; REEDIJK, J. A new classification system to describe the ageing of Scientific journals and their impact factors. Journal of Documentation, Bingley, v. 54, n.4, 387-419, 1996.

MUGNAINI, R. Caminhos para adequação da avaliação da produção científica brasileira: impacto nacional versus internacional. 2006. Tese (Doutorado em Ciência da Informação) - Universidade de São Paulo, São Paulo, 2006.

POURIS, A.E. M.; POURIS, A. An assessment of South Africa’s research journals: Impact factors, Eigenfactors and structure of editorial boards. South African Journal of Science, Pretoria, v. 111, n. 3/4, p. 1-8, 2015.

QUIÑONES, E. O. Guía sobre diseño y gestión de la política pública. Bogotá: CAB, 2008. (Série Ciencia y Tecnología, n. 168).

SAGASTI, F. Science and technology policy research for development: an overview and some priorities from a Latin American perspective. Bulletin of Science, Technology and Society, Thousand Oaks, v. 9, n. 1, p. 50-60, 1989.

SALOMON, J. J. Critérios para uma política de ciência e tecnologia: de um paradigma a outro. Revista Colóquio/Ciências, Lisboa, p. 90-98, 1989.

SEGLEN, P.O. Citations and journal impact factors: questionable indicators of research quality. Allergy, Hoboken, v. 52, n. 11, p. 1050-1056, 1997.

SILVA, R. M. Qualis 2011-2013 – os três erres. Clinics, São Paulo, v. 65, n.10, p. 935-936, 2010.

SIMONS, K. The misused Impact Factor. Science, Washington, v. 322, n. 10, p. 165, 2008.

SPINAK, E. Indicadores cienciométricos. Ciência da Informação, Brasília, v. 27, n. 2, p. 141-148, 1998.

TESTA, J. Journal Selection Process. Clarivate Analytics, Philadelphia, 18 Jul. 2016. Disponível em: <https://clarivate.com/essays/journal-selection-process/>. Acesso em: 10 Apr. 2018.

VANZ S. A. S; CAREGNATO S. E. Estudos de citação: uma ferramenta para entender a comunicação científica. Em Questão, Porto Alegre, v.9, n. 2, p. 295-307, 2003

VELHO, L. Conceitos de ciência e a política científica, tecnológica e de inovação. Sociologias, Porto Alegre, n.13, p. 128-153, 2011.

VELHO, L. Research capacity building for development: from old to new assumptions. Science, Technology and Society, London, v. 9, n. 2, p. 172-207, 2004.

WALTMAN L. The importance of taking a clear position in the impact factor debate. CWTS: meaningful metrics [blog], Leiden, Jul. 2016. Disponível em: <https://www.cwts.nl/blog?article=n-q2w2c4&title=the-importance-of-taking-a-clear-position-in-the-impact-factor-debate>. Acesso em: 19 Apr. 2017.

WALTMAN, L.; TRAAG, V. A. Use of the journal impact factor for assessing individual articles need not be wrong. CWTS: meaningful metrics [blog], Leiden, Mar. 2017. Disponível em: <https://www.cwts.nl/blog?article=n-q2z254&title=use-of-the-journal-impact-factor-for-assessing-individual-articles-need-not-be-wrong>. Acesso em: 22 May 2017.

Autor notes