Indicadores altmétricos nos periódicos brasileiros em Ciência da Informação: um panorama de pesquisa

Altmetric indicators in Brazilian journals in Information Science: a research landscape

Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial 4.0 Internacional.

Passados mais de cinquenta anos desde o desenvolvimento do primeiro índice de citação científica (GARFIELD, 1955), novas formas e índices de avaliação da ciência têm se difundido. Tradicionalmente, a avaliação da ciência é mensurada por métricas de citação baseadas em periódicos, materializadas pelo Journal Impact Factor (JIF), ou pelo Fator de Impacto do Periódico. Mais recentemente, outros indicadores sugiram, como o índice h, uma métrica de nível de autor, mas que pode também ser aplicada a periódicos; o SCImago Journal Rank (SJR), desenvolvido por pesquisadores espanhóis para calcular a influência de periódicos científicos a partir da base de dados Scopus; o CiteScore, desenvolvido pela Scopus para avaliar o impacto de publicações periódicas, entre outros.

Assim como todo processo de avaliação, existem algumas limitações em relação ao uso das citações, entre as quais pode-se relatar: a baixa velocidade com que as citações se acumulam; redução do impacto com um reflexo maior para o periódico em vez do artigo; vulnerabilidade à manipulação, incluindo autocitação; e variação entre diferentes campos de estudo (CABRERA; ROY; CHISOLM, 2018; MESCHEDE; SIEBENLIST, 2018; SUD; THELWALL, 2014).

Yang, Xing e Wolfram (2018) afirmam que os indicadores tradicionais de citação ainda estão longe de serem perfeitos. Apesar das melhorias contínuas e de muitos estudiosos tentarem encontrar novos métodos para avaliar trabalhos científicos ou melhorar estratégias já existentes, a avaliação de impacto dos artigos não deve depender apenas do número de publicações e citações, sendo debatida a tendência para avaliações envolvendo medições multidimensionais em múltiplas fontes de informação.

O relatório The Metric Tide[1] (WILSDON et al., 2015) afirma que, embora haja consenso de que as bases de dados de citação tradicionais sejam as fontes mais importantes para ajudar a revisão e avaliação da pesquisa, alguns aspectos do impacto intelectual podem não ser bem refletidos em índices de citação convencionais. Desta forma, o documento evidencia que outras fontes de dados são necessárias para auxiliar uma avaliação do impacto mais ampla dentro da pesquisa acadêmica.

Neste argumento de que as citações, embora úteis, perdem a possibilidade de avaliar importantes tipos de impacto, visualiza-se o crescente uso acadêmico de ferramentas online, isto é, as plataformas de mídias sociais, como forma de permitir complementos, antes invisíveis na avaliação da ciência, acrescentando outros aspectos na qualificação da ciência, no impacto científico e social (CRONIN; SUGIMOTO, 2014).

Relacionada com o fenômeno da utilização das plataformas de mídias sociais para divulgação, disseminação, compartilhamento e visibilidade de conteúdos científicos, a altmetria surge como uma nova métrica que visa complementar o impacto da comunicação científica, possibilitando indicações rápidas e a inserção de um público e fontes mais amplas e diversificadas (ERDT et al., 2016).

A altmetria pode ser conceituada como uma área de estudo emergente, definida em 2010 no Manifesto elaborado por Priem e colaboradores como o grupo diversificado de atividades que reflete e transmite impacto nas mídias sociais, visualizando uma nova abordagem para descobrir os invisíveis traços de impacto acadêmico em ferramentas e sistemas online (ERDT et al., 2016; PRIEM et al., 2010).

Neste sentido, – e compreendendo que as plataformas de mídias sociais estão sendo usadas para disseminação e visibilidade de conteúdos científicos – os periódicos científicos e, consequentemente, os artigos científicos se fazem presentes neste novo ecossistema de divulgação e comunicação científica em que os processos de produção, acesso e uso da informação científica se modificam. Novas estratégias de mensurar a produção científica de periódicos têm sido desenvolvidas com o propósito de atender as demandas visualizadas no ambiente da web social, a fim de complementar as métricas tradicionais de impacto da pesquisa, o que contribui no entendimento das suas dimensões sociais, educacionais ou culturais.

Assim, a altmetria pode, além de contribuir na complementação dos indicadores tradicionais para avaliação de periódicos científicos, possibilitar a visibilidade de produtos científicos em ambientes não convencionais, medindo a atenção online destes produtos em diferentes áreas do conhecimento.

Nesta perspectiva, este artigo tem o objetivo de analisar indicadores altmétricos nos periódicos brasileiros em Ciência da Informação (CI) no período de 2011 a 2018. Esta análise, possibilitou identificar em quais provedores de dados altmétricos a comunidade da CI brasileira compartilha e/ou divulga suas pesquisas, abrangendo o Facebook, Twitter, blogs e o gerenciador de referências Mendeley.

A análise também permitiu compreender, se os periódicos com qualificadores (Qualis periódicos) mais elevados apresentaram maiores registros altmétricos e, consequentemente, maior visibilidade em bases de dados de abrangência mundial.

A Altmetria, ou métricas alternativas, refere-se a um grupo de métricas baseado em eventos constatados em fontes não convencionais relacionadas com a comunicação científica, em especial nas plataformas de mídias sociais, que têm apresentado um crescimento elevado de número de usuários e novos perfis. Kemp (2021) afirma que em janeiro de 2021, 53,6% da população mundial é usuário ativo de mídias sociais, observando um crescimento de 13,2% em relação a janeiro de 2020. No Brasil, tais números também apresentam dados crescentes, com 70,3% de usuários ativos em mídias sociais, apresentando crescimento de 7,1% em relação a janeiro de 2020 (KEMP, 2021).

González-Valiente, Pacheco-Mendoza e Arencibia-Jorge (2016) afirmam que as discussões sobre a altmetria começaram em 2005, mas que a maioria das publicações sobre o tema surgiu após 2010, ano que o termo foi criado por Priem. Outros autores consideram que os estudos altmétricos possuem relação com a Cientometria, quando revelam que o uso de métricas alternativas para avaliar a pesquisa não é novo e afirmam que a utilização da internet para métricas alternativas começou com a Webometria ou Cybermetria (BORNMANN, 2014).

A altmetria não exclui as métricas tradicionais, mas sim as complementa, sendo ambas empregadas em conjunto para oferecer uma imagem mais rica do uso de um artigo de imediato ou então a longo prazo. Assim sendo, as principais vantagens da altmetria são a possibilidade das indicações rápidas do impacto, principalmente quando o compartilhamento de produções científicas é realizado em plataformas de mídias sociais, a abrangência mais diversificada de fontes e a inclusão de um público não acadêmico mais amplo (ERDT et al., 2016; MELERO, 2015).

Sugimoto et al. (2017) afirmam que, nos últimos anos, as discussões sobre a altmetria centraram-se no papel das mídias, que oferecem novos veículos para a disseminação de produções científicas, e no aumento da visibilidade de pesquisadores, como também na ampliação da demanda por entidades administradoras e financiadoras de indicadores de atividade científica e tecnológica, especialmente no que diz respeito ao valor da pesquisa para um público mais amplo.

Dentre as temáticas mais abordadas nos estudos altmétricos, evidencia-se que os estudos iniciais se voltaram para a validação de cruzamentos métricos, buscando entender o nível de correlação entre as citações tradicionais e as citações em plataformas de mídias sociais, visualizada em pesquisas sobre cálculos de correlação. De forma geral, esses estudos pretendem confirmar se os dados altmétricos podem prever futuras citações tradicionais. Em grande parte dos estudos, um nível de correlação de média a fraca entre métricas alternativas e métricas tradicionais foi encontrado, dependendo da mídia social utilizada (ERDT et al., 2016; MOHAMMADI; THELWALL, 2014; THELWALL et al., 2013).

Destarte, as questões de qualidade de dados foram discutidas nas publicações, sendo apresentadas como um grande desafio, principalmente porque as fontes de dados no contexto da altmetria são dinâmicas, podendo ser alteradas ou excluídas. Tais problemas podem partir dos provedores de dados, dos agregadores de dados e dos usuários (HAUSTEIN, 2016).

Haustein (2016) ainda afirma que as diferentes mídias sociais geram divergentes tipos de métricas no que diz respeito às interpretações dos eventos, como da menção no Twitter, da recomendação do F1000, do ato de curtir no Facebook, da contagem de leitores no Mendeley, da citação em um blog, entre outras. Desta forma, torna-se um desafio encontrar uma definição comum para as métricas que medem o impacto alternativo das citações tradicionais.

Neste contexto, é significativo enfatizar estudos sobre a normalização de dados, que advém da necessidade de padronização de eventos em mídias sociais, pela natureza das fontes de dados e suas diversas e divergentes mensurações, não existindo uma definição padrão de um evento em métricas alternativas. A publicação da norma NISO RP-25-2016, intitulada Outputs of the NISO Alternative Assessment Metrics Project (NISO, 2016), propõe melhores práticas e desenvolve diretrizes e recomendações para o uso de métricas alternativas na avaliação do impacto da investigação (ERDT et al., 2016).

Em 2013, o Projeto Métricas de Avaliação Alternativa NISO RP-25-2016[2] foi iniciado através da criação de três grupos de trabalho, com o intuito de apresentar as lacunas e limitações que têm dificultado a ampliação da altmetria. Os grupos de trabalho se propuseram a estudar perspectivas para a altmetria, questões relacionadas à qualidade dos dados e a criação de documentos com o panorama das métricas, investigando melhores práticas e padrões na área de métricas de pesquisas não convencionais (NISO, 2016).

Os debates sobre ciência aberta, open access e open archive têm sido recorrentes na produção científica em altmetria devido às suas vantagens em trabalhar com dados de acesso aberto e transparentes. Alguns estudos afirmam que o acesso aberto leva uma vantagem óbvia na quantidade de citações que recebe e oferece, como exemplo, uma pesquisa sobre a vantagem de artigos de acesso aberto considerando citações e atenção em mídia social, especificamente no Twitter e Facebook, demonstrando que os artigos de acesso aberto receberam maior atenção em mídias sociais (ERDT et al., 2016; WANG et al., 2015).

De forma geral, a maioria dos estudos aplicados a periódicos científicos tem demonstrado que as plataformas de mídias sociais Mendeley, Twitter e Facebook são as mais expressivas em relação a abrangência de dados altmétricos, concentrando nestas mídias a divulgação e compartilhamento de produção científica.

O estudo foi caracterizado como descritivo, de natureza qualiquantitativa. Utilizou a revisão de literatura aliado a consultas à API gratuita da Altmetric e ao uso do software Webometric Analyst para coleta de dados altmétricos, coletados em abril de 2019. Para identificação dos periódicos brasileiros em Ciência da Informação, foi utilizada a Plataforma Sucupira, tendo como base inicial a listagem de periódicos científicos da área de Comunicação e Informação, avaliados no quadriênio 2013-2016, que foi realizada em abril de 2018.

O primeiro critério utilizado para o recorte desta pesquisa restringiu o corpus aos periódicos que tivessem como domínio de pesquisa principal a área da Ciência da Informação com enfoque na Biblioteconomia, descrita no website de cada periódico. Outro critério utilizado foi restringir aos periódicos que possuíssem Digital Object Identifier (DOI) para cada um de seus artigos científicos. A conferência dos mesmos foi realizada na base de dados da CrossRef, que é uma associação de editores e instituições publicadoras que têm como principal serviço os registros de DOI. O DOI é imprescindível para artigos científicos, pois identifica uma publicação sem ambiguidade e facilita na recuperação e registros de indicadores altmétricos nos diferentes agregadores. Enfatiza-se que, alguns artigos de periódicos científicos não apresentaram DOIs no período desta coleta, mesmo estando cadastrados na Crossref, e por este motivo, não fizeram parte deste corpus.

Neste sentido, dos 31 periódicos da área identificados no Qualis Periódicos, 19 atendiam aos dois primeiros critérios. Aplicou-se um terceiro critério, restringindo o corpus àqueles periódicos cujos qualificadores estivessem nos estratos A (A1 e A2) e B (B1 e B2), totalizando 14 periódicos. Deste total, seis deles estavam qualificados em A e oito em B, sendo três classificados em A1, três em A2, sete em B1 e um em B2. Como existiu apenas um periódico no estrato B2, o mesmo foi excluído da análise por não possuir mais de um periódico com este qualificador para estudos comparativos, resultando o corpus final desta pesquisa em 13 periódicos brasileiros na área da Ciência da Informação.

O corpus de periódicos consiste em: para o estrato A1, Informação e Sociedade: estudos (I&S), Perspectivas em Ciência da Informação (PCI) e Transinformação; para o estrato A2, Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação (Encontros Bibli), Em Questão e Informação & Informação (I&I); e, para o estrato B1, Brazilian Journal of Information Science (Brajis), Ciência da Informação (RCI), InCID: Revista de Ciência da Informação e Documentação (INCID), Liinc em Revista (LIINC), Perspectivas em Gestão & Conhecimento (PG&C), Ponto de Acesso e RDBCI: Revista Digital de Biblioteconomia e Ciência da Informação (RDBCI), conforme mostra Tabela 1.

Para o levantamento dos DOIs dos artigos, foi delimitado o período de publicação entre 2011 e 2018, entendendo que os estudos sobre a altmetria têm apresentado resultados positivos e satisfatórios em publicações mais recentes e que a Altmetric, utilizada neste estudo, passou a monitorar dados altmétricos a partir do ano de 2011 (COSTAS; ZAHEDI; WOUTERS, 2015; HAUSTEIN et al., 2014; SUD; THELWALL, 2014; THELWALL et al., 2013).

O levantamento foi realizado em março de 2019 através da extração de DOIs dos artigos científicos por meio da coleta automática para os periódicos indexados na Scopus e/ou na Web of Science e, manualmente, no website de cada periódico – no caso dos que não se encontravam indexados em bases de dados. No total, foram levantados 3.517 artigos, compreendendo textos originais e de revisão, no período de 2011 a 2018. Os artigos do período que não apresentavam DOI foram desconsiderados, permanecendo 2.724 artigos com DOI, isto é, 77,4% do total.

Como o quantitativo de DOIs nesta pesquisa foi relativamente alto, tornou-se inviável a coleta manual de dados altmétricos para cada um deles. Então, foi necessário desenvolver um aplicativo web que permitisse a pesquisa automática de uma coleção maior de DOIs e que seus resultados fossem estruturados para posterior tabulação, comparação e análise. A aplicação Web foi desenvolvida em angular e NodeJS com o banco de dados Cloud Firestore, ligado diretamente à API gratuita do Altmetric, possibilitando a pesquisa pela entrada de um arquivo de planilha com os números de DOIs organizados por linha.

Para a complementação dessa coleta, os registros altmétricos do Mendeley foram analisados a partir do software Webometric Analyst (THELWALL, 2009), pois a Altmetric apenas apresenta dados quantitativos de leitores, sem demonstração de aspectos complementares (demográficos e geográficos). O Webometric Analyst permite a visualização de detalhes obtidos do Mendeley, como número de usuários, local e disciplina, ao passo que sua estrutura de busca (query) <autor, título da publicação e ano> resulta em uma abrangência maior de registros.

Cinco dos 13 periódicos científicos pesquisados possuem 100% de seus artigos com identificador digital único no período analisado (2011-2018). São eles: Encontros Bibli, InCID, Liinc, PontodeAcesso e RDBCI, conforme mostra a Tabela 1. Nos demais oito periódicos científicos (I&S, PCI, Transinformação, Em Questão, I&I, Brajis, RCI e PG&C), 793 artigos ainda se encontravam sem DOI. É importante ressaltar que esse número pode ter diminuído posteriormente à data da coleta, visto que muitos periódicos estão inserindo DOIs em seus artigos de forma retrospectiva, isto é, alguns editores científicos dos periódicos em CI estão priorizando a inserção de DOIs para os artigos mais recentes.

Tabela 1
Quantitativo de artigos científicos com e sem DOI de periódicos brasileiros em Ciência da Informação (2011-2018)

Fonte: Dados de pesquisa

Na análise realizada com a API da Altmetric em abril de 2019, foram encontrados registros altmétricos para oito dos 13 periódicos brasileiros em Ciência da Informação. Dos 2.724 artigos com DOI pesquisados, apenas 209 artigos apresentaram registros altmétricos, o equivalente a 7,7% do conjunto pesquisado, enquanto 92,3% da amostra não indicou registros na Altmetric. Enfatiza-se que só foi possível realizar a busca no software a partir de um identificador digital, ou seja, artigos sem identificadores (sejam eles, DOI, PMID, ArXiv, ISBN) não são passíveis de recuperação, mesmo que potencialmente tenham registro altmétricos, utilizando a API da Altmetric.

Os provedores de dados que mostraram registro de menções aos artigos dos periódicos foram o Mendeley, Twitter, Facebook, Blogs, YouTube/Vimeo, CiteULike e Google+. Não foram encontrados registros do Reddit e Connotea na Altmetric, possivelmente pela pouca ou nenhuma utilização desses pelos usuários no Brasil.

O Mendeley apresentou o maior número de leitores (n=1.728), seguido das menções no Twitter (n=401), Facebook (n=68), Blogs (n=28), YouTube/Vimeo (n=2), CiteuLike (n=1) e Google+ (n=1). Enfatiza-se que o Mendeley apresentou o maior número de registros de dados altmétricos para a maioria dos periódicos analisados, exceto para o periódico I&S, que apresentou maiores registros no Twitter, na utilização do agregador da Altmetric.

Como o Mendeley foi a mídia com o maior número de registros altmétricos na maioria dos periódicos pesquisados, foi utilizado o software Webometric Analyst, que realiza a busca pelo título, autor(es) e ano de cada artigo. Isso possibilitou ampliar a abrangência, resultando em um número maior de dados recuperados. Porém, salienta-se que o alcance das mídias sociais pelo Webometric Analyst é apenas para o Mendeley.

O Webometric Analyst possibilita conhecer, além da quantidade de artigos com marcação no Mendeley, a quantidade de marcações por usuário, o perfil ocupacional dos leitores, as áreas do conhecimento, as nacionalidades dos leitores e os artigos científicos que obtiveram o maior número de leitores. Esses dados também podem ser visualizados pela ferramenta da Altmetric, porém, nesse caso, a análise das informações só pode ser realizada de maneira unitária e manual; de forma coletiva e automática, isso somente é possível no Webometric Analyst.

Assim, foi utilizado o mesmo corpus da Altmetric, isto é, 2.724 artigos científicos publicados em periódicos brasileiros da área da Ciência da Informação com DOI, resultando em 2.022 artigos com registros altmétricos no Webometric Analyst, em coleta realizada em maio de 2019. A porcentagem de dados altmétricos para artigos marcados no Mendeley pelo Webometric Analyst atingiu 74,2%, isto é, nove vezes a mais que o resultado apresentado pela Altmetric, destacando-se que o primeiro apresenta dados apenas da mídia social Mendeley e este último abrange um conjunto maior de mídias sociais. Acredita-se que a consulta ao Mendeley é feita pela Altmetric apenas se o artigo já apresentar alguma repercussão em plataformas de mídia social.

Assim, foram encontrados registros altmétricos no Mendeley pelo Webometric Analyst para todos os periódicos brasileiros da área da Ciência da Informação que fizeram parte desta pesquisa. Dos 209 artigos encontrados na Altmetric, 195 estão contidos no resultado do Webometric Analyst, restando 14 artigos que não apresentaram registros altmétricos no Mendeley. Tais artigos científicos constam nos periódicos I&S (quatro deles), Em Questão (três), Encontros Bibli (dois), I&I (três) e InCID (dois).

Diante do exposto, os dados analisados neste artigo foram provenientes de coletas realizadas com o software Webometric Analyst, para a mídia social Mendeley, e do agregador da Altmetric via API, para as mídias Twitter, Facebook e Blogs, englobando 2.036 artigos, com a integração dos dados. Não foram analisadas as mídias que obtiveram baixos registros altmétricos nesta pesquisa, isto é, o YouTube/Vimeo (n=2), o CiteuLike (n=1) e o Google+ (n=1).

O periódico Transinformação apresentou o maior número de artigos com dados altmétricos de todo o corpus analisado, isto é, 98,7%, e o Brajis o menor, com 37,8%. O periódico PG&C apresentou o menor quantitativo de artigos com DOI (n=68) e os periódicos Encontros Bibli, InCID, Liinc, PontodeAcesso e RDBCI os maiores, com 100% de seu acervo com DOI, conforme Tabela 2, Figuras 1 e 2.

O periódico I&S, A1 no Qualis, apresentou o menor percentual de registros altmétricos entre os periódicos de sua categoria, com 61,3%, assim como o menor quantitativo de artigos com DOI pesquisados de sua categoria (n=119), levando em consideração que apenas as publicações dos anos de 2017 e 2018 foram pesquisadas, por possuírem DOIs. A PCI apresentou um alto número de dados altmétricos, com 97% dos artigos mencionados em plataformas de mídias sociais ou de gerenciador de referências (Mendeley), como também de artigos com DOI, como mostra a Tabela 2, Figuras 1 e 2.

Dos periódicos no estrato A2 do Qualis, a revista Em Questão apresentou a maior porcentagem de dados altmétricos, com 84,8% dos artigos recebendo menções, destacando-se em relação aos outros dois periódicos nessa qualificação. Os periódicos Encontros Bibli e I&I apresentaram 79,7% e 73,4% de dados altmétricos, respectivamente, conforme Tabela 2, Figuras 1 e 2.

Dos periódicos com Qualis B1, a INCID apresentou a maior porcentagem de dados altmétricos, com 81,8%, bem próximo à RDBCI, que apresentou 80,9%. A menor porcentagem de dados do corpus analisado e das revistas com Qualis B1 foi a da Brajis, que mostrou 37,8% de dados altmétricos, como expõe a Tabela 2, Figuras 1 e 2.

O gerenciador de referências e as plataformas de mídias sociais que apresentaram registros altmétricos, isto é, os provedores de dados, foram: Mendeley, Twitter, Facebook e Blogs, enfatizando a prevalência de dados no Mendeley em todos os periódicos analisados. O Mendeley demonstrou 100% de dados altmétricos para todos os artigos com DOI pesquisados nos periódicos PCI, Transinformação, RDBCI, Brajis, RCI, LiiNC, PG&C e PontodeAcesso, apresentando altos índices para os artigos das revistas Encontros Bibli (99%), I&I (98,8%) e Em Questão (98%) e o menor índice para a I&S (94,5%), conforme Tabela 2 e Figuras 1 e 2.

Figura 1
Infográfico: Percentuais de dados altméricos nos perió
Fonte: Dados de pesquisa

Figura 2
Infográfico Percentuais de dados altméricos nos periódicos brasileiros em Ciência da Informação Qualis B1
Fonte: Dados de pesquisa

Tabela 2
Frequência e percentuais de dados altmétricos nas plataformas de mídias sociais Mendeley, Twitter, Facebook e Blogs da produção científica dos periódicos brasileiros em Ciência da Informação (2011-2018)

Fonte: Dados de pesquisa

A divisão geográfica declarada pelos leitores que marcaram os artigos de periódicos em CI brasileiros no Mendeley abrangeu 32 países, destacando-se Brasil (n=580), Portugal (n=97), Espanha (n=46), Colômbia (n=30) e Argentina (n=20), que apresentaram os maiores números de usuários, conforme mostra o Gráfico 1. Dentre os países latino americanos, tiveram presença usuários do México, Cuba, Porto Rico, Peru, Uruguai, Chile, Equador e Venezuela. Em todos os periódicos, a prevalência do Brasil foi recorrente, o que é justificado pelo corpus constituir-se de publicações em revistas nacionais, como também a recorrência dos países Portugal e Espanha, possivelmente pela língua dos artigos.

Gráfico 1
Divisão geográfica: as cinco maiores nacionalidades dos usuários do Mendeley que marcaram artigos de periódicos brasileiros em Ciência da Informação (2011-2018)
Fonte: Dados de pesquisa

No total, foram declaradas 27 disciplinas pelos usuários do Mendeley que marcaram artigos dos periódicos brasileiros, das quais as cinco principais são mostradas no Gráfico 2. A principal área, e com o maior número de registros, foi a de Ciências Sociais (n=4.654), cujos dados eram esperados, já que a Ciência da Informação pertence à área maior das Ciências Sociais Aplicadas.

Além das Ciências Sociais, a Ciência da Computação (n=1.965) também foi indicada como área de interesse e estudo dos leitores analisados, pois possui relação direta com a Ciência da Informação na utilização de métodos e ferramentas tecnológicas. A área de Negócios, Gestão e Contabilidade (n=1.340) foi a terceira esfera do conhecimento que apresentou mais registros dos leitores das revistas em Ciência da Informação no Mendeley, seguida de Artes e Humanidades (n=1.096). A Engenharia apareceu como a quinta mais declarada pelos usuários do Mendeley (n=641).

Gráfico 2
Divisão demográfica: leitores por disciplina no Mendeley da produção científica nos periódicos brasileiros em Ciência da Informação (2011-2018)
Fonte: Dados de pesquisa

Quando as disciplinas são analisadas por periódico, observa-se resultado similar, com pequenas diferenças, como, por exemplo, a I&S apresentou como quinta área do conhecimento a Psicologia; a Liinc, apresentou a área da Agricultura e Ciências Biológicas como a quinta com mais registros de usuários; a RDBCI apresentou o Design, a Enfermagem e os profissionais da saúde e o PG&C teve como principal área a de Negócios, Gestão e Contabilidade, provavelmente por este último estar vinculado aos departamentos de Administração, Ciência da Informação e Filosofia da UFPB.

Na divisão demográfica, o grupo dos estudantes de mestrado apresentou o maior número de usuários (n=2.866), seguido pelos estudantes de graduação (n=2.129), estudantes de doutorado e PhD (n=2.082), bibliotecários (n=1.551), professores e professores associados (n=1.387), pesquisadores (n=643) e palestrantes e conferencistas sênior (n=118), conforme o Gráfico 3.

A tríade de estudantes de mestrado, graduação e doutorado se mostrou similar quando analisada por periódicos, mostrando pequenas divergências entre graduação e doutorado. No periódico I&S, os bibliotecários foram os usuários que se sobressaíram; na RCI, foram os professores; na Liinc, os estudantes de doutorado e PhD e na PontodeAcesso, os bibliotecários e estudantes de doutorado e PhD.

O Twitter foi a segunda fonte que apresentou mais dados altmétricos para a produção brasileira. Neste trabalho, a porcentagem de artigos científicos com dados altmétricos no Twitter foi de 8,1% (166 artigos), com dados mais elevados para a RDBCI (29%) e a Transinformação (20,5%) e o menor registro para a Encontros Bibli (2,7%). Não foram verificados registros para os seguintes periódicos: Brajis, RCI, Liinc, PG&C e PontodeAcesso, conforme mostra Tabela 2 e Figura 1 e 2 acima.

Gráfico 3
Divisão demográfica: status profissional do Mendeley da produção científica nos periódicos brasileiros em Ciência da Informação (2011-2018)
Fonte: Dados de pesquisa

Dos periódicos no estrato A no Qualis, a Transinformação teve porcentagem de 20,5% no Twitter, com 32 artigos comentados; a PCI e a I&S apresentaram 8,1% e 8,2%, com 29 e seis artigos com registros altmétricos, respectivamente. As revistas Em Questão, I&I e Encontros Bibli tiveram 5,9%, 4,6% e 2,7% de dados altmétricos, respectivamente, com o maior número de artigos científicos para a I&I (n=12), conforme mostra a Tabela 2 acima.

Do estrato Qualis B1, apenas as revistas INCID e RDBCI apresentaram dados altmétricos no Twitter, destacando-se a RDBCI, com 58 artigos mencionados, e a INCID, com 14 artigos. As menções aos artigos científicos no Twitter foram provenientes de perfis pessoais e profissionais (acadêmicos e/ou institucionais), com destaque para o Portal de Periódicos da Universidade Federal de Santa Catarina e o Portal de Periódicos da UFMG, instituições com cursos especializados em comunicação científica.

O Facebook foi a terceira fonte que apresentou registros altmétricos, compreendendo 2,7% no corpus analisado, com 56 artigos mencionados. O periódico Em Questão apresentou a maior porcentagem no Facebook dentre os periódicos analisados, com 6,6%, e a I&I o maior quantitativo de artigos científicos compartilhados (n=13), tendo o periódico Encontros Bibli a menor porcentagem, isto é 0,9%, conforme a Tabela 2 e a Figura 2, acima.

Dos periódicos com Qualis A1, o periódico Transinformação apresentou a maior porcentagem no Facebook, com 6,4%; já entre os periódicos com qualificação A2, a Em Questão se destaca, com 6,6%. Dos periódicos com Qualis B1, a INCID apresentou 4,4% e a RDBCI, 3,5%, não sendo encontrados dados altmétricos no Facebook para a Brajis, RCI, Liinc, PG&C e PontodeAcesso, conforme mostra a Tabela 2.

As menções aos artigos científicos no Facebook foram provenientes de páginas pessoais e profissionais (acadêmicos e/ou institucionais), destacando-se o Portal de Periódicos da Universidade Federal de Santa Catarina, Em Questão, Sistema Integrado de Bibliotecas da USP, Biblioteca Universitária UFSC, Latindex e o GT8 da Ancib.

Em blogs, o percentual de dados altmétricos foi de 0,9%, com 20 artigos mencionados, sendo o periódico Transinformação aquele que apresentou a maior porcentagem (5,1%) e o maior quantitativo de artigos científicos mencionados (n=8), juntamente com o periódico I&S (2,7%), conforme mostra a Tabela 2 acima.

Dentre os periódicos com Qualis A1 em blogs, a Transinformação apresentou 5,1% de artigos com dados altmétricos, a I&S obteve 2,7% e a PCI, 1,1%. Todos os periódicos com Qualis A2 apresentaram baixas porcentagens, sendo que a maior, 1,3%, foi do Em Questão e apenas a INCID apresentou registros para os periódicos com qualificação B1, com 0,7% de artigos com dados altmétricos, conforme a Tabela 2. Não apresentaram registros altmétricos em blogs os periódicos Brajis, RCI, LiiNC, PG&C, PontodeAcesso e RDBCI.

Neste sentido, percebeu-se que o estudo altmétrico realizado em relação aos artigos de periódicos brasileiros em CI revelou que, de 13 deles, sete apresentaram um quantitativo de dados altmétricos relativamente elevado, atingindo percentuais acima de 70% de artigos com dados altmétricos. Essa informação indica que os artigos científicos desses periódicos estão sendo compartilhados no gerenciador de referências Mendeley e nas plataformas de mídias sociais e, consequentemente, dando visibilidade à sua produção científica, assim como ao periódico vinculado.

Importante enfatizar que sete periódicos apresentaram índices mais altos; entretanto, todos os 13 periódicos analisados tiveram registros altmétricos. Foi percebido que os indicadores altmétricos possibilitam aferir a visibilidade e a atenção a periódicos cujos estratos Qualis se encontram em níveis mais baixos, como foi o caso das revistas Qualis B1 (InCID e RDBCI), que apresentaram altas pontuações altmétricas. Porém, os maiores índices altmétricos concentraram-se em periódicos Qualis A1 (PCI e Transinformação).

Na literatura brasileira, alguns trabalhos altmétricos tiveram como objeto de estudo os periódicos brasileiros em Ciência da Informação. Os trabalhos de Nascimento e Oddone (2014, 2015), compreenderam 25 periódicos brasileiros da Ciência da Informação, utilizando como ferramenta de busca de dados altmétricos o Altmetric Explorer, ao qual utilizou o título do periódico e ISSN como termos de busca na ferramenta. O resultado da pesquisa mostrou registros altmétricos para os periódicos PCI, Transinformação e RCI nas plataformas de mídias sociais Mendeley, Twitter, Facebook e Blogs, nesta ordem (NASCIMENTO; ODDONE, 2014, 2015). Comparando os resultados encontrados nos trabalhos de Nascimento e Oddone (2014, 2015) com o estudo neste artigo, não foram encontrados registros altmétricos para a Revista Ciência da Informação com a ferramenta do Altmetric via API e sim apenas pelo Webometric Analyst no Mendeley.

No estudo de Manhique e Rodrigues (2019), foram analisados 12 periódicos da Ciência da Informação, utilizando o DOI como termo de busca na ferramenta Bookmarklet for Researchers – Altmetric. Os autores apresentaram dados altmétricos relativos a seis periódicos, dos quais apenas dois coincidem com os deste trabalho (Em Questão e I&I), não encontrando registros para a PCI, LiiNC, PontodeAcesso, Brajis e RCI. Os provedores de dados que mostraram registros altmétricos foram o Mendeley, Twitter, Facebook e Blogs, nesta ordem de grandeza.

O artigo de Araújo (2015) apresentou uma análise em periódicos A1 da Ciência da Informação utilizando a ferramenta Altmetric Bookmarklet. O autor encontrou dados altmétricos para a PCI (n=5 artigos), Transinformação (n=19 artigos) e Ciência da Informação (n=21 artigos). O Periódico Ciência da Informação em 2015 estava inserido no estrato Qualis A1 e apresentou o maior número de dados altmétricos, e o Periódico I&S não registrou dados altmétricos no estudo de Araújo (2015). Nesta pesquisa, o periódico Ciência da Informação não está mais qualificado no estrato A1 e apresentou baixos registros de dados altmétricos, enquanto o Periódico I&S apresentou registros altmétricos.

A partir dos resultados empíricos acima relatados, pode-se inferir que distintas metodologias (Diferentes campos de busca como DOI, Título do periódico, ISSN) e ferramentas (Softwares e aplicações de coleta de dados altmétricos) em altmetria podem gerar diferentes resultados. Constatou-se também que a ausência de identificadores digitais na totalidade de artigos de periódicos brasileiros em CI dificulta a coleta e padronização de dados altmétricos, levando em consideração que a ferramenta atualmente mais difundida para indicar dados altmétricos, o Altmetric, só pode ser utilizada através de identificadores digitais.

O gerenciador de referências e as plataformas de mídias sociais que apresentaram dados altmétricos dos artigos de periódicos brasileiros em CI foram o Mendeley, o Twitter, o Facebook e os Blogs, sendo que o Mendeley apresentou o maior número de registros em todos os periódicos pesquisados. O gerenciador de referência online reflete a repercussão de artigos científicos pelo número de leitores, por isso é usado para avaliação de impacto nos estudos altmétricos.

Erdt e colaboradores (2016) afirmam que o Mendeley e o Twitter são as fontes de dados predominantes para estudos altmétricos, sendo que o Twitter tem recebido uma atenção relativamente constante ao longo dos anos, mas com tendência de deslocamento do interesse para o Mendeley.

Estudos revelam que o compartilhamento de publicações científicas no Mendeley tem favorecido visibilidade e futuras citações (EBRAHIM; SETAREH; HOSSEINCHARI, 2016), assim como o Mendeley tem sido uma das fontes mais importantes de dados para a altmetria, refletindo o impacto das publicações em termos de público (BAR-ILAN, 2014; HAUNSCHILD; BORNMANN, 2016). Trabalhos para avaliar a cobertura do Mendeley mostraram que ele apresenta uma cobertura de moderada a alta nas diversas áreas do conhecimento, sendo a fonte mais popular, inclusive para estudos na área da Biblioteconomia e Ciência da Informação e entre bibliometristas (HAUSTEIN et al., 2014; MAFLAHI; THELWALL, 2016).

O Twitter apresentou registros altmétricos nos periódicos brasileiros em CI com dados para oito periódicos dos 13 pesquisados, tendo o maior percentual de cobertura para o periódico RDBCI, com 29% de abrangência de dados altmétricos. Enfatiza-se a prevalência de dados altmétricos nesta plataforma para os periódicos Qualis A, tendo apenas os periódicos Qualis B1 (RDBCI e InCID) com registros para tal mídia.

Um estudo altmétrico demonstrou que o Twitter era uma fonte de dados popular, com uma cobertura média de 24,3% de dados altmétricos em 11 estudos realizados, tendo sua cobertura por área do conhecimento apresentado 39,1% dos usuários oriundos das Ciências Sociais e Humanidades (ERDT et al., 2016). As pesquisas empíricas no Twitter apresentaram esta mídia como o segundo maior provedor de dados altmétricos, não visualizando outros tipos de discussões mais aprofundadas (ARAÚJO, 2015; NASCIMENTO; ODDONE, 2014, 2015; MANHIQUE; RODRIGUES, 2019).

O Facebook, apesar de ser a plataforma social com o maior número de usuários, tem uma baixa ocorrência em estudos (KEMP, 2018). A maior taxa de cobertura de dados altmétricos dos periódicos brasileiros em CI no Facebook foi de 6,6%, do periódico Em Questão, devido ao fato de o próprio periódico possuir perfil nesta mídia, e tendo a menor taxa, de 0,9%, do periódico Encontros Bibli.

O Facebook não mostrou uma alta utilização para compartilhamento e disseminação de resultados de pesquisas científicas, manifestando a possibilidade de seu uso estar atrelado a outras finalidades. Acredita-se também que este resultado se deve ao tipo de metodologia de pesquisa empregada, neste caso a ferramenta do Altmetric via API, sendo pesquisada exclusivamente por identificador digital. Estudos realizados por Araújo, Murakami e Prado (2018) e Araújo e Murakami (2016) mostraram que a metodologia utilizada pela API do Facebook pode fornecer todas as interações que esta URL recebe, incluindo postagens individuais e curtidas, retornando melhores resultados não apresentados pela ferramenta da API do Altmetric.

Neste sentido, de 31 periódicos brasileiros em Ciência da Informação consultados nos estudos de Araújo, Murakami e Prado, 18 apresentaram dados altmétricos no Facebook com porcentagens mais elevadas do que as aqui encontradas, inclusive registros altmétricos no Facebook de periódicos para os quais não foram obtidos dados por esta pesquisa (ARAÚJO; MURAKAMI; PRADO, 2018, ARAÚJO; MURAKAMI, 2016).

Os dados altmétricos em blogs apresentaram baixos registros em todos os periódicos pesquisados, com apenas 20 artigos disseminados nesta plataforma. Peters et al. (2012) afirmam que poucos blogs científicos são muito produtivos, tendo em média 11 publicações ao mês, não levando a muitos comentários de leitores, e tendo como principal finalidade a promoção das próprias publicações do blog ou outros sites com informações temáticas divergentes, indicadas pelo grande número de URLs publicadas neles. Nesse sentido, os autores afirmam que blogs não tendem a ter um grande número de comentários ou seguidores, levando a baixos registros de dados altmétricos, assim como uma parcela pequena de trabalhos empíricos, como o visualizado nos resultados desta pesquisa (PETERS et al., 2012).

Diante do exposto, acredita-se que os ambientes emergentes provenientes do desenvolvimento da web 2.0 têm permitido uma mudança e evolução de atividades acadêmicas, colocando as plataformas de mídias sociais em um lugar privilegiado na promoção e disseminação de resultados de pesquisa. Este estudo demonstrou que a comunidade da Ciência da Informação brasileira utiliza as plataformas de mídias sociais como ambiente para difusão de informação científica e as produções dos periódicos brasileiros em CI estão representados no gerenciador de referências Mendeley e nas plataformas de mídias sociais.

A literatura dos periódicos brasileiros em Ciência da Informação no período de 2011 a 2018 foi bem representada nas plataformas de mídias sociais estudadas e, em especial, no gerenciador de referências Mendeley, confirmando esta fonte com potencial para aprofundamentos de estudos altmétricos. O Twitter e o Facebook mostraram-se com um desempenho mediano, destacando-se melhor o Twitter no que diz respeito a utilização desta mídia para divulgação. Percebeu-se que os blogs não possuem grande destaque na comunidade da CI brasileira.

Considera-se que não existe uma solução única para o desafio da avaliação de resultados de pesquisa na comunicação científica, mas, entende-se a importância das novas formas digitais de divulgação e compartilhamento de informação científica e como tais práticas podem contribuir para o complemento de indicadores. Os dados altmétricos podem complementar a análise da produção ou impacto da pesquisa, principalmente porque permitem a compreensão fora da esfera científica ou acadêmica e possibilitam a visibilidade para periódicos com baixa representação ou não indexados em bases científicas internacionais.

As principais limitações encontradas foram a falta de identificadores digitais em toda a produção de periódicos brasileiros em CI, assim como a ausência de bases de dados que indexem e permitam a coleta e extração de informações da produção da CI brasileira de maneira automática. Tais limitações podem ter influenciado a divergências de resultados, comparados às literaturas de estudos empíricos já publicados.

Declaração de Autoria: Concepção e elaboração do estudo: Vildeane Borba e Sônia Caregnato Coleta de dados: Vildeane Borba Análise e discussão de dados: Vildeane Borba Redação e revisão do manuscrito: Vildeane Borba e Sônia Caregnato

Como Citar: BORBA, Vildeane da Rocha; CAREGNATO, Sônia Elisa. Indicadores altmétricos nos periódicos brasileiros em Ciência da Informação: um panorama de pesquisa. Em Questão, Porto Alegre, v. 27, n. 3, p. 275-302, 2021. Doi: http://dx.doi.org/10.19132/1808-5245273.275-302