Recepción: 04 Marzo 2021
Aprobación: 20 Agosto 2021
DOI: https://doi.org/10.19132/1808-5245275.209-233
Resumo: Indicadores altmétricos são mecanismos complementares às métricas de citação no que concerne à mensuração do impacto das produções científicas. Nesse sentido, pesquisadores, brasileiros e internacionais, vêm elaborando estudos com foco na análise de relações entre as métricas alternativas e tradicionais. Nesse contexto, esta pesquisa busca por possíveis relações entre indicadores altmétricos e o número de citações recebidas por um artigo, considerando como objeto de estudo a produção científica sobre música e emoções publicada entre os anos de 1970 a 2019. Por meio de pesquisa quali-quantitativa e descritiva, aplicou-se testes estatísticos não paramétricos e identificou-se Mendeley e Twitter como as principais fontes de dados altmétricos para o tema. Para mais, visualiza a existência de relações entre os indicadores altmétricos e o número de citações, com destaque para o total de leitores no Mendeley, capaz de explicar 27,99% das citações recebidas. Outrossim, constata que, em média, artigos com indicadores altmétricos recebem 3,48 vezes mais citações, enquanto artigos com menções no Twitter e aqueles com marcações no Mendeley, contêm, de maneira geral, 2,06 e 3,53 vezes mais citações, respectivamente. Por fim, com esta pesquisa, vislumbra-se o potencial no uso das métricas alternativas para o acompanhamento das publicações sobre música e emoções, bem como em outras temáticas.
Palavras-chave: Citações, Emoções, Indicadores Altmétricos, Música, Produção Científica.
Abstract: Altmetric indicators are complementary mechanisms to citation metrics about measuring the impact of scholarly production. In this sense, Brazilian and international researchers have been carrying out studies focusing on the analysis of relationships between alternative and traditional metrics. In this research, we analyze the scholarly production on music and emotions published between the years 1970 to 2019, and we search for possible relationships between altmetric indicators and the number of academic citations received by an article. Through quali-quantitative and descriptive research, we identified Mendeley and Twitter as the leading sources of altmetric data on the topic studied. We visualized relations between altmetric indicators and the number of citations, especially in the number of readers in Mendeley, able to explain 27.99% of the citations received. We found that, on average, articles with altmetric indicators receive 3.48 times more citations, while works with Twitter mention and those with Mendeley bookmark usually contain 2.06 and 3.53 times more citations, respectively. Finally, we see potential in using alternative metrics to monitor publications about music and emotions, as well as in other themes
Keywords: Citations, Emotions, Altmetric Indicators, Music, Scholarly Production.
1 Introdução
O desenvolvimento de estudos métricos para acompanhar a evolução da produção científica de um tema é uma prática importante, uma vez que, com esses estudos, é possível “visualizar a estrutura geral de uma área de pesquisa e identificar os principais temas e subtemas que estruturaram sua evolução” (SHARIFI; SIMANGAN; KANEKO, 2020, p. 2, tradução nossa[1]). Além disso, as comunidades acadêmicas necessitam de condições para identificarem e avaliarem o desempenho das suas pesquisas por meio de indicadores adequados, como os fornecidos por estudos métricos da informação (GONTIJO; ARAÚJO, 2021).
Diante das demandas oriundas da web social, visualiza-se a construção de novas estratégias de mensuração da produção científica, cujas formulações atuam como um mecanismo complementar às tradicionais métricas de acompanhamento do impacto das publicações científicas (BORBA; CAREGNATO, 2021; GONTIJO; ARAÚJO, 2021). Além do mais, nesse contexto, entende-se ser necessária “a aferição de indicadores capazes de medir o grau de interesse acadêmico e social que as literaturas científicas têm recebido” (GONTIJO; ARAÚJO, 2021, p. 3).
Neste sentido, percebe-se que as plataformas de mídias sociais, atualmente, são meios de disseminação e visibilidade de conteúdos científicos e, desse modo, provocam mudanças nos processos de produção, acesso e uso da informação científica (REPISO; CASTILLO-ESPARCIA; TORRES-SALINAS, 2019; BORBA; CAREGNATO, 2021), tornando-os mais democráticos (REPISO; CASTILLO-ESPARCIA; TORRES-SALINAS, 2019).
Outrossim, entende-se que as métricas alternativas (do inglês altmetrics) possibilitam “uma ampliação do âmbito de pesquisa, indo além dos dados de citações para análise de impactos e até mesmo ultrapassando o levantamento apenas no campo acadêmico” (GONTIJO; ARAÚJO, 2021, p. 16).
Todavia, verifica-se, por exemplo, que a adoção de indicadores altmétricos, relacionados à presença das produções científicas nas plataformas digitais, ainda é uma questão distante no que concerne à avaliação de artigos e outros componentes científicos (BARCELOS; MARICATO, 2021). Nesse escopo, como possível tentativa de reforçar o uso de indicadores baseados em métricas alternativas como complemento às métricas tradicionais, como as citações, vislumbra-se, nos últimos anos, que estudos destinados a analisar relações estatísticas entre citações e indicadores altmétricos vêm despertando a atenção dos pesquisadores, tanto internacionalmente (COSTAS; ZAHEDI; WOUTERS, 2015; MESCHEDE; SIEBENLIST, 2018; REPISO; CASTILLO-ESPARCIA; TORRES-SALINAS, 2019; WASIKE, 2021), quanto nacionalmente (ARAÚJO; CARAN; SOUZA, 2016; SILVA FILHO; VANZ, 2019; FACHIN; ARAÚJO; BLATTMANN, 2020; BARCELOS; MARICATO, 2021; SILVA; MACÊDO; MARICATO, 2021).
Apesar disso, analisando esses estudos, percebe-se que poucos se destinaram a verificar se, por exemplo, artigos com indicadores altmétricos diferenciam-se daqueles sem essas métricas no que concerne às citações. Nesses artigos, o método de análise de relações consiste, basicamente, na construção de diferentes cenários envolvendo testes de correlação, com destaque para o coeficiente de correlação de Pearson, empregado em trabalhos como os elaborados por Araújo, Caran e Souza (2016), Repiso, Castillo-Esparcia e Torres-Salinas (2019) e Barcelos e Maricato (2021).
Dos poucos exemplos encontrados e que foram além de correlações, Hayon et al. (2019) constataram, em uma amostra composta por 213 artigos de sete periódicos dedicados à Urologia, que os artigos mencionados no Twitter apresentavam duas vezes mais citações na Scopus do que aqueles sem menções, além de 2,3 vezes mais citações no Google Scholar. De maneira semelhante, Jeong et al. (2019), em análise de artigos publicados em seis periódicos dedicados à Coloproctologia, visualizaram que a média de citações no Google Scholar era maior para os artigos com menções no Twitter (11,40 (± 9,20); 4,10 (± 3,10), p-valor <0,001).
Considerando outras métricas de impacto que não as citações, Ávila-Rodríguez et al. (2021) identificaram que, nos periódicos dedicados à Reumatologia, o índice h (mediana 90,50 x 21,00; p-valor <0,05) e o SCImago Journal Rank (SJR) (1,66 x 0,53; p-valor <0,01) foram maiores para os periódicos com menções nas mídias sociais (Facebook, Twitter e Youtube).
Desse modo, buscando contribuir para enriquecer a discussão acerca das relações entre citações e indicadores altmétricos, esta pesquisa busca verificar se há relações entre os indicadores altmétricos e o número de citações recebidas por um artigo, concentrando-se na produção científica sobre música e emoções publicada durante o período de 1970 a 2019. A opção por esta temática ocorre em virtude da não exploração desta em estudos altmétricos. Ademais, mesmo em pesquisas com enfoque bibliométrico com foco na produção científica sobre música e outras áreas do conhecimento (TIROVOLAS; LEVITIN, 2011; DIAZ; SILVEIRA, 2014; ALBUSAC-JORGE; GIMÉNEZ-RODRÍGUEZ, 2015; ANGLADA-TORT; SANFILIPPO, 2019), a temática apresentada – música e emoções – permanece inédita.
Quanto aos objetivos específicos da pesquisa, os seguintes foram estabelecidos: a) identificar quais indicadores altmétricos estão relacionados à produção científica de 1970 a 2019 sobre música e emoções; e b) avaliar se existem diferenças no número médio de citações recebidas entre artigos que possuem indicadores altmétricos e aqueles que não possuem.
O artigo está dividido da seguinte maneira: a seção 2 contempla uma breve explicação sobre altmetria. Na seção 3 apresenta-se a metodologia empregada no estudo. A seção 4 corresponde à apresentação e à interpretação dos resultados. Por fim, na seção 5 são elencadas as considerações finais da pesquisa, incluindo as limitações e as oportunidades de trabalhos futuros.
2 Altmetria
O conceito de altmetria (altmetrics) - ou métricas alternativas (alternative metrics) – trata-se de uma nova perspectiva a respeito do impacto das pesquisas científicas (XIA et al., 2016). A altmetria surgiu a partir do manifesto elaborado por Priem, Groth e Taraborelli (2010), no qual os autores propuseram que essa abordagem seria uma forma de expandir a compreensão acerca do impacto das pesquisas, bem como, do que causa esse impacto (PRIEM; GROTH; TARABORELLI, 2010). Apesar de diferentes definições, em suma, entende-se que a altmetria consiste em um conjunto de “métricas não tradicionais que cobrem não apenas contagens de citações, mas também downloads, compartilhamentos em mídias sociais digitais e outras medidas de impacto” (BORNMANN; HAUNSCHILD; ADAMS, 2019, p. 326, tradução nossa[2]).
No que se refere ao seu surgimento, é possível destacar os seguintes fatores-chave:
a) a insatisfação com as formas tradicionais de medição do impacto científico;
b) o surgimento de novas ferramentas sociais na rede que facilitaram e ampliaram todas as formas de comunicação;
c) a necessidade de novos filtros para selecionar informação relevante dentro da ciência;
d) o movimento open access que democratizou tanto a divulgação quanto o alcance a qualquer tipo de informação científica (VANTI; SANZ-CASADO, 2016, p. 351).
Enquanto área de pesquisa, a altmetria destina-se à análise do impacto das mídias sociais no que tange à transferência do conhecimento científico (BARBIC et al., 2016), sendo compreendida como um complemento às métricas tradicionais de impacto, como o total de citações recebidas em periódicos acadêmicos (HAMMARFELT, 2014). Devido à demora para um artigo registrar a sua primeira citação (SUD; THELWALL; 2013; CHANG; DESAI; GOSAIN, 2019), bem como pela rápida disponibilidade dos dados altmétricos em relação às métricas tradicionais (WONG; VITAL, 2017; MESCHEDE; SIEBENLIST, 2018), o uso de indicadores altmétricos pode fornecer um panorama rápido de como uma produção científica relaciona-se, por exemplo, com: a) a opinião pública (redes sociais); b) elementos de inovação (patentes); c) a mídia de massa (notícias e blogs); e d) o governo (relatórios e políticas documentos) (ORTEGA, 2020).
Com o crescimento das mídias digitais, reconhecer e dar créditos aos autores não se limita apenas às “publicações formais” (MESCHEDE; SIEBENLIST, 2018). Dessa forma, para a construção de estudos altmétricos, de maneira geral, pode-se recorrer a dados que representam: a) uso; b) cliques; c) compartilhamentos; d) visualizações; e) curtidas; f) recomendações; g) discussões; h) comentários; e i) citações, que um artigo científico recebe em diferentes fontes de dados (Quadro 1) (ORTEGA, 2018; BORNMANN; HAUNSCHILD; ADAMS, 2019).
Quadro 1 - Exemplos de fontes de dados altmétricos
Exemplos de fontes de dados altmétricos
Fonte: Adaptado de Priem, Groth e Taraborelli (2012).
Por fim, rastrear dados nesses ambientes potencializa a atenção das pesquisas científicas (BORBA; ALVAREZ; CAREGNATO, 2019; CHANG; DESAI; GOSAIN, 2019), e possibilita “uma maneira mais rápida de disseminação da pesquisa, assim como o engajamento com outros pesquisadores” (BORBA; ALVAREZ; CAREGNATO, 2019, p. 5).
3 Metodologia
Trata-se de uma pesquisa de natureza quali-quantitativa e descritiva quanto aos seus objetivos. A coleta dos dados ocorreu diretamente na base Dimensions[3] no dia 07/11/2020, a partir da expressão de busca: (“music. AND .emotion*”) aplicada aos campos título e resumo. A escolha pela base Dimensions ocorreu em virtude da sua utilização em estudos altmétricos recentes (GONTIJO; ARAÚJO, 2020, 2021) e, além disso, em comparação com bases como o Google Scholar e a Scopus, a Dimensions destaca-se por apresentar acesso parcialmente gratuito e maior cobertura de artigos quando comparada a Scopus, e maiores funcionalidades para o tratamento e exportação de dados em relação ao Google Scholar (ORDUÑA-MALEA; DELGADO-LÓPEZ-CÓZAR, 2018). Outrossim, a Dimensions apresenta-se como uma alternativa plausível às bases Scopus e Web of Science quanto à análise de citações (THELWALL, 2018).
Como filtros, considerou-se o tipo do documento (artigos) e o período (1970-2019). No total, 3.734 artigos foram recuperados, sendo que destes, 156 foram desconsiderados por não apresentarem o valor correspondente ao Digital Object Identifier (DOI), condição necessária para a coleta dos dados altmétricos na plataforma Altmetric[4] (HAMMARFELT, 2014), o que reduziu o corpus do estudo para 3.578 artigos.
Por sua vez, os indicadores altmétricos (Quadro 2) foram extraídos da plataforma Altmetric, por meio de um script desenvolvido na linguagem R (versão 4.0.2), com a biblioteca rAltmetric[5].
Quadro 2 - Indicadores altmétricos utilizados para o estudo da produção científica sobre
músicas e emoções (1970-2019)
Indicadores altmétricos utilizados para o estudo da produção científica sobre músicas e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Optou-se pelos indicadores listados no Quadro 2 em virtude da utilização destes em artigos correlatos (THELWALL et al., 2013; ORTEGA, 2018; BORNMANN; HAUNSCHILD; ADAMS, 2019), além da maioria dos artigos da base de dados apresentar valores para estes indicadores.
Quanto à análise dos dados, os seguintes procedimentos estatísticos foram empregados: (1) estatísticas descritivas: descrever o conjunto de dados (FIELD; MILES; FIELD, 2012; BARBIC et al., 2016); (2) Shapiro Francia: verificar se os dados não se afastam drasticamente de uma distribuição normal (SHAPIRO; FRANCIA, 1972; BAYOUD, 2019); (3) correlação de Spearman: visualizar a relação entre os indicadores (SPEARMAN, 1904; WINTER; GOSLING; POTTER, 2016); (4) coeficiente de determinação (R²): identificar a capacidade explicativa dos indicadores (FIGUEIREDO FILHO; SILVA JÚNIOR; ROCHA, 2011; HAIR et al., 2014); e (5) Wilcoxon-Mann-Whitney: examinar possíveis diferenças entre os grupos (WILCOXON, 1945; SULTAN, MASHREI; WASHER, 2020).
Todas as análises foram conduzidas no software RStudio (versão 1.3.959) e considerou-se 95% de confiança, quando necessário.
4 Apresentação e discussão dos resultados
Com relação à quantidade publicada, tem-se, em média, 71,56 artigos por ano (± 105,51), com os anos de 1975 e 1978 apresentando a menor quantidade de registros (um) e o ano de 2019 a maior, representando 11,12% (398/3.578) da produção analisada. No tocante ao número de citações recebidas, o corpus estudado apresenta média de 21,86 citações (± 62,20), tendo zero como valor mínimo e 1.420 como máximo. Para efeito de visualização, os cinco artigos mais citados são apresentados no Quadro 3.
Quadro 3 - Cinco artigos mais citados sobre música e emoções (1970-2019)
Cinco artigos mais citados sobre música e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Concernente aos artigos com indicadores altmétricos, 40,44% (1.447/3.578) apresentam pelo menos um indicador, contra 59,56% (2.131/3.578) sem registros. Mesmo que não existam pesquisas com o mesmo objeto de estudo – produção científica sobre música e emoções –, é possível estabelecer comparativos com estudos correlatos, com temas diferentes. Neste sentido, com relação aos valores percentuais para artigos com e sem indicadores altmétricos, verifica-se que o percentual de artigos com valores altmétricos para a temática estudada é maior do que os valores apresentados na pesquisa de Costas, Zahedi e Wouters (2015), na qual os autores identificaram que apenas 15,00% a 24,00% da amostra de artigos analisados apresentavam algum tipo de indicador.
Por sua vez, condizente a esse mesmo percentual, observa-se inferioridade ao compará-lo, por exemplo, com os 55,00% que Araújo, Caran e Souza (2016) obtiveram em seu estudo ao analisarem 441 artigos publicados no periódico DataGramaZero. Em relação aos percentuais para cada indicador utilizado no presente estudo, estes são apresentados na Tabela 1.
Tabela 1 - Distribuição percentual de indicadores dos artigos sobre
música e emoções (1970-2019)
Distribuição percentual de indicadores dos artigos sobre música e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Analisando-se a Tabela 1, identifica-se, por um lado, que Twitter e Mendeley apresentam 34,66% e 40,11% de artigos com ao menos uma menção (Twitter) ou marcação (Mendeley), respectivamente, sendo, desse modo, as principais fontes altmétricas para a temática estudada. Por outro lado, o percentual de artigos sem menções no Facebook, notícias e blogs supera os 85,00%.
O destaque obtido pelas plataformas Twitter e Mendeley apresenta similaridade com o exposto em estudos correlatos (HAMMARFELT, 2014; REPISO; CASTILLO-ESPARCIA; TORRES-SALINAS, 2019; BARCELOS; MARICATO, 2021; BORBA; CAREGNATO, 2021; SILVA; MACÊDO; MARICATO, 2021), nos quais essas duas plataformas também registraram percentuais que permitem destacá-las das demais fontes altmétricas.
Em termos de pontuação altmétrica (score) dos artigos analisados, este valor é, em média, de 8,88, com desvio padrão igual a 49,00; enquanto os valores mínimo e máximo são zero e 1.676. Para efeito de visualização, os cinco artigos com maior score altmétrico são apresentados no Quadro 4.
Quadro 4 - Cinco artigos com maior score altmétrico dos artigos sobre música e emoções (1970-2019)
Cinco artigos com maior score altmétrico dos artigos sobre música e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Observa-se, no Quadro 4, que o artigo com o maior score altmétrico (1.676) também se caracteriza como um dos cinco trabalhos mais citados (Quadro 3), com um total de 725 citações recebidas. Por fim, com relação às estatísticas descritivas para as menções/leitores recebidas pelos artigos, estas são elencadas na Tabela 2.
Tabela 2 - Estatísticas descritivas para as menções/leitores dos artigos
sobre música e emoções (1970-2019)
Estatísticas descritivas para as menções/leitores dos artigos sobre música e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Com base na Tabela 2, identifica-se, assim como na Tabela 1, que Twitter e Mendeley são as principais plataformas no que tange às menções e aos leitores de artigos científicos para a temática “música e emoções”. Por sua vez, os valores para as menções blogs são os menores visualizados, tendo o artigo mais vinculado um total de 34 menções apenas.
Para a condução das próximas análises deste estudo, necessitou-se avaliar se as citações recebidas não se afastam drasticamente de uma distribuição normal, para tanto, empregou-se o teste Shapiro Francia (SHAPIRO; FRANCIA, 1972; BAYOUD, 2019), de tal forma que não foi possível sustentar a hipótese de normalidade (W= 0,187, p-valor <0,000). Desta forma, todos os procedimentos a seguir foram realizados por meio de testes não paramétricos.
Com o objetivo de identificar a relação entre os indicadores e o número de citações, empregou-se a correlação de Spearman (SPEARMAN, 1904; WINTER; GOSLING; POTTER, 2016), conforme visualiza-se na Tabela 3.
Tabela 3 - Correlação de Spearman (citações) para os artigos
sobre música e emoções (1970-2019)
Correlação de Spearman (citações) para os artigos sobre música e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Visualiza-se na Tabela 3 que todas as correlações se apresentaram como significativas. Dentre os valores obtidos, o valor positivo entre o número de leitores no Mendeley e o total de citações indica uma relação diretamente proporcional, ou seja, quanto mais marcações um artigo tiver, maior será o número de citações. Para mais, a quantidade de leitores no Mendeley é capaz de explicar 27,99% das citações obtidas por um artigo.
O comportamento identificado encontra-se alinhado aos resultados obtidos em pesquisas com temáticas distintas, como as conduzidas por Wasike (2021) (. = 0,35) e Fachin, Araújo e Blattmann (2020) (. = 0,53), nas quais os autores também constataram relações diretamente proporcionais entre o número de leitores no Mendeley e o total de citações. Todavia, é preciso ressaltar que há pesquisas em que essa relação não foi obtida, como o estudo de Silva Filho e Vanz (2019), que, ao analisarem artigos publicados na Revista Gaúcha de Enfermagem entre os anos de 2007 a 2016, não tiveram condições estatísticas de sustentar uma relação entre as variáveis (. = -0,041).
A relação entre citações e menções no Twitter mostrou-se diretamente proporcional, dessa forma, visualiza-se que, quanto mais menções um artigo receber no Twitter, maior será o número de citações. Ademais, essas menções são capazes de explicar 11,22% da variação das citações obtidas no corpus estudado. Finalmente, ao buscar outros resultados na literatura, mesmo que obtidos com temas diferentes, tem-se que os resultados deste estudo são contrários, por exemplo, ao estudo de Silva Filho e Vanz (2019), em que uma relação inversamente proporcional para a amostra de artigos estudada foi obtida (. = -0,494).
No que tange ao ano de publicação, constatou-se uma relação inversamente proporcional entre este indicador e o número de citações recebidas, demonstrando que, quanto mais recente é o artigo, menor é a quantidade de citações, sendo 14,05% do número de citações explicado pelo ano de publicação. De modo semelhante, Silva Filho e Vanz (2019) também encontraram esse padrão em seu estudo, com a correlação inversamente proporcional entre as citações e o ano de publicação (. = -0,437). Para mais, Araújo, Caran e Souza (2016) foram outros autores cujos resultados atestaram este comportamento.
Finalmente, quanto ao cruzamento entre citações e score altmétrico, identifica-se que, quanto maior o score, maior é o número de citações, graças à relação diretamente proporcional entre estes indicadores. Nesta relação, ainda, visualiza-se que 19,36% das citações de um artigo podem ser explicadas pelo seu score altmétrico. Essa relação, em outras temáticas, foi encontrada, por exemplo, na pesquisa de Fachin, Araújo e Blattmann (2020) (. = 0,42).
Porém, tal comportamento não pode ser assumido como constante, tendo em vista trabalhos como o de Silva Filho e Vanz (2019) (. = -0,096), que não tiveram condições de sustentar uma relação entre citações e score altmétrico. Contudo, salienta-se que, para a composição do score, os autores consideraram apenas dados relacionados ao Mendeley, ao Twitter e ao Facebook. Da mesma forma, o estudo de Silva, Macêdo e Maricato (2021) também não apresentou evidências estatísticas de relação entre as variáveis citações e score altmétrico (. = 0,07).
Como forma de expandir os resultados apresentados na Tabela 3 e verificar se este comportamento se reflete ao longo das décadas, os dados foram distribuídos em cinco períodos, com 10 anos cada, e novamente aplicou-se a correlação de Spearman para avaliar as relações (Tabela 4).
Tabela 4 - Correlação entre o score altmétrico e o total de citações (períodos) dos artigos
sobre música e emoções (1970-2019)
Correlação entre o score altmétrico e o total de citações (períodos) dos artigos sobre música e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Conforme apresenta-se na Tabela 4, das cinco relações estabelecidas, apenas o valor para o período correspondente aos anos de 1970 a 1979 não se mostrou significativo, embora haja uma correlação diretamente proporcional entre o score altmétrico e as citações, com 10,95% destas explicados pelos respectivos valores do score. Todavia, ressalta-se que apenas um artigo neste período apresentou indicadores altmétricos.
A partir da década de 1980, as relações mostraram-se significativas e diretamente proporcionais. Além disso, o poder de explicação das citações pelo score altmétrico aumentou conforme os anos, com o período de 2000 a 2009, por exemplo, tendo no score dos artigos a capacidade de explicar 29,37% das citações recebidas.
As últimas análises efetuadas correspondem à aplicação do teste de Wilcoxon-Mann-Whitney (WILCOXON, 1945; SULTAN, MASHREI; WASHER, 2020) para identificar possíveis diferenças entre os grupos, conforme apresenta-se na Tabela 5.
Tabela 5 - Resultados para a diferença entre grupos considerando os indicadores altmétricos
dos artigos sobre música e emoções (1970-2019)
Resultados para a diferença entre grupos considerando os indicadores altmétricos dos artigos sobre música e emoções (1970-2019)
Fonte: Elaborado pelos autores (2021).
Conforme apresenta-se na Tabela 5, todos os cruzamentos efetuados apresentaram diferenças estatisticamente significativas. Dessa forma, pode-se afirmar que artigos com indicadores altmétricos recebem, em média, mais citações do que aqueles que não possuem tais indicadores, conforme visualiza-se na Tabela 6.
Tabela 6 - Estatísticas descritivas dos artigos: comparação entre artigos
com e sem indicadores altmétricos
Estatísticas descritivas dos artigos: comparação entre artigos com e sem indicadores altmétricos
Fonte: Elaborado pelos autores (2021)
A diferença entre os artigos pode ser assim descrita:
a) artigos com menções no Twitter apresentam, em média, 2,06 vezes mais citações;
b) artigos com menções no Facebook, em média, têm 2,42 citações a mais;
c) citações para artigos com menções em notícias são, de maneira geral, 3,35 vezes maiores;
d) para os artigos com menções em blogs, a média de citações é 4,34 vezes superior; e
e) artigos com marcações no Mendeley apresentam, em média, 3,53 citações a mais.
Por fim, ao se considerar apenas o score altmétrico como medida de comparação, visualiza-se que a média dos artigos que apresentam tal métrica é cerca de 3,48 vezes maior.
5 Considerações finais
Este artigo concentrou-se em analisar possíveis relações entre indicadores altmétricos e citações, considerando a produção científica sobre música e emoções publicada nos últimos 50 anos (1970-2019). Neste sentido, verificou-se que, para a temática estudada, as plataformas Mendeley e Twitter destacam-se como os principais meios digitais para disseminação dos artigos do tema pesquisado.
Ao considerar-se o Mendeley, 40,11% dos artigos analisados apresentam, pelo menos, uma marcação; por sua vez, 34,66% dos estudos sobre música e emoções publicados têm, ao menos, uma menção no Twitter. O protagonismo dessas ferramentas assemelha-se aos resultados obtidos em outros estudos recuperados e que buscaram analisar o impacto de produções científicas por meio das métricas alternativas.
Destaca-se, neste estudo, o fato de que o score altmétrico é capaz de explicar 19,36% das citações dos artigos sobre música e emoções, sendo que, para os artigos publicados entre os anos de 2000 a 2009, este valor é de 29,37%. A quantidade de leitores no Mendeley e as menções no Twitter também fornecem considerável valor explicativo, com 27,99% e 11,22%, respectivamente.
Fortalecendo as relações obtidas por meio das correlações de Spearman, o teste de Wilcoxon-Mann-Whitney indicou que, em média, artigos com indicadores altmétricos superam aqueles sem essa métrica. Como destaque, tem-se que a média de citações, considerando o score altmétrico, faz com que os artigos com este indicador apresentem 3,48 vezes mais citações. Artigos com menções no Twitter e aqueles com marcações no Mendeley, contêm, de maneira geral, 2,06 e 3,53 vezes mais citações, respectivamente. Este comportamento também se manifesta para as outras plataformas (Facebook, notícias e blogs).
Com os resultados obtidos, vislumbra-se potencial no uso das métricas alternativas para o acompanhamento das publicações sobre música e emoções, assim como em outras temáticas. Essas métricas demonstraram que os artigos conseguem desempenho superior em termos de impacto, além de possibilitar aos pesquisadores a oportunidade de ampliarem o alcance das suas publicações, chegando a um público não acadêmico e, que em muitas situações, não tem acesso à produção científica pelos meios “formais”.
Salienta-se, contudo, que os resultados obtidos refletem apenas o comportamento dos artigos publicados no período de 1970 a 2019. Neste sentido, não se pode afirmar que a produção oriunda de eventos, bem como artigos produzidos em outros períodos apresentam o mesmo comportamento. É preciso ter em mente, ainda, que as citações dos artigos dizem respeito apenas aos valores fornecidos pela base Dimensions, enquanto os valores dos indicadores altmétricos representam somente os disponibilizados pela plataforma Altmetric.
Ademais, alerta-se para o fato de não existir distinção entre citações e autocitações. Quanto às menções recebidas, por sua vez, este estudo não buscou compreender quais as razões estavam relacionadas ao ato de mencionar um artigo. Dessa forma, não é possível identificar a natureza das menções de um artigo, como, por exemplo, se estão associadas à contribuição do artigo para novas pesquisas, ou representam uma forma de felicitar o pesquisador pela sua conquista em publicar o seu artigo.
Com relação às dificuldades técnicas, a necessidade de os artigos terem DOI apresentou-se como o principal obstáculo, levando à redução do volume de dados analisado. Para mais, não é possível mensurar se a coleta de dados diretamente via Application Programming Interface (API) de plataformas como Mendeley, Facebook . Twitter poderia fornecer dados diferentes dos empregados na construção deste estudo. No tocante às oportunidades para novos estudos, incentiva-se a realização de análises considerando a relação entre indicadores altmétricos com dados relacionados à produção de países e periódicos.
Além do mais, para o caso de periódicos e autores, é possível conduzir estudos comparando se existem relações entre o impacto fornecido por métricas tradicionais, como o fator de impacto e o índice h, e o impacto proporcionado pelas métricas alternativas. Por fim, sugere-se a construção de um estudo cujo objetivo seja a compreensão de quais fatores levam um artigo a ser mencionado nas mídias sociais digitais e demais ambientes relacionados à altmetria.
Referências
ALBUSAC-JORGE, M.; GIMÉNEZ-RODRÍGUEZ, F. J. Citation index and scientific production on the neuroscience of music: a bibliometric study. Psychomusicology: Music, Mind, and Brain, Ontario, v. 25, n. 4, p. 416-422, dez. 2015.
ANGLADA-TORT, M.; SANFILIPPO, K. R. M. Visualizing music psychology: a bibliometric analysis of Psychology of Music, Music Perception, and Musicae Scientiae from 1973 to 2017. Music & Science, [s.l.], v. 2, p. 1-18, jan. 2019.
ARAÚJO, R. F.; CARAN, G. M; SOUZA, I. V. P. Orientação temática e coeficiente de correlação para análise comparativa entre dados altmétricos e citações: uma análise da revista DataGramaZero. Em Questão, Porto Alegre, v. 22, n. 3, p. 184-200, set./dez. 2016.
ÁVILA-RODRÍGUEZ, V. et al. Use and impact of social networks by rheumatology journals. Revista Colombiana de Reumatología, Bogotá, v. 28, n. 2, p. 89-94, 2021.
BARBIC, D. et al. An analysis of altmetrics in emergency medicine. Academic Emergency Medicine, Hoboken, v. 23, n. 3, p. 251-268, jan. 2016.
BARCELOS, J.; MARICATO, J. M. Visibilidade e engajamento público na web 2.0: um estudo altmétrico a partir dos artigos publicados na Scientific Data. Em Questão, Porto Alegre, v. 27, n. 1, p. 263-285, jan./mar. 2021.
BAYOUD, H. A. Tests of normality: new test and comparative study. Communications in Statistics - Simulation and Computation, Philadelphia, p. 1-22, jul. 2019.
BLOOD, A. J.; ZATORRE, R. J. Intensely pleasurable responses to music correlate with activity in brain regions implicated in reward and emotion. Proceedings of the National Academy of Sciences of the United States of America, Washington, v. 98, n. 20, p. 11818-11823, set. 2001.
BORBA, V. R.; ALVAREZ, G. R.; CAREGNATO, S. E. Análise altmétrica da produção científica das revistas brasileiras em Ciência da Informação Qualis A1 (2011-2017) no Mendeley. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, Florianópolis, v. 24, n. 55, p. 01-20. maio/ago. 2019.
BORBA, V. R; CAREGNATO, S. E. Representatividade de indicadores altmétricos nos periódicos brasileiros em Ciência da Informação: um panorama de pesquisa. Em Questão, Porto Alegre, v. 27, n. 3, p. 275-302, jul./set. 2021.
BORNMANN, L.; HAUNSCHILD, R.; ADAMS, J. Do altmetrics assess societal impact in a comparable way to case studies? An empirical test of the convergent validity of altmetrics based on data from the UK research excellence framework (REF). Journal of informetrics, Amsterdam, v. 13, n. 1, p. 325-340, fev. 2019.
CHANG, J.; DESAI, N.; GOSAIN, A. Correlation between altmetric score and citations in pediatric surgery core journals. Journal of Surgical Research, Los Angeles, v. 243, p. 52-58, 2019.
CHEUNG, V. K. M.; et al. Uncertainty and surprise jointly predict musical pleasure and Amygdala, Hippocampus, and auditory cortex activity. Current Biology, Cambridge, v. 29, n. 23, p. 4084-4092.e4, dez. 2019.
COSTAS, R.; ZAHEDI, Z.; WOUTERS, P. Do “altmetrics” correlate with citations? extensive comparison of altmetric indicators with citations from a multidisciplinary perspective. Journal of the Association for Information Science and Technology, Hoboken, v. 66, n. 10, p. 2003-2019, 2015.
DIAZ, F. M.; SILVEIRA, J. M. Music and affective phenomena: a 20-year content and bibliometric analysis of research in three eminent journals. Journal of Research in Music Education, Thousand Oaks, v. 62, n. 1, p. 66-77, mar. 2014.
EEROLA, T.; PELTOLA, H. R. Memorable experiences with sad music—reasons, reactions and mechanisms of three types of experiences. PLoS ONE, San Francisco, v. 11, n. 6, p. 1-29, 2016.
FACHIN, J.; ARAÚJO, R. F.; BLATTMANN, U. Indicadores alternativos e tradicionais da Revista Estudos Feministas Brasileira. Brazilian Journal of Information Science, Marília, v. 14, n. 1, p. 112-129, jan./mar. 2020.
FACHNER, J. C. et al. ‘Telling me not to worry…” Hyperscanning and neural dynamics of emotion processing during Guided Imagery in Music. Frontiers in Psychology, Lausanne, v. 10, p. 1-23, jul. 2019.
FIELD, A.; MILES, J.; FIELD, Z. Discovering statistics using R. Londres: Sage, 2012.
FIGUEIREDO FILHO, D. B.; SILVA JÚNIOR, J. A.; ROCHA, E. C. What is R2 all about? Leviathan (São Paulo), São Paulo, n. 3, p. 60-68, 2011.
GONTIJO, M. C. A; ARAÚJO, R. F. de. Dados bibliométricos e altmétricos de artigos científicos sobre inteligência artificial: análise do impacto acadêmico e social. Múltiplos Olhares em Ciência da Informação, Belo Horizonte, v. 9, n. 2, p. 1-11, 2020.
GONTIJO, M. C. A.; ARAÚJO, R. F. de. Impacto acadêmico e atenção on-line de pesquisas sobre inteligência artificial na área da saúde: análise de dados bibliométricos e altmétricos. Encontros Bibli: Revista Eletrônica de Biblioteconomia e Ciência da Informação, Florianópolis, v. 26, p. 01-21, 2021.
HAIR, J. F. et al. Multivariate data analysis. Harlow: Pearson Education Limited, 2014.
HAMMARFELT, B. Using altmetrics for assessing research impact in the humanities. Scientometrics, Dordrecht, v. 101, n. 2, p. 1419-1430, mar. 2014.
HAYON, S. et al. Twitter mentions and academic citations in the urologic literature. Urology, New York, v. 123, p. 28-33, jan. 2019.
JEONG, J. W. et al. The impact of social media on citation rates in coloproctology. Colorectal Disease, Hoboken, v. 21, n. 10, p. 1175-1182, 2019.
JUSLIN, P. N.; LAUKKA, P. Communication of emotions in vocal expression and music performance: Different channels, same code? Psychological Bulletin, Washington, v. 129, n. 5, p. 770-814, 2003.
JUSLIN, P. N.; VÄSTFJÄLL, D. Emotional responses to music: The need to consider underlying mechanisms. Behavioral and Brain Sciences, New York, v. 31, n. 5, p. 559-575, out. 2008.
KOELSTRA, S. et al. DEAP: A database for emotion analysis; using physiological signals. IEEE Transactions on Affective Computing, Piscataway, v. 3, n. 1, p. 18-31, jun. 2011.
MESCHEDE, C.; SIEBENLIST, T. Cross-metric compatability and inconsistencies of altmetrics. Scientometrics, Dordrecht, v. 115, n. 1, p. 283-297, fev. 2018.
ORDUÑA-MALEA, E.; DELGADO-LÓPEZ-CÓZAR, E. Dimensions: re-discovering the ecosystem of scientific information. Profesional de la Información, Barcelona, v. 27, n. 2, p. 420–431, abr. 2018.
ORTEGA, J. L. Reliability and accuracy of altmetric providers: a comparison among Altmetric.com, PlumX and Crossref Event Data. Scientometrics, Dordrecht, v. 116, n. 3, p. 2123-2138, jul. 2018.
ORTEGA, J. L. Blogs and news sources coverage in altmetrics data providers: a comparative analysis by country, language, and subject. Scientometrics, Dordrecht, v. 122, n. 1, p. 555-572, jan. 2020.
PRIEM, J.; GROTH, P.; TARABORELLI, D. Altmetrics:a manifesto, documento online, [S.l], Oct. 2010.
PRIEM, J.; GROTH, P.; TARABORELLI, D. The altmetrics collection. PloS ONE, San Francisco, v. 7, n. 11, p. 1-2, nov. 2012.
REPISO, R.; CASTILLO-ESPARCIA, A.; TORRES-SALINAS, D. Altmetrics, alternative indicators for Web of Science Communication studies journals. Scientometrics, Dordrecht, v. 119, n. 2, p. 941-958, 2019.
SALIMPOOR, V. N. et al. Anatomically distinct dopamine release during anticipation and experience of peak emotion to music. Nature Neuroscience, Berlin, v. 14, n. 2, p. 257-262, jan. 2011.
SHAPIRO, S. S.; FRANCIA, R. S. An approximate analysis of variance test for normality. Journal of the American Statistical Association, Alexandria, v. 67, n. 337, p. 215-216, 1972.
SHARIFI, A.; SIMANGAN, D.; KANEKO, S. Three decades of research on climate change and peace: a bibliometrics analysis. Sustainability Science, Tokyo, p. 1-17, ago. 2020.
SILVA; J. B. M.; MACÊDO, D. J.; MARICATO, J. M. Medição da informação científica na Web 2.0: explorando as possibilidades e limitações da plataforma Altmetric. Ciência da Informação, Brasília, DF, v. 49, n. 3, p. 272-288, 2021.
SILVA FILHO, R. C.; VANZ, S. A. S. Impacto de altmetrics sobre a visibilidade de artigos em acesso aberto da enfermagem brasileira: um estudo de caso. Transinformação, Campinas, v. 31, e190025, p. 1-11, 2019.
SPEARMAN, C. The proof and measurement of association between two things. The American Journal of Psychology, [s.l.], v. 15, n. 1, p. 72-101, jan. 1904.
SUD, P.; THELWALL, M. Evaluating altmetrics. Scientometrics, Dordrecht, v. 98, n. 2, p. 1131-1143, ago. 2013.
SULTAN, A. A.; MASHREI, M. A.; WASHER, G. A. Utilization of Wilcoxon-Mann-Whitney statistics in assessing the reliability of nondestructive evaluation technologies. Structures, New York, v. 27, p. 780-787, out. 2020.
TARUFFI, L.; KOELSCH, S. The paradox of music-evoked sadness: an online survey. PLoS ONE, San Francisco, v. 9, n. 10, p. 1-17, 2014.
THELWALL, M. et al. Do altmetrics work? Twitter and ten other social web services. PloS ONE, San Francisco, v. 8, n. 5, p. 1-7, maio 2013.
THELWALL, M. Dimensions: a competitor to Scopus and the Web of Science?. Journal of Informetrics, Amsterdam, v. 12, n. 2, p. 430-435, 2018.
TIROVOLAS, A. K.; LEVITIN, D. J. Music perception and cognition research from 1983 to 2010: a categorical and bibliometric analysis of empirical articles in music perception. Music Perception, Oakland, v. 29, n. 1, p. 23-36, set. 2011.
VANTI, N.; SANZ-CASADO, E. Altmetria: a métrica social a serviço de uma ciência mais democrática. Transinformação, Campinas, v. 28, n. 3, p. 349-358, set./dez. 2016.
WASIKE, B. Citations gone #social: examining the effect of altmetrics on citations and readership in communication research. Social Science Computer Review, Thousand Oaks, v. 39, n. 3, p. 416-433, jun. 2021.
WILCOXON, F. Individual comparisons by ranking methods. Biometrics Bulletin, Washington, v. 1, n. 6, p. 80-83, dez. 1945.
WINTER, J. C.F.; GOSLING, S. D.; POTTER, J. Comparing the Pearson and Spearman correlation coefficients across distributions and sample sizes: a tutorial using simulations and empirical data. Psychological Methods, Washington, v. 21, n. 3, p. 273-290, 2016.
WONG, E. Y.; VITAL, S. M. PlumX: a tool to showcase academic profile and distinction. Digital Library Perspectives, Yorkshire, v. 33, n. 4, p. 305-313, nov. 2017.
XIA, F. et al. Bibliographic analysis of Nature based on Twitter and Facebook altmetrics data. PloS ONE, San Francisco, v. 11, n. 12, p. 1-14, dez. 2016.
Music and emotions: an altmetric study of scholarly production from 1970 to 2019
Abstract: Altmetric indicators are complementary mechanisms to citation metrics about measuring the impact of scholarly production. In this sense, Brazilian and international researchers have been carrying out studies focusing on the analysis of relationships between alternative and traditional metrics. In this research, we analyze the scholarly production on music and emotions published between the years 1970 to 2019, and we search for possible relationships between altmetric indicators and the number of academic citations received by an article. Through quali-quantitative and descriptive research, we identified Mendeley and Twitter as the leading sources of altmetric data on the topic studied. We visualized relations between altmetric indicators and the number of citations, especially in the number of readers in Mendeley, able to explain 27.99% of the citations received. We found that, on average, articles with altmetric indicators receive 3.48 times more citations, while works with Twitter mention and those with Mendeley bookmark usually contain 2.06 and 3.53 times more citations, respectively. Finally, we see potential in using alternative metrics to monitor publications about music and emotions, as well as in other themes
Keywords: Citations; Emotions; Altmetric Indicators; Music; Scholarly Production
Notas
Notas de autor
psxm54@gmail.com
dtsunoda@ufpr.br
Información adicional
Declaração de autoria: Concepção e elaboração do estudo: Paulo Sergio da Conceição Moreira. Coleta de dados: Paulo Sergio da Conceição Moreira. Análise e interpretação de dados: Paulo Sergio da Conceição Moreira, Denise Fukumi Tsunoda. Redação: Paulo Sergio da Conceição Moreira, Denise Fukumi Tsunoda. Revisão crítica do manuscrito: Denise Fukumi Tsunoda.
Como citar:: MOREIRA, Paulo Sergio da Conceição; TSUNODA, Denise Fukumi. Música e emoções: um estudo altmétrico da produção científica de 1970 a 2019. Em Questão, Porto Alegre, v. 27, n. 1, p. 209-233, 2022. DOI: http://dx.doi.org/10.19132/1808-5245275.209-233
