Cosseno de Salton, Índice de Jaccard e Correlação de Pearson: comparando índices normalizados e absolutos em análise de cocitação de autores

Salton's Cosine, Jaccard Index and Pearson's Correlation: comparing normalized and absolute indexed in author co-citation analysis

A pesquisa bibliométrica atual, segundo Glänzel (2003), é destinada a três grupos-alvo principais da Bibliometria contemporânea, a saber: Bibliometria para profissionais da bibliometria; Bibliometria aplicada às disciplinas científicas; Bibliometria para a política científica e gestão.

O primeiro grupo é próprio da pesquisa bibliométrica “de base”, que está preocupada com o seu desenvolvimento conceitual-teórico-metodológico. Contribuem para o avanço do conhecimento da área, propondo a criação de novos conceitos e indicadores, bem como reflexões e análises relativas à área. O segundo grupo, de natureza metodológica, se propõe a dar sustentação às áreas em que se aplicam os procedimentos da Bibliometria, constituindo a grande parte da própria Cientometria. O terceiro grupo se presta a subsidiar pesquisas destinadas à construção de indicadores voltados para a política científica e gestão.

Este estudo se situa no primeiro grupo, Bibliometria para profissionais da bibliometria, na medida em que objetiva contribuir, de forma analítica, para o desenvolvimento da temática “Análise de Cocitação de Autores”. Constitui também um estudo aplicado, de natureza metodológica, na medida em que se propõe a dar sustentação às diferentes áreas da ciência em que se aplicam os procedimentos da Bibliometria, situando-se também no segundo grupo-alvo. Trata dos indicadores necessários e implícitos a essa metodologia, cujo uso é relevante, especialmente por abordar as diferentes subáreas da Cientometria, fortalecendo sua compreensão e seu uso.

Hjørland (2002) e Smiraglia (2011) destacam a contribuição dos estudos de citação e cocitação, dentre as metodologias bibliométricas, para a compreensão de um contexto e das relações que acontecem em uma comunidade científica. Nos estudos de citação e cocitação, destacam-se os estudos de Small (1973), White e Griffith (1981), entre outros.

A cocitação é definida por Small (1973, p. 265) como “[...] a frequência com que dois documentos citados estão juntos em um artigo.”. O número de vezes que os autores ou documentos foram citados juntos determina a força da cocitação entre eles, bem como o núcleo da literatura da área. As citações indicam os paradigmas das comunidades formadas, seus procedimentos metodológicos, os grupos de cientistas, suas publicações, e evidenciam os pesquisadores de impacto de uma área. Associada à análise de citações, a Análise de Cocitações de Autores (ACA) foi aprofundada por White e Griffith, em 1981 (WHITE; GRIFFITH, 1981). A frequência de cocitação entre dois autores determina como a estrutura de conhecimento da área é percebida pelos pesquisadores (GMÜR, 2003). Observa-se, ainda, que o conjunto de referências de uma área constitui a representação de sua estrutura intelectual.

Os estudos de coautoria e cocitação são, em geral, realizados a partir da construção de matrizes de valores absolutos. No entanto, quando se pretende realizar estudos comparativos, dadas as especificidades e peculiaridades de cada área, destaca-se a relevância dos indicadores normalizados. Estes possibilitam avaliações comparativas, uma vez que padronizam as unidades de medida, além de revelar aspectos não explicitados nos dados brutos obtidos nas matrizes com valores absolutos (GLÄNZEL et al., 2009), tais como a intensidade e a proximidade de relações entre os autores cocitados.

Segundo os estudos de Luukkonen et al. (1993), os índices absolutos e normalizados trazem tipos diferentes de informações: os absolutos mostram os autores centrais ou os mais periféricos nas redes, enquanto os índices normalizados mostram a intensidade das relações de colaboração ou de cocitação entre os pares de pesquisadores cocitados.

Apresentam-se vários procedimentos para a normalização dessas medidas, tais como: Cosseno de Salton (CS), Índice de Jaccard (IJ) e Coeficiente de Correlação de Pearson, denotado por Correlação de Pearson (r), indicadores estes que são o foco desta pesquisa, utilizados aqui para análise de cocitações de autores. Há outros procedimentos matemáticos e estatísticos para normalização, não abordados no âmbito deste trabalho.

Considerando o exposto, objetiva-se nesta pesquisa realizar um estudo comparativo entre os indicadores absolutos e os normalizados, a saber: Cosseno de Salton (CS), Índice de Jaccard (IJ) e Correlação de Pearson (r) para Análise de Cocitação de Autores. De forma mais específica, propõe-se apresentar os três índices normalizados, apontar as diferenças no uso entre os indicadores absolutos e os normalizados, relativos ao CS, IJ e Correlação de Pearson (r), analisar algumas questões sobre a escolha desses diferentes procedimentos e apresentar um estudo teórico-aplicado desses indicadores, comparando resultados extremados.

Esta pesquisa se justifica, considerando as especificidades das diferentes áreas, relativas aos diferentes comportamentos no que se refere às citações. Ela se propõe a analisar alguns procedimentos e técnicas para estudos relativos à normalização de cocitações, uma vez que esta padroniza as unidades de medida nas matrizes de cocitação de autores. Também pela necessidade de evidenciar algumas questões existentes no âmbito da comunidade científica relativas ao procedimento mais adequado a ser utilizado nas diferentes situações.

Ao comparar os três resultados obtidos pela Correlação de Postos, podem-se obter indicadores que contribuirão para destacar se algum dos índices normalizados deve ser utilizado de forma mais diferenciada ou se eles podem ou não ser usados indiscriminadamente.

Os estudos de cocitação de autores utilizam matrizes de proximidade na medida em que deixam explícita a intensidade da proximidade ou o maior distanciamento entre os pares de autores cocitados, sob a ótica dos autores citantes. Nas matrizes de proximidade, quanto maior for o valor do indicador de cocitação, mais similares e próximos serão os dois autores cocitados, nos aspectos teóricos e/ou metodológico (LEYDESDORFF; VAUGHAN, 2006). Assim, todas as matrizes de frequência absoluta ou normalizada de cocitação são chamadas de similaridade.

O CS é um índice normalizado, calculado a partir da matriz de coocorrência dos dados absolutos, tanto para a coautoria quanto para cocitações, conforme Luukkonen et al. (1993). É expresso pela frequência de coautorias ou cocitações de dois autores i e j. A fórmula do CS, presente nos estudos de Hamers et al. (1989), nos quais as coocorrências representam cocitações, pode ser assim expressa:

Onde,

coc (i, j) = total de cocitações entre o autor i e j;

cit (i) = total de citações recebidas pelo autor i;

cit (j) = total de citações recebidas pelo autor j.

Small (1973) foi o primeiro a apontar o IJ como índice de normalização, utilizado somente para cocitações. Mede a intensidade da relação entre dois autores, revistas ou documentos, e é definido como a frequência de cocitação de dois autores A e B, chamados aqui de Cocit (A, B). É compreendido como o número de vezes que os autores A e B são citados conjuntamente, representados por Cocit (A, B), dividido pelo número total de citações recebidas pelos dois autores A e B, representadas conceitualmente por Cit (A) + Cit (B) – Cocit (A∩B).

Segundo Luukkonen et al. (1993), a fórmula, reelaborada, pode ser expressa por:

O Índice de Jaccard (IJ) é utilizado somente para cocitações e mede a intensidade da relação entre dois autores, revistas ou documentos; é definido como a frequência de cocitação de dois autores A e B, chamados aqui de Cocit (A, B) (VANZ, 2009).

Tanto o CS quanto o IJ apresentam valores variando entre zero e um: quanto mais próximo de um estiver o valor desses indicadores, mais similares são os dois autores; quanto mais próximo de zero, mais distante (menos intensa) é a associação dos dois autores, seja como coautores ou na percepção do conjunto de autores citantes. Valor zero para CS ou IJ indica ausência de coautorias ou cocitações entre dois autores.

Destaque-se que, tanto para CS ou IJ, o valor zero indica ausência de coautorias ou cocitações entre os dois autores. Caso ocorra, para esses indicadores, o valor um, significa que os dois autores, no caso de cocitação, foram citados exatamente nos mesmos trabalhos; no caso de coautoria, foram coautores em todos os trabalhos produzidos.

A correlação mede a associação de pares de autores cocitados, considerando o conjunto de valores de cocitações de cada um deles com os demais em estudo. O r de Pearson foi a medida padrão na ACA (-1≤ r ≤+1) e, nesse intervalo, a correlação varia de sentido (de negativo para positivo) e de força (fraca, moderada ou forte).

Considerando xi e yi as frequências de cocitações de um autor X e de um autor Y, com os demais autores, para i variando de 1 a n, com n igual à quantidade de autores em estudo, o r de Pearson é definido por:

A escolha do uso do índice de similaridade para a normalização CS ou IJ ou r de Pearson, no caso da ACA, é controversa. Em 2003, Ahlgren et al. criticaram o uso de r de Pearson, mostrando que o mesmo não satisfaz isoladamente como medida de similaridade. Os autores citados fornecem argumentos para o uso do CS, em vez de r de Pearson, especialmente quando se pretende analisar a visualização da estrutura das redes sociais ou Multi-Dimensional Scaling (MDS). Porém, Bensman (2004) e White (2003) consideram que, ao se propor uma análise estatística (multivariada, por exemplo), deve-se usar a correlação de Pearson.

Quando o foco da análise for a frequência de cocitação entre dois autores, independentemente do total do volume de cocitações, seja frequência absoluta ou normalizada pelo CS ou IJ, tem-se uma medida local, também chamada bilateral de similaridade. Quando a análise de cocitação entre dois autores estiver relacionada com todos os outros autores do conjunto de dados analisados, tem-se uma medida global ou multilateral, como é o caso de r de Pearson. Ahlgren et al. (2003) apontam que o uso de um ou outro método (local ou global) leva a resultados totalmente diferentes.

O CS é sempre maior que o IJ. O resultado do índice para o “[...] Cosseno de Salton é, em geral, o dobro do valor para o Índice de Jaccard.” (HAMERS, 1989, p. 315), mas tem-se com o IJ uma medida tão boa quanto CS. Egghe e Leydesdorff (2009) preferem utilizar o CS, considerando que as diferenças entre os resultados são mínimas.

Não há consenso a respeito do uso de um ou outro indicador, mesmo porque eles estão em função das possíveis amostras nas quais se trabalha, sejam valores com menor dispersão, portanto mais concentrados, sejam valores extremados.

Na área da Ciência da Informação, estudos aplicados de análise de cocitação têm tido visibilidade, oriundos das matrizes de cocitação e de índice de cocitação relativa. Estes têm dado origem a uma significativa literatura na área, especialmente em âmbito internacional. Podem-se citar os estudos de White e McCain (1998), Moya Anegón, Jiménez Contreras e Moneda Corrochano (1998), Liberatore, Herrero-Solana e Guimarães (2007) e Pinheiro e Silva (2008) com o objetivo de evidenciar os pesquisadores mais destacados e/ou citados nas áreas estudadas e apresentar indicadores que contribuam para o delineamento do panorama da atividade científica.

Acrescente-se que, nos “Encontros Brasileiros de Bibliometria e Cientometria”, eventos específicos da área de Estudos Métricos, alguns estudos dessa natureza têm sido apresentados, objetivando contribuir para a visibilidade da temática. Destaca-se, ainda, a temática presente nos eventos de âmbito internacional, tais como Indicadores de Ciência e Tecnologia (STI) e Sociedade Internacional para Cientometria e Informetria (ISSI), entre outros.

Contudo, a literatura não apresenta um posicionamento conclusivo sobre a questão apontada, e, por consequência, o estabelecimento da metodologia adequada para a ACA não se encontra plenamente consolidado, demandando muitos estudos a fim de se ratificar a necessidade de conversão da frequência de cocitação em índices de cocitação relativa (VANZ, 2009).

Conceituaram-se os três índices abordados, com questões sobre seu uso. Utilizaram-se os artigos publicados no periódico Scientometrics, sobre a temática “Estudos Métricos”, na base de dados SCOPUS, com os termos de busca “Bibliometr*” OR “Cientometr*”, recuperando-se 234 artigos publicados no período de 2013 e 2014, em junho de 2015. Identificaram-se 9.327 pesquisadores citados, em um total de 8.610 referências.

Construiu-se uma tabela em ordem decrescente de citações, desconsiderando-se as autocitações. O corte na tabela foi feito para os pesquisadores citados em pelo menos 28 artigos, totalizando o grupo-alvo de 21 pesquisadores. Construiu-se a matriz de dados absolutos (21x21). Para o cálculo do CS e IJ, utilizou-se o Microsoft Excel, e para o cálculo de r de Pearson, o software SPSS. Destacaram-se os índices que apresentaram valores notáveis, apontando algumas contribuições desses três indicadores para a visualização das proximidades entre os autores cocitados, tendo como referência a matriz de valores absolutos.

No sentido de comparar melhor os resultados das matrizes com os índices normalizados — CS, IJ e r de Pearson — com os valores da matriz absoluta, calculou-se a Correlação de Postos (Correlação de Spearman) por meio do Excel na opção suplementos, no recurso Action, a partir dos dados de cada uma das matrizes normalizadas ordenadas em postos, calculadas a Correlação com a matriz de valor absoluto, com os presentes dados, a fim de sugerir o melhor indicador normalizado.

Representaram-se as relações pareadas da matriz de valor absoluto com os resultados normalizados das outras três matrizes, construindo-se o(s) gráfico(s) de dispersão, por meio do software Excel. Objetivou-se, assim, a visualização das relações absolutas e normalizadas pelos três procedimentos utilizados, a fim de verificar qual delas é mais significativa, mostrando uma localização de pares ordenados mais próximos à organização linear.

Considerando que os pesquisadores mais cocitados advêm de várias áreas, com diferentes padrões de citações, foi necessária a normalização dos mesmos. A partir dos maiores produtores existentes na base de dados Scopus, destacam-se as seguintes grandes áreas e subáreas do conhecimento, a partir da classificação da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (2012): Ciências Biológicas — Bioquímica, Genética, Biologia Celular, Agricultura e Ciências Biológicas; Ciências da Saúde — Medicina, Enfermagem, entre outras; Engenharias — Engenharias, entre outras; Ciências Exatas e da Terra — Ciências da Computação, Matemática, entre outras; Ciências Humanas — Psicologia, Ciências Sociais, entre outras grandes áreas e subáreas.

Os procedimentos de normalização padronizam as unidades de medida nas matrizes. Apresentam-se a Figura 1, com a matriz absoluta, e as Figuras 2, 3 e 4, com as matrizes normalizadas pelo CS, IJ e r de Pearson.

Figura 1
Matriz de valores absolutos.
Fonte: Elaborado pelos autores.

A matriz da Figura 1 mostra os pesquisadores mais cocitados em sua primeira linha e coluna, e, na diagonal principal, os valores de citação de cada pesquisador, representados tanto pela linha quanto pela coluna, respectivamente. Destaca-se que a última linha e coluna são os totais marginais das citações de cada autor. Cada célula no interior da matriz representa o valor de Cocit (A, B), significando o valor de cocitação entre os autores (A, B). A seguir apresentam-se as três matrizes normalizadas por CS, IJ e r de Pearson.

Figura 2
Matriz normalizada pelo Cosseno de Salton (Cs).
Fonte: Elaborado pelos autores.

A Figura 2 apresenta a matriz normalizada de cocitação pelo CS, com destaque para valores mais próximos ao valor 1. Observam-se valores significativos de índices de CS, variando entre Van Raan e Moed, igual a 0,50, e entre Waltman e Van Eck, igual a 0,93, em amarelo, advindos de proximidade temática identificada pelos citantes, que explicitam a concepção de cocitação ou podem indicar coautoria entre os pares de autores cocitados.

A matriz normalizada pelo IJ se apresenta na Figura 3.

Figura 3
Matriz normalizada pelo Índice Jaccard.
Fonte: Elaborado pelos autores.

Na Figura 3, os valores maiores, próximos a 1, em amarelo, representam as cocitações normalizadas entre Hirsch e Egghe, igual a 0,56, e entre Waltman e Van Eck, com valor máximo igual 0,86, maiores valores extremados. Por outro lado, valores normalizados próximos a zero, tal como Moed e Ho e, ainda, Ho e Van Leeuwen iguais 0,02 são os menores valores extremados próximos a zero.

Figura 4
Matriz normalizada pela Correlação Linear de r Pearson.
Fonte: Elaborado pelos autores.

Comparando-se os cinco maiores valores absolutos com suas respectivas normalizações, CS, IJ e r de Pearson, em cor amarela, destacam-se as cocitações entre: Van Raan e Moed; Schubert e Braun; Hirsch e Egghe; Egghe e Rousseau; e Waltman e Van Eck. Tomaram-se os quatro menores valores de cocitação entre os autores, em verde, na matriz absoluta e suas respectivas normalizações, a saber: Moed e Ho; Ho e Van Leeuwen; Ho e Bordons; e Ho e Martin.

Analisando-se e comparando-se os valores de CS e IJ nos cinco pares de cocitações destacados, observa-se que os valores de CS são maiores que IJ (HAMERS, 1989).

Nas normalizações, analisando-se e comparando-se as Figuras 1, 2, 3 e 4índices absolutos, CS, IJ e r de Pearson —, os maiores valores são para Waltman e Van Eck. Embora não tenham o maior valor absoluto para cocitação, eles possuem os maiores valores normalizados, pois diferenciam a intensidade de proximidade, não discriminada pelas frequências absolutas (valor 32), com o maior valor igual a 0,99 para r de Pearson, significando correlação quase perfeita entre os dois autores. Esse resultado advém de 32 cocitações absolutas relativizadas, para 36 citações do Waltman e 33 citações do Van Eck. As demais correlações seguem igual raciocínio, mas com menor intensidade de cocitação.

Por outro lado, compararam-se os quatro menores valores absolutos com suas respectivas normalizações, CS, IJ e r de Pearson (em cor verde), tendo Ho e Van Leeuwen; Ho e Bordons; e Ho e Martin apenas uma cocitação.

Para evidenciar algumas questões existentes no âmbito da comunidade científica relativas ao procedimento mais adequado a ser utilizado nas diferentes normalizações, destaque-se que CS e IJ estão próximos para os nove valores destacados nas matrizes, porém distantes dos valores de r de Pearson, explicado pelo fato de serem índices de correlação local e o r de Pearson ser um índice global, influenciado por todo o conjunto (AHLGREN et al., 2003).

No sentido de aprofundar as análises e obter conclusões mais consistentes, calculou-se, a partir dos dados da matriz de valores absolutos pareada com seus valores normalizados — CS, IJ e r de Pearson —, a Correlação de Postos (Correlação de Spearman), a fim de sugerir o indicador normalizado com maior significância a ser utilizado.

Assim, por meio do recurso Action do Excel, utilizaram-se a Estatística básica, a Matriz de Correlação e o Spearman Rank-order para os valores absolutos e as três matrizes normalizadas, obtendo-se os seguintes valores de Correlação de Postos: para os valores da matriz absoluta e os índices de CS, obteve-se o valor 0,96; para a matriz absoluta e IJ, obteve-se o valor 0,94; e para a matriz absoluta e r de Pearson, obteve-se o valor 0,48.

Os valores altos de correlação mais próximos a 1 (inteiro) são as relações estatisticamente significantes, indicando que, a partir dos dados desta pesquisa, o mais conveniente é a utilização dos índices normalizados de CS, por ter se apresentado com a maior correlação 0,96, mostrando, assim, forte grau de associação com os valores absolutos.

Ainda, a fim de ratificar o procedimento mais adequado a ser utilizado nas diferentes normalizações, construíram-se três diagramas de dispersão entre os valores da matriz absoluta no eixo das abscissas e os valores normalizados, para Cs, IJ e r de Pearson, no eixo das ordenadas.

A simples inspeção dos três diagramas de dispersão demonstra, pelo Gráfico 1, a pertinência do uso da normalização pelo CS, pelo fato de a maioria dos pontos se aglutinarem com maior proximidade no entorno da linha reta. Por outro lado, a análise do Gráfico 3 mostra a dispersão dos valores no entorno da reta, ou seja, a escolha do Coeficiente Linear de Pearson para a normalização da matriz de valores absolutos seria a menos desejável, considerando os dados aqui apresentados.

Apresentam-se, a seguir, os respectivos cálculos de Correlação de Spearman e os gráficos de dispersão correspondentes.

Gráfico 1
Diagrama de dispersão entre matriz de valores absolutos e índices normalizados de CS.
Fonte: Dados gerados pelos autores por meio do Excel.

Gráfico 2
Diagrama de dispersão entre matriz de valores absolutos e índices normalizados por IJ.
Fonte: Dados gerados pelos autores por meio do Excel.

Gráfico 3
Diagrama de dispersão entre matriz de valores absolutos e índices normalizados pelo r de Pearson.
Fonte: Dados gerados pelos autores por meio do Excel.

Considerando as discussões existentes entre a utilização de um ou outro procedimento de normalização de matrizes, deve acontecer sempre uma análise cuidadosa na indicação do índice a ser utilizado de forma mais discriminativa. Pode ocorrer que o recorte da amostra apresente resultados dispersos, para os quais os índices indicam comportamentos bastante distintos, que deverão ser analisados.

Apesar de não existir uma indicação unívoca para o uso dos índices de normalização, as pesquisas na temática sugerem que a escolha do procedimento está articulada com os objetivos da pesquisa e a natureza dos dados, para a qual se propõe a normalização. Assim, quando se pretende visualizar uma rede de cocitações, tanto o CS como o IJ são índices bem aceitos. Quando o objetivo do estudo se encaminha para uma análise estatística mais avançada, a exemplo da multivariada, o r de Pearson é mais aconselhado. Observe-se que as informações utilizadas para CS e IJ diferem daquelas usadas para o cálculo do r de Pearson.

Neste estudo, após análises e cálculos por meio da Correlação de Spearman, definiu-se pelo uso do CS, como o melhor procedimento normalizado, considerado o mais adequado. Se a opção, sem análises prévias fosse IJ, também seria uma normalização aceita, porém, menos adequada que CS.

Propõe-se a continuidade e o aprofundamento de estudos nas questões relativas às normalizações de índices, em amostras que diferem em natureza dos presentes dados, tanto relativos às análises de cocitações ou coautorias.

Ao Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq).