Secciones
Referencias
Resumen
Servicios
Buscar
PDF
ePub
Fuente


RELACIÓN Y CORRESPONDENCIA ENTRE DIVERSOS INDICADORES DE REPERCUSIÓN EN UNA MUESTRA DE ARTÍCULOS DE EXCELENCIA
RELATIONSHIP AND CORRESPONDENCE BETWEEN DIFFERENT IMPACT INDICATORS IN A SAMPLE OF ARTICLES OF EXCELLENCE.
Anales de Documentación, vol. 19, núm. 1, , 2016
Universidad de Murcia

Disponible en:
http://www.redalyc.org/articulo.oa?id=63543641003


Recepción: 26 Diciembre 2015

Aprobación: 08 Febrero 2016

DOI: 10.6018/analesdoc.19.1.247101

Resumen: El objetivo ha sido comparar el factor de impacto a 2 años con autocitas (FI2aCA) con el factor de impacto a 2 años sin autocitas (FI2aSA) y el FI2aCA con el factor de impacto a 5 años (FI5a) así como el FI2aSA con el SCImago Journal Rank (SJR) de las revistas donde fueron publicados artículos de excelencia en tabaquismo de autores españoles en el periodo 2008 a 2012. La búsqueda se realizó en el SCI-E y en el SSCI-E el 25 de noviembre de 2013. Fueron seleccionados los documentos que tenían el índice h de la muestra global de la estrategia (número de artículos que tienen al menos ese número de citas), empleando para la búsqueda los descriptores "smok*" OR "tobac*". Se recuperaron 69 artículos de autores españoles en 55 revistas. Encontramos una correlación casi perfecta entre el FI2aCA y el FI2aSA, alcanzando el FI2aCA valores mayores que el FI2aSA. Además encontramos una correlación casi perfecta entre el FI2aCA y el FI5a con una buena concordancia, alcanzando el FI5a valores mayores que el FI2aCA pero con gran variabilidad y heterogeneidad entre revistas. Escasa correlación y concordancia entre el FI2aSA y el SJR. El FI2aSA presenta sistemáticamente valores superiores al SJR y miden, por lo tanto, aspectos diferentes, no siendo extrapolables ni intercambiables.

Palabras clave: Tabaquismo, factor de impacto, SCImago Journal Rank, correlación, concordancia.

Abstract: The objective was to compare the impact factor to 2 years of self-citations (IF2Y) with impact factor 2 years without self-citations (IF2YWS) and IF2Y with the impact factor to 5 years (IF5Y) as well as IF2YWS with SCImago Journal Rank (SJR) about journals where they were published articles of excellence in smoking by Spanish authors in the period 2008-2012. The search was conducted in the SCI-E and the SSCI-E on November 25, 2013. Were selected documents that had the h index of the strategy global sample (number of articles that have at least that number of citations) to search using the descriptors "smok *" OR "tobac *". A total of 69 articles by Spanish authors were recovered from 55 journals. We found an almost perfect correlation between IF2Y and IF2YWS, reaching IF2Y the highest values. We also found an almost perfect correlation between IF2Y and IF5Y with good agreement, reaching FI5a highest values with a great variability and heterogeneity between journals. The correlation between IF2YWS and SJR is poor with a low concordance. Systematically, the IF2YWS have always higher values than SJR and both indicators measure, therefore, different aspects, not be extrapolated or interchangeable.

Keywords: Smoking, impact factor, SCImago Journal Rank indicator, correlation, concordance.

GRANDA ORIVE, J.I. de et al. Relación y correspondencia entre diversos indicadores de repercusión en una muestra de artículos de excelencia. Anales de Documentación, 2016, vol. 19, nº 1. Disponible en: http://dx.doi.org/10.6018/analesdoc.19.1.247101.

1. INTRODUCCIÓN

Las bases de datos bibliográficas son la principal fuente de información utilizada en los estudios bibliométricos. La Web of Science [(WoS) ISI, Thomson Reuters, (http://www.accesowok.fecyt.es/)] es una herramienta internacional y multidisciplinaria, disponible para el acceso a la literatura de ciencia, tecnología, biomedicina y otras disciplinas y es donde se publica el famoso "factor de impacto" (FI) de las revistas journals (Granda et al., 2013a). La falta de estabilidad del FI ha motivado que se amplíe el periodo de su cálculo, estando disponible en la actualidad el factor de impacto a 5 años (FI5a). La base de datos Scopus fue fundada por Elsevier S.L. en 2004 <http://www.scopus.com/home.url> basando su análisis de influencia en el indicador SCImago Journal Rank (SJR).

La citación de artículos para fundamentar un trabajo a la hora de ser publicado en una revista científica es una práctica común y necesaria (Glänzel et al., 2005). El problema surge cuando intentamos cargar de valor a las citas, agravado desde que éstas se han convertido en la vara con que la ciencia mide y evalúa el trabajo de los científicos. En este contexto las autocitas no poseen el mismo valor que las citas externas. Por ello, quizá, para medir repercusión deberían analizarse las citas excluyendo las autocitas, pues así, realmente, se podría valorar la importancia y reconocimiento a un autor en un campo determinado. En el momento actual disponemos de herramientas de repercusión que las excluyen como el factor de impacto (FI) a 2 años sin autocitas (FI2aSA), el Eigenfactor Score, el Article Influence Score (Chang et al., 2013), el SJR y el Crown Indicator.

El SJR <http://www.scimagojr.com>, recientemente refinado y denominado SJR2 (Guerrero Bote y Moya Anegón, 2012), ha sido desarrollado por SCImago. Asigna un peso a las fuentes que emiten los enlaces que en el caso que nos ocupa serían las revistas citantes; se trata, pues, de dimensionar las fuentes citantes (Torres Salinas y Jiménez Contreras, 2010). En los indicadores de citación tradicionales (Davis, 2008) cada cita es un voto y todos estos votos son considerados iguales. Sin embargo este nuevo tipo de medidas considera que no todas las citas son iguales y que algunas valen más que otras. Por tanto, se realiza una valoración global de la red de citación, del contexto de citación de la revista. Una revista se considera más influyente si es citada desde revistas influyentes.

Las correlaciones encontradas previamente entre los diferentes índices de repercusión han sido aceptables aunque no siempre han resultado elevadas ni significativas (Torres Salinas y Jiménez Contreras, 2010; García Pachón y Arencibia, 2013; Siebelt et al., 2010; Kim et al., 2014; Kianifar et al., 2014). Aunque, en algunas áreas no existen grandes diferencias en aquellas revistas que ocupan los primeros puestos en los rankings de clasificación de prestigio de las revistas (García Pachón y Arencibia, 2013), en otras si que se han encontrado diferencias (Falagas et al., 2008).

Utilizando artículos de excelencia en tabaquismo de autores españoles, el objetivo de este trabajo ha sido comparar el factor de impacto a 2 años con autocitas (FI2aCA) con el factor de impacto a 2 años sin autocitas (FI2aSA) y el FI2aCA con el factor de impacto a 5 años (FI5a) así como el FI2aSA con el SCImago Journal Rank (SJR) de las revistas donde dichos artículos de excelencia han sido publicados.

2. MÉTODO

2.1 Búsqueda bibliográfica

La búsqueda bibliográfica fue realizada en SCI-E y en el SSCI a través de la plataforma ISI Web of Knowledge (Thomson Reuters) el día 25 de noviembre de 2013. La estrategia de búsqueda empleada fue "smok*" OR "tobac*". La búsqueda se realizó en el campo "Título" para evitar la recuperación de registros no pertinentes. Se delimitó la investigación al periodo 2008 a 2012, siendo seleccionados los documentos originales y revisiones sobre tabaquismo de autores españoles (limitándose a Spain en el campo "Address"). Para seleccionar los artículos de excelencia fueron escogidos los que tenían el índice h de la muestra global de la estrategia (número de artículos que tienen al menos ese número de citas). Todos los registros recuperados se examinaron manualmente por dos investigadores del grupo para garantizar su pertinencia.

2.1.1 Recogida de datos y variables analizadas

Para cada artículo recuperado se registraron las siguientes variables: año de publicación, título, revista y número de citas recibidas.

2.1.2 Indicadores bibliométricos

Como indicadores bibliométricos se determinaron: a) indicadores de productividad por años. b) indicadores de repercusión: número de citas recibidas por años, análisis de las citas (número total de citas recibidas, número de citas por documento). Se recogió el FI2aCA y FI2aSA, el FI5a así como el SJR, realizándose la comparación entre los factores de impacto [FI2aCA frente al FI2aSA y el FI2aCA frente al FI5a y del FI2aCA frente al SJR] alcanzados por las revistas donde habían sido publicados estos documentos de excelencia en tabaquismo de autores españoles.

2.1.3 Estadística

Una vez comprobado que las variables analizadas no siguen una distribución normal (pruebas de Kolmogorov- Smirnov y de D'Agostino-Pearson y gráficos Q-Q), las comparaciones entre variables se realizaron mediante la prueba de Wilcoxon y la evaluación de relaciones mediante correlación de Spearman.

Para la comparación entre indicadores, se determinó la recta de regresión entre ellos, comparándola con la recta de identidad. También se evaluó el coeficiente de concordancia de Lin (Lin, 1989) y la distribución en gráficos de concordancia de Bland y Altman (Bland y Altman, 1986), de montaña "mountain Plot" y de concodanciasupervivencia "survival-agreement plot". La comparación entre el FI2aSA y el SJR se realizó considerando al indicador FI2aSA como "gold standard".

Se consideró significativo un valor de p<0,05 y los análisis se efectuaron mediante los programas MedCalc versión 13.0.6.0, SPSS versión 15 y DeltaGraph versión 6.0.19.

3. RESULTADOS

3.1 Datos bibliométricos generales

Fueron recuperados un total de 73 artículos de tabaquismo de autores españoles en el año 2008, de los cuales 19 tenían al menos 19 citas (índice h de la muestra); 103 artículos en 2009, de los cuales 18 tenían al menos 18 citas; 116 artículos del 2010, de los cuales 15 tenían al menos 15 citas; 114 artículos en 2011 cuyo índice h fue de 10; por último, en 2012 se extrajeron un total de 131 artículos con un índice h de 7 (en total: 69 documentos en 55 revistas). En la Tabla I se pueden observar los datos globales (productividad y número de citas alcanzadas por los artículos de tabaquismo de autores españoles a través del SCI-E y SSCI para los años 2008 a 2012) y el número de artículos por tipología documental. En la Tabla II se pueden observar el total de 55 revistas donde se han publicado los artículos de excelencia en tabaquismo y la repercusión alcanzada en los diferentes indicadores analizados (ISI-JCR 2012 y SJR 2012). En la Tabla III se muestra la estadística descriptiva de las variables analizadas, observándose que no siguen una distribución normal, lo que también se puede observar en la Figura 1 (se identifican los valores extremos o outliers lo que claramente influye en la ausencia de normalidad).

Tabla 1
Total de artículos de excelencia (índice h de la muestra total) de tabaquismo de autores españoles (2008 - 2012). Se puede observar además la productividad, y el número de citas de los mismos.

Tabla 2
Revistas de publicación de los artículos de excelencia de tabaquismo de autores españoles (2008 - 2012) con la repercusión alcanzada por las mismas (ISI-JCR 2012 y SJR 2012) en los diferentes indicadores analizados. ISI: Institute for Scientific Information. JCR: Journal Citation Report. FI2aCA: Factor de Impacto 2 años con autocitas. FI2aSA: Factor de Impacto 2 años sin autocitas. FI5a: Factor de Impacto a 5 años. SJR: Scimago Journal Rank.

Tabla III
Características y distribución de los indicadores de repercusión analizados.


Figura 1
Distribuciones de las variables Factor de Impacto a 2 años con autocitas y sin autocitas, a 5 años y del índice SJR.

3.2 Comparación entre factores de impacto

3.2.1 Comparación entre el FI2aCA frente al FI2aSA

Se compara la diferencia de las medias de los valores de ambos indicadores cuyo resultado se muestra en la Tabla IV. Se aprecia que hay una diferencia estadísticamente significativa entre ambos indicadores, en el sentido de que la media del FI2aCA es mayor que la media del FI2aSA. Esto mismo se puede apreciar en el análisis de correlación. Aunque la correlación es casi perfecta (coeficiente de correlación de Spearman 0,989 y coeficiente de correlación concordancia de Lin 0,994; Tabla IV), en la Figura 2-1 la regresión entre ambas variables muestra que la mayoría de los puntos se encuentran por encima de la línea de identidad; de hecho, la recta de regresión entre ambas variables, considerando la variable FI2aCA como variable dependiente Y y la variable FI2aSA como variable dependiente X, es paralela a la línea identidad, pero siempre por encima de la misma. Así, en la Tabla V puede verse que la ordenada en el origen no incluye al 0 en su IC95% (de 0,213 a 0,479) y la pendiente no incluye al 1 (de 1,002 a 1,037), lo que indica que la regresión entre ambos indicadores no es igual a la identidad. En definitiva, el FI2aCA da valores mayores que el FI2aSA.

Tabla IV
Comparación de las medias de los valores de los diferentes indicadores.


Figura 2
Comparaciones entre los diversos indicadores de las revistas: Correlación1.

Tabla V
Regresión entre los diversos indicadores de las revistas.

Utilizando la metodología del análisis y gráficos de Bland-Altman (Figura 3) podemos demostrar lo mismo que con los coeficientes de correlación y concordancia. En la Figura 3-1 puede apreciarse que todas las diferencias entre el FI2aCA y el FI2aSA están por encima de la recta de ecuación y=0, excepto el caso de la revista Oral Oncology, cuya diferencia es negativa. Es decir, aunque el grado de concordancia entre ambos factores es muy bueno, pues sólo 2 revistas muestran diferencias fuera del rango de concordancia (Am J Respir Crit Care Med y Rev Esp Cardiol), de forma prácticamente sistemática, el FI2aCA alcanza valores mayores que el FI2aSA (salvo para la revista anteriormente mencionada: Oral Oncology). Por otro lado, el gráfico de Bland-Altman parece que podría sugerir una posible relación sistemática entre las diferencias entre ambos factores de impacto y la media de los mismos. Así, la correlación entre ambas variables es significativa; sin embargo, puede apreciarse en el gráfico que tal relación parece que viene introducida por el caso de la revista Nature Genetics que se muestra como outlier. Efectivamente, en la Tabla VI se muestran los valores de correlación y de los coeficientes de las rectas de regresión para ambas situaciones, es decir, con y sin la revista Nature Genetics. En el primer caso, se sugiere que conforme aumenta el valor del Factor Impacto, mayor sería la diferencia entre ambos (FI2aCA vs FI2aSA); pero cuando se excluye dicha revista, esta relación desaparece (Figuras 3-1 y 3-2).

Igualmente, al analizar la concordancia mediante el "gráfico montaña" ("Folded Empirical Cumulative Distribution Plot - Mountain Plot", Figura 4-1) se observa una buena concordancia y todas las diferencias están por encima del valor 0, lo que indica que el FI2aCA da valores sistemáticamente superiores a los valores del FI2aSA, como ya habíamos visto en los test de análisis anteriores. El gráfico "concordancia-supervivencia" "agreementsurvival Plot", que es un método gráfico de valoración de la concordancia, muestra una buena concordancia (Figura 5). Sin embargo, este gráfico no es capaz de detectar las desviaciones sistemáticas vistas en los gráficos de Bland- Altman o en el gráfico montaña.


Figura 3
Comparaciones entre los diversos indicadores de las revistas: Gráfico Bland Altman.

3.2.2 Comparación entre el FI2aCA frente al FI5a

Hemos encontrado que la diferencia de medias entre ambos indicadores es estadísticamente significativa (Tabla IV), mostrando los coeficientes de correlación de Spearman y de correlación-concordancia de Lin una correlación casi perfecta, siendo la recta de regresión prácticamente coincidente con la línea identidad (Figura 2-2); aunque el intervalo de confianza de la ordenada en el origen no incluye al valor 0, el intervalo de confianza de la pendiente sí incluye al valor 1, lo que indica que, en este parámetro, no se diferencia de la línea identidad (Tabla V).

El gráfico de concordancia de Bland-Altman muestra (Figura 3-2) una distribución heterogénea de los valores alrededor de la línea 0. Se aprecia cierta tendencia a un mayor número de puntos por debajo de la línea del 0 en el eje de ordenadas, lo que indica cierta tendencia a valores de FI5a mayores que los valores de FI2aCA, apreciándose una gran variabilidad y heterogeneidad entre los indicadores FI5a y FI2aCA de las diversas revistas. Sólo dos de ellas sobrepasan los límites de concordancia (Annals of Oncology·y Mutation Research - Reviews in Mutation Research). En este gráfico, tampoco se aprecia una tendencia entre la magnitud del valor del indicador y la diferencia entre los indicadores, pues los coeficientes de correlación entre ambos indicadores no son significativos, y la recta de regresión entre las diferencias y las medias de ambos indicadores muestra una pendiente no significativa (Tabla VI).

Tabla VI
Regresión entre las diferencias y las medias de las diversas combinaciones de indicadores de repercusión de las revistas.

El gráfico montaña (Figura 4-2) muestra, al igual que en el gráfico de Bland-Altman, que los valores de las diferencias se desplazan más un poco por debajo de cero, esto es, hay cierta tendencia a valores de FI5a algo mayores que los valores de FI2aCA, pero con bastante heterogeneidad. El gráfico es relativamente ancho, lo que indica que la concordancia es buena pero no totalmente óptima. Y, finalmente, el gráfico concordancia-supervivencia (Figura 5) muestra una buena concordancia.


Figura 4
Comparaciones entre los diversos indicadores de las revistas: Gráfico Montaña.


Figura 5
Comparaciones entre los diversos indicadores de las revistas: Gráfico concordancia-supervivencia.

3.2.3 Comparación entre el FI2aSA frente al SJR

La diferencia de medias entre FI2aSA y el SJR es estadísticamente significativa (Tabla IV) y muestra que la media de los valores del FI2aSA es mayor que la media de los valores del SRJ. Los coeficientes de correlación de Spearman y de correlación - concordancia de Lin, que se muestran en la Tabla IV, indican una pobre correlación y una pobre concordancia. De hecho, la Figura 2-3 que muestra la línea de regresión entre FI2aSA (como variable X, en abscisas) y el factor SJR (como variable Y, en ordenadas) refleja un alejamiento considerable de la línea de identidad. Esta desviación se muestra en la Tabla V, en la cual puede apreciarse como el intervalo de confianza de la ordenada en el origen no incluye al valor 0 (por tanto, la recta de regresión no pasa por la misma, valor (0,0)) y el intervalo de confianza de la pendiente no incluye al valor 1, lo que indica que no se trata de la recta bisectriz y, por tanto, no puede ser la línea de identidad, lo que nos sugiere que ambos indicadores podrían ser diferentes. Lo mismo se desprende de los gráficos de Bland-Altman (Figuras 3-4a, con la media entre el FI2aSA y el índice SRJ como variable de referencia en el eje X, de abscisas, y 3-4b , con la variable FI2aSA como variable de referencia en el eje X, de abscisas). En primer lugar, de los gráficos se desprende que todas las diferencias entre el FI2aSA y el índice SJR están por encima del valor 0, es decir, son siempre y sistemáticamente positivas. Esto indica que, de forma sistemática, el FI2aSA rinde siempre valores superiores al SRJ. En el gráfico se aprecia que hay 3 revistas que se salen fuera de los límites de concordancia, y que son el JNCI - Journal of the National Cancer Institute, PLOS Medicine y Nature Genetics. Y, en segundo lugar, de ambos gráficos y sobre todo, de la Figura 3-4b se desprende que hay una relación de dependencia entre el FI2aSA y el índice SJR. Así, conforme aumenta el valor del FI2aSA la diferencia con el índice SJR es mayor. Es decir, la diferencia entre ambos índices es mayor cuando el FI2aSA tiene un valor más alto que a valores del mismo más bajos. Por cada aumento en una unidad en el FI2aSA, la diferencia entre éste y el índice SRJ se incrementa entre 0,42 y 0,51 unidades (IC95%) (Tabla VI). Así pues, en resumen, no sólo hay una diferencia sistemática de modo que los valores del FI2aSA son mayores que los del SJR, sino que además, la diferencia con los valores de este índice es mayor conforme aumenta el valor del FI2aSA.

Al realizar el gráfico montaña (Figura 4-1) para estos índices se observa una buena concordancia. En cambio el gráfico "concordancia-supervivencia" muestra que el grado de concordancia entre estos 2 índices es el peor de todas las comparaciones hasta ahora realizadas, pues la curva se aleja bastante del valor (0,0). Según este gráfico, una buena concordancia por encima del 90% se conseguiría con diferencias absolutas por encima de los 5 puntos, lo cual es inaceptable desde el punto de vista de equiparar ambos índices.

4. DISCUSIÓN

Entre los hallazgos de este trabajo destaca, en primer lugar, que hemos encontrado una correlación casi perfecta entre el FI2aCA y el FI2aSA, sin embargo, el FI2aCA alcanza, de forma prácticamente sistemática, salvo en una única revista de las incluidas, valores mayores que el FI2aSA; para algunas revistas la diferencia puede ser importante. Las citas se han de considerar condición "bastante necesaria" pero no suficiente en la consideración de la calidad de un trabajo o de un autor (Garfield, 1962). La autocitación podría ser una manera de inflar de forma artificial nuestra repercusión y mejorar posiciones en la comunidad científica, siendo las razones por las que se utilizan las autocitas variadas y diferentes (Glänzel et al., 2005). El porcentaje de autocitas compartidas se ha establecido entre el 10 y el 30% (Mc Roberts y Mc Roberts, 1989; Garfield, 1963), siendo estas autocitas en general sincrónicas (las que un autor se proporciona). Aksnes (2003), en un estudio, cuyo objetivo fue analizar el papel de la autocitación en la producción científica en Noruega en el periodo 1981 a 1996, expresó que la autocitación decrece según aumenta el tiempo con una correlación muy positiva entre el número de co-autores y el número de autocitas, lo que también había sido comunicado previamente ya por van Raan (1998). Desde hace ya unos años, aquellos artículos publicados en colaboración, tanto internacional como nacional, presentan un mayor número de citas externas (Granda Orive et al., 2009a), pero, por el contrario este patrón de incremento es moderado para las autocitas, ya que aumentan menos al crecer la colaboración (Costas et al., 2010). Asimismo, existe igualmente una correlación positiva entre aquellas especialidades médicas con una mayor producción y un mayor número de citas (Granda-Orive et al., 2009b) y de autocitas (Glänzel y Thijs, 2004a), existiendo variaciones a la hora de compartir autocitas entre diferentes especialidades científicas, atribuyéndose este efecto a las diferentes normas de citación en cada campo, a la extensión del trabajo acumulado y al alcance del mismo en cada disciplina (Costas et al., 2010). Se ha podido comprobar que las autocitas son más comunes en el primer año tras la publicación, disminuyendo según avanza el tiempo. Por el contrario, las citas externas de un trabajo son más frecuentes según va transcurriendo el tiempo (Costas et al., 2010).

Un aspecto interesante es que aquellos documentos que obtienen un mayor número de citas externas tienden a presentar un menor número de autocitas, incluso el porcentaje de autocitas decrece cuando los documentos son publicados en revistas con un mayor factor de impacto, y se ha podido comprobar, que no contribuyen tanto a obtener un mayor impacto ni de forma importante a mejorar posiciones en ranking de autores (Costas et al., 2010). Existen autores que no encuentran razones para suprimir las autocitas al valorar la repercusión a un nivel macro (Garfield, 1962; Glänzel y Thijs, 2004a; Glänzel et al., 2004; Glänzel y Thijs, 2004b), siendo más significativo el efecto potencial de las autocitas a nivel meso (Thijs y Glänzel, 2006). A nivel individual (nivel micro) no deberían ser retiradas al valorar la repercusión, dado que se ha comprobado que las autocitas no contribuyen en gran parte a aumentar el número de citas total o el porcentaje de citas/documento (Costas et al., 2010). Por el contrario, si que deberían ser retiradas al valorar científicos pues con ellas mejoran posiciones en el ranking de importancia (Costas et al., 2010). De todas maneras, no todos los autores están de acuerdo en lo anterior. Fowler y Aksnes (2007) encontraron que una mayor autocitación conseguía en el tiempo un mayor porcentaje de citas externas; cada autocita adicional en el siguiente año generaba una cita externa adicional, tres a los 4 años y 4 a los 10 años. Por ello, concluían que no solo habría que eliminar las autocitas de la cuenta para calcular la repercusión sino, además, penalizarlas. En nuestro trabajo hemos encontrado que el FI2aCA alcanza valores más altos de forma significativa al compararlo con el FI2aSA, por lo que al incluir las autocitas se consigue un factor de impacto claramente más alto.

Un segundo hallazgo destacable es que hemos encontrado una correlación casi perfecta entre el FI2aCA y el FI5a, de modo que la concordancia ha sido bastante buena (sólo dos revistas quedaron fuera de los límites de la concordancia), alcanzando el FI5a valores mayores que el FI2aCA pero con gran variabilidad y heterogeneidad entre las diferentes revistas. Es conocido que los artículos más antiguos aumentan con el tiempo el número de citas que reciben, sin que este hecho se estabilice después de cinco años (Granda-Orive et al., 2009a). Se incrementan a medida que pasa el tiempo y, por lo tanto, aumentan las oportunidades de que sean citadas (Granda-Orive et al., 2009a; Granda-Orive et al., 2013b; Jacso, 2009), aunque se han podido demostrar algunas diferencias entre bases de datos documentales, siendo las citas en Scopus más recientes que en la Web of Science (Granda-Orive et al., 2013a). La falta de estabilidad del FI ha motivado que surja el FI5a (Chang et al., 2013), pero sin ser retiradas las autocitas para su cálculo. Se ha podido comprobar que el FI5a presenta la más alta correlación con el Article Influence Score (AIS) (Chang et al., 2013) lo que llama la atención pues el AIS mide la influencia media de los artículos de las revistas y se basa en el mismo cálculo iterativo que Eigenfactor, pero teniendo en cuenta el número de artículos de la revista, por lo que sufre escasamente del efecto de las autocitas y, en cambio, el FI5a si que se ve afectado por las autocitas. Se ha observado que el FI5a presenta unos valores más altos que el FI2aCA (lo cual es lógico pues en cinco años hay más tiempo para recibir citas que en dos años), pero estas diferencias son muy pequeñas en las zonas medias del ranking de las revistas en todas las áreas de conocimiento (es la razón por la que el JCR utiliza tres decimales) (Granda-Orive et al., 2013a). De todas maneras el FI5a complementa muy bien al FI2aCA como indicador de prestigio, reputación e influencia de las revistas (Granda-Orive et al., 2013a).

Quizá el hallazgo más interesante de nuestro trabajo ha sido que la correlación entre el FI2aSA y el SJR es pobre con una concordancia baja. Hemos encontrado que el FI2aSA presenta sistemáticamente valores superiores al SJR. Además, cuanto mayor sea el valor del FI2aSA mayor es la diferencia encontrada con el índice SJR. Tras el análisis estadístico realizado se concluye que ambos indicadores miden aspectos diferentes, no siendo extrapolables ni intercambiables. Sanz-Valero et al. (2014), en un estudio bibliométrico de la Revista Panamericana de Salud Pública encontraron igualmente una falta de relación entre el FI del JCR y el indicador SJR que atribuyen a una falta de solapamiento debido al diferente conjunto de revistas que se analizan para elaborar cada uno de estos indicadores. Esta relación entre ambos índices se ha podido comprobar que es moderada y que varía entre campos temáticos diferentes (Falagas et al., 2008). Torres Salinas y Jiménez Contreras (2010) describieron varios indicadores de repercusión analizando distintas áreas de la ciencia y observaron variaciones de correlación entre los diferentes índices según el área temática analizada, siendo la correlación moderada (0,83) entre el FI y el SJR. Esta similitud entre indicadores según área temática implica realizar una adecuada elección dependiendo de la disciplina.

Esta falta de relación entre el FI y el SJR podría deberse en parte a su diferente forma de cálculo. Nosotros hemos comparado el SJR (que restringe a las autocitas para su cálculo) con el FI sin autocitas encontrando igualmente una correlación baja y una mala concordancia, por lo que la diferencia no es debida a la inclusión de autocitas en el FI (el FI con autocitas es la comparación encontrada en la mayoría de los trabajos disponibles sobre el tema). La falta de correlación varía según las áreas temáticas analizadas. Kim et al. (2014) examinaron la influencia de las revistas científicas coreanas para encontrar soluciones para el futuro crecimiento realizando un análisis de correlación entre los indicadores de repercusión de WoS y Scopus. Los autores encontraron diferencias en los indicadores de repercusión basados en la disciplina de la revista y en el idioma, además de bajas correlaciones entre indicadores. Kianifar et al. (2014) encontraron igualmente, al comparar cuatro indicadores de repercusión en el área de neurología pediátrica, una correlación moderada entre el FI y el SJR. Comentan que existen varias formas de incrementar el FI y que hay que tenerlas en cuenta a la hora de comparar dichos índices, a saber: el número total de documentos citables (ya que una revista puede incrementar su FI disminuyendo el número de documentos citables), el tipo de documento (tipología documental) pues es conocido que los artículos de revisión tienen más posibilidades de ser citados, la inclusión o no de las autocitas y el tiempo utilizado para el cálculo. Por lo anterior los autores concluyen que para valorar el prestigio de una revista hay que considerar a la vez varios indicadores complementarios. Estas estrategias para aumentar el FI también son comentadas por Ramin y Shirazi (2012), que añaden que algo que puede afectar de forma importante la comparación entre índices es, por un lado, la publicación en revistas Open Access, pues es conocido que atraen y consiguen un mayor número de citas y, por otro, el conseguir que un artículo se publique en una revista incluida en la base de datos Medline, pues es conocido su acceso libre y por lo tanto su gran visibilidad. Por todo ello, estos autores, igualmente recomiendan analizar varios indicadores de repercusión para determinar el prestigio de una revista. Por el contrario, Siebelt et al. (2010) y Rousseau y The Stimulated 8 Group (2009) encontraron en sus comparaciones entre indicadores correlaciones altas, observando los primeros Siebelt et al. (2010) como al eliminar del cálculo las autocitas se modificaba sustancialmente el ranking de las revistas y que al aplicar el SJR en vez del FI las revistas especializadas tendían a bajar en el ranking mientras que las revistas generalistas tendían a escalar puestos. Bollen et al. (2009) compararon 39 indicadores de repercusión para investigar cómo estas medidas se relacionan entre sí y con que fiabilidad expresan impacto científico. El patrón de agrupamiento de los diferentes indicadores de impacto encontrado por los autores indica que algunos indicadores expresan aspectos distintos del impacto científico. Al comparar todos los indicadores entre sí encontraron cinco con correlaciones débiles con el grupo total de medidas (0,5 - 0,6): SJR, Immediacy Index, el Citation Undirected Weighted Closeness Centrality, SCImago Cites per Doc y el FI del 2007, indicando que producen rankings de revistas diferentes separándose así de la corriente dominante. En su análisis, los autores (Bollen et al., 2009) separan los indicadores en dos dimensiones: los que expresan "popularidad" (Popularity) o "prestigio" (Prestige) y las medidas de uso (usage measures) y de citación (citation measures). Las medidas de uso son indicadores "rápidos" de impacto científico (con la excepción del Citation Betweenness Centrality y el Citation Immediacy que estarían incluidos en este grupo aún siendo medidas de citación); son indicadores que se afectan de forma inmediata por cambios en los hábitos científicos y áreas de interés mientras que las medidas de citación responden con demora tras la publicación. Las medidas de uso actuales predicen tasas de citas futuras reflejando una actividad científica más reciente. Por lo tanto todos los indicadores podrían ser clasificados en dos dimensiones: indicadores "rápidos" frente a "demorados" (Rapid versus Delayed) e indicadores de "popularidad" frente a "prestigio" (Popularity versus Prestige). Los autores concluyen que el impacto científico es un constructo multidimensional y que las medidas de uso presentan correlaciones mejores que las medidas de citación, que las medidas de uso son indicadores potentes de "Prestigio" y que tanto el FI como el SJR, y en contra de lo que se piensa de ellos, enuncian "Popularidad" científica y por lo tanto expresan aspectos particulares del impacto científico estando alejados del núcleo de la noción de "impacto científico".

Entre las limitaciones de este trabajo se encuentran la elección de las base de datos y las revistas escogidas, pues son revistas de excelencia del primer cuartil, y las derivadas de la normalización, por lo que se ha realizado un profundo control de calidad de los datos, y finalmente aquellos relacionados con el periodo de tiempo estudiado, lo que hace que sólo sean visibles los artículos de las publicaciones que en ese momento son fuente. Además el hecho de restringir la búsqueda solamente al campo "Título" podría hacer que la misma no fuera exhaustiva.

5. CONCLUSIONES

Podemos concluir que hemos encontrado una correlación casi perfecta entre el FI2aCA y el FI2aSA, pero, sin embargo, el FI2aCA alcanza, de forma prácticamente sistemática, valores mayores que el FI2aSA, por lo que mantener las autocitas consigue un mayor impacto. Además, hemos encontrado, una correlación casi perfecta entre el FI2aCA y el FI5a con una concordancia bastante buena, alcanzando el FI5a valores mayores que el FI2aCA pero con gran variabilidad y heterogeneidad entre las diferentes revistas. Por último, la correlación entre el FI2aSA y el SJR es pobre con una concordancia baja. El FI2aSA presenta sistemáticamente valores superiores al SJR. Además, cuanto mayor sea el valor del FI2aSA mayor es la diferencia encontrada con el índice SJR. Ambos indicadores miden, por lo tanto, aspectos diferentes, no siendo extrapolables ni intercambiables. En definitiva son indicadores complementarios por lo que para determinar el prestigio de una revista es recomendable determinar y utilizar varios indicadores de repercusión.

6. BIBLIOGRAFÍA

AKSNES, D.W. A macro study of self-citations. Scientometrics, 2003, vol. 56, p. 235-246.

BOLLEN, J.; VAN DE SOMPEL, H.; HAGBERG, A. & CHUTE, R. A principal component analysis of 39 scientific impact measures. PLoS ONE, 2009, vol. 4, nº 6. http://dx.doi.org/10.1371/journal.pone.0006022.

BLAND, J.M. & ALTMAN, D.G. Statistical method for assessing agreement between two methods of clinical measurement. The Lancet, 1986, vol. I, p. 307-310.

CHANG, C.L.; MCALEER, M. & OXLEY, L. 2013 Coercive Journal self citations, impact factor, Journal influence and article influence. Disponible en: http://repub.eur.nl/res/pub/39190/2013-040.pdf [Consulta: 24 de diciembre de 2015].

COSTAS, R.; VAN LEEUWEN, T.N. & BORDONS, M. Self-citations at the meso and individual levels: effects of different calculation methods. Scientometrics, 2010, vol. 82, p. 517-537.

DAVIS, P.M. Eigenfactor: does the principle of repeated improvement result in better journal impact estimates than raw citation counts? Journal of the American Society for Information Science and Technology, 2008, vol. 59, p. 2186-2188.

FALAGAS, M.E.; KOURANOS, V.D.; ARENCIBIA, J.A. y KARAGEORGOPOULUS, D.E. Comparison of SCImago Journal Rank indicator with journal impact factor. FASEB Journal, 2008, vol. 22, p. 2623-2628.

FOWLER, J.H. & AKSNES, D.W. Does self - citation pay? Scientometrics, 2007, vol. 72, p. 427-437.

GARCÍA PACHÓN, E. & ARENCIBIA, J.R. Comparación del factor de impacto y el índice SCImago Journal Rank en las revistas del sistema respiratorio. Archivos de Bronconeumología, 2014, vol. 50, p. 308-309.

GARFIELD, E. Citation Analysis as a tool in journal evaluation. 1962. Disponible en: http://garfield.library.upenn.edu/essays/V1p527y1962-73.pdf [Consulta: 24 de diciembre de 2015].

GARFIELD, E. & SHER, I.H. New factors in the evaluation of scientific literature through citation indexing. American Documentation, 1963, vol. 18, p. 195-201.

GLÄNZEL, W.; DEBACKERE, K.; THIJS, B. & SHUBERT, A. A concise review on the role of author self-citations in information science, bibliometrics and science policy. 2005. Disponible en: http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.468.4196&rep=rep1&type=pdf [Consulta: 24 de diciembre de 2015].

GLÄNZEL, W. y THIJS, B.The influence of author self-citations on bibliometric macro-indicators. Scientometrics, 2004a, vol. 59, p. 281-310.

GLÄNZEL, W. y THIJS, B.Does coauthorship inflate the share of self-citations? Scientometrics, 2004b, vol. 61, p. 395-404.

GLÄNZEL, W.; THIJS, B.y SCHLEMMER, B. A bibliometric approach to the role of author self-citations in scientific communication. Scientometrics, 2004, vol. 59, p. 63-77.

GRANDA-ORIVE, J.I. et al. Ciertas ventajas de Scopus sobre Web of Science en un análisis bibliométrico sobre tabaquismo. Revista Española de Documentación Científica, 2013a, vol. 36. http://dx.doi.org/10.3989/redc.2013.2.941.

GRANDA-ORIVE, J.I. et al. Literatura científica en el ámbito del tabaquismo y el sistema respiratorio: repercusión y colaboración. Archivos de Bronconeumología, 2013b, vol. 49, p. 282-288.

GRANDA-ORIVE, J.I. et al. Redes de colaboración científica internacional en tabaquismo. Análisis de co-autorías a través del Science Citation Index durante el periodo 1999-2003. Gaceta Sanitaria, 2009a, vol. 23, nº 222.

GRANDA-ORIVE, J.I. et al. World-wide collaboration among medical specialties in smoking research: production, collaboration, visibility and influence. Research Evaluation, 2009b, vol. 18, p. 3-12.

GUERRERO BOTE, V.P. & MOYA ANEGÓN, F. A further step forward in measuring journal's scientific prestige: The SJR2 indicator. Journal of Informetrics, 2012, vol. 6, p. 674-678.

JACSÓ, P. Five-year impact factor data in the Journal Citation Reports. Online Information Review, 2009, vol. 33, nº 3, p. 603-614. Disponible en: https://www.researchgate.net/publication/220207254_Journal_Citation_ReportsFiveyear_ impact_factor_data_in_the_Journal_Citation_Reports [Consulta: 24 de diciembre de 2015].

KIANIFAR, H.; SADEGHI, R. & ZARIFMAHMOUDI, L. Comparison between Impact Factor, Eigenfactor Metrics, and SCImago Journal Rank Indicator of Pediatric Neurology Journals. Acta Informática Médica, 2014, vol. 22, p. 103-106.

KIM, J.A.; HUH, S. & CHU, M.S. Correlation among the citation indices of Korean scientific journals listed in international databases. Science Edition, 2014, vol. 1, p. 27-36.

LIN, L.I.K. A concordance correlation coefficient to evaluate reproducibility. Biometrics, 1989, vol. 45, p. 255-268.

MC ROBERTS, M.H. y MC ROBERTS, B.R. Problems of citation analysis: A critical review. JASIS, 1989, vol. 40, p. 342-349.

RAMIN, S. & SHIRAZI, A.S. Comparison between Impact factor, SCImago Journal Rank indicator and Eigenfactor score of nuclear medicine journals. Nuclear Medicine Review, 2012, vol. 15, p. 132-136.

ROUSSEAU, R. y The Stimulated 8 Group. On the relation between the WoS impact factor, the Eigenfactor, the SCImago Journal rank, the article influence score and the journal h index. 2009. Disponible en: http://eprints.rclis.org/13304/ [Consulta: 24 de diciembre de 2015].

SANZ VALERO, J.; TOMÁS CASTERÁ, V. & WANDEN-BERGHE, C. Estudio bibliométrico de la producción científica publicada por la Revista Panamericana de Salud Pública/ Pan American Journal of Public Health en el período de 1997 a 2012. Revista Panamericana de Salud Pública, 2014, vol. 35, p. 81-88.

SIEBELT, M. et al. Citation analysis of orthopaedic literature; 18 major orthopaedic journals compared for Impact Factor and SCImago. BMC Musculoskeletal Disorders, 2010, vol. 11, p. 4. Disponible en: http://www.biomedcentral.com/1471-2474/11/4 [Consulta: 24 de diciembre de 2015].

THIJS, B. y GLÄNZEL, W.The influence of author self-citations on bibliometric meso-indicator. The case of the European universities. Scientometrics, 2006, vol. 66, p. 71-80.

TORRES-SALINAS, D. & JIMÉNEZ CONTRERAS, E. Introducción y estudio comparativo de los nuevos indicadores de citación sobre revistas científicas en Journal Citation Reports y Scopus. El Profesional de la Información, 2010, vol. 19, p. 201-207.

VAN RAAN, A.F.J. The influence of international collaboration on the impact of research results. Some simple mathematical considerations concerning the role of self-citations. Scientometrics, 1998, vol. 42, p. 423-428.



Buscar:
Ir a la Página
IR