Introducción

En junio, Clarivate publicará el Journal Citation Reports (JCR), un resumen anual en el comportamiento de citas de más de diez mil publicaciones académicas (antiguamente gestionado por Thomson Reuters). Si bien el JCR incluye una variedad de indicadores de rendimiento de referencias, la mayoría de los usuarios se concentran en una sola métrica: el factor de impacto o FI¹.

El FI fue diseñado inicialmente como una herramienta para medir y clasificar el rendimiento de las revistas dentro de un campo. En sus más de 40 años ha tenido una influencia enorme —aunque controvertida— en cuanto a la forma en que las publicaciones científicas de investigación son percibidas y evaluadas. Es por esto que, en los últimos años se han desarrollado otras métricas basadas en citas para complementar o competir con el FI y que tienen en cuenta la influencia y la difusión de los trabajos en internet. Estas nuevas métricas se denominan genéricamente Altmetrics, un término propuesto en 2010² como una generalización de las métricas a nivel de artículo y que tiene sus raíces en la etiqueta #Altmetrics³. Aunque las Altmetrics a menudo se consideran métricas sobre artículos, se pueden aplicar a personas, revistas, libros, conjuntos de datos, presentaciones, videos, repositorios de códigos fuente, páginas web, entre otros. Altmetrics utiliza interfaces de programación de aplicaciones públicas (API, por sus siglas en inglés) en todas las plataformas para recopilar datos con scripts abiertos y algoritmos. Altmetrics originalmente no cubría los recuentos de citas⁴, pero calcula el impacto académico basado en diversos resultados de investigación en línea, como medios sociales, medios de noticias, gerentes de referencia, entre otros⁵. Igualmente, Altmetrics podría aplicarse como filtro de investigación², expedientes de promoción y tenencia, solicitudes de subvención^3,4 y para clasificar los artículos publicados recientemente en los motores de búsqueda académicos⁵.

Indicadores de citas y sus características

Los indicadores de citas se agrupan según el diseño de su algoritmo para el cálculo de las métricas⁶. El primer grupo incluye a los indicadores basados ​​en razones, esto quiere decir que se basan en el mismo modelo que el factor de impacto; es decir, dividir los recuentos de citas entre el recuento de documentos. El segundo grupo se relaciona con los llamados “indicadores basados ​​en la cartera”, los cuales calculan una puntuación basada en un conjunto de documentos clasificados. El tercer grupo, conocidos como “indicadores basados ​​en la red”, busca medir la influencia de un autor dentro de una red de citas más grande. En todo caso, un buen indicador simplifica los datos subyacentes, es confiable, proporciona transparencia sobre la información del autor y debe ser difícil de “engañar”. En esencia, el espíritu de un buen indicador es una buena conexión con el constructo que intenta medir. En este sentido, cualquier discusión sobre los indicadores de desempeño de los investigadores y su impacto en la comunidad académica invita a discusiones importantes, pero que no son de interés para las métricas en sí, tales como su mal uso, abuso, además de sus implicaciones sociales, culturales y políticas⁷.

Indicadores basados ​​en razones

Factor de impacto (FI): el FI de una revista académica es una medida ideada por Irving H. Sher . Eugene Garfield (el fundador del Instituto de Información Científica o ISI) que refleja el número promedio anual de citas de artículos recientes publicados en esa revista¹. Se utiliza con frecuencia como un aproximado de la importancia relativa de una revista dentro de su campo, de forma que las revistas con factores de impacto más altos a menudo se consideran más importantes que las que tienen factores más bajos. Los factores de impacto se calculan anualmente a partir de 1975 para las revistas listadas en el Journal Citation Reports utilizando las citas totales en un año de todos los trabajos, dividido entre el número total de artículos publicados en los últimos dos años⁸. El FI presenta una ventaja evidente, su cálculo es simple y utiliza datos históricos de las revistas examinadas. Dentro de las desventajas y el criticismo al uso de este sistema, se encuentra que una ventana de publicación de dos años es demasiado corta para la mayoría de las revistas, en especial, para aquellas con periodicidad semestral o cuatrimestral. El numerador puede incluir citas de trabajos no contados en el denominador para el caso de revistas que no aparecen indexadas en Clarivate Analytics⁹. También hay un debate más general sobre la validez del factor de impacto como una medida de la importancia de la revista en función de que los editores pueden verse presionados en modificar sus políticas para aumentar el factor de impacto de la revista que representan, hecho que puede afectar negativamente a lectores y escritores. Así, una revista presionada por competir con cientos de revistas en la misma área puede adoptar políticas editoriales tendentes a mejorar su factor de impacto, y sus métricas generales:

1. Una forma de aumentar las citas es mediante la llamada “citación coercitiva”; una práctica en la que un editor obliga a un autor a agregar citas a un artículo antes de que la revista acepte publicarlo, con el fin de inflar su factor de impacto¹⁰.

2. Las revistas pueden publicar un porcentaje alto de artículos de revisión, ya que estos son más citados que los trabajos de investigación o papers¹¹. Esta ventaja incluso puede llevar al cambio del alcance y política editorial de una revista hacia una que publique únicamente revisiones o que dedique un espacio importante a la publicación de este tipo de artículo, pues tendrá un FI más alto en sus respectivos campos.

3. Otra táctica menos insidiosa que pueden emplear algunas revistas es publicar una gran parte de sus documentos, o al menos, los documentos que se espera que sean altamente citados, a principios del año calendario de forma que estos documentos tengan más tiempo para reunir citas¹².

4. Las revistas también pueden intentar limitar el número de elementos citables; es decir, influir sobre el denominador de la ecuación del factor de impacto, ya sea declinando la publicación de artículos que es poco probable que sean citados (tasas de rechazo muy elevado) o alterando artículos de forma que el Journal Citation Reports no lo considere un elemento citable¹³.

5. Algunos editores establecen en sus políticas de postulación artículos que sean solo por invitación (en especial para las revisiones), de forma que se reserva la publicación solo para científicos de alto nivel que con seguridad proporcionarán trabajos con alto grado de probabilidad de ser citados con el propósito de aumentar el factor de impacto de su revista¹¹.

6. Los ítems que se consideran no conciliables y, por lo tanto, no se incorporan en los cálculos del factor de impacto, pueden, si se citan, entrar en la parte del numerador de la ecuación a pesar de la facilidad con la que podrían excluirse tales citas. Este efecto es difícil de evaluar ya que la distinción entre comentario editorial y artículos originales breves no siempre es obvia. Por ejemplo: las cartas al editor pueden referirse a cualquiera de las clases¹⁴.

Otras críticas que ha recibido el FI giran alrededor de factores políticos, argumentando que ha sido tal la importancia que se le ha dado a la asignación de un FI a una revista (acceso a recursos económicos para los investigadores, bonificaciones por publicación en revistas con FI) que hace a dicha revista un objeto codiciado en los círculos del quehacer investigativo, y considerado entonces como una consecuencia negativa de las políticas neoliberales dentro de la academia y fuera de ella, particularmente en aquellos encargados de ofrecer fondos privados o públicos para investigación. Esto ha llevado a pensar la necesidad del reemplazo del FI con métricas más sofisticadas y globales capaces de medir el impacto global de la producción científica, y no solo de las publicaciones científicas y sus citas. Finalmente, en los últimos años se ha sugerido aumentar la ventana de evaluación del FI a cinco años en lugar de dos, lo cual resultaría una ventaja para aquellos campos en los que el ciclo de vida de las citas es largo; por ejemplo, en las ciencias sociales y para aquellas revistas con números bajos al año, tales como aquellas con salidas semestrales, cuatrimestrales y trimestrales.

Impacto por publicación (IPP) e Impacto normalizado de la fuente por paper (SNIP): a partir de mediados de 2014, Scopus y el Centro de Estudios Científicos y Tecnológicos (CWTS) de la Universidad de Leiden, lanzaron una nueva métrica para revistas científicas conocida como Impact per Publication (IPP). Esta métrica es similar al FI de Clarivate Analytics y se basa en las citas recibidas durante un año a artículos, revisiones y documentos de conferencias publicados en los tres años anteriores, divididos por el número de artículos, reseñas y documentos de conferencia publicados en esos tres años. Existen varias diferencias claves entre el IPP y el IF, en las que lo más resaltante es que el IPP usa citas para una ventana de contenido de tres años en lugar de los dos años o cinco años utilizados por el FI. A diferencia del FI, que solo considera el nombre de la revista y el año en una cita, esta nueva métrica se ha construido sobre citas a nivel del artículo; por lo tanto, puede distinguir entre citas de editoriales y artículos. Por convención, se ha decidido que las citas a contenidos científicos que no sean artículos, revisiones y documentos de conferencias deberían excluirse; esto significa que la métrica no incluye citas "gratuitas" hacia o desde contenido como editoriales¹⁵.

Igualmente, el CWTS; devoto a estudiar la investigación científica y sus conexiones con la tecnología, la innovación y la sociedad, ha desarrollado otros indicadores bibliométricos para revistas científicas. Uno de los indicadores desarrollado por el CWTS es el impacto normalizado de la fuente por paper (SNIP). La versión original de este indicador fue desarrollada por Henk Moed en 2009, la cual fue luego revisada en 2012¹⁶. Este indicador se calcula como el número de citas dadas en el presente año a publicaciones en los últimos tres años, dividido entre el número total de publicaciones en los últimos tres años. La diferencia con IPP es que en el caso del SNIP las citas se normalizan para corregir las diferencias en el número de citas entre los diferentes campos científicos. Básicamente, cuanto más larga sea la lista de referencia de una publicación citada, menor será el valor de una cita que se origine a partir de esa publicación.

CiteScore: esta, es parte de la cesta de métricas de Scopus para revistas que incluyen SNIP, Scimago Journal Rank (SJR), recuentos de citas, documentos y porcentaje citado. La integración de estas métricas en Scopus proporciona información sobre el impacto de citas de más de 22220 títulos. CiteScore es una familia de ocho indicadores complementarios: CiteScore, rastreador de CiteScore, CiteScore percentiles, cuartiles de CiteScore, clasificación de CiteScore, recuento de citas, recuento de documentos y porcentaje citado¹⁷.

Este grupo de métricas ofrece varias características fundamentales: a) Una ventana de citas de tres años, lo cual es provechoso para los campos de movimiento lento, sin perjudicar a los campos de movimiento más rápido. Para muchos investigadores del área, tres años es el mejor período para una base de datos de amplio alcance como Scopus, ya que incorpora una proporción representativa de citas en todas las disciplinas, al tiempo que refleja datos relativamente recientes. b) El numerador y el denominador de CiteScore incluyen todos los tipos de documentos. Esto significa que no solo se incluyen artículos y reseñas, sino también cartas, notas, editoriales, documentos de conferencias y otros documentos indexados por Scopus. Como resultado, el numerador y el denominador utilizados en el cálculo de CiteScore son consistentes. Este enfoque proporciona una imagen más completa del impacto de las citas y dificulta la manipulación del cálculo. c) Es un grupo de métricas exhaustivas, pues resulta del promedio de citas por documento que recibe un título durante un período de tres años, siendo simple de replicar. Las métricas de CiteScore se calculan con el total de citas en un año determinado para todos los documentos publicados en los últimos tres años, dividido entre el número total de documentos publicados en los últimos tres años. En consecuencia, una de sus características más importantes es la transparencia, ya que no intenta clasificar y limitar por tipo de artículo; y al basarse en un conjunto de datos de Scopus resulta amplio y libre¹⁸.

Indicadores basados ​​en la cartera

H-index: es una medida de la cantidad y el rendimiento de un autor individual. Un autor con un índice de H tendrá publicados H artículos, cada uno de los cuales ha sido citado al menos H veces. Está diseñado para medir el desempeño profesional de los autores; no influenciado por valores atípicos, como documentos altamente citados. Como puntos débiles puede mencionarse que es muy dependiente del campo de investigación puesto que ignora la orden del autor y tiende a aumentar con la edad del mismo y su productividad, siendo, asimismo, muy sensible a las autocitas, especialmente en Google Scholar¹⁹.

H-5: es una variación del índice H que está limitada a los artículos publicados en los últimos cinco años. Utilizado por Google Scholar para comparar el rendimiento diario. Como ventajas cabe destacar que permite comparar publicaciones más recientes con publicaciones más antiguas. El H-5 tiende a sesgarse hacia autores con muchas publicaciones. Google Scholar informa la mediana del índice H-5, que tiene como objetivo abordar el sesgo de tamaño. Google Scholar lo publica anualmente en el mes de junio¹⁹.

Indicadores basados ​​en la red

Scimago Journal Rank (SJR): es una medida de la influencia científica de las revistas académicas que explica, tanto el número de citas recibidas por una revista, como la importancia o el prestigio de las revistas de las que provienen dichas citas²⁰. El SJR es un valor numérico que indica el número promedio de citas ponderadas recibidas durante un año seleccionado, por documento publicado en esa revista durante los tres años anteriores. Los valores más altos de SJR están destinados a indicar un mayor prestigio²¹. El cálculo del indicador SJR se lleva a cabo utilizando un algoritmo iterativo que distribuye valores de prestigio entre las revistas hasta que se alcanza una solución de estado estacionario. El algoritmo SJR comienza por establecer una cantidad idéntica de influencia, y luego, esta reputación se redistribuye en un proceso en el que las revistas transfieren su prestigio logrado a través de citas. El proceso termina cuando la diferencia entre los valores de prestigio de revistas en iteraciones consecutivas ya no alcanza un valor de umbral mínimo. El proceso se desarrolla en dos fases: (a), el cálculo del prestigio SJR (PSJR) para cada revista, una medida dependiente del tamaño que refleja el prestigio de la revista en su totalidad; y (b), la normalización de esta medida para lograr un tamaño independiente medida de prestigio, el indicador SJR²¹. El indicador SJR proporciona una alternativa al FI o citas promedio por documento en un período de dos años, abreviado como citas por doc.

Relative Citation Ratio (RCR): es una métrica de citas normalizada por campo para artículos, utilizando la base de datos PubMed de NIH. Un campo está definido por las referencias en los artículos co-citados con el documento de interés. Por ejemplo: si el artículo A es citado por los artículos B, C y D, entonces el campo del artículo A está definido por las referencias contenidas dentro de los artículos B, C y D. Como ventaja se argumenta que permite que cada artículo sea definido por su propia red de citas en lugar de confiar en la clasificación por agentes externos, sin embargo, no deja de ser sensible a citas interdisciplinarias y revistas multidisciplinarias. El RCR depende del factor de impacto para ponderar las publicaciones enumeradas en las referencias²².

Eigenfactor: mide la influencia de una revista científica en una red de citas completa. El cálculo de los puntajes se basa en la centralidad de un vector propio calculado a través de una ponderación iterativa, de modo que las citas de una revista tienen más influencia que otra. De esta forma ofrece una métrica que refleja más fielmente la influencia científica como una construcción en desarrollo. Esta métrica tiene como debilidad que su desarrollo es complejo desde el punto de vista computacional, por lo que no es fácilmente replicable y a menudo proporciona el mismo resultado que otros métodos más sencillos para la mayoría de las revistas; por ejemplo, el factor de impacto. Esta métrica fue desarrollada por Clarivate y se publica anualmente en junio^23,24.

Referencias

1. Garfield E. The History and Meaning of the Journal Impact Factor. JAMA. 4 de enero de 2006;295(1):90-3.

2. Altmetric [Internet]. Altmetric. [citado 30 de mayo de 2018]. Disponible en: https://www.altmetric.com/

3. altmetrics: a manifesto – altmetrics.org [Internet]. [citado 30 de mayo de 2018]. Disponible en: http://altmetrics.org/manifesto/

4. Galligan F, Dyas-Correia S. Altmetrics: Rethinking the Way We Measure. Ser Rev. marzo de 2013;39(1):56-61.

5. New perspectives on article-level metrics: developing ways to assess research uptake and impact online [Internet]. [citado 30 de mayo de 2018]. Disponible en: https://insights.uksg.org/articles/10.1629/2048-7754.79/

6. Waltman L. A review of the literature on citation impact indicators. J Informetr. mayo de 2016;10(2):365-91.

7. Joshi MA. Bibliometric Indicators for Evaluating the Quality of Scientific Publications. Patil SG, editor. J Contemp Dent Pract. 2014;15:258-62.

8. Garfield E. The evolution of the Science Citation Index. Int Microbiol. 2007;(10):65–69.

9. What we do [Internet]. Clarivate. [Citado 30 de mayo de 2018]. Disponible en: https://clarivate.com/about-us/what-we-do/

10. Fong EA, Wilhite AW. Authorship and citation manipulation in academic research. PLOS ONE. 6 de diciembre de 2017;12(12):e0187394.

11. Moustafa K. The Disaster of the Impact Factor. Sci Eng Ethics. 1 de febrero de 2015;21(1):139-42.

12. Bornmann L, Daniel H-D. What do citation counts measure? A review of studies on citing behavior. J Doc. 18 de enero de 2008;64(1):45-80.

13. Radicchi F, Fortunato S, Castellano C. Universality of citation distributions: Toward an objective measure of scientific impact. Proc Natl Acad Sci U S A. 11 de noviembre de 2008;105(45):17268-72.

14. The Impact Factor Game. PLoS Med [Internet]. junio de 2006 [citado 30 de mayo de 2018];3(6). Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1475651/

15. 79f1fca0fd29700e4e04597d99a34233bfc7.pdf [Internet]. [citado 30 de mayo de 2018]. Disponible en: https://pdfs.semanticscholar.org/afd8/79f1fca0fd29700e4e04597d99a34233bfc7.pdf

16. Waltman L, van Eck NJ, van Leeuwen TN, Visser MS. Some modifications to the SNIP journal impact indicator. J Informetr. abril de 2013;7(2):272-85.

17. CiteScore metrics updated with 2016 annual values [Internet]. [citado 30 de mayo de 2018]. Disponible en: https://www.elsevier.com/connect/citescore-metrics-updated-with-2016-annual-values

18. CiteScore metrics | Elsevier Scopus Blog [Internet]. [citado 30 de mayo de 2018]. Disponible en: https://blog.scopus.com/topics/citescore-metrics

19. Jones T, Huggett S, Kamalski J. Finding a Way Through the Scientific Literature: Indexes and Measures. World Neurosurg. 1 de julio de 2011;76(1):36-8.

20. Butler D. Free journal-ranking tool enters citation market. Nature. 3 de enero de 2008;451(7174):6-6.

21. A new approach to the metric of journals’ scientific prestige: The SJR indicator - ScienceDirect [Internet]. [citado 30 de mayo de 2018]. Disponible en: https://www.sciencedirect.com/science/article/pii/S1751157710000246

22. Hutchins BI, Yuan X, Anderson JM, Santangelo GM. Relative Citation Ratio (RCR): A New Metric That Uses Citation Rates to Measure Influence at the Article Level. PLOS Biol. 6 de septiembre de 2016;14(9):e1002541.

23. Bergstrom C. Eigenfactor: Measuring the value and prestige of scholarly journals | Bergstrom | College & Research Libraries News. [citado 30 de mayo de 2018]; Disponible en: https://crln.acrl.org/index.php/crlnews/article/view/7804

24. Bergstrom CT, West JD, Wiseman MA. The Eigenfactor^TM Metrics. J Neurosci. 5 de noviembre de 2008;28(45):11433-4.

Notas de autor

hernandezjuandiego@gmail.com