A manera de introducción

El cierre del año 2017 representó la conclusión de una de las etapas más extenuantes y ciertamente desconcertantes a las que se han visto sometidos los editores de revistas indexadas de Colombia: la formulación y puesta en marcha de una nueva política para mejorar la calidad de las publicaciones científicas nacionales a través del Índice bibliográfico nacional Publindex². El proyecto, orientado a potenciar el impacto de la producción intelectual colombiana, y de su prolífico escenario de revistas indexadas, se convirtió en un panorama de exclusión y descenso masivos con efectos inmediatos en la capacidad de convocatoria y la continuidad de los títulos dentro del sistema. Si bien, esta depuración se percibía necesaria, a la luz de la insuficiente inversión nacional en competitividad, ciencia, tecnología e innovación (CCTeI), los deficientes indicadores de calidad y los problemas de sustentabilidad en el régimen salarial de las instituciones públicas de educación superior^3,4, la identificación de falencias en la metodología —advertidas en forma reiterada por los equipos editoriales^5,6,7,8—, las dificultades de carácter operativo y las inconsistencias en los resultados desdibujaron este esfuerzo conjunto, indujeron al error y generaron injusticia, a tal punto que pudieron afectar negativamente el patrimonio de las instituciones editoras y desarticular a las comunidades académicas en torno a ellas. Aunque se trata de una problemática con incidencias disímiles para los participantes de este modelo de legitimación de la producción académica, las instituciones editoras y sus comunidades están llamadas a analizar su papel en el sistema de indexación nacional e internacional, y a refrendar la voz de otras publicaciones y comunidades con proyecciones afines, en favor de la transparencia, la equidad y la oportunidad.

El sistema colombiano de CCTeI

Cabe recordar que las condiciones para que las revistas científicas obtengan un aval frente al sistema colombiano de indexación son promulgadas por Colciencias, organismo oficial encargado de orientar la investigación para el desarrollo y homólogo al Conacyt (México), Conicet (Argentina) o Conicyt (Chile). Su iniciativa estatal de normalización, evaluación y clasificación de publicaciones periódicas científicas, denominada Publindex, viene operando en el país oficialmente desde el año 2000 —aunque la primera convocatoria de revistas se realizó en 1996⁹—, a partir de nociones formales básicas de estandarización, con el propósito de garantizar las buenas prácticas investigativas y académicas, y con incidencia directa en la generación de estímulos a la investigación. Sería poco acertado desconocer el rol fundamental de Colciencias y su índice de revistas en la alfabetización de los actores del proceso editorial para alcanzar la visibilidad y la cooperación más allá del impacto institucional y local, además de la construcción de una infraestructura idónea (la plataforma SCIENTI) para dar cuenta de tan significativos avances en materia del posicionamiento de la producción académica colombiana. Durante los primeros diez años del servicio permanente de indexación, la preocupación máxima fue alcanzar el mismo rigor formal y la misma sensibilidad editorial para todos los títulos clasificados, mientras se evidenciaba un incremento en la cantidad de publicaciones con fines de indexación —resultado principalmente de criterios de acreditación mal orientados¹⁰—, un aumento que no fue correlativo a la calidad esperada y enunciada en los términos de referencia de las convocatorias. La actualización de SCIENTI se delegó a las revistas indexadas, investigadores, grupos de investigación e instituciones, quienes debían cargar en forma autónoma los metadatos vinculados a su producción para asegurar una correcta interpretación por parte del ente evaluador. Esta labor de actualización representó un esfuerzo prolongado, y con bastante frecuencia significó grandes dificultades operativas que terminaron condicionando la clasificación o la permanencia de los títulos, reduciendo las opciones de apelar a la pertinencia de sus contenidos o el alcance internacional de su público objetivo.

La nueva política de Publindex

El cambio en la política de indexación ya se advertía necesario en 2011, cuando la entonces base bibliográfica nacional acumulaba un acervo de 466 revistas validadas. En 2013, se presentaron los primeros esbozos de la nueva estrategia de clasificación^11,12 enfocada en la presencia internacional a través de sistemas de indexación y resumen (SIRES) aceptados —una reformulación del concepto de 2008 del Observatorio Colombiano de Ciencia y Tecnología (OCyT)¹³—, con una marcada prelación por los índices citacionales Web of Science y Scopus, el impacto citacional, indicador presente en la academia mundial desde 1980. Adicionalmente, se incorporó el índice H obtenido a partir de Google Académico (Scholar) como medida de transición para ampliar la cobertura de la clasificación, lo que le permitiría a las revistas aún no aceptadas por los índices llegaran a las categorías B y C. Se convocó a los equipos editoriales del país a construir colectivamente los nuevos criterios de medición, y solo hasta el segundo semestre de 2016 se presentó la nueva política de indexación de Publindex. En el intermedio de estos hitos, se publicaron fuertes críticas, provenientes particularmente de las ciencias sociales y las humanidades^{14,15,16,17,18,19}, a este nuevo modelo de medición de revistas (2013), al de reconocimiento de editoriales nacionales (2013-2014)²⁰ y al de grupos de investigación (2015), señalados como reduccionistas, alejados de la realidad de la ciencia nacional en todas sus áreas disciplinares, acomodados a una lógica acumulativa que puede viciarse en la ponderación de productos académicos como conocimiento útil, y supeditados al fundamentalismo de mercado desde una posición poco privilegiada que se percibe como una integración subordinada. Estas condiciones se acrecientan cuando las investigaciones se divulgan en la lengua franca latinoamericana (barrera lingüística), y pretenden resolver problemas locales o regionales más que universales (pertinencia del conocimiento al contexto local)²¹. Otras posiciones, de naturaleza metodológica y técnica, señalaron las siguientes limitaciones e inconsistencias del nuevo modelo de medición y clasificación de revistas:

• Dificultades con el registro de la información del aplicativo en línea y la captura de metadatos de los investigadores asociados, en un nivel de microgestión que no se requiere ni se aplica en los principales sistemas de CTeI del mundo. Como resultado, se evidencia duplicidad de contenidos y esfuerzos para actualizar una plataforma que no opera como un índice de consulta o una herramienta útil para usuarios finales (lectores-investigadores), sino que atiende casi exclusivamente a los propósitos de la medición.

• Se nivelan esfuerzos editoriales, alcances y logros en posicionamiento disímiles bajo una misma categoría de clasificación. Las revistas indexadas en Scopus y Web of Science cuestionan la validez del modelo cuando otros títulos en sus mismas áreas que no cuentan con visibilidad o indicadores de cooperación internacional igualan o superan su categoría debido al impacto H5 generado a partir de Google.

• A su vez, el cálculo del impacto H5 genera dudas acerca de la solidez y la transparencia de los datos, inherentemente volátiles debido a la naturaleza de su registro y depuración (autónomos, por parte de los investigadores) y a la cosecha de fuentes sin el rigor académico y formal de los sistemas de indexación tradicionales. El sistema de Google Académico podría omitir fuentes relevantes o, en el otro extremo, incluir datos erróneos atribuidos por homonimia, registros duplicados, variaciones de acuerdo al ISSN (impreso o electrónico) y a los caracteres especiales en el título de las publicaciones, como las tildes. Incluso ignora el número de autocitas en el recuento final, un indicador que debería enunciarse explícitamente para evitar sesgos en la medición^22,23. Por otra parte, no es claro cómo se establecen las posiciones de las revistas y los límites en los cuartiles cuando los valores de H son números enteros. Además, la falta de control de un organismo central y la ausencia de fechas límite para presentar las mediciones del índice H demandan tiempo significativo en la limpieza de los datos e imposibilitan que los equipos realicen estimaciones acertadas sobre los resultados de las próximas convocatorias de Publindex.

• La percepción de descenso en la calidad de las revistas sigue siendo una preocupación latente. Los equipos editoriales deberán dedicar tiempo y esfuerzos significativos para procurar que las instancias directivas de sus publicaciones, sus lectores y autores comprendan las implicaciones de la nueva categorización: una revista C, lejos de representar un proyecto editorial sin experiencia o alcance, equivale a un cuartil cuatro de los índices citacionales: uno de los estadios de posicionamiento más representativos para una revista indexada latinoamericana.

• La aplicación retroactiva de los nuevos criterios de evaluación sobre hechos cumplidos (procesos editoriales consolidados) limitó la capacidad de los equipos para proporcionar los datos solicitados, particularmente en la actualización de los perfiles digitales CVLAC de los investigadores nacionales asociados a la publicación. La incorporación de documentos de identidad de contribuidores de afiliación extranjera también supuso una gran dificultad que se terminó minimizando con la generación de una sintaxis desde cada equipo editorial, una alternativa que no resuelve los problemas de homonimia y los registros duplicados. Estas son condiciones que ubican la convocatoria en el límite de la inexequibilidad.

• Las vigencias establecidas para el periodo de observación y la acumulación de impacto de las revistas sometidas a evaluación son arbitrarias, y no dan cuenta de las variaciones en la vida media de las contribuciones de un área disciplinar a otra, desconociendo de esta forma principios ineludibles de la bibliometría como la Ley de Price, o del envejecimiento de la literatura científica, y los postulados de Burton y Kebler sobre el semiperiodo de circulación de la literatura científica en áreas particulares, que en ciencias sociales y humanidades puede superar fácilmente los doce años²⁴. En esta misma línea, se desconocen iniciativas más recientes como el impacto normalizado por área disciplinar (Snowball Metrics) o las métricas alternativas (Altmetrics), y olvida que es necesario emplear simultáneamente indicadores de múltiples fuentes, naturalezas y niveles de complejidad, como el esfuerzo editorial, la cooperación internacional, la cooperación academia-empresa, la incidencia en políticas públicas o patentes, entre muchos otros, para evitar sesgos o intuiciones derivadas de medir por el mismo rasero²⁵.

• La definición de grandes áreas del conocimiento, provenientes de la clasificación de la OCDE, parte de un reconocimiento necesario a las diferencias disciplinares, pero se vicia nuevamente debido a la heterogeneidad de impactos y alcances en las disciplinas y subdisciplinas dentro de la misma categoría. Es incorrecto equiparar el impacto de las contribuciones de psicología, contabilidad, ciencias jurídicas y sociología, con trayectorias, tipologías, dinámicas de producción y apropiación disímiles, aunque estén cobijadas bajo el archilexema “Ciencias sociales”. Adicionalmente, la categoría otorgada por Publindex al final del proceso, expresada por las letras A1, A2, B y C, elide completamente esta precisión, lo que se presta para interpretaciones erróneas y comparaciones a todas luces impracticables.

Resultados de la convocatoria 768 de 2016

A pesar de los múltiples llamados de la comunidad de editores nacionales para ajustar la nueva política²⁶, y salvo algunas concesiones acordadas, la Convocatoria 768 de 2016 para la clasificación de revistas científicas siguió su curso y presentó los resultados oficiales en septiembre de 2017. En resumen, solo el 39 % de las revistas sometidas en todas las áreas disciplinares (246 de 627) logró obtener el aval a partir de la medición, y tan solo el 6 % de estas (15 de 246) alcanzó las categorías A1 y A2, que ostentan el mayor nivel de madurez y alcance del sistema (Tabla 1).

En comparación con los resultados de la segunda convocatoria de 2014 (Tabla 2), última evaluación bajo la política actualizada en 2013, se perciben descensos y se elucidan pérdidas en la clasificación de los títulos con las calificaciones más altas en Publindex (Tablas 3 y 4):

Tabla 4 (cont.)

Percepción de descensos y pérdidas en la clasificación de Publindex. Categoría A2 (2014-2018)

Fuente: elaboración propia a partir de los resultados de Colciencias Nota: Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145

Tabla 4 (cont.)

Percepción de descensos y pérdidas en la clasificación de Publindex. Categoría A2 (2014-2018)

Fuente: elaboración propia a partir de los resultados de Colciencias Nota: Revistas no clasificadas (41), A1 (1), A2 (4), B (53), C (46). Total: 145

En resumen, las revistas mejor clasificadas de Colombia antes de 2017 (174 títulos en A1 y A2) presentaron los siguientes movimientos en la nueva clasificación de Publindex: 1 (0.5 %) ascendió de categoría, 4 (2.2 %) mantuvieron su categoría, 56 (32.1 %) descendieron una categoría, 63 (36.2%) (63) descendieron dos categorías, 8 (4.5 %) descendieron tres categorías y 42 (24.1 %) perdieron la clasificación. Aunque las tipologías implícitas en estas clasificaciones hayan cambiado sustancialmente, la inevitable percepción en la comunidad académica nacional es que se presentó una pérdida drástica en la calidad de las revistas indexadas. Se trata de un argumento que vulnera el ejercicio editorial y pone en riesgo su continuidad, pero que resulta debatible a la luz de una amplia batería de indicadores (métricas responsables)²⁸ a disposición de los editores y sus equipos, y que se emplearán en la siguiente sección de este análisis.

El caso de las revistas de ciencias jurídicas

Con el propósito de llevar la discusión a un área disciplinar específica y delimitar el alcance de esta pesquisa (sin el ánimo de establecer juicios de valor) se presenta a continuación un conjunto de indicadores de las revistas colombianas de ciencias jurídicas de mayor reconocimiento en la academia local, regional, e internacional (Tabla 5). Esto, con el fin de comprender los efectos, alcances y limitaciones de la nueva política de clasificación de Publindex.

Tabla 5

Comparación de métricas – revistas indexadas de ciencias jurídicas

Fuente: elaboración propia con base en los sistemas referenciados* La proyección se realiza con base en el impacto SJR actual (2017), y está supeditada al cumplimiento de los parámetros formales de Publindex.** El impacto H5 se registra sin modificaciones a partir de la información pública disponible en el portal web de Google Académico.

Con base en la información recopilada, y complementando con otros datos disponibles en las mismas fuentes, se puede argüir lo siguiente:

1. 1. A pesar de la amplia trayectoria de las publicaciones de ciencias jurídicas en el país (la revista Vniversitas cumple 67 años de edición ininterrumpida en 2018) su adhesión al modelo de indexación internacional a través de “tipologías citables” es bastante reciente. Por lo tanto, sus dinámicas de producción y citación en los índices son notablemente más bajas que las de otras disciplinas dentro de la misma gran área disciplinar de las ciencias sociales. Psicología, por ejemplo, cuenta con títulos que divulgan más de cien contribuciones al año, acumulan más de cien citas en una vigencia, y alcanzan índices H5 de 18 o 20 en Google.
2. 2. La distancia entre el impacto citacional SJR de un título a otro (y entre los cuartiles) en esta área es mínima. La medición 2016 de Scimago Journal Rank (indicador que se tuvo presente en la convocatoria 768 de Colciencias) incluyó cinco revistas colombianas de derecho: la primera, la Revista Derecho del Estado, alcanzó el cuartil 2 (Q2) con cuatro citas, de las cuales dos fueron autocitas, sobre una producción de 24 artículos citables. Esto significó su ascenso a la categoría A2 de Publindex. La segunda revista, ACDI Anuario Colombiano de Derecho Internacional, se ubicó en cuartil 4 (Q4) con tres citas sobre una producción de 16 artículos. En consecuencia, la clasificación de esta revista en el sistema nacional fue C. La quinta revista, Vniversitas, también en Q4, obtuvo cuatro citas sobre una producción de 58 contribuciones. Vale la pena mencionar que la ponderación del cuartil de la fuente citante es una característica fundamental del impacto SJR.

   Por su parte, la actualización SJR de 2017, que se tendrá presente en la convocatoria 830 de 2018, incorporó dos títulos nuevos en el grupo de revistas colombianas de derecho. En esta vigencia, la revista ACDI ascendió al primer puesto (y el cuartil 3) con una cita sobre 22 artículos publicados. La revista Vniversitas ascendió al segundo lugar (también Q3) con cuatro citas sobre 71 artículos publicados y la revista Derecho del Estado descendió al quinto lugar (Q4), con cuatro citas sobre 43 artículos publicados.

   El panorama, lejos de evidenciar falta de calidad en las investigaciones publicadas o deficiencias en la productividad de las revistas, elucida alta volatilidad en la métrica, pues depende de la cantidad de títulos indexados y de la noción arbitraria de prestigio de una fuente citante que, por supuesto, debe ser legitimada por el mismo sistema de indexación. Aunque se considere la fuente más fiable de información científica en el mundo, esta noción de calidad desdibuja e incluso “castiga” el esfuerzo editorial adicional. Sucede lo mismo con el factor de impacto de Web of Science, un indicador objeto de bastantes controversias científico-técnicas²⁹ que no se empleará en este análisis debido a la nula participación de las revistas colombianas de ciencias jurídicas como fuentes indexadas en sus productos principales (Core Collection).

3. 3. El desconocimiento de la base bibliográfica Redalyc en el sistema nacional de CTeI es un gran desacierto, particularmente por la prescindencia de su visión de conjunto de la producción latinoamericana, y de los indicadores alternativos que se adaptan a los lineamientos de la ciencia abierta, el manifiesto de Leiden y la Declaración DORA³⁰, referentes que cada vez adquieren mayor relevancia en la región. Estas métricas podrían dar cuenta del por qué el alcance de la Revista de Derecho de Uninorte se estima equiparable a un cuartil 3 de los índices citacionales (la categoría B de Publindex), entendiendo sus niveles de producción y coautoría (los más altos del grupo de revistas reseñadas), internacionalización (alto), esfuerzo editorial (el segundo más alto) y uso, expresado en el número de descargas (el segundo más alto del grupo). También sugieren el potencial de visibilidad y posicionamiento de revistas como Estudios Socio-jurídicos, Opinión Jurídica, Díkaion o Prolegómenos. La gran dificultad en torno a la aplicación de estos indicadores consiste en su disponibilidad inconsistente para los títulos aceptados en la base bibliográfica, y en la actual heterogeneidad de procesos producto de la compleja transición al estándar XML JATS.
4. 4. Con respecto a los datos de las revistas restantes, se presentan dudas en cuanto a la idoneidad del índice H5 y su correlación con otros indicadores, particularmente frente a la cifra que despliega públicamente Google (y que definitivamente requiere un proceso de limpieza a través de herramientas como Publish or Perish). La falta de refrendación del ejercicio editorial por parte de entes evaluadores con visibilidad internacional no solo resta competitividad, sino que reduce la posibilidad de aplicar análisis bibliométricos para exaltar el papel de estas publicaciones en sus comunidades académicas, destacar su valor único frente a otros títulos ya indexados en las mismas áreas disciplinares, o replantear su orientación temática en aras de lograr el alcance esperado. El mayor desacuerdo entre los equipos editoriales consiste en la asignación de una categoría idéntica a la otorgada a las publicaciones validadas por los índices citacionales, o con alcances más allá de lo institucional o local. Independiente del impacto citacional o los indicadores de producción acumulados por una revista, la superación de un proceso de evaluación internacional riguroso y altamente restrictivo, además de la disponibilidad de indicadores con un alto grado de aceptación, genera indicios de calidad que se desconocen deliberadamente en el nuevo modelo de Publindex. La apuesta de Colciencias está orientada al ascenso a los cuartiles más altos, y es por esta razón que limita la posibilidad de acceder a las categorías más altas a través del índice H5. Sin embargo, ya se empiezan a percibir condiciones que limitan la capacidad de convocatoria de contribuciones nacionales y los estímulos a la gestión de las revistas, todo debido a una mala interpretación de las métricas, y al aún presente vínculo de estas publicaciones indexadas con la acreditación de programas académicos.
5. 5. La pérdida en la indexación en el índice Publindex tampoco puede considerarse un criterio absoluto de calidad. Atendiendo al precepto de la exogeneidad, participando en las discusiones regionales e internacionales de corriente principal y con indicadores de impacto significativos, es posible hallar publicaciones que hicieron caso omiso a la convocatoria, y que no perciben impacto alguno en esta iniciativa. Inclusive, se reportaron casos de exclusiones debido al incumplimiento criterio formal apenas relevante, como la superación en un 2 % de uno de los indicadores de endogamia debido a que los miembros de los comités o los pares evaluadores nacionales no contaban con un CVLAC actualizado. Esta falta, lejos del alcance de las revistas, dificulta, en términos del ente evaluador, la ponderación de la endogamia en los procesos. En su promulgación de los resultados oficiales, Colciencias contempla la posibilidad de realizar aproximaciones en las próximas convocatorias para aumentar las posibilidades de clasificación de los títulos sometidos.

Conclusiones

La academia colombiana comprende y aprecia la difícil tarea de Colciencias de administrar un sistema de evaluación y promoción de la ciencia, la tecnología y la innovación, de cara al escenario heterogéneo e inherentemente cambiante de los actores que lo componen. Es una realidad que los equipos de las revistas indexadas nacionales presentan, en general, dificultades atribuibles a la falta de formación, pero el modelo de evaluación ha caído en un nivel de desconfianza que subestima el conocimiento y la experiencia, e incluso la buena fe de sus interlocutores. El mayor problema que aún no se atiende con suficiencia es la falta de infraestructura, equipo humano e inversión en soluciones tecnológicas que permitan reenfocar los esfuerzos hacia las tareas más importantes: la edición académica y la comunicación científica. La indexación, como insisten los pares de las principales editoriales del mundo, debe llegar por añadidura; como un valor agregado a la gestión regular de las publicaciones. A su vez, la generación de estímulos a la producción intelectual debe ser personalizada y contextualizada (justa), exhaustiva (no solo bibliométrica) e imparcial (a través de modelos cualitativos y cuantitativos).

La clasificación de las revistas indexadas puede mejorar ostensiblemente si se involucran más puntos de vista en los procesos de construcción de los sistemas de evaluación. La perspectiva unificadora y centralizadora está orientada a fortalecer los necesarios procesos de normalización y recuperación de la información, pero puede resultar en incoherencias e injusticias si se desconoce el comportamiento particular de cada revista, enfoque y disciplina. Es preciso definir un lugar para la producción con relevancia regional, definir umbrales de citación e indicadores de impacto social y económico acordes. En esa misma línea, se debe garantizar un espacio para las publicaciones interesadas en la construcción y el desarrollo de comunidades académicas, y que no necesariamente se alinean con los propósitos y las formas de la indexación internacional.

Colciencias es el organismo líder del sistema nacional de CTI, y su labor es indispensable para proyectar la investigación colombiana y regional hacia nuevos estadios de alcance e impacto. No obstante, en su ejercicio ha procurado analizar con exceso de detalle los indicadores de calidad de cada individuo, grupo, institución y publicación, a tal punto que la infraestructura de los sistemas que ha desarrollado para este fin resulta insuficiente e innecesariamente demandante. Publindex, así como otros modelos de CTI en el mundo, podría cosechar los metadatos disponibles en los sistemas de información internacionales, también los provenientes de la interacción de los usuarios finales con los artículos, para favorecer sus procesos evaluativos y evitar los reprocesos a los que se han venido sometiendo todos los actores en torno a sus funciones. La observación que queda en el tintero es: Si se apropian predominante y casi exclusivamente los resultados de los índices citacionales, ¿qué motiva la decisión de mantener una clasificación nacional de revistas, con todas las implicaciones que conlleva? Con certeza, la comunidad académica nacional seguirá señalando estos errores técnicos que deslegitiman el actual modelo de medición de la ciencia, y que no logran más que acrecentar el sentimiento de desconfianza en los actores y los procesos de ciencia y tecnología que tanto requiere la nación, la región y el mundo. Mientras eso sucede, habrá lugar a iniciativas como la construcción de redes y comités de editores que piensen y reformulen el horizonte y los parámetros de calidad desde cada una de sus áreas disciplinares.

Esperamos con anhelo la posible transición de la plataforma SCIENTI a una herramienta avanzada como Pure de Elsevier³¹, alcanzando el nivel de personalización suficiente para incluir fuentes representativas y diversas de datos y validaciones, tanto locales como regionales. Sin este ajuste, y sin una visión de conjunto, se seguirán generando indicadores para una capacidad operativa que no guarda relación con objeto primordial de las revistas: la visibilidad de la producción académica y científica coherente con una intención divulgativa, una política editorial y un alcance definido, en el marco de un contexto disciplinar y a la luz de múltiples fuentes y canales de validación y apropiación. Esta es la verdadera noción de calidad, un acervo de percepciones más que un criterio absoluto, que debería ocupar un lugar privilegiado en las agendas de nuestras instituciones a futuro.

Notas

Información adicional

Para citar este editorial: FAVIO ANDRÉS FLÓREZ CARRANZA, Nociones de calidad e impacto: el lugar de las revistas indexadas de ciencias jurídicas en el sistema colombiano de competitividad, ciencia, tecnología e innovación, 137 Vniversitas (2018). https://doi.org/10.11144/Javeriana.vj137.ncei