Introducción

De acuerdo con Cortés (2007) uno de los componentes a medir en el trabajo científico es el impacto de sus productos, mismo que está íntimamente relacionado con la productividad o cantidad de documentos que elaboran los investigadores universitarios, para llevar a cabo dicha medición se puede utilizar la bibliometría como técnica cuantitativa. Sin embargo, poco se ha explorado acerca de la calidad de los productos científicos y su relación con factores propios de la institución educativa de procedencia. En este sentido, se propone en este estudio un modelo de autoevaluación de los CA’s del Campus de Ciencias Biológicas y Agropecuarias (CCBA) de la Universidad Autónoma de Yucatán (UADY), a través de la metodología bibliométrica, para explorar indicadores asociados con la calidad de la producción científica aceptados a nivel internacional y que puedan ser usados para establecer una base metodológica que sirva a los CA’s de cualquier institución de educación superior del país para realizar autoevaluaciones que sean el punto de partida para sus planes de desarrollo, así como aplicar dichos indicadores a los CA’s del Campus de Ciencias Biológicas y Agropecuarias (CCBA) de la Universidad Autónoma de Yucatán (UADY) para efectuar una primera evaluación del efecto que ha tenido la existencia de los CA’s en la productividad científica y proporcionar información que sirva a los mismos para sus procesos de planeación.

En primera instancia se presenta el estado del arte de la autoevaluación de los CA’s, así como las metodologías para llevarla a cabo, donde figura la bibliometría como un referente importante que sustenta este trabajo, posteriormente se menciona la metodología utilizada para este estudio y por último se exponen los resultados y la conclusión del mismo.

La autoevaluación de los cuerpos académicos. Estado del arte.

Como parte de las políticas de impulso a la calidad en la educación de las universidades públicas en México, la Secretaría de Educación Pública (SEP) propuso a finales de los 90´s la figura de Cuerpos Académicos (CA’s) como una forma de organización de las actividades de docencia, investigación, servicio y extensión que se desarrollan en dichas instituciones (Diario Oficial, 2007), para fortalecer a dichos grupos a través del trabajo colaborativo y proveer herramientas para reconocer su grado de desarrollo (En formación; En consolidación y Consolidados). Para alcanzar las categorías más altas, los CA’s deben demostrar, entre otras acciones, productividad científica colegiada de calidad, a través de la publicación de artículos científicos en revista indexadas, con alto factor de impacto, demostrando de esta manera que se ha generado nuevo conocimiento ante investigadores pares de expertos que actúan como evaluadores externos (Caballero, Uresti y Ramírez, 2012). El Consejo Nacional de Ciencia y Tecnología (CONACyT), reconoce la figura de CA’s Consolidados como criterio para financiar proyectos de investigación.

El autoanálisis de la productividad académica es un elemento esencial para que los CA’s planifiquen su desarrollo a mediano y largo plazos, donde se establezcan, entre otras cosas, las metas, las prioridades y la pertinencia de las actividades de investigación. En México, la evaluación de los CA’s por organismos externos se lleva a cabo bajo indicadores y criterios que determinan la calidad de la producción y del conocimiento generado. Los criterios de evaluación utilizados por la Secretaría de Educación Pública (SEP) son un referente importante pero no establecen valores de umbral de cantidad y calidad para ninguno de los productos.

Los indicadores bibliométricos son una herramienta que complementa la evaluación de la actividad científica de un país, universidad o grupo de investigadores y permite percibir la evolución de la productividad en el tiempo (Zulueta et al., 1999; Sanz, et al., 2005). Sin embargo, en la actualidad es generalmente aceptado que el criterio de calidad en la productividad científica se encuentra relacionado principalmente con la publicación de artículos científicos en revistas que han sido evaluadas y seleccionadas por su impacto y por ello han sido indizadas en Scopus© o en el Journal Citation Reports© (JCR).

El CCBA de la UADY, específicamente la Facultad de Medicina Veterinaria y Zootecnia (FMVZ), cuenta con 10 CA’s oficialmente registrados ante la SEP (Tabla 1); actualmente sólo el 55.3% de los miembros de la planta académica de tiempo completo del CCBA forman parte de alguno de los 10 CA (Plan de Desarrollo CCBA, 2016). Para explorar la calidad de la producción científica de cada CA y el valor del aporte de sus contribuciones a la FMVZ, a la UADY y al área del conocimiento, se propone este modelo de autoevaluación para valorar si los esfuerzos que realizan en investigación están logrando los resultados esperados.

Metodología

El presente estudio tiene por objetivo utilizar las técnicas bibliométricas para la autoevaluación para los CA´s, cuyos indicadores, aceptados a nivel internacional, se asocien con la calidad de la producción científica y puedan ser usados para establecer una base metodológica y punto de partida para los planes de desarrollo del CCBA, de la UADY y de otras instituciones de educación superior de México. El modelo de autoevaluación consta de nueve indicadores de calidad aplicados a la información cuantitativa de los CA’s del CCBA obtenida de la base de datos de Scopus©, lo que permitió analizar la calidad y la productividad como se expone a continuación:

• Número de publicaciones por año y total del periodo: Se refiere a las publicaciones generadas por los miembros de los CA’s o Grupo Núcleo (GN) y que se encuentran indizadas en la base de datos Scopus©, en el período comprendido entre enero 2000 a julio 2016. Se emplearon los siguientes criterios de búsqueda y filtrado de los resultados: Afiliación de los autores “Universidad Autónoma de Yucatán” + “Universidad Autónoma de Yucatán - Facultad de Medicina”, “CCBA o Veteri* o Biol*” que cubrirían la mayoría de las opciones posibles tanto en español como en inglés. Se refinó la búsqueda dentro los resultados de UADY empleando al GN de cada CA, agrupando todas las variantes encontradas para los nombres de los autores.

• Índice h de cada autor: El índice h se usa como medida del impacto de las publicaciones de una persona. Este índice permite reconocer a los autores que tienen más influencia en un área del conocimiento, independientemente de la cantidad de productos producidos (Hirsch, 2005). Para los CA’s de este estudio se calculó el promedio más alto del valor h (10.5) dividido entre tres, resultando tres categorías de Índice h: Bajo (0 a 3.5), Medio (3.6 a 7.0) y Alto (7.6 a 10.5).

• Área o temática sobre la que se publica: Se refiere al área o temática establecida por Scopus© a la que se asocia cada publicación o revista. Una revista puede estar asociada a más de un área.

• Revistas donde más se publica: Se trata de un análisis de frecuencias de las revistas utilizadas por el GN. Para los fines de este modelo se seleccionaron aquellas revistas que son utilizadas con mayor frecuencia (más de 5 artículos).

• Países y filiación de los colaboradores: Se obtiene de listar la filiación de los autores reportada en los artículos incluidos en la base de datos Scopus©. Estos indicadores reflejan las redes de colaboración con otras instituciones, donde al menos cinco publicaciones con una misma institución durante el período de estudio reflejan una “red de colaboración”. Se excluyeron las colaboraciones con académicos del mismo CCBA. Se consignó el nombre de la institución tal como aparece en Scopus©; cuando la misma institución apareció con nombres diferentes, se homogenizó usando el nombre más frecuentemente usado. Se generó un Índice de Internacionalización de Redes de Cuerpo Académico (IIRCA) definido de la siguiente forma: IIRCA = PII*√𝑇𝑜𝑡𝑎𝑙 𝑑𝑒 𝑟𝑒𝑑𝑒𝑠

  Dónde: PII = Proporción que representan las instituciones internacionales respecto al total de redes del CA y Total de redes = Número de redes nacionales e internacionales del CA, ambos con más de cinco publicaciones en el periodo.

  Se empleó la raíz cuadrada del total de redes como un factor para escalar el efecto del número de redes. El valor fue “0” cuando no existieron redes internacionales sin importar el número total de redes mantenidas por el CA. A partir del valor IIRCA más alto obtenido por un CA dividido entre tres, se establecieron tres categorías: Alta, mayor a 1.6; Media, entre 1.6 y 0.76; Baja, menor a 0.76.

• Scimago Journal Rank (SJR) de las revistas donde más se publica: El SJR es un valor similar al factor de impacto reportado por el JCR y considera tanto el número de citas recibidas por una revista como el prestigio de la revista de donde proviene la cita (González, Guerrero y Moya, 2010). Para este estudio se obtuvo información contenida en SJR para el año 2016.

• Cuartil de las revistas (Q1-Q4) donde más se publica: Se refiere al cuartil en que cada revista indizada es ubicada en la base de datos SJR. Se consideran de mayor calidad las revistas ubicadas en el cuartil 1 (Q1) y es útil para comparar la calidad entre revistas de diferentes áreas. Se establecieron tres categorías de calidad de las publicaciones: Alta, si la suma de los artículos publicados en revistas de los Q1 y Q2 es mayor o igual a 80%; Media si la suma está entre 60-79 %; y Baja si la suma es menor a 60%.

• Factor de impacto normalizado (SNIP) de las revistas donde más se publica: El SNIP estima el promedio del impacto de citación de un artículo de una revista. Los detalles metodológicos para estimar el SNIP los describe Moed (2010). Los valores del SNIP se obtuvieron del reporte 2016 del Centro para Estudios de Ciencia y Tecnología de la Universidad de Leiden (http://www.journalindicators.com/).

• Nube de palabras: La nube de palabras se generó a través del programa disponible en http://www.wordclouds.com/, utilizando las palabras de los títulos de los artículos con frecuencia mayor a 10. El tamaño de la palabra en la imagen final es proporcional a la frecuencia de aparición. No se incluyeron conectores, pronombres, artículos, numerales o palabras comunes que no fueran relevantes como descriptor de un área de investigación, tanto en español como en inglés. Se establecieron tres categorías de congruencia entre la nube de palabras y las Líneas de Generación y Aplicación del Conocimiento (LGAC) que cultivan: Alto, cuando el 66% o más de los términos de la LGAC aparecen en la nube; medio el 65-35% y bajo, cuando menos del 35%.

Análisis estadístico

Se evaluó la relación entre la productividad y el valor h de cada académico con una regresión lineal robusta para compensar con valores dispersos (“outliers”) de ambas variables utilizando el paquete estadístico SYSTAT versión 10.0 (2000). Para evaluar la relación entre la productividad y el valor h de cada académico con el factor de pertenecer o no al Sistema Nacional de Investigadores (SIN) y al tipo de grupo al que está asignado: grupo disciplinar (GD), es decir, los que no pertenecen a ningún CA o GN, se utilizó un modelo lineal generalizado, incluyendo en ambos casos como covariable la antigüedad de cada académico. En ambos modelos se utilizó como función de ligamiento tipo log con error Poisson, y se corrieron en el paquete estadístico SAS versión 9.2 (2009). Finalmente para evaluar la independencia entre la frecuencia de las revistas más utilizadas por los CA’s respecto a los cuartiles del área de especialidad, se aplicó una prueba de contingencia de ² en el paquete estadístico SAS versión 9.2 (2009). Se excluyeron tres CA’s debido a la baja cantidad de publicaciones (MCRNT, RFT, RMT) y que en conjunto suman el 6% de la productividad total del CCBA.

Resultados Número de publicaciones por año y total del periodo.

En el período 2000-2016 se encontraron 593 publicaciones asociadas a los CA’s del CCBA, que representa casi un tercio de toda la producción, indizadas y no indizadas en Scopus©. Al analizar la información se encontró una tendencia general de incremento en la producción científica indizada a lo largo del período. Para el CCBA se puede observar que la productividad no está asociada a la antigüedad laboral y son los miembros de GN los que tienen mayor productividad, así como los académicos con 20 o más años de antigüedad laboral y que pertenecen al Nivel III del SIN, como se puede observar en la figura 1.

Respecto de la productividad por CA’s, el incremento más notable en el número de las publicaciones es a partir del año 2005. No obstante, es evidente una tendencia a la estabilización de la productividad a partir del año 2010 (Figura 2).

Más del 97% de la producción de los CA’s registrada en Scopus© consiste en artículos científicos. Al considerar el promedio anual de publicaciones por CA se obtuvieron valores que fluctúan entre 0.47 y 11.59 artículos por año. Al ponderar la productividad total por el número de miembros del grupo núcleo de cada CA, y los años considerados en este estudio, se obtuvieron valores que fluctúan entre 0.16 y 2.24 artículos por año por miembro de GN. Los CA’s que más artículos produjeron durante el periodo del estudio no fueron los mismos que los que tuvieron la productividad ponderada más alta (Figura 3). Ajustando la productividad por el número de miembros del GN, se reconocen tres categorías de CA: Alta, dos o más artículos por año por investigador; Media, un artículo por año por investigador; Baja, menos de 0.5 artículo por año por investigador.

Índice h.

Se observa que al relacionar la antigüedad laboral con el índice h, los miembros del GN con 20 y 25 años de antigüedad alcanzaban los valores más altos. Respecto del número de publicaciones y el índice h (R²=0.72, p<0.001), se encontró una relación positiva. Esta relación refleja que los trabajos publicados mantienen su vigencia a lo largo de los años, por lo que un número importante de ellos continúa siendo citado. En cuanto al efecto de la pertenencia al SNI o al tipo de grupo (GN o GD) sobre el valor del índice h, se observó que la pertenencia al SNI y al GN tiene un efecto positivo significativo (F_1,84=57.02 y F_1,84=13.72, p<0.001) en ambos casos. Véase la figura 4.

El fenómeno de alta producción con índice h bajo pudiera ser explicado por la propia variación entre las disciplinas abordadas en el CCBA. Los académicos miembros del SNI presentan una productividad casi dos veces mayor que aquellos que no cuentan con la distinción (F_1,83=274.2, p<0.001); los miembros del GN tienen una producción casi 1.5 mayor que los del GD (F_1,83=82.04, p<0.001); además, la antigüedad se relaciona positivamente con la productividad (F_1,83=14.63, p<0.001). Sin embargo, se observó un efecto de interacción entre pertenecer al SNI y el tipo de grupo al que pertenecen (GN y GD) (F_1,83=13.24, p<0.001). Los académicos miembros del SNI y asociados a GN tuvieron mayor productividad (t≥3.46, p<0.0001); siendo hasta de 3.4 veces mayor que la productividad de aquellos que no pertenecen al SNI y que son parte del GD.

Área o temática sobre la que se publica.

Se observa que las áreas principales de publicación son: Agricultura y Ciencias Biológicas, donde los CA’s que tiene mayor publicación son PEP (101), SA (106) y RMGAT (114); Veterinaria, cuyo CA con mayor publicación es SA (125), e Inmunología y microbiología donde SA (92) tiene mayor número de publicaciones.

Revistas donde más se publica.

Las revistas con mayor publicación por los CA’s de este estudio se presentan en la tabla 2, siendo el criterio mínimo de cinco publicaciones, así como el factor de normalización (SNIP) promedio a tres años de la revista reportado en Scimago journal Rank (SJR), así como el cuartil de clasificación. Para los CA’s MCRNT, RFT y RMT no se encontraron revistas con cinco o más publicaciones.

El 35% de las publicaciones son en revistas con Q1 y el 32% con Q2, por lo que la suma de ambos cuartiles es de 67%, lo que indica una calidad Media. El análisis de la distribución del número de publicaciones entre los cuartiles mostraron que no se distribuye al azar entre los CA’s (X₂₇²=166, p<0.001). (figura 5).

Países y filiación de los colaboradores.

Es interesante observar la amplia red de colaboración de la mayoría de los CA’s que incluyen académicos de muy variados países. En general para los CA’s la contribución de académicos locales o nacionales representa el 71% de los registros, le siguen en orden de importancia Estados Unidos (7%), Reino Unido (5%), Francia y España (cada uno con 4%), Alemania y Egipto (cada uno con 2%), Australia, Suecia y Suiza (cada uno con 1%). Estos porcentajes y países cambian dependiendo del CA que se considere; en un mismo artículo se pueden presentar varios países en las afiliaciones de los autores.

Las instituciones con las que cada CA tiene colaboración y genera publicaciones, que de acuerdo al IIRCA fluctuó entre 0 a 2.26, se aprecia que la mayoría de los CA’s presentan un balance en sus colaboraciones con instituciones nacionales y extranjeras (Tabla 3). Sin embargo, resalta el hecho que AT tiene una alta proporción de colaboración internacional mientras que RMGAT únicamente tiene redes nacionales. Para todos los CA’s lo recomendable sería que los CA´s busquen consolidar redes y balancear su participación en redes nacionales e internacionales, y ampliar en general dichas redes.

Nube de palabras

La tabla 6 presenta las nubes de palabras obtenidas para el CCBA y para cada CA. Es de resaltar la dificultad para identificar los principales temas que se abordan en las publicaciones de la mayoría de los CA’s, al igual que la congruencia con la(s) línea(s) de investigación declarada(s) por cada CA. Esto podría significar que en un proceso de búsqueda de información por investigadores o estudiantes externos se requeriría una observación o análisis cuidadoso para identificar entre los títulos de las publicaciones las principales áreas de trabajo, para así establecer afinidad y despertar el posible interés de colaboración.

En general las palabras más destacadas para el CCBA son “México” y “Yucatán”. Ocho de los 10 CA’s tienen alta frecuencia de estas palabras en los títulos de los artículos publicados. Esto tiene cómo aspecto positivo que los trabajos están claramente identificados con México y la Península de Yucatán, lo cual permitiría posicionar los trabajos en el aspecto geográfico que en algunas áreas puede ser un descriptor importante. Sin embargo, también tiene cómo aspecto negativo que podría enviar a la comunidad científica externa la apreciación de trabajo con relevancia regional, limitando así la empleabilidad de los resultados publicados.

Para valorar la congruencia entre la nube de palabras y la LGAC, se indagó en la imagen que genera la nube que los términos descritos en la LGAC fueran evidentes o que se puedan inferir fácilmente, a partir de los elementos que aparecen en la figura 6.

Del análisis de la congruencia entre las nubes de palabras y las LGAC, se recomendaría que los CA con categorías medias y bajas realicen un análisis para revisar y, en su caso, reformular las LGAC.

Conclusiones

Con este estudio se llega a dos conclusiones: a) los académicos alcanzan un pico de productividad y ésta es gradualmente menor conforme se aproximan a la fase de retiro/jubilación, y b) no se observa que exista relevo generacional de investigadores con buena producción científica, como puntos con incremento gradual en el rango de los 10 a 20 años. En cualquier caso, es claro que se debe estimular la producción de artículos en revistas de mayor impacto y que en consecuencia reciba mayor número de citas, que refleje mayor impacto de la investigación realizada. Es deseable que al interior de los CA’s se procese y analice información respecto de publicar en la revista del propio CCBA (Tropical and Subtropical Agroecosystems, Q4) para establecer estrategias de mejora en la visibilidad de las publicaciones a mediano y largo plazo. También es deseable que cada CA analice la proporción que representa y que conviene que represente los productos no indizados en JCR o Scopus©.

Durante los últimos 10 años es más común emplear el índice h cómo una herramienta para evaluar la calidad de la producción de un investigador (Hirsch, 2005, Bornmann, Mutz y Daniel, 2008).

Se encontraron diferencias importantes en cuanto al índice h, cuartiles de las principales revistas donde se publica, redes de colaboración/internacionalización y la relación de la nube de palabras con las líneas de investigación declaradas. En todos los casos fue posible realizar agrupación de los CA’s del CCBA-UADY en tres niveles respecto de los principales indicadores de calidad (alto, medio o bajo), como se observa en la Tabla 4.

La ponderación generada a través del modelo y las categorías propuestas en la tabla 4, corresponde únicamente a un ejercicio metodológico de posicionamiento interno basado en el rango de valores encontrados para los 10 CA’s del CCBA-UADY.

La contribución principal de esta propuesta radica en la hipótesis de la existencia de una posible correlación a mediano y largo plazo entre los indicadores de evaluación de PRODEP y los indicadores de calidad de la producción científica aquí presentados, ya que los CA’s al trabajar de manera colegiada podrán encontrarse en mejor posición para responder a una evaluación de instancias externas.

Por lo tanto, el modelo de autoevaluación presentado puede ser una herramienta de utilidad para los CA’s para conocer de manera más integral las fortalezas y áreas de oportunidad, con el objetivo último de elaborar planes de desarrollo y de mejora continua que permitan posicionar de mejor manera (nacional e internacional) tanto el trabajo que el grupo de investigación realiza, como a las instituciones a las que pertenecen.

Por la naturaleza de los productos que se generan en investigación consideramos que este modelo de autoevaluación funciona para CA’s relacionados con las áreas de Físico-matemáticas, Químico-biológicas, Agropecuarias-biotecnología, principalmente, para otras áreas disciplinares tendría que analizarse la posibilidad de utilizar los mismos indicadores.

Referencias

Bornmann, L. & Daniel, H.D. (2005). Does the h-index for ranking of scientist really work? Scientometrics. 65 (3). 391-392.

Bornmann, L. & Daniel, H.D. (2007). What do we know about the h index? Journal of the American Society for information Science and Technology. 59(5):830-837.

Bornmann, L., Mutz, R. & Daniel, H.D. (2008). Are there better indices for evaluation purposes than h index? A comparison of nine different variants of the h index using data from biomedicine. Journal of the American Society for information Science and Technology. 58(9):1381-1385.

Campus de Ciencias Biológicas y Agropecuarias. (2016). Plan de Desarrollo CCBA 2016-2022. Universidad Autónoma de Yucatán, México. Disponible en http://www.ccba.uady.mx/documentos/PDCCBA300916.pdf.

Diario Oficial (2007). Reglas de operación del programa de mejoramiento del profesorado. Diario oficial 28 de febrero Decimoprimera sección. Gobierno de la República, México.

Glänzel, W., & Moed, H.F. (2002). Journal impact measures in bibliometric research. Scientometrics, 53. 171-194.

González, B., Guerrero, V. y Moya, F. (2010). A new approach to the metric of journals’ scientific prestige: The SJR indicator. Journal of Informetrics, 4 (3). 379–391.

Hirsch, J.E., 2005. An index to quantify an individual’s scientific research output. Proceedings of the National Academy of Sciences of the United States of America, 102(46), 16569–16572.

Lowry, P.B., Romans, D., Curtis, A., 2004. Global journal prestige and supporting disciplines: A scientometric study of information systems journals. Journal of the Association for Information Systems, 5(2). 29-80.

Moed, H. (2010). Measuring contextual citation impact of scientific journals. Journal of Informetrics, 4. 265-277.

SAS. (2009). SAS, version 9.2. SAS Institute Inc., Carey, North Carolina.

Sanz, E., Conforti, N., García, C., Iribarren, I., Martín, C., Lascurain, M. Liberatore, G., Pereyra Barreto, A., Sleimen, S., Coringrato, M., Archuby, C., Rojas, C. y Vuotto, A., (2005). Análisis de la actividad científica de la Facultad de Humanidades de la Universidad de Mar del Plata, durante el período 1998-2001. Revista Española de Documentación Científica, 28(2). 196-205

SYSTAT. (2000). SYSTAT ver. 10, SPSS Inc. Chicago, IL.

Vélez, M. (2013). Recursos métricos: Indicadores para la evaluación de productividad científica y gestión académica en instituciones de educación superior. Revista La Técnica, 9, 52-60.

Yurén, T., Saenger, C., Escalante, A. y López, I. (2015). Las prácticas de los Cuerpos Académicos como factor de la formación ética de los estudiantes. Estudio en caso. Revista de la Educación Superior, 46 (174). 75-99.

Zulueta, M., Cabrero, A., Bordons, M. (1999). Identificación y estudio de grupos de investigación a través de indicadores bibliométricos. Revista Española de Documentación Científica, 23. 333-347.