Monográfico

RELIEVE: 15 años de investigación y evaluación educativa

RELIEVE: 15 years of educational research and evaluation

Rafael Ruíz-Pérez *
Universidad de Granada, España
Evaristo Jiménez-Contreras *
Universidad de Granada, España

RELIEVE: 15 años de investigación y evaluación educativa

RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, vol. 26, núm. 2, 2020

Universidad de Granada

Universidad de Valencia

Recepción: 09 Noviembre 2020

Aprobación: 30 Noviembre 2020

Publicación: 08 Diciembre 2020

Resumen: Objetivos: Análisis bibliométrico de los trabajos publicados por RELIEVE en los últimos 15 años; que se corresponden con los procesados por Emerging Sources Citation Index (ESCI), una nueva base de datos de Web of Science (WOS) que pretende corregir la deficiente cobertura de las revistas nacionales de algunos países. Método: Fuente de datos: 195 artículos de RELIEVE recogidos en ESCI. Análisis: Se analizaron las 7.408 referencias emitidas por los 195 trabajos. Igualmente se analizaron las 599 citas recibidas por la revista. Temáticas cubiertas: se volcaron las Author-Keywords de los 195 trabajos en la herramienta de software VOSviewer. Resultados: las citas emitidas arrojan un promedio por trabajo de 38,19 ± 6,5. Los autores y las revistas citadas son principalmente españolas; pero la proporción de revistas extranjeras de impacto es apreciable (40%). Las citas recibidas por RELIEVE proceden casi de forma exclusiva de revistas españolas incluidas en WOS en la categoría Education and Educational Research. La lista de países e instituciones de los autores citantes está protagonizada también por España (75,6%) y por las universidades de Valencia y Granada. Las citas vienen de artículos de investigación publicados en revistas españolas. Entre los temas de investigación que han ocupado las páginas de RELIEVE destacan los relativos a Educación Superior y PISA. Conclusiones: Las citas concedidas revelan un suficiente consumo de literatura científica internacional por parte de sus autores colaboradores. Por el contrario, las citas recibidas indican una fuerte atención a los temas locales en la investigación publicada, y como consecuencia esta investigación no es utilizada por investigadores de otros países. De momento, la presencia de RELIEVE en ESCI-WOS aún no se ha traducido en una ruptura de su aislamiento nacional y en el inicio de su incorporación internacional en términos de impacto.

Palabras clave: Revista RELIEVE, Emerging Sources Citation Index, Investigación y Evaluación Educativa, Análisis de citas, Temas de investigación.

Abstract: Aims: Bibliometric analysis of the papers published by RELIEVE journal in the last 15 years; these papers correspond to those processed by the Emerging Sources Citation Index (ESCI), a new Web of Science (WOS) database that aims to correct the poor coverage of national journals in some countries. Methods: Data source: 195 RELIEVE articles collected in ESCI. The 7,408 references issued by the 195 works were analyzed. The 599 citations received by the magazine were also analyzed. The topics covered by the journal were also studied. For this purpose the Author-Keywords of the 195 papers were dumped and analyzed in the VOSviewer software tool. Results: the citations issued show an average per paper of 38.19 ± 6.5. The authors and journals cited are mainly Spanish but the proportion of foreign impact journals is important (40%). The citations received by RELIEVE come almost exclusively from Spanish journals included in WOS in the Education and Educational Research category. The list of countries and institutions of the citing authors is also led by Spain (75.6%) and by the universities of Valencia and Granada. The citations come from research papers published in spanish journals. Among the research topics that have occupied the pages of RELIEVE, those related to Higher Education and PISA stand out. Conclusions: The citations issued reveal a sufficient consumption of international scientific literature by its publishing authors. On the contrary, the citations received point out a strong attention to local issues in published research, and as a consequence this research is not used by researchers from other countries. At the moment, RELIEVE's presence in ESCI-WOS has not yet translated into a breakdown in its national isolation and the start of its international incorporation in terms of impact.

Keywords: Relieve journal, Emerging Sources Citation Index, Education and Educational Research, Citation analysis, Research issues.

En los últimos años, el número de revistas científicas circulantes en el mundo se viene cifrando sobre los 100.000 títulos. Si realizamos una consulta cualificada en el Directorio “Ulrichsweb: Global Serials Directory”, bajo la ecuación: Status= ("Active") Serial Type= ("Journal") Content Type= ("Academic / Scholarly") Key Feature= (+"Refereed / Peer-reviewed"), la búsqueda arroja, en el momento de realizar este estudio, un resultado de 85.179 títulos, para todas las áreas de conocimiento y bajo cualquier tipo de acceso, tirada, formato y frecuencia de publicación. Si consideramos el referido directorio como una fuente internacional fiable y acreditada; que cuenta con un sistema de análisis y selección riguroso de publicaciones periódicas, y que además proporciona alertas de informes de actualización mensuales, podremos afirmar que las revistas científicas son, por número de títulos circulantes, y en la casi totalidad de la ciencia moderna, el principal vehículo de transferencia del conocimiento.

A este protagonismo como medios de comunicación científica, se ha venido a unir a las revistas otro aspecto no menos importante: su utilización como instrumentos para la evaluación de la actividad científica de autores, instituciones y países. En España, esta utilización ha resultado especialmente determinante en el sistema de políticas públicas de evaluación e incentivos a la comunidad académica; desarrolladas, de un lado por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA), encargada de proporcionar las acreditaciones del profesorado, y de otro por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) que otorga los llamados sexenios de investigación. Ahora bien, desde los inicios mismos del sistema en los años noventa (Ruiz, Delgado y Jiménez, 2010), este uso no se ha realizado de forma indiscriminada sino especialmente selectiva. Esta selección ha consistido, dentro de los criterios de evaluación (CNEAI, 2019), en otorgar el mayor peso a las revistas internacionales de calidad contrastada; entendiendo por tales a las recogidas en las bases de datos de la Web of Science (WOS), hoy bajo la firma de Clarivate Analytics (WOS, 2019), y dentro de esta, muy especialmente, a las clasificadas con Factor de Impacto (FI) e incluidas en los listados de los Journal Citation Reports (JCR) asociados a los índices de citas Science Citation Index (SCI) y Social Science Citation Index (SSCI).

Resulta lógico, por tanto, que desde distintos sectores y perspectivas, el interés por la calidad editorial y científica de estas publicaciones académicas, y sobre todo, el interés por superar el selectivo proceso de ingreso en las referidas bases de datos de la WOS, haya crecido de forma notable en los últimos años; lo que ha desencadenado al mismo tiempo la consiguiente proliferación de criterios e indicios -indicadores en terminología bibliométrica- para su evaluación. Entre ellos, el más utilizado para apuntalar la calidad y el prestigio de estas publicaciones es el recuento de las citas que reciben sus trabajos y el consiguiente y ya mencionado FI que se les puede atribuir.

Sin embargo, este indicador no está exento de limitaciones. Seglen (1997) ya advertía sobre sus deficiencias, insistiendo sobre todo en la incompleta cobertura de las bases de datos que lo proporcionan (el JCR-SCI y el JCR-SSCI) y su sesgo manifiesto a favor de la lengua inglesa, principalmente publicaciones anglosajonas y norteamericanas, en detrimento de aquellas otras en distinto idioma. Para las revistas nacionales de las áreas de Ciencias Sociales y Humanidades el problema incluso puede acentuarse. Para estas áreas, al tener una peor cobertura, los indicadores bibliométricos pierden más eficacia, causando un importante desequilibrio con respecto a las ciencias naturales, de las que se tiene una más equilibrada representación (Torres-Salinas et al. 2010).

Pues bien, estas deficiencias de cobertura, aunque puedan persistir en alguna medida, han sido corregidas de forma notable en los últimos años por la WOS, sobre todo para países como España, donde su potencial científico internacional, estimado en el 3,5% mundial, no se correspondía con una representación equiparable de revistas nacionales. Esta corrección, aunque no se ha realizado aun directamente vía índices de impacto JCR, si se ha producido mediante la incorporación de un importante número de títulos al denominado Emerging Sources Citation Index (ESCI, 2020), un nuevo producto creado por WOS, que tiene la particularidad, y esto es lo importante, de estar incluido dentro de la cobertura de su Colección Principal, esto es, la colección donde se ubican los emblemáticos índices de citas SCI y SSCI.

Como consecuencia de todo ello, es importante fijar como queda la situación actual de España en la Colección Principal de WOS. Por un lado, en lo que se refiere a la presencia de revistas españolas en los FI de los JCR, la situación apenas ha sufrido variaciones en los últimos diez años, moviéndose en el intervalo 120-130. En este momento –Marzo de 2020- la búsqueda para España en la Master Journal list (MJL, 2020), arroja un total de 129 títulos distribuidos en 54 para el JCR-SSCI y 75 para el JCR-SCI; y que si les agregamos los 64 presentes en el Arts & Humanities Citation Index (A&HCI), el tercero de los índices tradicionales de WOS, que no tiene JCR asociado, la cifra se sitúa en 193 revistas. Si tenemos en cuenta que estas tres bases de datos suman 14.255 revistas (SCI 9.043; SSCI 3.370; A&HCI 1.843), España supone el 1,35%, un porcentaje menor que Francia con 1,8%, y bastante alejado de potencias editoriales como Alemania con el 7%, Holanda con el 8% y por supuesto Inglaterra con el 24%.

Sin embargo, como ya hemos apuntado, a partir del año 2015, a estos índices tradicionales, que representan lo más relevante de la literatura científica internacional de todas las áreas de conocimiento, WOS incorpora el ya mencionado ESCI, de contenido multidisciplinar y con el propósito primordial de paliar la deficiente cobertura de aquellas revistas nacionales (denominadas Regionales según WOS); que sin ser aun de gran prestigio, si presentan tendencias y avances científicos significativos (Emergentes) y pueden ser candidatas a ingresar en los emblemáticos índices de citas (Testa, 2018) (WOS, 2020). Si nos detenemos en los datos, el punto de inflexión que ha marcado WOS en su cobertura con este producto es significativo: a día de hoy ESCI recoge 7.614 nuevas revistas de distintos países (MJL, 2020), lo que ha significado un incremento del 53% en su Colección Principal, que pasa de 14.255 a 21.869 revistas. De estas 7.614 nuevas revistas, 572 son españolas, lo que supone el 7,5% de todo el ESCI y le sitúa como el segundo país de Europa con mayor número de incorporaciones, solo superado por Inglaterra con algo más de 1500 revistas. En definitiva, estas 572 revistas sumadas a las 193 incluidas en los índices tradicionales sitúan a España con 765 revistas y el 3,5% de toda la Colección Principal de WOS; una cobertura claramente más acorde con nuestro potencial científico internacional.

Sin entrar en detalles sobre las implicaciones de ESCI (Ruiz y Jiménez, 2019), digamos a los propósitos de este trabajo que la situación de las revistas ESCI responde al status de revistas en evaluación para acceder a los índices de citas y los JCR. Esto nos permite observar y medir distintos indicadores a partir de los datos proporcionados por la base de datos, lo que significa, entre otras cuestiones, que podemos seguir la actividad de citación de las revistas y artículos cubiertos. Precisamente RELIEVE ha sido una de las algo más de 60 revistas de educación españolas incorporadas a los ESCI; y según consulta realizada el 05/03/2020, un total de 195 trabajos están siendo referenciados y en su caso citados dentro la prestigiosa Colección Principal de WOS. A partir de estas referencias, el objetivo de este trabajo es analizar un conjunto de indicadores y perfiles de la investigación publicada por RELIEVE en los últimos 15 años. Principalmente nos centraremos en los comportamientos de citación de RELIEVE, tanto de las citas emitidas como de las citas recibidas, si bien trataremos otros aspectos relacionados con sus colaboraciones y los temas de investigación abordados por la revista.

Método

Fuente de datos

La fuente de datos utilizada han sido las referencias completas que proporciona WOS de los 195 trabajos procesados hasta el momento de la búsqueda por esta base de datos, que se corresponden con los publicados por RELIEVE entre 2005-2019, volúmenes 11-25 ambos incluidos, y que distribuidos por periodos nos dan los siguientes números: 2005-2010= 70; 2011-2015= 60; 2016-2019= 65. La ecuación de búsqueda ha sido: Selec a Database= Web of Science Core Collection -Basis Search= Relieve or rev* elec* inv* eva* edu* .Field tags= Publication Name. La información que nos ofrece cada referencia y que nos ha permitido obtener los distintos indicadores, son los datos bibliográficos tipo suficientemente conocidos: Título; Autores; Filiaciones Autores; Abstract; Palabras-Clave Autor; Tipología documental; Lengua documento; Fuente de publicación, año, volumen y número. Como valor añadido, WOS nos permite, por un lado descargar también las referencias citadas por cada uno de estos 195 trabajos (citas emitidas por RELIEVE) y que suman un total de 7.408; y por otro las referencias de los trabajos que han citado 1 o más veces (trabajos citantes de RELIEVE) a alguno(s) de los 195 trabajos publicados por relieve (citas recibidas por RELIEVE), siendo los trabajos citantes 599 y las citas recibidas 674 (incluidas las citas propias o autocitas).

Análisis de los datos

Para analizar las citas concedidas se volcaron a una hoja de cálculo Excel las 7.408 referencias (citas) concedidas por RELIEVE durante el periodo de estudio. Los datos tratados de cada referencia han sido: autor(es) personales y/o instituciones responsables del trabajo citado; año de publicación; revista citada y DOI del trabajo citado en caso de tenerlo. Estos datos nos han permitido obtener los siguientes indicadores: promedio referencias / trabajo para el periodo estudiado; curva de envejecimiento de las referencias; autores / instituciones y revistas citadas.

Para el estudio de las citas recibidas por RELIEVE utilizamos las métricas que proporciona WOS. Estas métricas se han analizado a partir de los 195 trabajos recuperados y obtenidos en la búsqueda anteriormente descrita. Una vez listados dichos trabajos y en la opción Create Citation Report accedemos al enlace Citing articles, desde donde tenemos acceso al listado de referencias de los 599 trabajos citantes de RELIEVE. Dentro de esta lista la opción Analyce Results nos devuelve la consulta de los distintos indicadores que proporciona WOS. Para algunos de ellos se ha optado por el volcado y tratamiento de datos en un Excel. Los datos sobre citación que se han analizado han sido los siguientes: año de publicación de los trabajos citantes; revistas citantes y áreas de investigación a las que pertenecen; autores citantes, países de firma y filiación institucional; tipología documental del trabajo citante y lengua.

Para el análisis de las líneas de investigación cubiertas por RELIEVE en el periodo de estudio, se volcaron las Author-Keywords de los 195 trabajos de RELIEVE en VOSviewer. Esta herramienta de software nos permite construir y visualizar redes bibliométricas; en este caso el mapa (cluster) de co-ocurrencia de Palabras-Clave que nos identifica los temas nucleares publicados por la revista y sus relaciones con las distintas variables o enfoques de investigación con que han sido tratados.

Resultados

Citas emitidas

Los 195 trabajos procesados, clasificados por WOS en 186 artículos, 6 revisiones y 3 reseñas de libros, conceden un total de 7.408 referencias, lo que arroja un promedio por trabajo de 38,19 ± 6,5. Según la figura 1, las referencias emitidas por RELIEVE entre 2005-2019 muestran una ligera tendencia al alza en su evolución, aunque con un coeficiente de correlación bajo. No obstante, si se comparan los valores de los primeros años, en torno a 30, frente a los años finales, en torno a 40, está claro que las cantidades promedio se han incrementado, aunque sea con oscilaciones.

Figura 1. Referencias por artículo de RELIEVE

Referencias por artículo de RELIEVE
Figura 1
Referencias por artículo de RELIEVE

Por otra parte, cotejando el año de publicación de la fuente citante (artículos de RELIEVE) y el año de las referencias citadas, hemos comprobado que la vida media de las referencias se sitúa para 2005-2009 en 7,5 años y para 2015-2019 en 6,5, lo que indica que se están empleando referencias cada vez más actualizadas en la investigación. La figura 2 muestra que la evolución de ambos quinquenios es similar, pero hay una diferencia significativa que se sitúa en las referencias a los trabajos más recientes, que para 2015-2019 tienen un peso muy superior.

Figura 2. Curva de envejecimiento de las referencias de RELIEVE

Curva de envejecimiento de las referencias de RELIEVE
Figura 2
Curva de envejecimiento de las referencias de RELIEVE

Otro aspecto de interés sobre los comportamientos de citación de RELIEVE tiene que ver con los principales protagonistas de la literatura científica citada, esto es, los autores y las revistas. En lo que se refiere a los autores la tabla 1 muestra a los más representativos, distinguiendo entre nacionales españoles y extranjeros, así como las instituciones cuando estas son responsables del documento citado.

Hay un predominio, aunque no excesivo, de las citas dirigidas a autores nacionales, lo que indica una mayor preocupación por la investigación sobre temas de carácter nacional e incluso local, situación que es razonable dada la importancia de los factores y circunstancias locales en la investigación educativa. Sin embargo, los datos también revelan que es muy importante la atención que se presta a las instituciones internacionales, especialmente a la OCDE, que triplica el número de citas que recibe el Ministerio de Educación español. Por lo demás, aunque no es una institución propiamente dicha, hemos especificado la citación recibida por los llamados informes PISA por su importancia y la atención que le prestan los investigadores, y de hecho, si fuesen una institución sería la más citada de todas.

Tabla 1. Autores más citados por RELIEVE. 2005-2019

Tabla 1
Autores más citados por RELIEVE 20052019
Nacionales Citas Extranjeros Citas Instituciones Citas
Murillo F. J.30Marsh H. W.24PISA90
Solano-Flores G.30Boud B.21OCDE87
De Miguel Díaz M.29Biggs J.16Ministerio de Educación25
Jornet J.29Carless D.14UNESCO17
Aliaga Abad F.M.22Kember D.13CODICEN ANEP9
Tejedor F. J.21Nicol D.13European Comission8
Zabalza M. A.21Taras M.13Junta de Andalucía8
Gargallo B.17Backhoff E.11EURYDICE8
Bandura A.16Gibbs G.11E. A. Development in SNE7
Escudero T.16Goldstein H.11ANECA7
Cabrera A. F.15Kember D.11Horizon Report7
Ibarra M. S.15Schweinhart L.11
Monereo C.15Zimmerman B.11
Rodríguez Gómez G.15Brennan R. L.10
Martínez Rizo F.15Brown S.10

En lo referente a las revistas citadas, para las que hemos indicado además si están recogidas en los JCR y su cuartil (Tabla 2), hay un mayor número de citas dirigidas a las revistas españolas frente a las extranjeras, incluso sin contar la propia RELIEVE; si bien estas se concentran en menos títulos. Lógicamente la población de revistas españolas de educación es mucho menor que la de revistas extranjeras, no obstante, en España se supera de largo el centenar de esta espacialidad, por lo que parece lógico deducir que muchas de estas revistas se usan poco por los investigadores colaboradores de RELIEVE. Aun así, puesto que la cobertura de RELIEVE se centra en investigación y evaluación, la ausencia de revistas con perfiles alejados de esta cobertura puede estar justificada. Finalmente señalar que es llamativa también la importancia de las revistas de Psicología, tanto en la lista nacional como en la extranjera, siendo la única área diferente a la propia educación que aparece.

No obstante, en cuanto a la nómina de revistas extranjeras citadas hay que advertir que es apreciable pues se sitúa entorno al 40%; un porcentaje nada despreciable tratándose de un área de Ciencias Sociales, y además la mayoría son revistas JCR del primer cuartil (Q1) de la categoría EDUCATION & EDUCATIONAL RESEARCH, especialidad central de RELIEVE, con alguna apreciable penetración en PSYCHOLOGY, EDUCATIONAL.

Para completar la visualización de las revistas citadas hemos elaborado una imagen de red (Figura 3). Como es natural RELIEVE se sitúa en el centro y las que se posicionan junto a ella (sin entrar en el número de citas, tabla 2) son las españolas más influyentes: Revista de Educación, RIE, Bordón y Educación XX1. Cabe destacar el peso de las citas a Tesis que, aunque no son revistas, las hemos mantenido para subrayar la importancia de los trabajos doctorales en la investigación publicada por RELIEVE. Entre las revistas extrajeras destacan los grupos de Assessment Evaluation, Education Measureme y Higher Education.

Tabla 2. Revistas más citadas por RELIEVE. 2005-2019

Tabla 2
Revistas más citadas por RELIEVE 20052019
Revistas españolasCitasJCRRevistas extranjerasCitasJCR
RELIEVE135ASSESS EVAL HIGH EDU58Q1
REV EDUC135Q4STUD HIGH EDUC53Q1
RIE-REV INVESTIG EDU114HIGH EDUC38Q1
PSICOTHEMA55Q2J EDUC PSYCHOL33Q1
REV IBEROAMERICANA E41J EDUC MEAS29Q4
REV ESP PEDAGOG36Q4COMPUT EDUC28Q1
BORDON35AM J EVAL27Q2
REV EDUC RES31EVAL PROGRAM PLANN27Q3
EDUC XX130Q2AM EDUC RES J25Q1
REV ELECT INVESTIGAC24EDUC PSYCHOL MEAS25Q2
COMUNICAR23Q1RES HIGH EDUC23Q2
INFANC APRENDIZ21ED RES20Q2
AULA ABIERTA15PSYCHOL BULL18Q1
REICE REV ELECT IBER15PSYCHOMETRIKA17Q1
REV COMPLUT EDUC15TEACH TEACH EDUC17Q1
REV INTERUNIVERSIT15BRIT J EDUC TECHNOL16Q1
SCH EFF SCH IMPROV16Q2
ED MEASUREMENT15Q3
COMPUT HUM BEHAV15Q1
Total citas740500

Figura 3. Red de revistas citadas por RELIEVE. 2005-2019

Red de revistas citadas por RELIEVE 2005-2019
Figura 3
Red de revistas citadas por RELIEVE 2005-2019

Entre las revistas que no tienen un perfil educativo definido destacan Psicothema, que se incorpora al grupo más cercano y de hecho se sitúa en el mismo clúster, lo que nos hace pensar que, siendo una revista de Psicología multidisciplinar, se están utilizando los trabajos de orientación educativa que ésta publica. Finalmente cabe destacar el peso de la revista Comunicar vinculada a las de perfil más tecnológico.

Citas recibidas

Ya hemos adelantado que han sido 599 los trabajos que han citado una o más veces a alguno(s) de los 195 trabajos publicados por RELIEVE recogidos por ESCI dentro de la Colección Principal de WOS. Concretamente, de estos 195 trabajos, han sido 132 los que han recibido al menos 1 cita. Si los ordenamos en sentido decreciente por el número de citas recibidas, los trabajos que tienen 15 o más citas solo ocupan las primeras 9 posiciones, los trabajos con 5 o más citas llegan a la posición 45 y los que tienen 1 se sitúan entre el trabajo 91 y el 132. Todo ello nos da una idea de la desigual distribución que presentan las citas recibidas por los artículos de RELIEVE. La tabla 3 muestra los 10 trabajos más citados del periodo de estudio, sus autores, su año de publicación y las citas recibidas.

Tabla 3. Trabajos más citados de RELIEVE. 2005-2019

Tabla 3
Trabajos más citados de RELIEVE 20052019
AutoresTítuloAñoCitas
Cabrera, L.; Bethencourt, J.; Álvarez, P. et al.The dropout problem in University Study200656
Area, M.The Information and Communication Technologies in the school system. A review of the research lines200550
Almerich, G.; Suarez, J. M.; Orellana, N. et al.Differences in the knowledge of the technological resources in professors starting for gender, age and center type200525
Cabrera, L.; Bethencourt, J.; González, M.; et al.A retrospective transversal study of enlargement and college dropout200619
Rodríguez, C.; Pozo, T.; Gutiérrez, J.Analytical triangulation, a resource for the validity of recurrent survey studies and reply researches in Higher Education200618
Ruiz-Corbella, M.; Galán, A.; Diestro, A.Scientific journals on Education in Spain: evolution and prospects for the future201417
Gargallo, B.; Suarez-Rodríguez, J.M.; Pérez-Pérez, C.The CEVEAPEU Questionnaire. An instrument to assess the learning strategies of university students200917
Gargallo, B.; Almerich, G.; Suarez-Rodríguez, J.M.; et al.Learning strategies in excellent and average university students. Their evolution over the first year of the career201216
Fernández, J. E.; Fernández, S.; Álvarez, A. et al.Academic Success and Student Satisfaction with University Teaching200715
Brown, S. International perspectives on assessment practice in Higher Education201514

Nos centraremos ahora en el análisis de los distintos indicadores de los trabajos citadores; lo que nos puede descubrir cómo es percibida RELIEVE dentro de su especialidad en general y dentro de su comunidad más próxima en particular.

En primer lugar, mostramos las áreas de investigación (categorías según la clasificación WOS), a las que pertenecen las revistas y los trabajos que están citando a RELIEVE. La tabla 4 recoge el corte que puede ser representativo de los distintos ámbitos de investigación en los que despiertan interés los contenidos que viene publicando RELIEVE. Como se puede ver, la inmensa mayoría (70%) son revistas de la categoría EDUCATION AND EDUCATIONAL RESEARCH; y a mucha distancia (3,3%) se sitúan en segundo lugar las de PSYCHOLOGY EDUCATIONAL. Lógicamente, dada la cobertura central a la que se dedica RELIEVE, cuyo título responde precisamente al de Revista Electrónica de Investigación y Evaluación Educativa, los datos correlacionan de forma adecuada, lo contrario hubiese sido preocupante.

Tabla 4. Áreas temáticas de la revistas citantes de RELIEVE

Tabla 4
Áreas temáticas de la revistas citantes de RELIEVE
Categorías WOSCitas% sobre 599
EDUCATION EDUCATIONAL RESEARCH41869.7
PSYCHOLOGY EDUCATIONAL203.3
SOCIAL SCIENCES INTERDISCIPLINARY193.1
PSYCHOLOGY MULTIDISCIPLINARY172.8
EDUCATION SCIENTIFIC DISCIPLINES152.5
INFORMATION SCIENCE LIBRARY SCIENCE122.0
COMMUNICATION111.8
ENVIRONMENTAL SCIENCES91.5
ENGINEERING MULTIDISCIPLINARY81.3
PSYCHOLOGY APPLIED81.3
BUSINESS71.1
HOSPITALITY LEISURE SPORT TOURISM71.1

En este mismo sentido, por tanto, es de interés analizar las revistas propiamente dichas, en su inmensa mayoría de la referida categoría, que están citando a RELIEVE (Tabla 5). En este indicador, incluso para revistas con altos impactos, los datos suelen arrojar una gran dispersión, con una interminable relación de revistas citantes, incluida la propia revista, y sin que se pueda identificar un núcleo con un porcentaje significativo de citas. RELIEVE no se sale de este patrón y su primer título citante es ella misma con el 6,3% (autocitas) y la segunda es RIE-Revista de Investigación Educativa con el 3,6%. Les siguen una larga lista de revistas españolas con porcentajes decrecientes, en la que observamos una cuestión interesante: vienen a coincidir en gran medida con las revistas citadas por RELIEVE (Tabla 2, Figura 1). La gran diferencia es que ahora prácticamente han desaparecido las revistas extranjeras JCR, pues, aunque en la tabla 5 aparecen varios títulos en inglés (algunos son congresos), todos son de revistas españolas salvo FRONTIERS IN PSYCHOLOGY, una revista Suiza recogida en los JCR del SSCI.

Tabla 5. Revistas citantes de RELIEVE

Tabla 5
Revistas citantes de RELIEVE
RevistasCitas% sobre 599
RELIEVE386.3
RIE-REV INV EDUCATIVA223.6
EDUCACION XX1142.3
PROFESORADO-REV CURR Y FOR PROF142.3
REV DE EDUCACION142.3
PIXEL BIT-REV MEDIOS Y EDUCACION132.1
REV COMPLUTENSE DE EDUCACION122.0
BORDON101.6
EDUCATION IN THE KNOWLEDGE SOCIETY91.5
EDULEARN PROCEEDINGS91.5
REV IBE DE EDUCACION91.5
REDU- REV DOCENCIA UNIVERSITARIA81.3
REV ESPANOLA DE PEDAGOGIA81.3
INTED PROCEEDINGS71.1
RED-REV EDUCACION A DISTANCIA71.1
REV ESP ORIENTACION Y PSICOPEDAGOGIA71.1
CULTURA Y EDUCACION61.0
EDUCATIO SIGLO XXI61.0
ELEC JOURNAL RESEARCH EDU PSYCHOLOGY61.0
ESTUDIOS SOBRE EDUCACION61.0
ETIC NET61.0
FRONTIERS IN PSYCHOLOGY61.0

En cuanto a las autorías de los artículos, la tabla 6 recoge el corte de los países e instituciones de firma de los autores más representativos que han concedido citas a RELIEVE. La lista de países está encabezada de forma abrumadora por autores de España con 453 citas sobre 599 (75,6%). Le siguen a gran distancia (entre el 6 y el 3%) autores latinoamericanos y de USA, con alguna presencia testimonial (1%) de Europa representada por Alemania.

Tabla 6. Países e instituciones de los autores citantes de RELIEVE

Tabla 6
Países e instituciones de los autores citantes de RELIEVE
PaísesCitas% sobre 599InstitucionesCitas% sobre 599
ESPAÑA45375.6UNIV VALENCIA569.3
CHILE366.0UNIV GRANADA498.1
MEXICO284.6UNIV SEVILLA335.5
USA223.6UNIV PAÍS VASCO264.3
COLOMBIA193.1UNIV BARCELONA244.0
ARGENTINA183.0UNED183.0
ALEMANIA61.0UCM172.8
CUBA50.83UNIV MURCIA162.6
ECUADOR50.83UNIV AUT MADRID152.5
R P CHINA50.83UNIV HUELVA152.5
UNIV LA LAGUNA152.5

Las filiaciones institucionales de los autores citantes refuerzan los datos por países. Son exclusivamente españolas las que protagonizan el corte de la lista encabezada por las universidades de Valencia y Granada, muy ligadas por otra parte a la publicación y edición científica de RELIEVE; si bien su organización patrocinadora declarada es la AIDIPE (Asociación Interuniversitaria De Investigación Pedagógica). Aunque no se ha estimado oportuno reproducir la lista de autores citantes, cabe nombrar a los primeros: Chacón-Cuberos R. (Granada) que concede 11 citas, Almerich G. (Valencia) que concede 10 y Zurita-Ortega F. (Granada) con 9.

En cuanto al tipo y la lengua de los documentos donde está siendo citada RELIEVE (Tabla 7), predominan de manera casi absoluta, con más del 90% de las citas, los artículos originales de investigación; publicados además en lengua española (67%); todo ello en correspondencia con las revistas citantes, que como hemos visto, son en su mayoría españolas. La presencia de un 32% de documentos citantes en inglés debe atribuirse, no a revistas extranjeras sino a las españolas que cada vez con más frecuencia publican en inglés como estrategia de difusión. La propia RELIEVE adoptó esta medida hace ya algunos años. Por lo demás, las citas procedentes de otras tipologías documentales y lenguas presentan valores insignificantes.

Tabla 7. Tipología documental y lengua de los trabajos citantes de RELIEVE

Tabla 7
Tipología documental y lengua de los trabajos citantes de RELIEVE
Tipo documentalCitas% sobre 599LenguaCitas% sobre 599
ARTÍCULOS54190.3ESPAÑOL40267.1
CONGRESOS427.0INGLES19232.0
REVISIONES91.5CATALAN20.33
CAPITULOS LIBRO61.0PORTUGUES20.33
ACCESO ONLINE61.0ALEMAN10.16
EDITORIALES40.68RUSO10.16
LIBROS20.33
CARTAS10.16

Finalmente hemos considerado de interés analizar, al nivel de detalle posible y en función de la mayor o menor pertinencia de las palabras-clave dadas por los autores en sus artículos, los temas centrales de investigación que han ocupado las páginas de RELIEVE en los últimos 15 años. El mapa obtenido muestra los términos que han concentrado el interés de los investigadores (Figura 4).

Figura 4. Temas de investigación tratados por RELIEVE. 2005-2019

Temas de investigación tratados por RELIEVE 2005-2019
Figura 4
Temas de investigación tratados por RELIEVE 2005-2019

Si prescindimos de los que en este contexto no tienen mucho valor discriminante como Education o Learning, destacan por su peso los contenidos relativos a Higher Education y Pisa. En torno al central Higher Education y en su mismo cluster aparecen además los términos relativos a rendimiento y evaluación; términos que con variaciones menores como evaluación del aprendizaje y competencias también rodean el otro gran contenido de este mapa que es estudio del informe o los informes del conocido como PISA. Por lo demás hay algunos conjuntos de mucha menor relevancia claramente identificables como en la parte superior derecha el relativo a la comunicación científica y revistas científicas.

Discusión

Los datos de evolución de las citas concedidas por RELIEVE revelan un incremento de la carga bibliográfica de los trabajos publicados y una progresiva mejora en la puesta al día de las referencias utilizadas. Esta actualización bibliográfica coincide con el peso nada despreciable (40%) de las citas a revistas extranjeras JCR, que al mismo tiempo puede ser indicativo de un suficiente consumo de literatura científica internacional por parte de los autores de RELIEVE en estos últimos 15 años.

Por el contrario, en cuanto a las citas recibidas, la ausencia de autores y revistas extranjeras descubre que a nivel internacional la investigación publicada por RELIEVE no es percibida. Ni siquiera se aprecia el efecto que suele darse en autores españoles de otras disciplinas, principalmente de ciencias naturales y biomedicina, que cuando publican en revistas internacionales JCR suelen citar a las revistas españolas de su especialidad, impulsando así su visibilidad internacional. (Porcel, Castellano, Valderrama, Aleixandre, y Choren, 2003) (Ruiz-Pérez y Ruiz-Fresneda, 2019). Por tanto, la lectura de los datos indica un aislamiento nacional de RELIEVE y un consumo local de la investigación que publica; pero, además, si nos atenemos a las instituciones de los autores, con tendencia a ser citada en su entorno más próximo, aunque sin llegar a la endogamia, entendida esta como la citación protagonizada por los miembros de los comités editoriales y científicos de la revista.

No obstante, este aislamiento es bastante común y una de las asignaturas pendientes de superar por las revistas españolas, incluso de las ya incluidas en posiciones destacadas de los JCR de la WOS (Alexandre et al., 2004)

En relación con los temas tratados por RELIEVE cabe preguntarse por la escasa presencia, mucho menor de lo que hubiera sido previsible, de contenidos de investigación referidos a la educación y evaluación de las etapas primarias y medias del sistema educativo. Términos como primary, secondary education, children, teacher, instruction, aparecen poco o nada en el mapa (Figura 2). Esta observación nos lleva a la siguiente reflexión: la comparativa entre la cobertura “excesivamente genérica” declarada por RELIEVE: “…publica artículos en temas de investigación y de evaluación educativa, entendidas en un sentido amplio” con la mejor definida por WOS para la categoría EDUCATION & EDUCATIONAL RESEARCH donde se “… cubre todo el espectro de la educación, desde teórica a aplicada, desde guardería hasta doctorado…se incluyen recursos sobre pedagogía y metodología, historia de la educación, lectura, estudios curriculares, política educativa y sociología y economía de la educación, así como el uso de computadoras en el aula” sugiere o aconseja la introducción de especificaciones en la declaración de RELIEVE a fin de diversificar el reclamo de otros perfiles en los temas de investigación, sin rebasar claro está, el ámbito de la investigación y evaluación educativa.

Aunque aún es pronto para valorar si la inclusión de RELIEVE en el ESCI servirá para romper su aislamiento nacional e iniciar su penetración internacional cambiando la dinámica de sus procesos en el origen de las citas, la evolución de la citación recibida indica una progresión en ascenso y ha sido importante en los últimos años (Figura 5).

Figura 5. Evolución de las citas recibidas por RELIEVE. 2007-2019

Evolución de las citas recibidas por RELIEVE 20072019
Figura 5
Evolución de las citas recibidas por RELIEVE 20072019

La evolución muestra una tendencia de crecimiento exponencial cercano al 30% anual. El intervalo 2015-2017, fechas de puesta en marcha de la base de datos ESCI, donde pasa de 55 a 114 citas, puede reflejar ya el efecto ESCI así como la autocitación. Es de esperar que en unos años la presencia en ESCI, que sin duda está mejorando su visibilidad internacional, se traduzca en alguna medida en citación internacional.

Referencias

Aleixandre Benavent, R., Valderrama Zurián, J.C., Castellano Gómez, N., Miguel-Dasit, A., Simó Meléndez, R., & Navarro Molina, C. (2004). Factor de impacto nacional e internacional de Revista Española de Cardiología. Rev Esp Cardiol, 57, 1241. https://doi.org/10.1016/S0300-8932(04)77268-1

CNEAI. (2019). Resolución de 12 de noviembre de 2019, de la Comisión Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios específicos aprobados para cada uno de los campos de evaluación. http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/CNEAI/Convocatoria-de-tramos-de-investigacion-de-la-CNEAI-2019

ESCI. (2019). Master Journal List-Clarivate Analytics: Emerging Sources Citation Index [internet]. https://mjl.clarivate.com/search-results

MJL. (2020). Master Journal List-Clarivate Analytics. https://mjl.clarivate.com/search-results

Porcel Torrens, A., Castellano Gómez, M., Valderrama Zurián, J.C., Aleixandre Benavent, R., & Choren, S. (2003). Análisis de citas en la revista Adicciones. Adicciones, 15(4), 309-319. https://doi.org/10.20882/adicciones.421

Ruiz-Pérez, R., & Delgado López-Cózar, E., y Jiménez-Contreras, E. (2010). Principios y criterios utilizados en España por la Comisión Nacional Evaluadora de la Actividad Investigadora (CNEAI) para la valoración de las publicaciones científicas: 1989-2009. Psicothema, 22(4), 898-908. http://www.psicothema.com/psicothema.asp?id=3818

Ruiz-Pérez, R., & Jiménez-Contreras, E. (2019). The Emerging Sources Citation Index and the internationalization of Spanish scientific journals, with special reference to Psychology journals. Psicothema, 31(4), 376-383. https://doi.org/10.7334/psicothema2019.59

Ruiz-Pérez, R., & Ruiz-Fresneda, C. (2019). Integración internacional de la revista Ars Pharmaceutica. Ars Pharm(internet), 60(1), 47-57. https://doi.org/10.30827/ars.v60i1.8289

Testa, J. (2018). Journal Selection Process, actualizada Junio 2018. https://clarivate.com/essays/journal-selection-process/

Torres-Salinas, D., Bordons, M., Giménez Toledo, E., Delgado López-Cózar, E., Jiménez-Contreras, E. & Sanz-Casado, E. (2010). Clasificación integrada de revistas científicas (CIRC): propuesta de categorización de las revistas en ciencias sociales y humanas. El profesional de la información, 19(6), 675-683. https://doi.org/10.3145/epi.2010.nov.15

WOS. (2018). Web of Science-Clarivate Analytics. http://apps.webofknowledge.com/WOS_GeneralSearch_input.do;jsessionid=759622377A694D8568C1AE646338EB19?product=WOS&search_mode=GeneralSearch&SID=C4wnhZtS6bhU79brNak&preferencesSaved

WOS. (2020). Web of Science Journal Evaluation Process and Selection Criteria. https://clarivate.com/webofsciencegroup/journal-evaluation-process-and-selection-criteria/

Notas de autor

* Catedrático de Documentación en la Facultad de Comunicación y Documentación de la Universidad de Granada (España) y miembro del EC3 research group (Evaluación de la Ciencia y de la Comunicación Científica). Es uno de los promotores de los Índices de Impacto de las Revistas Españolas de Ciencias Sociales, Jurídicas y Humanas In-Recs/In-Recj/In-Rech y del DNA (Directorio Nacional de Autores). Es cofundador de la Spin-Off de asesoría científica “EC3metrics”. Ha sido asesor y miembro de comités de evaluación de programas de la FECYT (Fundación Española para la Ciencia y la Tecnología), y ha formado parte de los paneles de evaluadores de expertos externos en los procesos de acreditación de la ANECA en el ámbito de las Ciencias Sociales.
* Catedrático del Departamento de Información y Comunicación en la Facultad de Comunicación y Documentación de la Universidad de Granada (España) y miembro del EC3 research group (Evaluación de la Ciencia y de la Comunicación Científica). Es uno de los promotores de los Índices de Impacto de las Revistas Españolas de Ciencias Sociales, Jurídicas y Humanas In-Recs/In-Recj/In-Rech y del DNA (Directorio Nacional de Autores). Es cofundador de la spin-off de asesoría científica EC3metrics. Es coordinador del Programa de Doctorado en Ciencias Sociales de la UGR. Es miembro de la Comisión de Expertos de evaluación de ANECA en el ámbito de las Ciencias Sociales.

Ruiz-Pérez, R. Universidad de Granada, Facultad de Comunicación y Documentación (Campus Universitario “La Cartuja” s/n, 10871- Granada, España) rruiz@ugr.es

HTML generado a partir de XML-JATS4R por