Para Delgado López-Cózar, Ruiz-Pérez y Jiménez-Contreras (2006) las revistas científicas son en la práctica totalidad de las ciencias, el principal instrumento de comunicación y transferencia de información científica. Tanto los investigadores como los profesionales de cualquier disciplina científica acuden a las revistas científicas para, entre otras cuestiones, dar a conocer sus trabajos y/o hallazgos o informarse sobre nuevos descubrimientos. Son, en definitiva, una indispensable vía de expresión y de recepción de información. Pero las revistas están suponiendo también un instrumento de evaluación de la actividad científica de los investigadores (Valenciano, Villamón & Devís-Devís, 2008). La preocupación de diversos agentes por la calidad de las revistas ha aumentado considerablemente en los últimos años, tomándose numerosos indicios para valorar el prestigio de cada una de las publicaciones.

Son muchos los agentes interesados en las evaluaciones de revistas (Rousseau, 2002). Así, a los bibliotecarios les interesan dichas evaluaciones con fines de selección y deselección y en la relación entre impacto y precio. Los científicos centran su interés encontrar la revista más afín para publicar sus resultados. Los organismos de financiación y los gobiernos quieren que sus beneficiarios publiquen en las revistas más prestigiosas. Los editores relacionan los puntajes más altos de citas con una práctica y política editorial exitosa. Y los consejos de investigación universitaria usan el impacto de las revistas y los puntajes de prestigio como elementos en los estudios de evaluación de investigaciones locales con el objeto de ampliar la visibilidad de la investigación universitaria.

El método más utilizado para valorar las revistas se basa en su factor de impacto (FI) que proporciona el Journal Citation Reports (JCR) en base a las citas que reciben por parte de los trabajos de las revistas indexadas en el Science Citation Index (SCI) o el Social Sciences Citation Index (SSCI). El factor de impacto es uno de los indicadores más utilizados y se basa en el número de citaciones de artículos aparecidos en otros trabajos, contabilizándose las citas durante un periodo de dos años precedentes al año en curso. Sin embargo, el factor de impacto no se encuentra exento de ciertas limitaciones tal y como explica Seglen (1997):

1. -El factor de impacto de una revista no es estadísticamente representativo de sus artículos individuales.

   -Cobertura incompleta de las bases de datos SCI y SSCI, con un claro sesgo a favor de la lengua inglesa (eminentemente publicaciones norteamericanas) que va en detrimento de aquellas en distinto idioma.

   -Los artículos de mayor extensión recogen un gran número de citas facilitando unos altos índices de factor de impacto a las revistas.

   -Los autores, aparte del factor de impacto, consideran múltiples criterios a la hora de remitir sus manuscritos a una revista.

La importancia por la búsqueda de indicadores para evaluar la calidad, impacto y evolución de la investigación no ha hecho más que crecer en los últimos años. Las metodologías de evaluación (Bellavista et al., 1991) utilizan indicadores cuantitativos de input y output investigador que pueden obtenerse en bases de datos propias o externas, permitiendo hacer comparaciones cuando los indicadores lo son en relación a variables dotadas de una notable estabilidad, pudiendo ser modificables y asequibles a la medida (Pérez Juste, 2005). Sin embargo, como señalan Torres-Salinas et al. (2010), los indicadores bibliométricos pierden eficacia con las revistas nacionales de las áreas de ciencias sociales y humanidades al tener una peor cobertura en bases de datos como JCR, causando un importante desequilibrio con respecto a las ciencias naturales de las que sí se tiene un acertado retrato de su actividad investigadora.

Son numerosos los trabajos que han abordado desde múltiples ópticas la temática de la evaluación de revistas científicas pertenecientes al campo de la investigación educativa y ciencias afines en España. Algunos ejemplos recientes serían los trabajos de Giménez Toledo (2014), Nikleva & Cortina (2014), Flórez Parra, López Pérez & López Hernández (2014) y Olivas Ávila & Musi Lechuga (2014), Galindo-Rodríguez y Arginaga (2018), Lorenzo Lledó, Lledó Carreres, Lorenzo Lledó, Arráez Vera & Gómez–Puerta (2018), así como Schmitt-Nunnes (2019). Sin embargo, en estos estudios se contempla el cálculo de indicadores que poco o nada tienen que ver con los indicadores de calidad metodológica de un informe de investigación. Es decir, se han planteado tradicionalmente múltiples enfoques para la evaluación de revistas científicas en donde el impacto según las citas recibidas permitía considerar a una publicación como más o menos prestigiosa dentro de la comunidad científica. Borrego & Urbano (2006) explican que la tendencia a equiparar la calidad de un artículo con la calidad de la revista donde aparece publicado, es uno de los problemas más frecuentes. No debe caerse en el error de considerar un único indicador de citación (FI), y con el mismo hacer extensible la visibilidad y calidad de una revista a todos los artículos publicados en ella.

Siendo los trabajos anteriormente mencionados la tendencia general, sí que podemos destacar algunos trabajos relacionados más estrechamente con el presente estudio. Nos referimos concretamente a los trabajos de Bueno y Fernández-Cano (2003), Valenciano et al. (2008), Gómez-García, Ramiro, Ariza y Granados (2012), Ariza & Quevedo Blasco (2015), Rodríguez-Sabiote y Álvarez-Rodríguez (2015), Rodríguez-Sabiote (2017a) y Perales-Palacio, Vílchez-González y Gutiérrez-Pérez (2017). En todos, pero principalmente en los dos últimos, se proponen una serie de indicadores metodológicos relacionados con lo que Arnau, Anguera y Gómez (1990) denominan los niveles técnico-metodológico y estadístico-analítico de los informes empíricos de investigación.

Objetivos del estudio

Se plantea en este estudio como objetivo principal a partir de la propuesta de Rodríguez-Sabiote (2017b) realizar una evaluación bibliométrica de la producción científica publicada entre 2014 a 2016 en las 7 revistas españolas de educación indexadas en JCR teniendo el cumplimiento de indicadores metodológicos. Las revistas en cuestión serán explicitadas en el apartado de muestreo. A partir de este objetivo general se plantean los siguientes objetivos específicos:

1. -Identificar el cumplimiento vs incumplimiento de indicadores metodológicos de calidad considerados en cada una de las revistas evaluadas.

   -Comparar los porcentajes de cumplimiento de los indicadores metodológicos con porcentajes de referencia de naturaleza normativa y criterial.

   -Establecer en consecuencia qué indicadores metodológicos destacan por su presencia frente a otros que deberían mejorar por su incumplimiento.

   -Determinar si la jerarquía que ocupan las revistas objeto de evaluación en su indización en JCR está relacionada, o no, con el cumplimiento de indicadores metodológicos considerados en el presente estudio.

Método

Variables de estudio

Como variables del estudio hemos considerado, por una parte, dos variables identificativas, es decir, revistas y años de publicación (para información más detallada consultar el apartado inmediatamente posterior sobre proceso y características muestrales) y, por otra parte, las variables de análisis, o sea, los diferentes indicadores metodológicos propuestos por Rodríguez-Sabiote (2017b, p.2), relacionados con cada uno de los elementos que conforman el proceso de investigación, a saber.

Tabla 1
Correspondencia entre los elementos del proceso de investigación y los indicadores metodológicos considerados y su operativización

Fuente: Elaborado a partir de Rodríguez-Sabiote (2017b, p.2).

Elemento del proceso de investigación	Indicador metodológico / código				Operativización del indicador
Objetivos y/o hipótesis	OH1				Se explicita-n o no
Metodología de abordaje	ME1				Se explicita-n o no
Variables	VA1				Se explicita-n o no
Proceso de muestreo			Tamaño muestral (MU1)			Se explicita o no
			Características muestrales (MU2)			Se explicitan o no
			Tipo de muestreo (cuantitativo y/o cualitativo) (MU3)			Se explicita-n o no
Recogida de datos	Instrumento-s recogida datos (cuantitativo-s y/o cualitativo-s) (IR1)				Se explicita-n o no
Criterios de calidad	Parámetros de calidad de naturaleza cuantitativa y/o criterios cualitativos (CA11)				Se explicita-n o no
Análisis y discusión de datos			ANA1			Los análisis (cuantitativos y/o cualitativos) son o no congruentes con los objetivos y/o hipótesis planteadas
			AN2			Los análisis (cuantitativos y/o cualitativos) están correctamente o incorrectamente interpretados

Muestra objeto de estudio

La muestra objeto de evaluación asciende a un tamaño muestral de 479 artículos de 7 revistas científicas del ámbito educativo español indexadas en 2016 (último año de referencia) en la Web of Science (WOS) con factor de impacto JCR (Journal Citation Reports) y publicados durante el trienio comprendido entre 2014-2016. Otro criterio primordial de elección para poder formar parte de la muestra objeto de estudio ha sido que el trabajo tiene que tener, como es lógico, naturaleza empírica. De esta forma, se han eliminado aquellos trabajos de carácter teórico (aspecto que ha afectado con gran incidencia a la Revista Española de Pedagogía y que ha reducido drásticamente su aportación muestral) y los que han sido considerados como experiencias educativas (el caso de la Revista de Enseñanza de las Ciencias) u otro tipo de formato no considerado empírico.

El número de artículos objeto de evaluación por año y revista se muestran a continuación.

Figura 1
Distribución muestral por revista y año de análisis

Concordancia en el proceso de asignación de cumplimiento vs incumplimiento de los indicadores metodológicos

El proceso de asignación de las categorías de cumplimiento (1) e incumplimiento (0) de los indicadores metodológicos de cada uno de los artículos evaluados correspondientes a las distintas revistas objeto de análisis ha sido llevado a cabo por dos investigadores diferentes. Uno de ellos ha categorizado 4 revistas y el otro las 3 restantes. Para garantizar, por tanto, un grado de objetividad tolerable hemos calculado la concordancia que dichos investigadores han mostrado en relación con dos evaluadores externos con conocimientos suficientes en el tópico evaluado (evaluador 1 y evaluador 2). Para este objetivo hemos seleccionado al azar 7 artículos (los 4 primeros categorizados por el investigador principal 1 y los 3 restantes por el investigador principal 2) de cada una de las revistas objeto de análisis, implementando, por consiguiente, la denominada concordancia entre-observadores (inter-raters). Para ello hemos calculado el coeficiente más adecuado a las condiciones de partida, es decir, a la naturaleza nominal de las codificaciones (si cumple/no cumple) y a las comparaciones pertinentes, o sea, investigadores principales (considerado como 1 solo investigador vs evaluadores externos). El coeficiente elegido ha sido Kappa de Cohen.

Los resultados a este respecto son que en el primer caso referido al evaluador principal vs evaluador 1, se ha obtenido un porcentaje de acuerdo simple del 90% y del 66,65% de acuerdo esperado. En valor de Kappa de Cohen (K= 0,70) un valor que a tenor de la clasificación de Landis y Koch (1977) puede considerarse como un buen acuerdo. Además de esta etiqueta clasificatoria debemos fijar nuestra atención en el error típico asintótico obtenido (sk = .114) asociado a un valor “Z” (Z = 6,14) y, por tanto, estadísticamente significativo (p<.05), exactamente asociado a una p > Z = .000. En definitiva, verificamos el rechazo de la hipótesis nula Ho: k = 0 con Z = k / sk@ N (0,1) y podemos afirmar que el acuerdo entre el investigador principal y el evaluador 1, además de ser moderado no se debe al azar. Por otra parte, en referencia a la concordancia del evaluador principal vs evaluador 2, se ha obtenido un porcentaje de acuerdo simple del 78,57% y del 60,78% de acuerdo esperado. En valor de Kappa de Cohen (K= 0,44) es sensiblemente más bajo que en el primer caso y puede considerarse como un acuerdo moderado, que en todo caso, ha obtenido un error típico asintótico (sk = .105) asociado a un valor “z” (z =4,31) y, por tanto, estadísticamente significativo (p<.05), exactamente asociado a una p > Z = .000. En definitiva, también un acuerdo moderado y que no se debe al azar.

Resultados

Para el análisis y discusión de datos hemos utilizado el programa de datos SPSS v.25 y STATA v.14, así como complementariamente la hoja de cálculo Excel para la elaboración de gráficos. Los análisis implementados tienen una naturaleza estrictamente descriptiva. Nuestra pretensión es mostrar el presente apartado desde dos perspectivas diferentes. Por una parte, la referida a los 10 indicadores individualmente y, por otra, a lo que en su conjunto puede representar la ausencia vs presencia de su cumplimiento.

Análisis de datos tomando a los indicadores individualmente

En congruencia con uno de los objetivos específicos de investigación planteados pretendemos comparar los resultados obtenidos por cada uno de los indicadores metodológicos contemplados en cada revista con diferentes puntos de corte de diferente naturaleza (normativa y criterial).

Los primeros puntos de corte obedecen al promedio de cumplimiento metodológico logrados por cada indicador individualmente (10 indicadores) y todas las revistas objeto de análisis (7 revistas). Para su confección hemos calculado el cociente entre el sumatorio de porcentajes de artículos que cumplen el indicador en cada revista divido entre 7 o número de revistas contempladas. Esta primera estrategia comparativa podría obedecer a una lógica similar a la utilizada en la evaluación normativa, ya que tendría en consideración el nivel de cumplimiento de los indicadores de las 7 revistas contempladas. En este sentido, trataríamos de elaborar porcentajes promedio globales de corte (tomando a la media aritmética porcentual como punto frontera) de artículos que cumplen con el indicador. Sirva como ejemplo el indicador de objetivos e hipótesis (OH1) que sería calculado de la siguiente forma:

En segundo lugar, hemos contemplado el punto de corte que consideramos menos exigente (aunque más preocupante de encontrarse por debajo del mismo), es decir, tomar como punto de corte el 50% de porcentaje de cumplimiento (lógica evaluativa criterial). En síntesis manejamos, por consiguiente, los siguientes puntos de corte:

Tabla 2
Puntos de corte de los indicadores metodológicos porcentajes de cumplimiento tomando en consideración diferentes estrategias de evaluación

Indicadores metodológicos	Puntos de corte (porcentajes promedio globales de cumplimiento) de naturaleza normativa de cada indicador	Punto de corte porcentual de naturaleza criterial
OH1	92,07%	50%
ME1	56,31%
VA1	79,11%
MU1	95,53%
MU2	81,13%
MU3	46,04%
IR1	95,24%
CA1	52,69%
AN1	87,76%
AN2	99,03%

El primer aspecto destacable tras el cálculo de este conjunto de promedios porcentuales de cumplimiento, si dejamos a un lado el de naturaleza criterial (50%), es que los porcentajes de cumplimiento de los indicadores metodológicos, son altamente satisfactorios si exceptuamos los casos particulares de la metodología de abordaje (ME1= 56,31%), tipo-s de muestreo utilizados (MU3=46,04%), así como criterios de calidad explicitados (CA1=52,69%). En los tres casos se trata de indicadores metodológicos mejorables, aunque su incidencia no sea similar en todas las revistas objeto de evaluación.

En segundo lugar, a partir de la consideración de los anteriores puntos de corte hemos realizado un estudio comparativo de los porcentajes promedio de cumplimiento de indicadores metodológicos obtenidos por cada revista. Para ello marcamos, o no, cada uno de los porcentajes de artículos que cumplen el indicador en cada una de ellas con asteriscos (uno, dos o ninguno) dependiendo de que su cuantía porcentual esté por debajo o por encima de alguno de los puntos de corte considerados. De esta forma, los porcentajes de artículos que cumplen el indicador metodológico y que constan como no marcados podrían considerarse que han conseguido resultados óptimos de cumplimiento. Por el contrario, los marcados con algún asterisco deberían mejorar en alguna medida, habida cuenta de que si poseen un asterisco significa que están por debajo del punto de corte normativo de cumplimiento de cada indicador individualmente y si ostentan dos es que están por debajo del punto de corte criterial de cumplimiento de cada indicador (50%). Los resultados a este respecto son mostrados a continuación.

Tabla 3
Número de artículos y porcentaje de los mismos que cumplen cada indicador metodológico por revista evaluada

* Porcentaje de artículos que están por debajo del punto de corte normativo de cumplimiento de cada indicador.** Porcentaje de artículos que están por debajo del punto de corte criterial global de cumplimiento de cada indicador (50%).

Revistas		Indicadores metodológicos		Nº artículos que cumplen el indicador	Porcentaje de artículos que cumplen el indicador
Revista de Psicodidáctica			OH1	55	94,8%
			ME1	23	39,7%**
			VA1	52	89,7%
			MU1	58	100%
			MU2	58	100%
			MU3	35	60,3%
			IR1	58	100%
			CA1	52	89,7%
			AN1	55	94,8%
			AN2	58	100%
	Número de artículos evaluados en la revista			58
Comunicar			OH1	97	87,4%
			ME1	66	59,5%
			VA1	68	61,3%*
			MU1	103	92,8%
			MU2	95	85,6%
			MU3	46	41,4%**
			IR1	98	88,3%*
			CA1	52	46,8%**
			AN1	97	87,4%*
			AN2	111	100,0%
	Número de artículos evaluados en la revista			111
Revista de Educación (MEC)			OH1	73	90,1%
			ME1	42	51,9%*
			VA1	54	66,7%*
			MU1	69	85,2%
			MU2	59	72,8%*
			MU3	30	37%**
			IR1	68	84,0%
			CA1	33	40,7%**
			AN1	73	90,1%
			AN2	81	100%
	Número de artículos evaluados en la revista			81
Educación XX1			OH1	63	100%
			ME1	47	74,60%
			VA1	63	100%
			MU1	61	96,80%
			MU2	52	82,50%
			MU3	38	60,30%
			IR1	62	98,40%
			CA1	40	63,50%
			AN1	57	90,50%
			AN2	60	95,20%
	Número de artículos evaluados en la revista			63
Enseñanza de las Ciencias			OH1	48	88,9%*
			ME1	18	33,3%**
			VA1	41	75,9%*
			MU1	52	96,3%
			MU2	26	48,1%**
			MU3	15	27,8%**
			IR1	54	100%
			CA1	5	9,3%**
			AN1	35	64,8%*
			AN2	54	100%
	Número de artículos evaluados en la revista			54
Revista Española de Pedagogía			OH1	28	96,6%
			ME1	28	96,6%
			VA1	29	100%
			MU1	29	100%
			MU2	26	89,7%
			MU3	20	69%
			IR1	29	100%
			CA1	17	58,6%
			AN1	29	100%
			AN2	28	96,6%
	Número de artículos evaluados en la revista			29
Porta Linguarum			OH1	72	86,7%*
			ME1	32	38,6%**
			VA1	50	60,2%*
			MU1	81	97,6%
			MU2	74	89,2%
			MU3	22	26,5%**
			IR1	81	97,6%
			CA1	50	60,2%*
			AN1	72	86,7%*
			AN2	83	100%
	Número de artículos evaluados en la revista			83

Una primera inspección de la Tabla 3 permite constatar la presencia de indicadores metodológicos que ostentan cierta debilidad, aunque con más intensidad en unas revistas que en otras. Por este motivo y con el objetivo de evitar la presencia de un informe farragoso lleno de cifras y comentarios sobre las mismas preferimos presentar una tabla resumen que sintetice los resultados obtenidos por cada una de las revistas objeto de análisis, en relación con los indicadores metodológicos de cumplimiento propuestos.

Tabla 4
Número de indicadores óptimos mejorables y muy mejorables por revista

Revistas	Nº indicadores óptimos	Nº indicadores mejorables < % global promedio de cumplimiento de cada indicador	Nº indicadores muy mejorables < 50% cumplimiento
Revista de Psicodidáctica	9 de 10 (todos menos ME1)	-	1 de 10 (ME1)
Comunicar	5 de 10 ( OH1, ME1, MU1, MU2 y AN2)	3 de 10 (VA1, IR1 y AN1)	2 de 10 (MU3 y CA1)
Revista de Educación (MEC)	5 de 10 (OH1, MU1, IR1, AN1 y AN2	3 de 10 (ME1, VAR1y MU2)	2 de10(MU3 y CA1)
Educación XX1	10 de 10 (todos)	-	-
Enseñanza de las Ciencias	3 de 10 (MU1, IR1 y AN2)	3 de 10 (OH1, VAR1 y AN1)	4 de 10 (ME1, MU2, MU3 y CA1)
Revista Española de Pedagogía	10 de 10 (todos)	-	-
Porta Linguarum	4 de 10 (MU1, MU2, IR1 y AN2	4 de 10 (OH1, VA1, CA1 y AN1)	2 de 10 (ME1 y MU3)
TOTAL	46	13	11

De manera global apreciamos como de los 70 indicadores posibles (10 indicadores metodológicos repetidos en 7 revistas) 46 indicadores han resultado óptimos, 13 mejorables y 11 muy mejorables. Tenemos que recordar que los indicadores metodológicos que han logrado resultados óptimos son aquellos con porcentajes de cumplimiento mayores que los promedios alcanzados por indicador metodológico y que sirven de punto de corte de naturaleza normativa. Es decir, serían aquellos indicadores metodológicos que disgregados por revistas han logrado porcentajes de cumplimiento superiores al promedio de sus iguales. A este respecto, debemos destacar los excelentes resultados obtenidos por las revistas Educación XX1 y Revista Española de Pedagogía con plenos de indicadores metodológicos óptimos (10 de 10 posibles) y con ausencia de indicadores mejorables y muy mejorables. No menos buenos son los resultados obtenidos por la Revista de Psicodidáctica con la consecución de 9 indicadores metodológicos óptimos y 1, eso sí, muy mejorable en el caso particular de las metodologías de abordaje.

Por el contrario, el resto de revistas evaluadas ha obtenido menos indicadores metodológicos óptimos y, por ende, más cuantía de mejorables y bastante mejorables. El caso de las revistas Comunicar y Revista de Educación (MEC) es un caso idéntico con la consecución de 5 indicadores metodológicos óptimos, 3 mejorables (por debajo de porcentajes de cumplimiento promedio de sus iguales) y 2 muy mejorables (por debajo del 50% de cumplimiento). También la revista Porta Linguarum ha obtenido resultados muy similares a las dos anteriores con la consecución de 4 indicadores metodológicos óptimos, 4 mejorables y 2 muy mejorables.

En todo caso, debemos tener en cuenta que los indicadores metodológicos mejorables son aquellos con porcentajes de cumplimiento menores que el promedio porcentual de los mismos al tener en cuenta todas las revistas. Además dichos promedios, han sido altos y, por tanto, exigentes (excepto en el caso de los indicadores metodológicos referidos a los tipos de metodología de abordaje, muestreo y criterios de calidad). Por esta razón podemos restar importancia al hecho de que dichas revistas hayan obtenido la presencia de indicadores metodológicos mejorables, habida cuenta de que los valores comparativos de corte de tipo normativo han sido muy altos, aunque repetimos no en el caso de los tipos de muestreo y criterios de calidad.

Sin embargo, no podemos esconder nuestra preocupación por la presencia en estas tres revistas mencionadas de 2 indicadores metodológicos muy mejorables, dado que se trataría de porcentajes de cumplimiento por debajo del 50%. Dichos indicadores hacen referencia a la no explicitación del-os tipo-s de muestreo utilizados (MU3) y de los criterios de calidad, o sea, fiabilidad, validez de los instrumentos de recogida de información, así como de los criterios cualitativos de naturaleza cualitativa (CA1) en el caso de las revistas Comunicar y Revista de Educación (MEC) y de la no explicitación de los tamaños muestrales y tipo-s de muestreo-s en el caso de la revista Porta Linguarum.

El caso particular de Enseñanza de las Ciencias con la consecución de 3 indicadores metodológicos óptimos (referidos a la explicitación del tamaño muestral, técnica-s de recogida de información y adecuada interpretación de los análisis de datos de naturaleza cuantitativa o cualitativa), 3 mejorables (los relacionados con la explicitación de los objetivos y/o hipótesis de investigación, las variables del estudio y la adecuada congruencia de los objetivos y/o hipótesis de investigación con los análisis implementados) y 4 muy mejorables (los referentes a la no explicitación del tamaño muestral, características muestrales, tipo-s de muestreo-s y criterios de calidad de naturaleza cuantitativa o cualitativa) necesita de una discusión individual. Los resultados obtenidos por esta revista son hasta cierto punto justificables si tenemos en cuenta determinados aspectos:

1. a) La vocación didáctica de la misma como medio para la difusión de experiencias docentes en la enseñanza-aprendizaje de las ciencias, aunque en el presente trabajo sólo se han evaluado trabajos empíricos.

   b) Su localización en un centro de acción diferente al de la investigación educativa propiamente dicha.

   c) El probable desconocimiento de la jerga metodológica utilizada en la investigación educativa de los-as habituales autores-as que colaboran en dicha revista (docentes de los diferentes niveles educativos).

Análisis de datos referidos a los indicadores globalmente

Una segunda perspectiva para valorar el impacto metodológico de las revistas españolas del ámbito de la investigación educativa indexadas en WOS con factor de impacto JCR en 2016 (último de año de referencia) es adoptar una visión global de los resultados obtenidos por cada uno de los artículos objeto de análisis. De esta forma, hemos procedido al cálculo de una puntuación global de cada uno de los artículos teniendo en cuenta el sumatorio de cumplimientos (1) o incumplimientos (0) de cada uno de ellos en los 10 indicadores metodológicos contemplados. A partir de dichos sumatorios hemos calculado los estadísticos descriptivos básicos de tendencia central de media y mediana obtenidos por cada una las revistas en lo referente a su calificación total obtenida.

Figura 2
Medias y medianas obtenidas por cada revista a nivel global de cumplimiento de los indicadores metodológicos evaluados

Puede apreciarse cómo globalmente los resultados obtenidos por los valores de tendencia central calculados son moderadamente altos. Así, se han consignado una media aritmética total de ($\bar{\mathrm{x}}$=7,67 que marcamos con una línea de puntos discontinuos) y una mediana (Me=8, que destacamos con una línea continua). Si tenemos en cuenta que la puntuación máxima es 10 podemos afirmar que en su totalidad las revistas españolas de ámbito educativo indexadas en WOS con factor de impacto JCR en 2016 (último año de referencia) durante el trienio 2014-2016 han obtenido muy buenos resultados con un cumplimiento de indicadores metodológicos cercano o igual al 80% si tomamos en consideración la media o mediana de la distribución respectivamente. Preferimos el segundo estadístico dada su robustez ante situaciones de desorden (rough con presencia de valores extremos o outliers) acontecidas en algunas de las distribuciones contempladas.

En cuanto a los resultados, ahora disgregados por revista, podemos afirmar que son bastante buenos en general con valores de mediana y media (Me=9/$\bar{\mathrm{x}}$=8,69) para la Revista de Psicodidáctica; (Me=9/$\bar{\mathrm{x}}$=8,41) para Educación XX1; (Me=9/$\bar{\mathrm{x}}$=9,07) para la Revista Española de Pedagogía; (Me=8/$\bar{\mathrm{x}}$=7,5) para la revista Comunicar; (Me=8/$\bar{\mathrm{x}}$=7,43) para Porta Linguarum; (Me=7/$\bar{\mathrm{x}}$=7,19) para la Revista de Educación (ME) y (Me=6/$\bar{\mathrm{x}}$=6,44) para Enseñanza de las Ciencias. Si tomamos en consideración una posible clasificación de excelencia metodológica de artículos publicados en revistas científicas propuesta por Rodríguez-Sabiote (2017b, pp.2-3) podemos afirmar que Educación XX1, Revista de Psicodidáctica, Revista Española de Pedagogía, Comunicar y Porta Linguarum puede ser consideradas revistas de alta calidad metodológica (cuartil 1 con medianas y medias > 7,50) mientras la Revista de Educación (MEC) y la de Enseñanza de las Ciencias como revistas de moderada calidad metodológica (medianas y medias entre 5,01 y 7,5).

Llegado este momento nos ha parecido pertinente, y en congruencia con el objetivo final de investigación planteado, determinar si la jerarquía que ocupan las revistas objeto de evaluación en su indización en JCR está relacionada, o no, con el cumplimiento de indicadores metodológicos considerados en el presente estudio. Para ello, en primer lugar, hemos calculado los rangos jerárquicos de cada una de las revistas en el JCR de WOS y en el cumplimiento de los indicadores metodológicos contemplados.

Tabla 5
Rangos jerárquicos que ocupan las revistas en JCR de WOS y en el cumplimiento de los indicadores metodológicos

Revistas	Rango JCR de WOS	Rango cumplimiento de indicadores metodológicos
Revista de Psicodidáctica	1º	2º
Comunicar	2º	4º
Revista de Educación (MEC)	3º	5º
Educación XX1	4º	3º
Enseñanza de las Ciencias	5º	7º
Revista Española de Pedagogía	6º	1º
Porta Linguarum	7º	6º

En segundo lugar, hemos calculado el coeficiente de Rho de Spearman (ordinal por ordinal y para muestras reducidas) para tratar de valorar la correlación que puede establecerse entre las dos clasificaciones jerárquicas. Hemos presentado a través de la siguiente tabla (Tabla 6) dos situaciones diferentes. En una primera hemos correlacionado los rangos teniendo en cuenta todas las revistas, pero dado que el caso de la Revista Española de Pedagogía es tan extremo (6º vs 1º) hemos también recalculado el coeficiente de Rho de Spearman suprimiendo el dicho caso extremo. Los resultados son los que mostramos a continuación.

Tabla 6
Resultados de correlación de Rho de Spearman entre los rangos JCR y los de cumplimiento de indicadores metodológicos con 7 o 6 revistas suprimiendo Revista Española de Pedagogía

* Correlación estadísticamente significativa al 5%** Correlación estadísticamente significativa al 1%*** Correlación estadísticamente significativa al 1‰

Correlacionando los rangos de 7 revistas			Rango JCR de WOS	Rango de cumplimiento indicadores metodológicos
Rho de Spearman	Rango JCR de WOS	Coeficiente de correlación	1
		Sig. (bilateral)	.
		N	7
	Rango de cumplimiento de indicadores metodológicos	Coeficiente de correlación	,286	1
		Sig. (bilateral)	,535	.
		N	7	7
Correlacionando los rangos de 6 revistas (suprimiendo el caso extremo de Revista Española de Pedagogía)			Rango JCR de WOS	Rango de cumplimiento de indicadores metodológicos
Rho de Spearman	Rango JCR de WOS	Coeficiente de correlación	1
		Sig. (bilateral)	.
		N	6
	Rango de cumplimiento de indicadores metodológicos	Coeficiente de correlación	,771	1
		Sig. (bilateral)	,072	.
		N	6	6

Como puede observarse en los dos casos se obtienen correlaciones positivas, aunque con magnitudes bien diferentes, mucho más importante en el caso en el que se ha suprimido a la revista Española de Pedagogía y, en todo caso, no estadísticamente significativas en ninguno de los dos casos propuestos. A este respecto, el signo positivo de ambas correlaciones lo debemos interpretar como la presencia de una correlación directamente proporcional, es decir, que cuando las revistas ocupan puestos altos en el JCR de WOS también obtienen puestos altos en el cumplimiento de indicadores metodológicos. En cuanto a la magnitud puede apreciarse que en el primer caso se ha obtenido una correlación Rho=,286 que puede considerarse como baja y no estadísticamente significativa (p=,535). Sin embargo, en el segundo caso se ha obtenido una correlación Rho=,771 que puede considerarse moderadamente alta, aunque tampoco ha resultado estadísticamente significativa (p=,072).

De cualquier forma, sí que existen evidencias empíricas suficientes como para, en el caso particular que nos ocupa, poder afirmar que existe una alta covariación en la clasificación de JCR de WOS y el cumplimiento de indicadores metodológicos de tal forma que cuanto mejor considerada es una revista en JCR también es acreedora de una mejor calidad metodológica, excepto en el caso de la Revista Española de Pedagogía que ha obtenido una alta consideración en calidad metodológica y está peor situada en el ranking JCR de WOS.

Discusión y conclusiones^[1]

Que las revistas científicas sigan aumentando su calidad metodológica dependerá directamente de los-as autores-as de los manuscritos que deberán preocuparse por explicitar claramente cada uno de los elementos del proceso de investigación materializados en los indicadores metodológicos empleados en este estudio. Tal sería su relevancia que facilitaría que otros colegas pudieran replicar las investigaciones publicadas, teniendo claramente identificados todos los aspectos metodológicos a considerar. Además, junto a los autores de los trabajos, serían los revisores propios de cada revista los que en el proceso de refeering de los trabajos recibidos, deberían tener en cuenta y valorar como parte de su revisión la explicitación o no de estos indicadores como variables de calidad, junto al contenido teórico del trabajo en cuestión; eso en lo referente a su presencia.

El problema es, además, si el revisor debe dirimir sobre la calidad de los indicadores metodológicos explicitados, ya no sobre su presencia vs ausencia. Esa consideración tendría como consecuencia inmediata la incorporación de un equipo de revisores altamente capacitados en cuestiones metodológicas y de análisis de datos de diferente naturaleza, además de otros expertos en el tópico teórico considerado. Es cierto, que en algunas disciplinas y revistas de alto impacto los equipos de revisores tienen una remuneración económica y, como contrapartida unas obligaciones adquiridas en la especialización y plazos de revisión de los trabajos. Como todos sospechamos las revistas de nuestro entorno “sobreviven” como pueden y a las penurias económicas de su financiación tienen que hacer frente, además, a los continuos retrasos de las evaluaciones de unos revisores que bastante hacen con conciliar su vida profesional y personal con su dedicación como revisores. Como destaca Delgado López-Cózar (2015) la creación y mantenimiento de revistas científicas del ámbito educativo frecuentemente ha venido siendo una tarea ardua, a veces casi milagrosa.

En este contexto de precariedad con Aliaga, Gutiérrez-Braojos y Fernández-Cano (2018, p. 567) destacamos dos debilidades fundamentales. Por un lado, una escasa formación inicial de los gestores de las revistas y, por otro, el hecho relacionado con la fuerte dependencia de estas aventuras editoriales con alguna persona concreta, cuyo abandono por cualquier motivo es causa de una amenaza cierta a la supervivencia de la publicación.

No obstante, sí debemos demandar un esfuerzo a editores, directores y responsables de las revistas, en general, por incorporar en sus plantillas de evaluadores a expertos en diversos tópicos teóricos y en cuestiones metodológicas y de análisis de datos, así como profesionales comprometidos con plazos razonables que no eternicen el proceso de revisión. A colación de ello permítanos citar una frase de Don Marquis que salvando las diferencias afirmaba: “writing a book of poetry is like dropping a rose petal down the Grand Canyon and waiting for the echo”. Así pues, el proceso de revisión no debería convertirse en la historia interminable donde el autor nunca reciba el eco de su revisión.

En cuanto a los hallazgos y conclusiones que pueden derivarse del presente trabajo destacamos, en primer lugar, que globalmente los resultados obtenidos por las revistas evaluadas nos invitan al optimismo. En general, las revistas hacen gala de una buena calidad metodológica con altos porcentajes de cumplimiento de los indicadores metodológicos propuestos. Es verdad, que no todos los indicadores y no todas las revistas han obtenido los mismos niveles de excelencia metodológica. De esta forma, se han detectado indicadores metodológicos, cuyo concurso es manifiestamente mejorable. Nos referimos a los indicadores de la metodología de abordaje, pero sobre todo a la no explicitación de los tipos de muestreo utilizados y de los criterios de calidad de naturaleza cuantitativa (fiabilidad y validez) y cualitativa, hallazgo este en total concordancia con trabajos anteriores de Rodríguez-Sabiote y Álvarez-Rodríguez (2015), Rodríguez-Sabiote (2017a, 2017b) donde se detectaron debilidades semejantes en la evaluación de otras revistas del ámbito educativo. La mejora de estos aspectos es de vital importancia en tanto en cuanto responden a dos aspectos metodológicos capitales. Por una parte, la justificación de la tipología de muestreos utilizados posibilita la generalización de los resultados desde una lógica vertical (sample to population) o su imposibilidad (case to case o lógica horizontal.. Por otra parte, la no explicitación de los criterios de fiabilidad y validez de los instrumentos de recogida de información desde cualquiera de las teorías psicométricas existentes invalida la posibilidad de garantizar que los mismos miden lo que tienen que medir y lo hacen con garantías suficientes de cohesión y consistencia. En el ámbito cualitativo la no explicitación de los criterios de calidad desde cualquiera de las visiones existentes también es una debilidad de calado que restaría credibilidad, transferibilidad, posibilidad de replicación de los estudios y garantía de que los resultados no están sesgados por los filtros del investigador (Guba & Lincoln, 2012).

Por otra parte, tampoco son similares los niveles de excelencia metodológica si nos referimos a las revistas objeto de evaluación. Así, encontramos que las revistas Educación XX1, Revista Española de Pedagogía y Revista de Psicodidáctica han logrado las mejores cotas de excelencia metodológica sin menoscabo del resto de revistas objeto de evaluación que también han alcanzado notables niveles de cumplimiento de los indicadores metodológicos valorados.

Finalmente, otro hallazgo significativo ha sido constatar que la clasificación de revistas científicas a través de estándares de calidad basados en citas (el dominante en la actualidad) puede ser compatible con el de indicadores de calidad metodológica. En nuestro caso particular, así ha resultado refrendando la legitimidad complementaria de ambos, ya que podemos concluir que cuanto mejor considerada es una revista en JCR también es acreedora de una mejor calidad metodológica.

Para finalizar, con Rodríguez-Sabiote (2018) destacamos la controversia que podría suponer la presente propuesta y la prudencia y moderación con que habría de contemplarse a la hora de manejar los resultados obtenidos. En este sentido, demandamos la comprensión de editores y directores en el convencimiento de que una buena utilización de los resultados puede ser una excelente estrategia de mejora.

Referencias

Aliaga, F.M.; Gutiérrez-Braojos, C. & Fernández-Cano, A. (2018). Las revistas de investigación en educación: Análisis DAFO. Revista de Investigación Educativa, 36(2), 563-579. doi: http://dx.doi.org/10.6018/rie.36.2.312461

Ariza, T. & Quevedo-Blasco, R. (2013). Análisis bibliométrico de la Revista de Investigación Educativa (2000-2012). Revista de Investigación Educativa, 31(1), 31-52. doi: https://doi.org/10.6018/rie.31.1.160321

Arnau, J., Anguera, M. T. & Gómez, J. (1990). Metodología de la investigación en Ciencias del Comportamiento. Murcia: Universidad de Murcia.

Bellavista, J., Viladiu, C., Guardiola, E., Escribano, L., Grabulós, M. & Iglesias C. (1991). Evaluación de la investigación social. Revista Española de Investigaciones Sociológicas, 56, 219-237. doi: https://doi.org/10.2307/40199501

Borrego, A. & Urbano, C. (2006). La evaluación de revistas científicas en Ciencias Sociales y Humanidades. Información, Cultura y Sociedad, 14, 11-27.

Bueno, A. & Fernández-Cano, A. (2003). Análisis cientimétrico de la productividad en la Revista de Investigación Educativa (1983-2000). Revista de Investigación Educativa, 21(2), 507-532.

Delgado López-Cózar, E. (2015). Las revistas electrónicas en acceso abierto: pasado, presente y futuro. RELIEVE, 21(1), art. M1. doi: http://doi.org/10.7203/relieve.21.1.5005

Delgado López-Cózar, E., Ruiz-Pérez, R. & Jiménez-Contreras, E. (2006). La edición de revistas científicas: directrices, criterios y modelos de evaluación. Granada: Fundación Española para la Ciencia y la Tecnología (FECYT).

Flórez Parra, J. M., López Pérez, M. V. & López Hernández, A. M. (2014). Gobierno corporativo y sector público: un estudio bibliométrico en las principales revistas ISI. Innovar: Revista de Ciencias Administrativas y Sociales, 24(51), 79-98. doi https://doi.org/10.15446/innovar.v24n51.41489

Galindo-Rodríguez, A. & Arginaga, F. (2018). Análisis bibliométrico de la Revista Iberoamericana de Psicología del Ejercicio y el Deporte (2006-2017). Revista Iberoamericana de Psicología del Ejercicio y el Deporte, 13(1), 33-40.

Giménez Toledo, E. (2014). Imposturas en el ecosistema de la producción científica. Revista de Investigación Educativa, 32(1), 13-23. doi https://doi.org/10.6018/rie.32.1.190251

Gómez-García, A., Ramiro, M. T., Ariza, T. & Granados, M. R. (2012). Estudio bibliométrico de Educación XX1. Educación XX1, 15(1), 17-41. doi https://doi.org/10.5944/educxx1.15.1.148

Guba, E. G. & Lincoln, Y. S. (2012). Controversias paradigmáticas, contradicciones y confluencias emergentes. En N. K. Denzin & Y. S. Lincoln (Eds.), Manual de investigación cualitativa, paradigmas y perspectivas en disputa (Vol. 2, pp.38-78). Barcelona: Gedisa.

Lorenzo Lledó, G., Lledó Carreres, A., Lorenzo Lledó, A., Graciela Arráez Vera, G., y Gómez – Puerta. M. (2018). Indicadores bibliométricos sobre el plan de acción tutorial en la universidad para el alumnado con discapacidad desde 1988-2018. International Journal of Developmental and Educational Psychology, 1(2), 157-168.doi. http://dx.doi.org/10.17060/ijodaep.2018.n1.v3.1246

Nikleva, G. & Cortina, B. (2014). La producción científica actual en Didáctica de la Lengua y la Literatura en revistas españolas. Porta Linguarum, 21, 281-299.

Olivas Ávila, J. A. & Musi Lechuga, B. (2014). Validez y fiabilidad del Researcher ID y de «Web of Science Production of Spanish Psychology». International Journal of Clinical and Health Psychology, 14(1), 58-66. doi: https://doi.org/10.1016/S1697-2600(14)70037-7

Perales-Palacios, J., Vílchez-González, J. M. & Gutiérrez-Pérez, J. (2017). Información de autor y estándares de calidad previos en revistas internacionales sobre educación científica. Investigación Bibliotecológica, 31(72) 139-159. doi: https://doi.org/10.22201/iibi.0187358xp.2017.72.57827

Pérez Juste, R. (2005). Calidad de la educación, calidad en la educación. Hacia su necesaria integración. Educación XX1, 8, 11-33.

Rodríguez-Sabiote, C. (2017a). Análisis bibliométrico mediante indicadores de calidad metodológicos de las revistas RIE (Revista de Investigación Educativa) y RELIEVE (Revista Electrónica de Investigación y Evaluación Educativa) durante el lustro 2012-2016. En AIDIPE (Eds.), XVIII Congreso Internacional de Investigación Educativa. Interdisciplinaridad y Transferencia, (pp. 787-798). Salamanca (España).

Rodríguez-Sabiote, C. (2017b). Propuesta de indicadores de calidad metodológica para la valoración y clasificación de revistas de investigación. Aula Magna 2.0. [Blog]. Recuperado de: https://cuedespyd.hypotheses.org/3090

Rodríguez-Sabiote, C. (2018). Calidad de las publicaciones científicas más allá de los indicadores estándar de producción. Esperando el Eco [Blog]. Recuperado de: http://esperandoeleco.ucc.edu.co/es/

Rodríguez-Sabiote, C. & Álvarez-Rodríguez, J. (2015). Bibliometric study and methodological quality indicators of the Journal Porta Linguarum during six year period 2008-2013. Porta Linguarum, 24, 135-150.

Rousseau, R. (2002). Journal evaluation: technical and practical issues. Library Trends, 50(3), 418-439.

Schmitt Nunes, C. (2019). La contribución de RIED en 30 años de actividad científica RIED. Revista Iberoamericana de Educación a Distancia, 22 (1), 9-25. doi: http://dx.doi.org/10.5944/ried.22.1.22460

Seglen, P. O. (1997). Why the impact factor of journals should not be used for evaluating research. British Medical Journal, 314(7079), 498-502. doi: https://doi.org/10.1136/bmj.314.7079,497

Torres-Salinas, D., Bordons, M., Giménez Toledo, E., Delgado López-Cózar, E., Jiménez-Contreras, E. & Sanz-Casado, E. (2010). Clasificación integrada de revistas científicas (CIRC): propuesta de categorización de las revistas en ciencias sociales y humanas. El profesional de la información, 19(6), 675-683. doi: https://doi.org/10.3145/epi.2010.nov.15

Valenciano, J., Villamón, M. & Devís-Devís, J. (2008). Evaluación y clasificación de las revistas científico-técnicas españolas de Ciencias de la Actividad Física y el Deporte. Revista Española de Documentación Científica, 31(3), 396-412. doi: https://doi.org/10.3989/redc.2008.v31.i3.435

Notas

Notas de autor

clerosa@ugr.es

Información adicional

Cómo referenciar este artículo: Rodríguez-Sabiote, Clemente & Úbeda-Sánchez, Álvaro-Manuel (2019). Análisis bibliométrico a través de indicadores de calidad metodológica de las revistas españolas de educación indizadas en JCR durante el trienio 2014-2016. RELIEVE, 25(1), art. 2. doi: http://doi.org/10.7203/relieve.25.1.12771

Enlace alternativo

https://ojs.uv.es/index.php/RELIEVE/article/view/12771/13024 (pdf)