» Criterios de evaluación

INTRODUCCIÓN

Es importante exponer como premisa que el cumplimiento de los parámetros es sólo la evidencia de ciertas prácticas formales en la revista, que son necesarias pero insuficientes para reflejar si ésta es un órgano de calidad, prestigio y capaz de aglutinar la discusión en un área temática y en una comunidad académica. La revisión de los criterios ofrece solamente los elementos para un análisis, pero la decisión final de incluir o no una revista toma en cuenta un balance entre todos los parámetros revisados, y es una decisión que descansa en la experiencia del equipo evaluador, de la dirección y del Comité Científico Asesor de Redalyc. En última instancia es una decisión que se basa en una visión global de la revista, de las características que la fortalecen, de las áreas de oportunidad que tiene; es una decisión cualitativa, no cuantitativa, pues se debe considerar la particularidad de cada campo, su dinámica, realidad y retos. La calidad de una revista no se puede determinar. Cada dictamen es sólo la conclusión de un conjunto de características y su balance, observado en un momento determinado de la evolución de la revista (para un mayor contexto, véase el apartado Presentación de esta sección).

Criterios de evaluación

1. Permanencia / CBA

1.1. Antigüedad

La revista debe tener un mínimo de dos años de existencia. Los fascículos editados en los últimos dos años deben ser visibles en su plataforma. Para efectos de la evaluación, sólo se considerarán los números regulares editados sin retraso.

2. Contenido científico

2.1. Porcentaje de contenido científico / CBA

Al menos el 75% de las colaboraciones de cada fascículo deben ser resultados originales producto de investigaciones científicas, así como otras aportaciones originales significativas para el área específica de la revista.

2.2. Exigencia de originalidad / CBA

Debe exigirse explícitamente que todo artículo postulado para su publicación sea original e inédito y que no esté postulado simultáneamente en otras revistas u órganos editoriales.

Se recomienda remitir el formato de la carta de exigencia de originalidad que se le da a firmar a los autores, en caso de que se use alguno.

2.3. Revisión por pares / CBA

Todo original publicado deberá ser sometido a un proceso de dictamen por pares académicos (especialistas). El proceso de dictamen debe explicitar el tipo de dictaminación que se lleva a cabo (sin o con anonimato, de una o de ambas partes).

Deberá practicarse un proceso de revisión, dictamen o arbitraje de los artículos postulados para su publicación. El equipo de Redalyc verificará que en algún apartado -de preferencia en el denominado "Proceso de revisión por pares" y/o en las instrucciones para autores- se mencione explícitamente esta exigencia.

2.4. Proceso de evaluación / CBA

La revista debe incluir una descripción del proceso de dictamen, es decir, detallar lo siguiente: todas sus fases, cómo se dirimen los casos de controversia, los posibles resultados y el responsable de la decisión final.

Deberá incluirse la información explícita de los posibles resultados de la evaluación para acreditar el cumplimiento de este criterio.

2.5. Exogeneidad de evaluadores / CBA

Debe mencionarse en forma explícita la participación de evaluadores externos a la institución editora en el proceso de dictamen.

Se considerará un aspecto destacable indicar explícitamente el porcentaje de evaluadores externos a la revista.

2.6. Exogeneidad del consejo editorial / CAV

Al menos el 75% de los integrantes del consejo editorial deben ser ajenos a la entidad editora.

El criterio no podrá ser evaluado si la revista no menciona la institución editora y el país de los miembros del consejo editorial (no se considera válido el uso de siglas).

2.7. Tiempos de evaluación / CAV

Presenta información en las instrucciones para los autores y/o en sus políticas editoriales sobre el tiempo estimado para los procesos de evaluación y publicación.

2.8. Formato de evaluación visible / CAV

Hace público y visible su formulario de evaluación (utilizado por los dictaminadores).

2.9. Fechas del proceso de evaluación / CAV

En cada artículo se deben indicar las fechas de recepción y aceptación*, preferentemente en la primera página. Es recomendable precisar cada ronda de correcciones en el proceso de arbitraje previo a la aceptación del artículo.

*La carencia de alguno de estos datos determinará el incumplimiento de este criterio.

2.10. Tasas de rechazo / CAV

Hace pública y visible la tasa de rechazo de artículos del año previo a la postulación.

2.11. Exogeneidad en publicación / CBA

Al menos el 70% de los trabajos científicos publicados en cada número son colaboraciones ajenas a la institución editora (con al menos un autor ajeno a la institución).

No es recomendable el uso de siglas para indicar la institución de adscripción de los autores.

2.12. Fascículos sin contenido científico / CAV

Se calificarán negativamente los casos en los que los fascículos publicados sin contenido científico o documentos republicados sustituyan a los números regulares.

Para revistas que ya están en redalyc.org, esta mala práctica editorial puede ser motivo de condicionamiento.

3. Periodicidad

3.1. Actualización y Periodicidad / CBA

Debe mencionar explícitamente su periodicidad (mensual, bimestral, trimestral), para el caso de las revistas de periodicidad continua es necesario mencionar la fecha o mes en que cierra el fascículo.

Las periodicidades mayores de semestral no son recomendables y no se evaluarán anuarios a menos que la especificidad de la disciplina lo requiera y que el editor presente una argumentación al respecto, lo anterior no aplica para revistas con periodicidad continua.

3.2. Cumplimiento de periodicidad / CBA

Los fascículos deben publicarse puntualmente de acuerdo con la periodicidad expresada por la revista y deben estar en línea en el primer mes del periodo de publicación. En el caso de las revistas con periodicidad continua, se calificarán negativamente los espacios mayores a tres meses sin artículos nuevos en línea.

Para ello se analizarán al menos los tres fascículos regulares editados recientemente. Los números dobles, triples, etc., son considerados de facto como edición con retraso.

3.3. Especificación de la periodicidad / CAV

En la página principal del portal de la revista, en la Tabla de Contenido y en los apartados "Actual" y "Anteriores" o "Archivos" se deben precisar los meses que comprende el periodo de publicación de los números, así como el mes de publicación de cada fascículo.

3.4. Fecha de publicación / CD

La revista especifica el día en el que pone en línea sus fascículos.

Se recomienda se incluya esta información en una sección denominada "Frecuencia de publicación" ubicada en la información sobre la revista.

4. Acceso Abierto

4.1. Política de acceso abierto / CBA

La revista debe permitir leer, descargar, copiar, distribuir, imprimir, buscar o vincular los textos completos de sus artículos.

4.2. Fuentes de financiamiento / CAV

Indicar cuáles son sus fuentes de financiamiento y si la revista efectúa cobro por el procesamiento de artículos (APC).

Redalyc se pronuncia por un Acceso Abierto No comercial, por lo que, aunque en la actualidad puedan ser aceptadas revistas con APC, puede limitar el uso de las ventajas y servicios que Redalyc ofrece al editor y a la revista (por ejemplo, la herramienta de marcación gratuita para XML JATS Marcalyc no estará disponible para revistas con APC y éstas deberán entregar de cualquier manera sus XML JATS a Redalyc).

4.3. Licenciamiento / CAV

Mención explícita del licenciamiento bajo el cual la revista o institución editora publica los contenidos*. Es recomendable el uso de licencias Creative Commons, con derechos de atribución, no comercial y compartir igual (BY, NC, SA).

* Más información visitar https://wiki.creativecommons.org/ Para amparar la difusión de los contenidos en abierto y prevenir una explotación lucrativa por terceros, es recomendable remitir los formatos o condiciones que firman o aceptan en electrónico los autores para ceder los derechos de la distribución y reproducción de los materiales.

4.4. Licencia por artículo / CAV

La revista incluye la información relativa a la licencia Creative Commons (legible por máquinas*) en los metadatos de los artículos en formatos portables y desplegables (PDF, ePub, html...).

*Es necesario que cada artículo cuente con la información de su licencia en las propiedades del archivo portable. En cuanto a formatos de despliegue, debe ir dentro de su código fuente.

4.5. Derechos de explotación / CAV

Se menciona quién es el titular de los derechos de explotación de los contenidos de la revista (copyright).

4.6. Política de Autoarchivo / CAV

La revista describe en qué momento (al envío del archivo, al aceptarse el trabajo, en el momento de la publicación, o después de un periodo de embargo) y en qué versión (Pre-print, post-print versión editorial o post-print versión corregida) permite el autoarchivo de los artículos publicados, en repositorios institucionales, temáticos o páginas web personales.

4.7. Adhesión a DORA. / CBA

La revista ha firmado la Declaración de San Francisco sobre la Evaluación de la Investigación (DORA)

El incumplimiento de este criterio sera motivo de rechazo

Gestión Editorial / CBA

5.1. Datos de Identificación

Debe ostentar de manera visible: título completo, ISSN (impreso y electrónico*) y su institución editora.

*Es necesaria la existencia del ISSN-e para cumplir este criterio.

5.2. Membrete / CD

Se identifica cada artículo mediante membrete bibliográfico en la página inicial y en las páginas interiores, el cual incluye:

  • Nombre de la revista o ISSN
  • Volumen y número
  • Periodo que cubre la edición indicando meses y años
  • Nombres de los autores

La ausencia de cualquiera de los elementos anteriores causará el incumplimiento del criterio.

5.3. Directorios / CBA

Debe ostentar un directorio completo de la revista que incluya lo siguiente: identidad del editor responsable, directorio del consejo editorial, indicando el nombre completo de cada miembro.

5.4. Datos de contacto de la institución editora / CBA

Indicar en los datos de contacto: nombre completo del contacto, nombre completo de la institución u organismo editor (sin abreviaturas), ciudad y país de edición (sin abreviaturas) y correo electrónico (institucional).

5.5. Alcance y naturaleza / CAV

Debe indicarse explícitamente la cobertura temática (alcance), así como la definición precisa de la naturaleza de la revista incluyendo: propósito y público o comunidad a la que se dirige.

*La carencia de alguno de estos datos determinará el incumplimiento de este criterio.

5.6. Especificidad temática / CAV

La revista tiene una temática específica (enfoque).

Si la revista tiene temática específica, Redalyc lo considerará cómo aspecto destacable; si su temática no es específica no será considerada como criterio incumplido.

5.7. Afiliación del consejo editorial / CAV

Debe indicar la afiliación institucional de los miembros del consejo editorial, incluyendo el país. (No se consideran válidas las abreviaturas o siglas ni en las instituciones ni en los países).

5.8. Características de la tabla de contenido / CAV

Debe existir una tabla de contenido que exhiba todos los datos que se mencionan enseguida: el título completo de todos los artículos en el idioma original y nombre de al menos uno de los autores.

Es recomendable que los nombres de los autores se muestren sin abreviaturas y con apellidos unidos por un guion.

5.9. Tabla de contenido con traducción / CAV

Se incluye en la tabla de contenido, además del título de los artículos en el idioma original, su traducción a un segundo idioma, de preferencia al inglés.

5.10. Datos de los autores / CBA

Cada artículo debe indicar: los nombres completos de los autores, la institución de adscripción de éstos, el país de la institución de adscripción de cada uno (no se consideran válidas las abreviaturas o siglas ni en las instituciones ni en los países) y el correo electrónico de al menos uno de los autores.

La carencia de alguno de estos datos determinará el incumplimiento de este criterio.

5.11. Artículos por año / CBA

Se recomienda publicar una cantidad anual mínima de 16 artículos.

El hecho de publicar una cantidad significativamente menor será considerado una mala práctica.

5.12. Publicación homogénea / CAV

Debe haber homogeneidad de los fascículos en cuanto a número de artículos publicados, salvo en el caso de revistas de publicación continua o cuando explícitamente se defina que el número de artículos corresponderá al flujo editorial de la revista.

5.13. Distinción de registros vigentes / CAV

La revista debe mencionar los registros y distinguir entre: directorios, bases de datos e indizaciones en los que se encuentra vigente. Además, cada registro declarado debe contar con un enlace directo al mismo*.

*Si la información expresada en el formulario no es verdadera, se dará por incumplido el criterio. La carencia de alguno de estos datos determinará el incumplimiento de este criterio.

5.14. Estilo de citación / CD

Se indican detalladamente las normas de elaboración de las referencias bibliográficas y el estilo de citación que se debe observar. Asimismo, se verificará su aplicación en los artículos publicados*.

*Para la verificación del cumplimiento de este criterio se evaluarán los tres últimos fascículos editados sin retraso, si el estilo declarado por la revista no se aplica en alguno de los artículos incluidos en estos fascículos, se dará por incumplido el criterio. No se aceptan "estilos propios de citación", debe ser uno aceptado internacionalmente.

5.15. Resumen y palabras clave / CAV

Debe incluirse en cada artículo: resumen en el idioma original, resumen en un segundo idioma (de preferencia inglés), palabras clave en el idioma original y palabras clave en un segundo idioma (de preferencia inglés).

La carencia de alguno de estos datos determinará el incumplimiento de este criterio.

En el caso de las revistas de Ciencias Naturales y Exactas, y Ciencias Sociales se valorará positivamente que los resúmenes y abstracts expresen de manera separada: objetivo; diseño, metodología, aproximación, resultados, limitaciones y/o implicaciones, originalidad y/o valor, y hallazgos y/o conclusiones, o los apartados que de esta lista resulten pertinentes al trabajo.

5.16. Instrucciones para autores en dos idiomas / CD

Se incluyen las instrucciones para los autores en un segundo idioma*, de preferencia en inglés de manera visible en la página de la revista.

*Si la revista cuenta con un botón de traducción y este funciona correctamente, se dará por cumplido este criterio.

5.17. Código de ética / CD

La revista debe mencionar si está suscrita a algún código de ética y buenas prácticas editoriales científicas. Debe señalar las prácticas no aceptadas y las medidas que implica infringir dicho código.

5.18. Detección de plagio / CD

La revista debe detallar el método que utiliza para la detección de plagio o si hace uso de algún software.

Es recomendable que se especifique que se comunica el resultado al autor(es), con sus respectivas fuentes y solicitar sus comentarios antes de definir que es un comportamiento de plagio y, en consecuencia, no editable.

5.19. Política de preservación digital del documento / CAV

Se deben detallar las políticas de preservación de archivos digitales.

6. Aprovechamiento de Tecnología / CBA

6.1. Plataforma electrónica independiente

La revista debe tener un Home o página de llegada independiente de la de su institución*.

*La plataforma electrónica debe ser independiente del portal de la institución o de las autoridades editoras, es decir, debe contar con un URL y un sitio independiente del portal de la entidad editora, que facilite su localización y visualización (no se refiere a que esté fuera del dominio institucional).

De no contar con una página electrónica propia la revista puede solicitar que Redalyc sea su página principal.

Redalyc no busca sustituir la presencia de la revista en la web, sino recomendar las mejores prácticas de visibilidad e interoperabilidad tecnológica. Lo anterior, acorde con los tiempos que vive la comunicación científica, donde el impreso pierde peso por sus limitantes de costo y alcance.

Únicamente se evaluarán revistas en su plataforma electrónica, no se evaluarán revistas impresas a menos que el editor presente una justificación para ello.

6.2. Formatos de despliegue / CAV

Pone a disposición del usuario más de un formato electrónico para el despliegue de los artículos publicados (PDF, ePub, HTML).

6.3. Uso de gestor electrónico / CAV

Utiliza un gestor editorial electrónico como herramienta de control del proceso de dictamen y no sólo como plataforma de publicación. Redalyc recomienda OJS 3.X.

6.4. Incorporación de protocolos de interoperabilidad en AA / CAV

Cuenta con protocolos de interoperabilidad (OAI-PMH: Open Archives Initiative-Protocol for Metadata Harvesting).

6.5. Motor de búsqueda / CAV

Cuenta con un motor de búsqueda específico para los contenidos de la revista, para la localización y recuperación de artículos publicados, además permite el uso de operadores lógicos para optimizar la búsqueda.

El incorrecto funcionamiento del motor de búsqueda se considerará como incumplimiento del criterio.

6.6. Descarga individual de contenidos / CAV

Permite la descarga de los artículos de manera individual.

6.7. XML JATS / CBA

Dispone de sus artículos marcados en formato XML JATS.

Si no cuenta con dicho formato, la revista en caso de ser aceptada, podrá hacer uso de la herramienta de marcación Marcalyc (una vez que reciba la capacitación sin costo por parte de Redalyc.org y la certificación para su uso) y deberá marcar todos sus contenidos a partir de 2016 para su incorporación en redalyc.org.

6.8. Integridad de la colección / CAV

Todos los números digitales disponibles de la revista, deben estar visibles en un sólo sitio web.

Se considerará incumplido este criterio en los siguientes casos:

  • Los números de la revista se encuentran dispersos en varias páginas web o repositorios y no es posible visualizarlos todos en plataforma; para el caso de las que usan OJS, en los apartados “Anteriores” o “Archivos”.
  • La revista especifica el año en que inició su publicación digital, sin embargo, no se encuentran todos sus números digitales a partir de ese año en su página principal; para el caso de las que usan OJS, en sus apartados “Archivo” o “Anteriores”.

6.9. Identificadores (ID) de autor / CAV

La revista solicita a los autores sus identificadores (ID) de Redalyc, ORCID o Google Scholar

Este criterio será evaluado en las instrucciones para los autores cuando la revista solicite a los autores acompañar su firma con sus identificadores

6.10. Identificador de recursos digitales / CAV

Todos los artículos deben contar con un identificador digital de objeto (DOI, Handle, etc.).

Se considerará cumplido este criterio si el identificador digital de objeto se encuentra en los metadatos del artículo, sin embargo, es preferible que este se encuentre en el documento del artículo publicado.

6.11. Usabilidad / CAV

La página electrónica cuenta con eficiente navegabilidad, es decir, debe permitir el acceso a los contenidos de la revista en un máximo de tres clics.

6.12. Experiencia web / CAV

La revista debe contar con características propias de una publicación en línea que brindan valor agregado al usuario, por ejemplo: servicios multimedia, acceso a datos fuente, servicios de accesibilidad e inclusión del usuario, así como la promoción a través de sitios especializados (Mendeley, Academia.edu, Research Gate, etc.).

6.13. Interacción con el usuario / CAV

La revista debe facilitar el uso de tecnologías de interacción, como blogs y foros que permitan al usuario una participación bilateral.

6.14. Datos estadísticos / CAV

La revista debe tener un apartado de estadísticas actualizadas ya sean de su propio sitio web, o bien recurriendo a servicios de terceros.

Notas generales

Para los criterios de identificación autoral no se considerará la información incluida en secciones aparte, que pueden denominarse "Nuestros Autores" o "Acerca de los autores".

Acerca de los criterios de resúmenes y abstracts no se considerará la información incluida en secciones aparte, generalmente llamadas "resúmenes y/o abstracts".

Categorías

Categoría 1. Criterios Básicos de Admisión: / CBA

Consta de 18 criterios que de forma obligatoria deben ser cubiertos por todas las revistas interesadas en ser incluidas en Redalyc.

Categoría 2. Criterios Altamente Valorados: / CAV

Si la revista acredita satisfactoriamente todos los criterios de la categoría 1, se procede a verificar el cumplimiento de los 33 criterios considerados de alto valor en los procesos editoriales..

Categoría 3. Criterios Deseables: / CD

En tercera instancia, se constata el cumplimiento de los 6 criterios de características deseables de las revistas que les dan una mayor legibilidad, personalidad e interacción con los usuarios.