Documentos
Declaración de San Francisco sobre la evaluación de la investigación
Declaración de San Francisco sobre la evaluación de la investigación
Revista Iberoamericana de Ciencia, Tecnología y Sociedad - CTS, vol. 14, núm. 40, pp. 299-305, 2019
Consejo Nacional de Investigaciones Científicas y Técnicas
Resumen: Introducción y objetivo: Existe una necesidad apremiante de mejorar las formas en que los organismos de financiación, las instituciones académicas y otras partes evalúan el resultado de la investigación científica. Para abordar este tema, un grupo de editores y editores de revistas académicas se reunió durante la reunión anual de The American Society for Cell Biology (ASCB) en San Francisco el 16 de diciembre de 2012. Método: el grupo desarrolló un conjunto de recomendaciones, conocidas como la Declaración de San Francisco sobre Evaluación de la Investigación. Resultados y Discusión: El factor de impacto (FI) de la revista se usa frecuentemente como el parámetro principal con el cual comparar la producción científica de individuos e instituciones. El FI tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación: las distribuciones de citas dentro de las revistas son muy sesgadas; las propiedades del FI son específicas del campo: es un compuesto de múltiples tipos de artículos altamente diversos, que incluyen trabajos de investigación primaria y revisiones; el FI de la revista pueden ser manipulados por la política editorial y los datos utilizados para calcular los FI de la revista no son transparentes ni están a disposición del público. Nuestras recomendaciones se centran en las prácticas relacionadas con los artículos de investigación publicados en revistas revisadas por pares, pero pueden y deben ampliarse reconociendo productos adicionales, como los conjuntos de datos, o productos de investigación importantes. Estas recomendaciones están dirigidas a agencias de financiación, instituciones académicas, revistas, organizaciones que proporcionan métricas e investigadores individuales. Conclusiones: Una serie de temas se basan en estas recomendaciones: la necesidad de eliminar el uso de métricas basadas en revistas, como los FI, en consideraciones de financiación, designación y promoción; la necesidad de evaluar la investigación por sus propios méritos en lugar de basarse en la revista en la que se publica la investigación; y la necesidad de capitalizar las oportunidades que ofrece la publicación en línea (como relajar los límites innecesarios en el número de palabras, cifras y referencias en los artículos, y explorar nuevos indicadores de importancia e impacto).
Palabras clave: DORA, Declaración de San Francisco sobre Evaluación de Investigación, Factor de impacto, Altmétricas, Evaluación de la investigación.
Abstract: Introduction and objective: There is a pressing need to improve the ways in which the output of scientific research is evaluated by funding agencies, academic institutions, and other parties. To address this issue, a group of editors and publishers of scholarly journals met during the Annual Meeting of The American Society for Cell Biology (ASCB) in San Francisco, CA, on December 16, 2012. Method: The group developed a set of recommendations, referred to as the San Francisco Declaration on Research Assessment. Results and Discussion: The Journal Impact Factor is frequently used as the primary parameter with which to compare the scientific output of individuals and institutions. The Journal Impact Factor has a number of well-documented deficiencies as a tool for research assessment: citation distributions within journals are highly skewed; the properties of the Journal Impact Factor are field-specific: it is a composite of multiple, highly diverse article types, including primary research papers and reviews; Journal Impact Factors can be manipulated by editorial policy and data used to calculate the Journal Impact Factors are neither transparent nor openly available to the public. Our recommendations focus primarily on practices relating to research articles published in peer-reviewed journals but can and should be extended by recognizing additional products, such as datasets, as important research outputs. These recommendations are aimed at funding agencies, academic institutions, journals, organizations that supply metrics, and individual researchers. Conclusions: A number of themes run through these recommendations: the need to eliminate the use of journal-based metrics, such as Journal Impact Factors, in funding, appointment, and promotion considerations; the need to assess research on its own merits rather than on the basis of the journal in which the research is published; and the need to capitalize on the opportunities provided by online publication (such as relaxing unnecessary limits on the number of words, figures, and references in articles, and exploring new indicators of significance and impact).
Keywords: DORA, San Francisco Declaration on Research Assessment, Journal Impact Factors, Altmetrics, Research assessment.
Declaración de San Francisco sobre la evaluación de la investigación
Existe una necesidad apremiante de mejorar la forma en que las agencias de financiación, las instituciones académicas y otros grupos evalúan la investigación científica. Para abordar este tema, un grupo de editores de revistas académicas se reunió durante la Reunión anual de la American Society for Cell Biology (ASCB) en San Francisco, California, el 16 de diciembre de 2012. Este grupo desarrolló una serie de recomendaciones, conocidas como la Declaración de San Francisco sobre la Evaluación de la Investigación. Invitamos a los grupos interesados de todas las disciplinas científicas a mostrar su apoyo añadiendo sus nombres a esta declaración.
Los productos de la investigación científica son muchos y variados, e incluyen: artículos de investigación que informan sobre nuevos conocimientos, datos, reactivos y software; propiedad intelectual y jóvenes científicos capacitados. Las agencias financiadoras, las instituciones que emplean científicos y los propios científicos, tienen el deseo y la necesidad de evaluar la calidad y el impacto de los resultados científicos. Por lo tanto, es imperativo que la producción científica se mida con precisión y se evalúe con prudencia.
El factor de impacto se utiliza con frecuencia como parámetro principal con el que comparar la producción científica de individuos e instituciones. El factor de impacto, calculado por Thomson Reuters, se creó originalmente como una herramienta para ayudar a los bibliotecarios a identificar revistas para comprar, no como una medida de la calidad científica de la investigación en un artículo.1 Teniendo esto en cuenta, es fundamental comprender que el factor de impacto tiene una serie de deficiencias bien documentadas como herramienta para la evaluación de la investigación.
Estas limitaciones incluyen:
• las distribuciones de citas dentro de las revistas son muy sesgadas (Adler, Ewing y Taylor, 2008; Seglen, 1997; Nature, 2005),
• las propiedades del factor de impacto son específicas de cada campo: es un compuesto de múltiples tipos de artículos altamente diversos, incluyendo trabajos de investigación primaria y revisiones (Adler, Ewing y Taylor, 2008; Vanclay, 2012),
• los factores de impacto pueden ser manipulados (o evaluados) por la política editorial [The PLoS Medicine editors, 2006), y • los datos utilizados para calcular el factor de impacto no son transparentes ni están abiertamente disponibles para el público (Vanclay, 2012; Rossner, Van Epps y Hill, 2007 y 2008).
A continuación, hacemos una serie de recomendaciones para mejorar la forma en que se evalúa la calidad de la producción científica. Los productos que no sean artículos de investigación crecerán en importancia a la hora de evaluar la eficacia de la investigación en el futuro, pero el documento de investigación revisado por pares seguirá siendo primordial para la evaluación de la investigación. Por lo tanto, nuestras recomendaciones se centran en las prácticas relacionadas con los artículos de investigación publicados en revistas revisadas por pares, pero pueden y deben ampliarse reconociendo productos adicionales, como los conjuntos de datos, ya que son productos de investigación importantes. Estas recomendaciones están dirigidas a agencias financiadoras, instituciones académicas, revistas, organizaciones que proporcionan métricas e investigadores individuales.
Estas recomendaciones cubren una serie de temas:
• la necesidad de eliminar el uso de métricas basadas en revistas, tales como el factor de impacto, en consideraciones de financiamiento, nombramiento y promoción,
• la necesidad de evaluar la investigación por sus propios méritos en lugar de basarse en la revista en la que se publica la investigación, y
• la necesidad de capitalizar las oportunidades que ofrece la publicación en línea (como flexibilizar los límites innecesarios en el número de palabras, figuras y referencias en los artículos, y explorar nuevos indicadores de importancia e impacto).
Reconocemos que múltiples agencias financiadoras, instituciones, editores e investigadores ya están fomentando mejores prácticas en la evaluación de la investigación. Dichos pasos están comenzando a aumentar el impulso hacia enfoques más sofisticados y significativos para la evaluación de la investigación que ahora pueden ser desarrollados y adoptados por todas las partes clave involucradas.
Los signatarios de la Declaración de San Francisco sobre la Evaluación de la Investigación apoyan la adopción de las siguientes prácticas en la evaluación de la investigación.
Recomendación general
1. No utilice métricas basadas en revistas, como el factor de impacto, como una medida sustituta de la calidad de los artículos de investigación individuales, para evaluar las contribuciones de un científico individual, o en las decisiones de contratación, promoción o financiación.
Para las agencias de financiación
2. Sea explícito sobre los criterios utilizados para evaluar la productividad científica de los solicitantes de fondos de investigación, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un artículo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.
3. Con el fin de evaluar la investigación, considere el valor y el impacto de todos los resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto que incluyan indicadores cualitativos, como la influencia sobre la política y prácticas científicas.
Para las instituciones
4. Sea explícito sobre los criterios utilizados para realizar decisiones de contratación, permanencia y promoción, destacando, especialmente para los investigadores que están iniciando su carrera investigadora, que el contenido científico de un trabajo es mucho más importante que las métricas de publicación o la identidad de la revista en la que fue publicado.
5. Con el fin de evaluar la investigación, considere el valor y el impacto de todos resultados de la investigación (incluidos los conjuntos de datos y el software) además de las publicaciones de investigación, y considere una amplia gama de medidas de impacto, incluidos los indicadores cualitativos del impacto de la investigación, como la influencia sobre la política y prácticas científicas.
Para las editoriales
6. Reduzca profundamente el énfasis en el factor de impacto como herramienta promocional, idealmente dejando de promover su uso o presentando la métrica en el contexto de una variedad de métricas basadas en revistas (por ejemplo, factor de impacto de cinco años, EigenFactor, SCImago, h-index, tiempo editorial y de publicación, etc.) que proporcionan una visión más amplia del rendimiento de la revista.
7. Ponga a disposición una variedad de métricas a nivel de artículo para alentar un cambio hacia la evaluación basada en el contenido científico de un artículo en lugar de las métricas de publicación de la revista en la que se publicó.
8. Fomente las prácticas de la autoría responsable y la provisión de información sobre las contribuciones específicas de cada autor.
9. Independientemente de que una revista sea de acceso abierto o basada en suscripciones, elimine todas las limitaciones de reutilización de las listas de referencias en los artículos de investigación y haga que estén disponibles bajo la dedicación de dominio público de Creative Commons.
10. Elimine o reduzca las restricciones sobre el número de referencias en los artículos de investigación y, cuando corresponda, ordene la citación de la literatura primaria a favor de las revisiones para dar crédito al grupo o los grupos que primero informaron de un hallazgo.
Para las organizaciones que proporcionan métricas
11. Sea abierto y transparente al proporcionar datos y métodos utilizados para calcular las métricas.
12. Proporcione los datos bajo una licencia que permita la reutilización sin restricciones y proporcione acceso computacional a los datos, cuando sea posible.
13. Especifique que no se tolerará la manipulación inapropiada de las métricas; sea explícito sobre lo que constituye una manipulación inapropiada y qué medidas se tomarán para combatirla.
14. Tenga en cuenta la variación en los tipos de artículos (por ejemplo, revisiones frente a artículos de investigación) y en las diferentes áreas temáticas al utilizar, agregar o comparar métricas.
Para los investigadores
15. Cuando participe en comités que toman decisiones sobre financiación, contratación, permanencia o promoción, realice evaluaciones basadas en el contenido científico en lugar de en métricas de publicación.
16. Cuando sea apropiado, cite literatura primaria en que las observaciones son referidas primero, en lugar de revisiones para dar crédito donde debe darse. 17. Utilice una gama de métricas e indicadores basadas en declaraciones personales y de apoyo, como evidencia del impacto de artículos individuales publicados y otros resultados de investigación (Altmetrics).
18. Impugne las prácticas de evaluación que dependen indebidamente del factor de impacto y promueva y enseñe prácticas que se centren en el valor y la influencia de los resultados de investigación específicos.
Bibliografía
ADLER, R., EWING, J. y TAYLOR, P. (2008): Citation statistics. A report from the International Mathematical Union (IMU) in cooperation with the International Council of Industrial and Applied Mathematics (ICIAM) and the Institute of Mathematical Statistics (IMS), Joint Committee on Quantitative Assessment of Research. Disponible en: https://www.mathunion.org/fileadmin/IMU/Report/CitationStatistics.pdf . Citado el02/12/2018.
NATURE (2005): “Not so deep impact”, editorial, n° 435, pp. 1003–1004. Disponible en: https://www.nature.com/articles/4351003b. Citado el 02/12/2018.
ROSSNER, M., VAN EPPS, H. y HILL, E. (2007): “Show me the data”, J. Cell Biol., n° 179, pp. 1091–1092. Disponible en: http://jcb.rupress.org/content/179/6/1091. Citado el 02/12/2018.
ROSSNER, M., VAN EPPS, H. y HILL, E. (2008): “Irreproducible results: A response to Thomson Scientific”, J. Cell Biol., n° 180, pp. 254–255. Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2213574/ . Citado el 02/12/2018
SEGLEN, P. O. (1997): “Why the impact factor of journals should not be used for evaluating research”, BMJ, n° 314, pp. 498–502. Disponible en: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC2126010/pdf/9056804.pdf . Citado el 02/12/2018.
THE PLOS MEDICINE EDITORS (2006): “The impact factor game”, PLoS Med., vol. 3, n° 6, e291. Disponible en: http://journals.plos.org/plosmedicine/article?id=10.1371/journal.pmed.0030291. Citado el 02/12/2018
VANCLAY, J. K. (2012): “Impact Factor: Outdated artefact or stepping-stone to journal certification”, Scientometrics, n° 92, pp. 211–238. Disponible en: https://link.springer.com/article/10.1007%2Fs11192-011-0561-0. Citado el 02/12/2018.
Notas