1. Introducción¹

La concesión del premio Príncipe de Asturias a la socióloga Saskia Sassen es una gran noticia. […] La tercera enseñanza de Saskia Sassen nos lleva a la futura quiebra de nuestro sistema académico-universitario. Una de las científicas más importantes de nuestra época no ha conseguido ningún sexenio, ninguna acreditación, frente a los criterios de nuestras agencias de evaluación, que anteponen siempre el mismo criterio: tres publicaciones JCR (Journal Citation Reports) en los últimos cinco años. Sassen no tiene ni una, sino que ha publicado libros e informes, fruto de proyectos de investigación de verdad y referencias fundamentales para académicos comprometidos, ha publicado numerosos artículos en medios de gran difusión, etc., pero se ha resistido a la práctica de inflar su currículum con artículos estandarizados sin interés ni lectores, más allá de círculos de amigos de citación mutua. Estamos entregando nuestra calidad científica a Thompson Reuters (la empresa gestora de los JCR) igual que la calificación de nuestras economías a Fitch, Moody’s y Standard & Poor’s. La estandarización de nuestra enseñanza universitaria y de nuestra producción científica nos llevará a universidades sin debates, investigaciones sin compromiso y un sistema académico sin pensamiento.

El tan merecido premio para Saskia Sassen nos deja, por lo tanto, un sabor agridulce porque puede representar un galardón para una representante de una estirpe en proceso de extinción. (Köhler, 2014)

Partiendo de los pseudosaxiomas formulados por el catedrático de Historia Antigua de la Universidad de Santiago José Carlos Bermejo Barrera (2006) pretendemos examinar las causas y consecuencias del modelo de evaluación y de los criterios aplicados en España. Los mecanismos de evaluación no son neutrales, ni proceden del campo de la ciencia, sino que atienden a lógicas mercantilistas y geoestratégicas. Para evidenciar dichas cuestiones se ha realizado una aproximación teórica crítica desde un diseño metodológico fundamentado en un análisis bibliográfico, para posteriormente proceder al estudio de la cuantificación y jerarquización de las publicaciones como unidad de medida dentro del ranking de Journal of Citation Reports (JCR) de 2015, teniendo en cuenta distintas variables, entre otras, su pertenencia al ámbito de las Ciencias o Ciencias Sociales o su posicionamiento estratégico teniendo en cuenta otros ítems objetivables y de tipo externalista, tales como el idioma y el lugar de publicación. Partimos especial, aunque no exclusivamente, en los pseudoaxiomas tres y cuatro mostrados por Bermejo:

1. 1. Solo los científicos tienen la capacidad de valorar no solo el desarrollo de su propia disciplina, sino también el sistema global (institucional, político y económico) de producción del conocimiento.
2. 2. La producción del conocimiento es un proceso formalizable e incluso cuantificable, de acuerdo con unos parámetros de validez universal.
3. 3. Como en todo proceso de cuantificación, es necesario establecer una unidad de medida, y esa unidad de medida debe ser algún tipo de publicación.
4. 4. Las publicaciones están jerarquizadas, de acuerdo con criterios fácilmente objetivables.
5. 5. Las publicaciones tienen una vida media, que está en función de la dinámica del descubrimiento rápido, que suele caracterizar a la mayor parte de los campos de la investigación científica.
6. 6. Esa dinámica del descubrimiento rápido hace que la ciencia pueda prescindir sistemáticamente de su pasado y pueda predecir su propio futuro.

En la argumentación inicial de la inconsistencia de los pseudoaxiomas tres y cuatro, Bermejo (2006) sostiene:

En todos los procesos de evaluación se establece como criterio fundamental que existe una unidad a partir de la cual se puede establecer el capital intelectual de un científico. Esa unidad suele ser básicamente el paper o artículo, ya sea publicado en una revista o presentado en un congreso.Esos átomos del capital intelectual se jerarquizan en función de una serie de criterios, que podríamos llamar de tipo externalista. A saber: por la jerarquía de la revista, por la importancia del congreso, e incluso dentro de éste por la jerarquía institucional, según sea un póster, una comunicación, una ponencia o una conferencia.Si examinamos este hecho hay algo que llama extraordinariamente la atención, y es que ningún criterio de los expuestos entra a valorar el contenido de esas contribuciones, sino que se limita a establecer su nivel de distinción frente a la masa anónima del conjunto de los investigadores.Se llama distinción al hecho sociológico del establecimiento de algún tipo de jerarquía social basada en la posesión de un determinado tipo de bienes: materiales (dinero o bienes inmuebles) y simbólicos (prestigio sagrado, artístico, intelectual o militar). Estos bienes simbólicos configuran un sistema de honores, que únicamente tiene validez para el grupo social que los reconoce […]. Tendremos consecuentemente que la evaluación del conocimiento científico como tal no existe, ya que no se valoran los contenidos, sino simplemente los signos externos. (Bermejo, 2006)

2. Desarrollo: el modelo de difusión de la información científica y evaluación en España

El sistema español de ciencia y tecnología considera como prueba objetivable de la calidad del trabajo de un investigador el llamado factor de impacto, que de facto mide su “visibilidad”, dentro del ámbito de la comunidad científica de un determinado área de conocimiento, aunque este criterio es tramposo², ya que ese “factor de impacto” no contempla las tiradas, número de visitas en publicaciones online, traducciones, sino el formato, es decir, si se encuentran indexadas en las bases de datos de JCR o Scopus³.

La Agencia Nacional de Evaluación de la Calidad y la Acreditación (ANECA) define el factor de impacto como

[...] uno de los criterios más utilizados en la actualidad para evaluar las revistas científicas. Se trata de un criterio difundido y aplicado por el JCR) del Institute of Scientific Information (ISI). El JCR es el índice bibliométrico más frecuentemente utilizado. Ayuda a evaluar la importancia relativa de una revista, especialmente si se compara con otras del mismo campo⁴. (ANECA, 2011, p. 12)

Esta entidad valora la experiencia investigadora hasta un máximo de 60 puntos sobre 100 en las figuras de ayudante doctor (AD), profesor contratado doctor (PCD) y profesor de universidad privada (PUD), de 50 puntos en la figura de profesor titular universitario (PU) y de 55 en profesor catedrático universitario (CU) “en especial la demostrable mediante resultados publicados. Se requiere que los solicitantes acrediten una actividad investigadora intensa, desarrollada de forma continuada en el tiempo y centrada en unas líneas de investigación que permitan establecer cuál es su campo de investigación” (ANECA, 2007, p. 4). Con respecto a las publicaciones científicas con proceso anónimo de revisión por pares y patentes internacionales en explotación, la ANECA valora

[...] preferentemente las aportaciones que sean artículos en revistas de reconocido prestigio, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el Subject Category Listing del Journal Citation Reports del Science Citation Index (SCI), del Social Sciences Citation Index (SSCI) y del Arts and Humanities Citation Index (AHCI) (Institute of Scientific Information, -ISI- Philadelphia, PA, USA), en el Philosopher’s Index, en el Répertoire Bibliographique de Louvain o similares. (ANECA, 2007, p. 2)

Dichos criterios no son exclusivos de la agencia nacional, sino que las entidades autonómicas también utilizan estas categorías como instrumentos de cuantificación. Según los criterios específicos de evaluación de la Agencia Andaluza del Conocimiento de la Consejería de Economía, Innovación, Ciencia y Empleo de esta Comunidad Autónoma (DEVA), la experiencia investigadora y de transferencia del conocimiento es evaluada con un máximo de 55 sobre 100 puntos para la figura de AD y de 55 puntos para PCD y PUD, teniendo en cuenta varios méritos, entre los que se encuentran las publicaciones en revistas científicas con proceso anónimo de revisión por pares:

Se valorarán preferentemente los artículos en revistas de prestigio reconocido, aceptándose como tales las que ocupen posiciones relevantes en los listados por ámbitos científicos en el Subject Category Listing del Journal Citation Reports (JCR) del Science Citation Index (SCI), del Social Sciences Citation Index (SSCI) y del Arts and Humanities Citation Index (A&HCI) del Institute for Scientific Information (ISI), Philadelphia, PA, USA o similares, Las revistas incluidas en otras bases de datos internacionales propias de determinados ámbitos del saber, se consideran como una referencia de calidad. Las publicaciones electrónicas se valorarán cuando aparezcan en los listados del ISI. Si ninguno de los ámbitos de estos listados se adecuara a la especialidad del solicitante, la Agencia Andaluza del Conocimiento podrá utilizar otros criterios que deberá hacer públicos. (DEVA, 2016a, p. 2-3 & DEVA, 2016b, p. 2-3)

De hecho, en el documento de preguntas frecuentes sobre el programa de acreditación del profesorado, la DEVA alude específicamente que “el índice bibliométrico más utilizado es el JCR y puede ser consultado en la web http:// www.accesowok.fecyt.es/jcr. Pero también existen otros como el SCI (Science Citation Index), el SSCI (Social Sciences Citation Index) o el A&HCI (Arts and Humanities Citation Index)” (DEVA, 2015, p. 7).

Esta indexación define el valor científico de una revista dentro de un proceso de cuantificación del nivel de distinción del bien simbólico, por lo que puede considerarse como el indicador de calidad de sus trabajos, polarizando la evaluación científica en función de los datos ofrecidos en el informe Journal of Citation Report (JCR) elaborado por la empresa privada Thomson Reuters, a través de su producto Web of Knowledge (WOK), y la compañía Elsevier, mediante su producto Scopus.

La Fundación Española para la Ciencia y la Tecnología (FECYT), dependiente del Ministerio de Economía y Competitividad, paga anualmente una licencia de millones de euros (el gasto anual para la suscripción a la WOK es superior a los ocho millones de euros –de 2005 a 2008 se pagaron 25 millones−, y el gasto de universidades, CSIC y OPIS para la suscripción de Sciencie Direct (Elsevier) es superior a los 23 millones de euros). Este hecho contrasta con la política de otras entidades punteras, como la biblioteca de la Universidad de Harvard, una de las más ricas del mundo, que en 2012 declaró que no continuaría pagando los más de tres millones y medio de dólares al año que costaba la suscripción a las mayores revistas científicas y recomendó a sus investigadores publicar en revistas de acceso abierto (Sample, 2012).

Se puede afirmar que el sistema se mantiene porque que se sufraga a través de fondos públicos tanto la financiación como la difusión del producto de la empresa Thomson Reuters y ello permite el desarrollo de un sistema comercial de evaluación que durante años ha actuado en régimen de monopolio. En la actualidad, se están produciendo correcciones en el equilibrio del funcionamiento de este mercado del conocimiento hacia un duopolio, por la irrupción de la transnacional holandesa Elsevier⁵. Según Manzano-Arrondo (2015), “se parte de un modelo de productividad importando de forma acrítica y literal desde el mundo empresarial”, que es simplificado de forma contraproducente y extrema.

Salvo excepciones como Holanda⁶, los ministerios de Ciencia y Tecnología delegan la autoridad y el liderazgo en materia de evaluación científica a dos grandes corporaciones multinacionales sobre la base exclusiva de la autoatribución que practican dichas empresas. Y lo que es aún más grave, este proceso excluye cualquier otro criterio emanado de la propia comunidad científica y que pudiera situarse al margen de este nicho de negocio, considerablemente rentable para las empresas poseedoras de las bases de datos (Borrelli, 2015a; 2015b; Erizalde, 2015; Bermejo, 2014; Greenwood, 2012; Martínez, 2012; Susanti, 2011; Morrison, Rudd, Picciano & Nerad, 2011; Vidovich & Currie, 2011; Worthington & Higgs, 2011; Musial, 2010; Sousa, 2006; Fine, 2006; Shumar, 2004; Ponce, 2003).

3. Las revistas de Ciencias Sociales en el ranking de JCR

Tabla 1

Revistas de Ciencias sociales vs. Ciencias

Elaboración propia a partir del 2015 Journal Citation Reports. Journal in the 2015 Release of JCR (Thomson Reuters, 2016)

Una vez introducida la problemática de la mercantilización en el contexto del análisis de las revistas científicas, conviene analizar cómo se articula el proceso de cuantificación de las publicaciones como unidad de medida dentro del ranking de JCR, tomando como referencia el área de conocimiento en dos grandes bloques (Ciencias y Ciencias Sociales), así como evaluando pormenorizadamente el posicionamiento geoestratégico de aquellos títulos que logran entrar en este ranking teniendo en cuenta dos variables objetivables y de tipo externalista: el idioma y el lugar de publicación. Se parte de la hipótesis de que existe una fuerte colisión entre los imaginarios políticos y académicos, como ha sido discutido por autores como Manzano-Arrondo (2015; 2013; 2012a; 2012b; 2011; 2010 & 2009), Jarab (2008) o Stensaker, Frolich, Gornitzka & Maasen (2008).

De las 11.761 revistas indexadas en el índice de Thompson Reuters en 2015, 8.618 son de Ciencias mientras que solo 3.143 pertenecen al área de Ciencias Sociales (tabla 1). Si bien el 23,73% de las publicaciones pueden considerarse parte del segundo grupo, entre las que se encontrarían las de Comunicación, llama la atención que las revistas sobre lenguaje computacional sean consideradas dentro del ámbito de las Ciencias Sociales, desvirtuando el contenido de las mismas por el propio proceso de cuantificación del capital intelectual a través de unidades de medida que no se corresponden con las áreas de conocimiento reales.

Tabla 2

Revistas en inglés

Elaboración propia a partir del 2015 Journal Citation Reports. Journal in the 2015 Release of JCR (Thomson Reuters, 2016)

Si se considera el idioma como criterio de evaluación, de las más de 11.000 revistas pertenecientes a la última clasificación JCR (Thomson Reuters, 2016), 9.580 publicaciones son en inglés, frente a 1.568 que se encuentran en otras lenguas, lo que supone cerca del 14% de las publicaciones (tabla 2). En este sentido, podemos afirmar que “la cultura anglosajona adquiere progresivamente un mayor protagonismo cultural y lingüístico, hasta llegar al estado de hegemonía” (Manzano-Arrondo, 2015, p. 209). La hegemonía lingüística del inglés en las publicaciones científicas (Granda, 2003; Matías, 2013; Valero, Jiménez & Coca, 2013) se refrenda con un 86% de revistas en este idioma en la última clasificación publicada.

Tabla 3

Revistas por países

Elaboración propia a partir del 2015 Journal Citation Reports. Journal in the 2015 Release of JCR (Thomson Reuters, 2016)

Cont. Tabla 3

Revistas por países

Elaboración propia a partir del 2015 Journal Citation Reports. Journal in the 2015 Release of JCR (Thomson Reuters, 2016)

Este proceso se observa también al considerar el lugar de publicación de las revistas científicas. En el procedimiento de revisión realizado se demuestra una clara concentración de la producción en Estados Unidos (3.960 publicaciones) e Inglaterra (2.553), a una distancia considerable del tercer país con más publicaciones, Holanda (837). Si se analiza en términos absolutos, podemos afirmar que de las más de 11.000 revistas indexadas cerca de 6.500 son editadas entre estos dos países, lo que genera una desigualdad evidente, al aglutinar casi la mitad de las publicaciones. Este desequilibrio puede explicarse gracias a lógicas geoestratégicas.

Alemania es el cuarto país mejor posicionado en el ranking (685), mientras que Japón, con 283 publicaciones, se encuentra en el quinto puesto, por delante de China (230), Australia (223), India (219) y Suiza (217).

Asimismo, es llamativo el caso de Rusia, una potencia por el volumen y la calidad de su investigación en muchas áreas de conocimiento, con solo 180 publicaciones indexadas, seguido de Brasil (143), donde se ha promovido en los últimos años una ambiciosa política científica para aumentar el número de revistas con alto índice de impacto, propiciando que este sea el país de América Latina mejor posicionado, seguido de lejos por México (43), Chile (42), Argentina (22), Colombia (18) o Venezuela (9).

Por último, es destacable el caso de países fuertemente influenciados por la geopolítica mundial como Irán (96), Singapur (64), Emiratos Árabes Unidos (37), Israel (24), Malasia (15) o Arabia Saudí (10).

4. Conclusiones

La Universidad debe alejarse de las prácticas relacionadas con la mercantilización del conocimiento y preocuparse por la ciencia y la transformación social. El actual duopolio de las empresas que gestionan los rankings de las publicaciones científicas internacionales afectan negativamente a la evaluación del conocimiento universitario, generando dinámicas perversas en la acreditación del profesorado investigador en España, principalmente en las primeras etapas.

El Programa de Evaluación del Profesorado para la contratación en España, que evalúa, entre otros méritos, las actividades docentes e investigadoras de los solicitantes para las figuras de profesor universitario contratado (AD, CD y PUD) valora preferentemente las publicaciones científicas en revistas “de reconocido prestigio”, aceptándose como tales las que ocupen posiciones relevantes en determinados listados, entre los que destaca el Journal Citation Reports de la empresa privada Thopmson Reuters.

Estas clasificaciones internacionales se basan en procesos de cuantificación del capital intelectual mediante criterios de evaluación fácilmente objetivables y de tipo externalista que no valoran la contribución real de las publicaciones, sino el nivel de distinción de estos bienes simbólicos.

Entre las causas y consecuencias de este modelo de evaluación no neutral y de los criterios aplicados en España se han podido evidenciar colisiones entre los imaginarios políticos y académicos que promueven una clara hegemonía de las Ciencias sobre las Ciencias Sociales. Asimismo, el análisis de las publicaciones estudiadas del ranking JCR 2015 elaborado por Thomson Reuters, ha permitido evidenciar lógicas geoestratégicas y mercantilistas que promueven una hegemonía de los artículos en inglés sobre los escritos en otros idiomas, que también se demuestra al observar que casi la mitad de las revistas se editan en Estados Unidos e Inglaterra.

Frente a esta perspectiva cuantitativista de la evaluación promovida por una tendencia editorial global, se debe apostar por huir de un modelo basado en ranking competitivos asociados al acceso de recursos concebidos como escasos, como aludía el profesor de la Universidad de Salamanca, Vicente Manzano- Arrando (2015), y empoderar a la comunidad universitaria como sujeto político para gestionar un nuevo sistema de evaluación al margen de este nicho de negocio.

Referencias

DEVA [Agencia Andaluza del Conocimiento de la Consejería de Economía, Innovación, Ciencia y Empleo] (2015). Documento de preguntas frecuentes sobre el programa de acreditación del profesorado. Recuperado de http://bit.ly/2hs2WDC.

DEVA [Agencia Andaluza del Conocimiento de la Consejería de Economía, Innovación, Ciencia y Empleo] (2016a). Criterios específicos de evaluación de ayudante doctor. Recuperado de http://bit.ly/2gxEEq3.

DEVA [Agencia Andaluza del Conocimiento de la Consejería de Economía, Innovación, Ciencia y Empleo] (2016b). Criterios específicos de evaluación de profesor contratado doctor y profesor de la universidad privada. Recuperado de http://bit.ly/2hs2WDC.

ANECA [Agencia Nacional de Evaluación de la Calidad y la Acreditación] (2007). Programa de evaluación de profesorado para la contratación. Principios y orientaciones para la aplicación de los criterios de evaluación. Recuperado de http://bit.ly/2hBYpld.

Bermejo Barrera, J.C. (2006). La inconsistencia de las evaluaciones científicas: elogio del silencio. Revista Internacional de Filosofía Política, 27, 169-186.

Bermejo, J. C. (2014, 27 de mayo). La nueva servidumbre: microeconomía de las publicaciones científicas. Recuperado de http://bit.ly/1A4P2LE.

Borrelli, D. (2015a). Contro l’ideologia della valutazione. L’ANVUR e l’arte della rottamazione dell’università. Roma: Jouvence.

Borrelli (2015b). Questo non è un articolo... La mercificazione del lavoro universitario. H-ermes. Journal of Communication, 5, 55-74.

Elizalde, A. (2015). Las ciencias sociales y el desafío de la mercantilización del conocimiento. Polis. Revista Latinoamericana, 41. Recuperado de https://polis.revues.org/10914

Fernández, R., Martínez, Y. & Velasco, N. (2006). Indicadores y estándares internacionales de calidad universitaria. Calidad en la Educación, 25, 17-29.

Fine, M. (2006). Bearing witness: Methods for researching oppression and resistance- A textbook for critical research. Social Justice Research, 19 (1), 83-108.

Granda, J. (2003). Algunas reflexiones y consideraciones sobre el factor de impacto. Archivos de Bronconeumología, 39 (9), 409-417.

Greenwood, D. J. (2012). Doing and learning action research in the neo-liberal world of contemporary higher education. Action Research, 10 (2), 115-132.

Jarab, J. (2008). Reforming systems and institutions of higher education: Towards the creation of a European and global higher education area. Education, Citizenship and Social Justice, 3, 85-96.

Köhler, H.D. (2014, junio 14). La disidencia académica y el compromiso científico. La socióloga Saskia Sassen trabaja al margen de falsas excelencias e investigaciones banales. El País. Recuperado de http://bit.ly/1LO6WHU.

Lange, L.L. (2002). The impact factor as a phantom. Is there a self-fulfilling prophecy effect of impact? Journal of Documentation, 58 (2), 175-184.

Manzano-Arrondo, V. (2009). Qué cosa es esa de la universidad privatizada. Opciones Pedagógicas, 39, 112-124.

Manzano-Arrondo, V. (2010). La realidad significativa de investigación a través de las bases de datos. Revista Salvadoreña de Psicología, 1 (2), 20-34.

Manzano-Arrondo, V. (2011). El papel de la universidad en la sociedad de ignorantes. Científica, 12, 29-55.

Manzano-Arrondo, V. (2012a). La Universidad Comprometida. Vitoria: Hegoa.

Manzano-Arrondo, V. (2012b): Opresión y acción. En C. Cruz, C. Ibáñez & S. Moreno (Eds.) El traje del emperador. 13 propuestas para desnudar el poder. Sevilla: Atrapasueños.

Manzano-Arrondo, V. (2013). Editorial: investigar y publicar desde el compromiso con el cambio social. Revista Electrónica Interuniversitaria de Formación del Profesorado, 13 (3). Recuperado de http://bit.ly/2gEZBnO.

Manzano-Arrondo, Vicente (2015). Academia, evaluación y poder. Revista de la Asociación de Sociología de la Educación, 8 (2), 198-223.

Matías, A. (2013). La evaluación de revistas de psicología: correlación entre el factor de impacto, el índice H y los criterios Latindex. Investigación Bibliotecológica, 27 (61) 15-27.

Morley, L. & Aynsley, S. (2007). Employers, quality and standards in higher education: Shared values and vocabularies or elitism inequalities? Higher Education Quartely, 61, 229-249.

Morrison, E., Rudd, E., Picciano, J., & Nerad, M. (2011). Are you satisfied? PhD education and faculty taste for prestige: limits of the prestige value system. Research of Higher Education, 52, 24-46.

Musial, K. (2010). Redefining external stakeholders in Nordic higher education. Tertiary Education and Management, 16, 45-60.

Ponce, J. M. (2003). Algunos objetivos formativos ante los retos que la sociedad exige. En J. M. Sanz & J. M. Gómez (Eds.) Universidad. ¿Para qué? Madrid: Universidad de Alcalá.

Shumar, W. (2004). Global pressures, local reactions: higher education and neo-liberal economic policies. International Journal of Qualitative Studies in Education, 17, 823-839.

Sousa, B. (2006). La universidad popular del siglo XXI. Lima: Fondo Editorial de la Facultad de Ciencias Sociales.

Stensaker, B., Frolich, N., Gornitzka, A., & Maasen, P. (2008). Internationalisation of higher education: the gap between national policy-making and institutional needs. Globalisation, Societies and Education, 6, 1-11.

Susanti, D. (2011). Privatisation and marketisation of higher education in Indonesia: the challenge for equal access and academic values. Higher Education, 62, 209-218.

Usher, A., & Savino, M. (2006). Estudio global de los rankings universitarios. Calidad de la Educación, 25, p33-53.

Valero, J. A., Jiménez, E., & Coca, J. R. (2013). La perspectiva socio-hermenéutica en la evaluación del trabajo científico en España. Investigación bibliotecológica, 27 (59), 15-34.

Van Trigt, M. (2016, mayo 27). Alexandra Elbakyan, Scienza pirata. L’Internazionale, 1155, 70-72.

Vidovich, L., & Currie, J. (2011). Governance and trust in Higher Education. Studies in Higher Education, 36, 43-56.

Worthington, A., & Higgs, H. (2011). Economies of scale scope in Australian higher education. Higher Education, 62, pp. 387-414.

Notas