Introducción

De la revisión de la literatura sobre calidad de la educación universitaria se puede evidenciar que el concepto tiene historia y no se lo puede considerar como algo atemporal y absoluto (Cabrera, 2005; Arocho, 2010). Según establece Cabrera (2005), a comienzos de los años 60 existía una visión tradicional y estática de la calidad de la educación universitaria que se basaba en que la tradición de la institución, la exclusividad de los docentes, alumnos y la infraestructura disponible presuponían la calidad de la enseñanza y del aprendizaje. Sin embargo, si bien el término de calidad en la educación universitaria tiene diferentes acepciones y no existe una única definición, eso no ha impedido que surja la necesidad de medirla.

De acuerdo con la Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (UNESCO) (2007), un enfoque común es asociar la calidad con la eficiencia y la eficacia, considerando en ese caso a la educación como un producto y un servicio que satisfaga a la comunidad. Sin embargo, en ese mismo documento se afirma que estas dimensiones son fundamentales pero insuficientes. Dentro de las definiciones que se presentan en la bibliografía específica y la expresada por organismos internacionales dedicados al tema, en este trabajo adoptaremos la definición de calidad que declara la UNESCO (2007, p. 27): “La educación de calidad, en tanto derecho fundamental de todas las personas, tiene como cualidades esenciales el respeto de los derechos, la equidad, la relevancia y la pertinencia y dos elementos de carácter operativos: la eficacia y la eficiencia”. Es de destacar que esta definición coincide con muchos autores que tienen en cuenta las dimensiones de orden social al referirse a la calidad de las instituciones de educación superior (IES) (Tünnermann Bernheim, 2006).

En la educación universitaria, a raíz del fenómeno de la globalización, surge o se incrementa una serie de situaciones derivadas de ella, como la proliferación de universidades y otras instituciones (mayoritariamente las privadas) y la realización de funciones básicas de las universidades por otras instituciones (Cabrera, 2005, Pires y Lemaitre, 2008; Claverie et al., 2008). En este contexto, la medición de la calidad de la educación universitaria tiene diferentes motivaciones dependiendo de la perspectiva que se adquiera y toma distintos significados en función del tipo de persona o sociedad. En este sentido, Fernández Lamarra y Cóppola (2007) plantean que la idea de calidad para los académicos se vincula con los saberes; para los empleadores con las competencias; para los estudiantes con la empleabilidad; para la sociedad con ciudadanos respetables y competentes; para el Estado, en tanto, puede variar entre aspectos referidos al desarrollo social y humano, a la eficiencia, a los costos y a los requerimientos de capital humano. Según Albornoz y Osorio (2018), el tema es aún más complejo, ya que el concepto de calidad es dinámico y multidimensional, y muchos de los trabajos empíricos desarrollados han puesto en evidencia que los científicos definen la calidad de formas muy diferentes e incluso con enfoques antagónicos.

Teniendo en cuenta el concepto de calidad de UNESCO, en este artículo se presentan y describen las metodologías que se emplean para medir la calidad de la educación universitaria con el fin de identificar y analizar las dimensiones y los indicadores que se desprenden del concepto de calidad adoptado en cada caso. Los objetivos de la investigación son: a) realizar una comparación intrínseca de cada metodología; b) realizar una comparación entre las metodologías de medición de la calidad; y c) analizar la relación entre el concepto de calidad propuesto por UNESCO (2007) y los conceptos de calidad empleados para medir la calidad por parte de: i) las agencias de acreditación; ii) los rankings universitarios, y iii) las investigaciones que incorporan modelos de medición de la calidad de los servicios.

1. Perspectiva de medición de la calidad en la educación superior, por parte de las agencias de acreditación

A partir de los años 90, tanto a nivel internacional como en América Latina, los gobiernos nacionales han tomado medidas en pos de aumentar la autonomía financiera de las instituciones universitarias (Dias Sobrinho, 2007). En este aspecto, la asignación de los fondos a las universidades fue de forma global, de modo que cada institución, según sus objetivos institucionales, asignara las partidas correspondientes a personal, capital y demás ítems presupuestarios. Surge, entonces, la necesidad de que dichas instituciones rindan cuentas de esos fondos al Estado nacional y por esta razón, tanto en América Latina como en Europa, comenzaron con algunas experiencias aisladas de autoevaluación institucional hasta llegar a la creación de agencias de evaluación de instituciones y de acreditación de programas y carreras universitarias.

En este marco, Espinoza y González (2012) establecen que el concepto de calidad en la educación superior puede asociarse a dos enfoques. El primero se basa en el concepto de aseguramiento de la calidad y se refiere al cumplimiento de estándares mínimos que garanticen que el egresado tiene las competencias para desempeñarse adecuadamente en sus funciones en el mundo laboral. El segundo enfoque se inspira en el concepto de mejoramiento de calidad y se vincula al planteo de metas de superación continua por parte de las instituciones universitarias, inherentes a las propias instituciones o a sus programas académicos.

1.1. Fines y objetivos que persiguen las agencias de acreditación

Las agencias de acreditación se proponen realizar una evaluación más exhaustiva de la calidad de una institución de educación universitaria, y su propósito está relacionado al esfuerzo estatal de velar por la calidad de la educación superior (Velasco y Fernández, 2006; Claverie et al., 2008; Pires y Lemaitre, 2008; Silas Casillas, 2014). Su objetivo es el aseguramiento y el mejoramiento de la calidad institucional o de un programa determinado de la Institución. Según Espinoza y González (2012), los procesos de aseguramiento de la calidad son conducidos en algunos países por agencias de distinta dependencia: pueden ser de carácter público y establecidas por el gobierno, pues incumben al Estado, con personería jurídica, patrimonio y sistema jurídico propios (Colombia, Chile, Ecuador, Perú y Puerto Rico); de carácter gubernamental, dependientes de un sector o secretaría particular (Argentina, Bolivia, Brasil, Colombia, México, República Dominicana y Uruguay); de carácter privado (Chile y Puerto Rico); y a partir de organismos de las IES (Bolivia, Costa Rica, Panamá, Perú, República Dominicana y Uruguay) (Lemaitre, 2007).

Respecto a las agencias de América Latina, se puede decir que tienen distintos objetivos, como la evaluación de condiciones mínimas o autorización para funcionar, ofreciendo de esta forma una medida básica de control de calidad, o sea: asegurar el funcionamiento de instituciones que satisfagan ciertos criterios mínimos de calidad (Chile, Colombia, Argentina y organismos de distintos países), mientras que otras se concentran en la acreditación de carreras o programas, en forma voluntaria (Costa Rica, Chile, Colombia o Paraguay) u obligatoria, como son los casos de carreras específicas en Argentina, Chile, Colombia, Cuba (Pires y Lemaitre, 2008; PalomaresMontero et al., 2008).

Los modelos y experiencias de evaluación y acreditación son muy diversos, aunque se visualiza que todos involucran sistemas de aseguramiento de la calidad con el fin de: autorizar a funcionar a nuevas instituciones, evaluar, acreditar o auditar; y se aplican a nuevas instituciones, carreras, estudiantes o programas (PalomaresMontero et al., 2008).

A diferencia de los procesos que se llevan adelante en forma externa, asociados generalmente a la evaluación o acreditación, los procesos internos de evaluación y de mejora de la calidad -desarrollados por las propias IES- que son promovidos desde las autoridades gubernamentales y sus instrumentos de políticas establecidas, conllevan al aseguramiento de la calidad. En este sentido, se observa que los sistemas de aseguramiento de la calidad se proponen evaluar a la institución de educación superior como un todo, en lugar del conjunto de carreras que ella imparte. En general, prevalece que la institución es el objeto de evaluación en la mayoría de los países, cuyo fin es el desarrollo de procesos de mejora continua de las instituciones, sus carreras y programas, a través de las auditorías académicas. Se utiliza la autoevaluación o evaluación interna (EI) como base y la evaluación externa (EE) como verificación (Palomares-Montero et al., 2008). Estos autores resaltan que en el proceso de autorización a funcionar (o licenciamiento) prima la EE, mientras que para la acreditación ambos procesos son importantes, y para el caso de la auditoría académica importa la EI, principalmente.

A través del aseguramiento de la calidad en la educación superior, se pretende satisfacer adecuadamente las necesidades del país, ser más eficientes en el uso de los recursos disponibles y entregar un servicio satisfactorio que dé garantías a toda la comunidad (Espinoza y González, 2012).

En América Latina y en Europa han surgido agencias destinadas a fortalecer el aseguramiento de la calidad, como por ejemplo en España, la Agencia Nacional de Evaluación de la Calidad y la Acreditación (ANECA). A partir de las experiencias de las agencias nacionales existentes en Dinamarca, Francia, Holanda y el Reino Unido, se creó en 2000 la European Association for Quality Assurance in Higher Education (ENQA) (Silas Casillas, 2014), cuyo surgimiento ha logrado elevar los indicadores de calidad de las universidades europeas con su apoyo y seguimiento (de Vergara et al., 2014). Por su parte, en los Estados Unidos el interés en el aseguramiento de la calidad es tan importante que existen organizaciones como el Council for Higher Education Accreditation (CHEA) que agrupa más de 3000 IES y 60 agencias acreditadoras, y cuyo rol es la acreditación y la atención de los temas de calidad ante el gobierno de ese país. Además de los ya mencionados, otros organismos internacionales (OCDE, 1. ENQA,2 . Commission on Colleges Southern Association of Colleges and Schools, CIHE,3 . HEFCE,4 . PNUD, 5. Banco Mundial y la Unión Europea, entre otros), tanto públicos como privados, definen distintos indicadores para evaluar la calidad y toman como criterio de análisis el contexto en el que se desarrolla la evaluación, si se evalúa una institución o un programa educativo (Palomares-Montero et al., 2008).

En Argentina, la Comisión Nacional de Evaluación y Acreditación Universitaria (CONEAU) se crea a partir de la aprobación de la Ley de Educación Superior (LES) N°24.521/95. La calidad es asimilada a la evaluación externa y a la acreditación, y se promueve a través de dos procesos obligatorios por los que deben transitar las universidades en los períodos establecidos en la LES (Cabrera, 2005; Pires y Lemaitre, 2008). La obligatoriedad de los procesos permite a todas las instituciones la posibilidad de acreditar la propia institución y las carreras (CONEAU, 2012). La CONEAU toma en cuenta los indicadores que la institución considere relevantes para reflejar el nivel de actividad (indicadores referidos a características de los estudiantes y a su rendimiento académico, a la calidad de la docencia, a la calidad de la investigación, a la calidad de la extensión, a la calidad de la gestión institucional, al nivel de recursos utilizados para la docencia y para la investigación, entre otros). Asimismo, propone a las instituciones un conjunto de contenidos orientadores que deberán ser tenidos en cuenta en el último paso de la autoevaluación o evaluación interna, de modo que se obtenga una mirada holística, sistemática e histórica de toda la institución: docencia, cuerpo docente, investigación, extensión, infraestructura y equipamiento, e integración institucional (CONEAU Nº 382/11).

1.2. Indicadores de evaluación de la calidad

A partir del trabajo de investigación realizado por Palomares-Montero et al. (2008), en el que se revisan los sistemas de indicadores para la evaluación de IES, se puede observar que, en muchos países de Europa y América del Norte, diferentes organizaciones han elaborado propuestas dedicadas al estudio de indicadores de evaluación de la calidad de las IES o de sus programas educativos. Por otro lado, en la región de América Latina y el Caribe también existen numerosas investigaciones sobre la evaluación de la calidad de la educación superior y la acreditación de IES, programas académicos y carreras universitarias.

1.2.1. La evaluación de las IES

Los países de Iberoamérica adoptan distintos enfoques y modelos de evaluación institucional aún más notorios que lo que se puede observar en la acreditación de programas. Unos están más vinculados a la evaluación institucional en pos del mejoramiento (Argentina), mientras que otros se enfocan en la acreditación institucional, orientados a resultados que cumplan ciertos criterios o estándares que deben alcanzar las instituciones, ya sea para certificar la calidad de la IES o para restringir a la IES o establecer normativas de acuerdo al resultado (Strah, 2020). Asimismo, en Iberoamérica predomina la denominación de acreditación institucional (excepto en Argentina, Andorra y Cuba).

La diferencia entre ambos procesos es que los modelos de acreditación producen un resultado y la evaluación institucional plantea constituir un proceso para el mejoramiento institucional; aunque todos los sistemas, incluyendo estos dos procesos, definen mecanismos para el mejoramiento institucional (Strah, 2020).

1.2.2. La evaluación de los programas

En los países de la región -a excepción de Honduras, Nicaragua, República Dominicana, El Salvador y Guatemala-, las agencias o comisiones creadas al efecto son las que tienen la función de acreditación de programas de grado a los fines del aseguramiento de la calidad de la educación superior. Se observan sistemas que acreditan la totalidad de las carreras que dictan las IES u otros en los que solo se define acreditar programas de ciertas áreas disciplinarias; en algunos es obligatoria para todos los programas que desarrollan las instituciones del país o para un grupo de programas según la disciplina, o es voluntaria; también hay sistemas que establecen un piso de calidad indicado por la acreditación o en los que la acreditación conlleva un sello de excelencia (Strah, 2020).

En general, los programas de posgrado son también acreditados por las agencias, a excepción de ciertos países: Bolivia, Uruguay, Guatemala, Honduras, El Salvador, Nicaragua y República Dominicana. De mismo modo que lo que sucede en el grado, existen diferencias en los sistemas de los países como la obligatoriedad o acreditación voluntaria, y en su alcance, en el sentido de si se acreditan todos los programas o solo algunos dentro de ese grupo.

En la Tabla 1 se presentan las agencias de acreditación y organizaciones junto con las dimensiones que evalúan al momento de medir la calidad de instituciones o programas académicos.

A partir de la información que se presenta en la Tabla 1 se observa que las propuestas de medición de la calidad de IES (Proyecto INES, ENQA, CIHE-NEASCC, SACS, HEFCE, AQU, SINAES, CNA, CONAEVA, CIEES, SINAES, CONAP, CONEAU y UNESCO) se refieren casi en su totalidad a indicadores para definir la misión y estructura organizativa de la universidad. Se evidencia que la mayoría de las agencias y los organismos consideran principalmente, respecto a las IES, los indicadores relacionados con los procesos educativos o la enseñanza, el capital humano y los recursos, la organización institucional y el rendimiento estudiantil.

Por otro lado, los sistemas dedicados a la medición de la calidad de programas (CHEA, USDE, ABET Y ANECA), si bien coinciden en los indicadores mencionados para las IES, ponen énfasis en el rendimiento estudiantil, la organización del programa educativo (los programas ofertados, desarrollo de nuevos programas, entre otros) y las políticas de medición de la calidad (acreditación de programas o carreras) y el capital humano y los recursos (personal docente e investigador). De esta manera, al delimitar los propósitos de la institución y su planificación, se verifica si los recursos disponibles fueron utilizados adecuadamente.

En menor medida, se encuentran propuestas que incluyen indicadores relativos a la investigación que permiten valorar en qué medida la universidad puede desarrollar de forma adecuada sus funciones, así como al impacto en la sociedad y a la vinculación con el medio. Ya sea de forma directa o indirecta, todas las propuestas estudiadas se refieren a los recursos humanos, financieros o físicos disponibles en la universidad para cumplir con sus funciones.

En particular, se menciona el Proyecto INES, por el cual la OCDE difunde anualmente una serie de indicadores internacionales de la educación recolectados mediante fuentes secundarias. Cabe mencionar que los indicadores presentados en la Tabla 1 relevan los resultados logrados por institución y su impacto en la sociedad, utilizando el índice de alfabetización o la participación en el mercado laboral teniendo en cuenta el logro educativo, entre otros (Palomares-Montero et al., 2008). En general, las agencias de acreditación de universidades coinciden en que los indicadores los define cada institución en pos del cumplimiento de la misión y los objetivos institucionales, y se visualiza que mayoritariamente coinciden en las dimensiones a evaluar. Cabe destacar que el CNA de Colombia, dentro de la revisión realizada, es la única que establece explícitamente qué es lo que se evalúa: integridad, equidad, idoneidad, responsabilidad, coherencia, transparencia, pertinencia, eficiencia y eficacia.

Por último, a partir de una revisión de trabajos de investigación de autores que han analizado los indicadores para medir la calidad de la educación universitaria (Cave et al., 1997; García-Aracil y Villarreal, 2008), se observa que la mayoría de los autores coincide en que los sistemas de indicadores deben tener el propósito de informar el grado en que se logran los objetivos que persigue cada institución (OCDE, 2004; ENQA, 2005; Commission on Colleges Southern Association of Colleges and Schools, 2006; CIHE, 2007; HEFCE, 2007; Palomares-Montero et al., 2008).

2. La medición de la calidad en la educación superior por parte de los rankings internacionales

En la década del 80, a partir de la masificación de la educación superior en el mundo, y como consecuencia de ello, la diversificación del entorno académico, la competencia y la comercialización de la educación universitaria provocaron la necesidad, por parte de las IES, de demostrar su calidad (Cabrera, 2005; Quiles y de Gracia, 2015). Este entorno competitivo ha fomentado la implementación de numerosas iniciativas con el fin de desarrollar metodologías e instrumentos de evaluación de la calidad que ofrezcan una visión comparativa de las IES y países, con la correspondiente difusión de los resultados a través de los rankings internacionales (Quiles y de Gracia, 2015).

Como una forma de evaluar a las universidades surgen los rankings universitarios: clasificaciones universitarias mundiales en forma de listas de IES, ordenadas a partir de una combinación de indicadores. Algunos rankings se apoyan principalmente en indicadores de investigación, basados en bibliometría o cibermetría, que utilizan casi exclusivamente datos cuantitativos derivados de resultados de investigación como artículos científicos y citas bibliográficas, o de su presencia en Internet, sitios, enlaces y menciones (se utilizan como fuentes de información a la Web of Sciencie de Thomson Reuters, Scopus o Google Scholar) (Aguillo, 2012), mientras que otros enfatizan en las encuestas de opinión en los que basan sus resultados combinándolos con otros datos objetivos.

Al analizar las dimensiones que miden estos rankings y sus indicadores, se puede decir que los que toman en cuenta principalmente indicadores de investigación definen implícitamente a la calidad basada en la excelencia de la investigación, mientras que los demás comparan a las IES tomando criterios de carácter subjetivo como las encuestas de opinión sobre la reputación e imagen institucional de las universidades, asociando la calidad con la reputación institucional (Ordorika y Rodríguez, 2010; Barsky, 2014).

En esta instancia se analizarán los rankings mundiales más relevantes en función de su transcendencia y difusión, que ya hace un tiempo se han instalado en el ámbito de la educación superior. Es de destacar que la cantidad y la variedad de rankings globales, nacionales y especializados en Estados Unidos, Europa y Asia han aumentado en los últimos años, generando así que los gobiernos y las IES en América Latina los tomen en cuenta en el establecimiento de políticas, casi como un modelo normativo de calidad a seguir (Albornoz y Osorio, 2018).

De la bibliografía consultada y los estudios previos existentes respecto a los rankings, el trabajo de Albornoz y Osorio (2018) presenta una amplia descripción y caracterización que será tomada como referencia, principalmente para realizar luego la comparación entre las metodologías.

2.1. Surgimiento de los rankings. Objetivos y utilidad

Los rankings universitarios, nacionales o internacionales, se enfocan en proveer información a estudiantes y a sus familias respecto a las universidades a las que desea postular el estudiante. Además, ofrecen un mecanismo a través del cual la sociedad evalúa y controla la calidad de la educación superior (Velasco et al., 2006; Aguillo, 2012; Albornoz y Osorio, 2018; de Fanelli y Carranza, 2018).

Los rankings surgen en América del Norte como un hábito de clasificar en forma competitiva todo lo mensurable, en especial aquellos aspectos vinculados al deporte y a la educación, como parte de una cultura nacional acostumbrada a la evaluación y la competitividad (Delgado-López-Cózar, 2012; Barsky, 2014).

Parece imposible de someter a las universidades a un tratamiento similar a escala mundial, ya que su naturaleza institucional es compleja, con distintos objetivos e historia; a su vez, agrupan carreras diferentes que son parte de disciplinas con tradiciones distintas respecto a los campos del conocimiento y de su epistemología (de Fanelli y Carranza, 2018). A pesar de ello, aparecen los rankings mundiales que jerarquizan universidades por mayor puntaje obtenido en distintas dimensiones (Barsky, 2014).

Originalmente, surgen como un producto norteamericano destinado al público local, cuyo objetivo es colaborar en la toma de decisiones respecto a la elección de las universidades en las cuales cursar los estudios; luego se globalizaron, llegando hasta Asia y Europa (Albornoz y Osorio, 2018). Al momento que surgió el Ranking de Shanghai, denominado Academic Ranking of World Universities (ARWU), elaborado por científicos de la Universidad Jiao-Tong de Shanghai en la República Popular China (Liu et al., 2005), según Aguillo (2012) solo existían algunas clasificaciones de carácter nacional que se basaban en el prestigio académico caracterizado por los costos de enseñanza, seguridad y servicios universitarios, entre otros.

Luego de la primera publicación del ranking ARWU en 2003, muchas instituciones de diferentes países comenzaron a modificar o adecuar sus políticas con el fin de incidir en sus sistemas universitarios en pos de mejorar los resultados en dicho ranking (Aguillo, 2012; Delgado-López-Cózar, 2012). Este ranking adquiere entonces transcendencia e importancia mundial y a partir de allí, según Albornoz y Osorio (2018), aprovechando ciertas carencias detectadas en este ranking, empiezan a aparecer otros rankings de universidades a nivel mundial. Entre los más destacados, aparecen en Reino Unido el Times Higher Education World University Ranking (THE), el Webometrics y el QS Word University (QS). Existen otros como el Scimago International Ranking (SIR) y el del Centre for Science and Technology Studies de la Universidad de Leiden (Holanda), reconocidos entre profesionales de educación superior, aunque con menor difusión en los medios de comunicación.

Según algunos estudios, los rankings mundiales sirven para confirmar las percepciones y las decisiones tomadas (Orozco et al., 2015), e informar a los gestores de la universidad sobre fortalezas y debilidades en sus actividades de docencia, investigación, extensión, gestión, infraestructura y todos los ámbitos evaluados. Al hacerse en forma competitiva y establecer un orden jerárquico, a las IES les permite compararse, saber dónde se encuentran, con qué institución deben competir para “mejorar” la institución, informar a los responsables de establecer las políticas educativas (regionales, nacionales o internacionales) para la toma de decisiones y planificar estratégicamente las instituciones o titulaciones o bien su financiación (Delgado-López-Cózar, 2012; Aguillo, 2012).

Según Albornoz y Osorio (2018), en América Latina los rankings también tuvieron un gran impacto en las instituciones y en las comunidades académicas locales, produciendo diferentes reacciones. En Argentina y otros países de la región, los medios de comunicación se encargaron de hacer conocer estos disensos, críticas a la metodología utilizada para su elaboración, su normatividad implícita y las consecuencias derivadas a los procesos evaluativos. Las universidades latinoamericanas han ocupado posiciones muy bajas en los últimos años, lo que ha llevado a debates sobre este tema en el ámbito universitario, en el que se cuestiona principalmente el método para asignar los valores que producen el ordenamiento.

2.2. Descripción de los rankings. Características

A continuación, se describen las características generales de ciertos rankings.

2.2.1. Times Higher Education World University (THE)

Podemos clasificarlo como uno de los rankings basados en encuestas de opinión. Fundado en 2004 en Reino Unido, proporciona la lista definitiva de las mejores universidades del mundo con una fuerte concentración en la investigación, en las dimensiones de docencia, investigación, transferencia de conocimientos y perspectivas internacionales. A partir de esta información, que se publica en el sitio web del ranking, 6. los gobiernos y las universidades confían en sus datos y su capacidad para orientar las decisiones de los estudiantes a la hora de elegir dónde estudiar (Ordorika y Rodríguez Gómez, 2010).

El THE, como se muestra en la Tabla 2, utiliza 13 indicadores de rendimiento agrupados en cinco áreas o dimensiones, cuidadosamente ajustados para proporcionar las comparaciones más completas y equilibradas.

Para el ranking THE cada región es única, por lo que se hacen algunos ajustes para reflejar esa diferenciación y se ofrece, además, una selección de rankings, entre los que se encuentran: U.S. College Rankings, World Reputation Ranking, Latin America Rankings, Young University Rankings, Japan University Rankings, Asia University Rankings y Brics and Emerging Economies.

En el ranking de universidades de América Latina se utilizan los mismos 13 indicadores de desempeño, pero las ponderaciones se recalibran especialmente para reflejar las características de las universidades de economías emergentes.

2.2.2. QS World University

Este ranking, también basado principalmente en encuestas de opinión, fue creado en 2004 en el Reino Unido. En términos de tamaño y alcance, es un medio incomparable para medir el sentimiento en la comunidad académica, ya que recaba información de 2000 universidades en 130 países (Albornoz y Osorio, 2018). Publica las 500 primeras universidades. A partir de 2011, comenzó a publicar las 400 universidades principales de América Latina.

Utiliza seis parámetros simples (Tabla 3) para capturar efectivamente el rendimiento universitario:

Estos indicadores se refieren a investigación, enseñanza, internacionalización, empleabilidad, infraestructura de la universidad, aprendizaje a distancia, responsabilidad social, innovación, arte, cultura e inclusión, y otros criterios provenientes de los especialistas (Albornoz y Osorio, 2018). Además, para la publicación de las principales universidades de América Latina (QS-AL), si bien utiliza la misma metodología, incluye criterios adicionales de acuerdo con las prioridades de la región, como la internacionalización.

QS Stars entiende que las universidades son diferentes entre sí y, por lo tanto, deben evaluarse en una variedad de categorías que reconocen fortalezas distintas (Asia, Región Arábica, Latinoamérica, entre otros). La metodología utilizada para QS Stars, según lo establecido en su sitio oficial,7. considera que las universidades se evalúan en una serie de indicadores y, a partir de los resultados obtenidos, se les otorga entre una y cinco estrellas. Tanto la evaluación como sus resultados destacan tanto las fortalezas de las instituciones como las áreas a mejorar.

2.2.3. Academic Ranking of World Universities (ARWU)

El Academic Ranking of World Universities (ARWU) fue creado en China en 2003 por el Center for World-Class Universities (CWCU), en la Escuela de Graduados de Educación de la Universidad Jiao Tong (Shanghái). A pesar de que su objetivo original fue conocer el posicionamiento de las universidades chinas en comparación con las principales universidades del mundo (publicando anualmente las 500 mejores universidades del mundo), ha atraído una gran atención de universidades, gobiernos y medios públicos de todo el mundo.

Actualmente, clasifica todos los años la información de aproximadamente 1800 universidades y se publican las 1000 mejores instituciones. Se basa en seis indicadores objetivos agrupados en cuatro criterios o dimensiones como los que se observan en la Tabla 4. Para cada indicador se asigna un valor máximo de 100 a la mejor universidad y para las otras universidades el indicador se calcula como un porcentaje proporcional de ese valor máximo. En caso de que la distribución de los datos estadísticos de cualquier indicador presente una distorsión significativa, se emplean técnicas estándar de estadística para ajustar el indicador cuando sea necesario ..

2.2.4. CWUR Center for Word University Ranking

El CWUR comenzó como un proyecto en Jeddah, Arabia Saudita, con el fin de clasificar a las 100 mejores universidades del mundo. Ante la difusión y el interés de los medios y las universidades de ampliarlo, a partir de 2019 pasó de clasificar 1000 a 2000 de 20.000 universidades mejores de todo el mundo, pasando a ser el ranking académico global más grande del mundo. Mide desde 2012 la calidad de la educación y la formación de estudiantes, el prestigio de los miembros de las facultades y la calidad de sus investigaciones. No depende de encuestas ni de datos suministrados por las universidades (Albornoz y Osorio, 2018). Para ello utiliza siete indicadores objetivos y robustos para clasificar a las 2000 universidades más importantes del mundo. En la columna “Fuente” de la Tabla 5 se indica en qué se basa este ranking para obtener los datos para cada indicador.

Tabla 5. Definición de indicadores y métodos estadísticos ranking CWUR

2.3. Comparación de metodologías de los rankings estudiados

En la Tabla 6 se presenta una síntesis de dimensiones, indicadores y peso relativo respecto del total. Con el objeto de comparar los rankings se definieron cinco dimensiones -entorno aprendizaje, investigación, internacionalización, transferencia, encuesta e impacto-, cada una conformada por los indicadores utilizados por cada ranking.

Puede observarse que estos rankings tienden a sintetizar y suministrar datos cuantitativos sobre el prestigio o la reputación de los sistemas educativos y de las universidades (Orozco et al., 2015). Los rankings definen dimensiones y le dan un cierto peso relativo a cada una, lo que a su criterio define la calidad de una universidad, al establecer cuál es mejor que otra.

A continuación, se describen las características de la construcción de cada dimensión:

•Entorno aprendizaje: estos rankings ponderan la dimensión con un porcentaje que oscila entre un 30% y un 60% sobre el valor total que estima para cada universidad. Los rankings mayoritariamente se basan en encuestas de reputación cuya ponderación es casi un tercio del total, excepto en CWUR y ARWU, que no utilizan encuestas. En este último caso, con un porcentaje menor se evalúa la proporción de profesores/personal por alumno y la cantidad de personal académico con el máximo grado académico. A pesar de que ARWU y CWUR otorgan a esta dimensión un 60% y un 45% respectivamente, sumando el rendimiento per cápita de la institución, se basan principalmente en graduados y profesores con premios Nobel, medallas Fields y otros premios internacionales. En este punto surgen en la literatura algunos interrogantes: ¿se puede medir la capacidad docente de una universidad, la calidad de las facultades o la calidad de la enseñanza por el número de alumnos o de profesores que han ganado un premio internacional, Nobel o una medalla de reconocido prestigio en su especialidad? Y con respecto a la capacidad investigadora de una universidad, ¿es suficiente contabilizar lo publicado en Nature y Science y los artículos indexados en las bases de datos del Science Citation Index (SCI) y Social Sciences Citation Index (SSCI)? ¿Es representativa esta base de datos de las publicaciones en ciencias sociales? ¿Las publicaciones en humanidades no se consideran? (Delgado-López-Cózar, 2012). Para los estudiantes, según indica el sitio oficial del ranking QS, el factor determinado por la relación profesor/alumno es la medida más eficaz para medir la calidad de la enseñanza. Evalúa la medida en que las instituciones puedan proporcionar a los estudiantes un acceso significativo a los profesores y tutores, y reconocen que un alto número de personal por estudiante reducirá la carga de la enseñanza en cada académico individual. Este ranking le asigna un 20% del puntaje final de una institución a la proporción docentes/estudiantes. No obstante, tanto para QS como para THE, el máximo porcentaje dentro de la dimensión de entorno aprendizaje lo reciben las encuestas de reputación, que miden el prestigio de la universidad, y de ninguna manera la calidad o el grado de satisfacción. Estos rankings se apoyan en la idea de que el prestigio es indicador de calidad (Albornoz y Osorio, 2018). Aquí la cuestión es que las encuestas miden opiniones de diferentes actores del sistema universitario (alumnos, profesores, egresados, gestores, empresarios o empleadores); es decir, miden la percepción de la calidad universitaria, pero no la calidad propiamente dicha (Delgado-López-Cózar, 2012). En particular, CWUR agrega a esta dimensión un indicador de empleo con un sesgo importante, ya que pondera a los exalumnos de una universidad que han ocupado puestos directivos en las principales empresas del mundo, poniendo la mayor importancia en el éxito internacional y sin considerar otras posiciones relevantes como la función pública, actividades en ONG o emprendimientos exitosos (Albornoz y Osorio, 2018), lo que sería un indicio relacionado con la pertinencia. Es evidente que existe una considerable disponibilidad de información normalizada de forma global sobre investigación en relación con la docencia, razón por la cual se les dificulta a los rankings la evaluación de la calidad de la enseñanza, y por ende se le suele asignar menor peso en tanto dimensión (Barkey, 2014). Esta situación permite visualizar que los datos utilizados al momento de evaluar a la universidad sobre investigación están de alguna forma legitimados, ya sea a través de la evaluación previa por pares de las producciones para su publicación o porque el que realiza la cita en los artículos publicados es un par y evalúa positivamente su contribución. En cambio, la información respecto a la docencia que se releva en estadísticas a nivel nacional puede no ser del todo confiable para mostrar calidad. La tasa de egreso, el rendimiento académico de los alumnos, la duración real de las carreras versus la duración teórica y la relación docente-alumno son indicadores que dependen de información que en general no está homologada entre los organismos de estadísticas de los distintos países y requieren de una interpretación en el contexto de cada sistema de educación superior, lo que se transforma en una dificultad al momento de evaluar la función docente de las universidades (Pérez Rasetti, 2018). En Argentina, en particular, dado el ingreso irrestricto de las universidades estatales y muchas de las privadas, o con ingresos en este caso con limitaciones relativamente débiles, se determina un cociente muy alto si se lo compara con otras universidades de la región como Chile o Brasil. Lo mismo ocurre con el indicador que mide la cantidad de doctores que pertenecen al plantel docente de la universidad. El sistema tradicional argentino, de grado extenso y gran peso de especialidades y maestrías, ha provocado que, sobre todo en las disciplinas de mayor tamaño, sea escasa la cantidad de docentes doctores a pesar de los incentivos del Estado (becas). Llevarán mucho tiempo los cambios en esta temática. No ocurre lo mismo en países de la región como Brasil, que después de grados cortos y maestrías académicas de menor duración han ido aumentado la planta docente con doctorados. Esto ha sido considerado por el ranking QS-Al, ya que le asigna un 10% a este indicador. Sin embargo, dos de los indicadores más utilizados para medir la dimensión de enseñanza, asociados con la función docencia, cuentan con esa legitimación previa: exalumnos con premios y la empleabilidad de los egresados (Pérez Rasetti, 2018).

• Investigación: excepto QS y QS-AL, los rankings, al medir la dimensión de investigación a través de citaciones científicas y encuestas de reputación en investigación, responden a la idea de productividad de la investigación con un peso relativo que va desde el 54% al 60% entre las tres dimensiones que forman parte de ella. Se las considera solo si se encuentran en la base de datos Scopus o en el Science Citation Index, aunque el mayor porcentaje, entre el 30% y el 40% del total mencionado, se lo llevan las encuestas de reputación académica que se refieren tanto a la calidad de la enseñanza como a la de investigación. Es evidente que este dato lleva implícito a un único modelo de universidad centrada en la investigación, tradición histórica, cultura académica y alta reputación como criterio de calidad (Barkey, 2014; Albornoz y Osorio, 2018). De este modo, se determina la visión de lo que se entiende por el concepto de calidad, asimilado en gran medida a la excelencia en investigación, lo que supone el modelo normativo ideal de la universidad científica.

• Perspectiva internacional: de los rankings analizados, sólo THE y QS consideran a la perspectiva internacional con un 7,5% y 10% respectivamente. Se basan en que una universidad altamente internacional adquiere y confiere una serie de ventajas, como expone Pérez Rasetti (2018), y demuestra capacidad de atraer docentes y estudiantes de todo el mundo, lo que a su vez sugiere que posee una fuerte marca internacional e implica una perspectiva altamente global. THE tiene en cuenta la proporción de publicaciones de investigación totales de una universidad que incluyen al menos un coautor internacional.

3. La medición de la calidad en la educación superior a partir de los modelos de la calidad de los servicios

Según Capelleras y Vergés (2001), desde hace años la mayor parte de los autores aceptan, desde la perspectiva del marketing, una visión de la calidad del servicio que considere la percepción del cliente. Así surgieron varias investigaciones que desarrollaron un concepto operativo de la calidad del servicio, permitiendo la elaboración de escalas para su medición que han sido aplicadas a distintos servicios y cuya relevancia se debe a que suele implicar un incremento en la satisfacción y en la lealtad de los clientes (Capelleras y Vergés, 2001; Araya-Castillo, 2013). Tumino y Poitevin (2014) establecen que la mejor forma de conocer las expectativas verdaderas de los consumidores es consultándolos, pues es la única forma precisa, concreta y fiable de obtener esa información.

La calidad de los servicios no puede evaluarse del mismo modo en que se trata la de un producto o una manufactura; por esto fue necesario desarrollar técnicas específicas de medición (Tumino y Poitevin, 2014). En este sentido, se utiliza una escala de medida para evaluar la prestación del servicio en función de un conjunto de atributos representativos. La más comúnmente utilizada, aparecida a finales de los años 80, es la escala conocida como SERVQUAL (SQ) (Parasuraman et al., 1988). Este instrumento mide la calidad del servicio como la diferencia entre las percepciones y las expectativas de los usuarios de los servicios. Se ha utilizado en la realización de muchas investigaciones en empresas de servicios de distinta índole: bancos, aseguradoras, distribuidoras, hospitales, agencias de turismo, entre otras. El modelo agrupa cinco dimensiones para medir la calidad del servicio: fiabilidad (la habilidad de ejecutar el servicio prometido de manera fiable y cuidadosa), sensibilidad (la capacidad de respuesta hacia los usuarios para ofrecer un servicio rápido y adecuado), seguridad (el conocimiento y la atención de los empleados, y su capacidad para inspirar confianza y credibilidad), empatía (el grado de atención personalizada de la empresa a sus clientes) y elementos tangibles (la apariencia física de instalaciones, materiales y personas) (Parasuraman et al., 1988).

Otro instrumento, conocido como SERVPERF (SF), es el preferido por ciertos autores (Cronin y Taylor, 1994), porque presenta menos problemas de validez y se consideran menos indicadores, ya que solo se toma en cuenta la percepción del cliente.

En varios estudios en los que se aplicó SQ, se han detectado ciertos problemas relacionados principalmente con la definición y operacionalización de la calidad del servicio, como una diferencia entre las expectativas y las percepciones, la generalidad de la escala y de sus cinco dimensiones y sus propiedades psicométricas de la misma (Bigné Alcañiz et al., 1997; Capelleras y Vergés, 2001). Bigné Alcañiz et al. (1997) han realizado una revisión de varios autores que consideran clave el enfoque de la divergencia en la evaluación de la calidad del servicio, que se evidencia entre expectativas y percepciones para medir la calidad del servicio que muestra la aplicación de la escala SQ. En su artículo comparan ambos instrumentos SQ y SF, tres servicios (transporte, sanitario y enseñanza) y demuestran que SQ resulta más fiable para medir los servicios mencionados y tiene validez convergente, como así también demuestran que las cinco dimensiones (fiabilidad, sensibilidad, seguridad, empatía y elementos tangibles) identificadas por Parasuraman et al. (1988) pueden ser universales.

Por otro lado, Teas (1993) plantea un modelo de desempeño evaluado (PE, por sus siglas en inglés) que cuestiona la escala SQ, ya que el incremento de la diferencia entre las percepciones y expectativas no necesariamente refleja que aumente en forma continua la calidad percibida. Para Teas (1993), la conceptualización de las expectativas es un punto ideal en los modelos actitudinales y bajo este planteo sugiere un modelo específico. Propone puntuaciones ponderadas de la calidad del servicio (más altas para atributos con expectativas altas y percepciones también altas). No plantea dimensiones en este modelo, sino que establece elementos para que su modelo, basado en SQ, puntualice características de análisis. El autor expone dos conceptos al respecto: el modelo de desempeño evaluado (PE) y el modelo de calidad normalizada (NQ, por sus siglas en inglés), que integran el concepto de punto ideal clásico con el concepto de expectativas revisadas (Annamdevula y Bellamkonda, 2012).

Se observan dos enfoques: la calidad basada en la satisfacción de los clientes a través de la percepción del servicio recibido (Cronin y Taylor, 1994), y la calidad como la diferencia entre las expectativas y las percepciones de los clientes respecto al servicio (Parasuraman et al., 1988).

En la literatura especializada existe acuerdo respecto a la importancia de la calidad del servicio de la educación superior, y en particular de la universitaria, pues esto les permite a las universidades competir y actuar con eficiencia y eficacia en el entorno educativo (Araya-Castillo, 2013). Sin embargo, a través del relevamiento de diferentes autores que ha realizado Araya-Castillo (2013), se concluye que existen diferencias entre los investigadores respecto a lo que se entiende por calidad del servicio educativo específicamente, por lo que se puede decir que no existe consenso sobre cómo definir este constructo. Esto ha llevado a que las distintas investigaciones realizadas hasta el momento difieran tanto en la metodología a aplicar como en las dimensiones o los factores que utilizan y las escalas empleadas. Las variables son muy diversas y entre ellas puede mencionarse a la satisfacción del estudiante, la diferencia entre las expectativas y las percepciones del servicio percibido, toda la experiencia del estudiante en la institución, solo las percepciones del estudiante respecto al servicio percibido, la organización de los cursos, los planes de estudio, el tamaño de las clases, la planificación académica, la inscripción, el profesor, diferentes aspectos relacionados con la enseñanza y aprendizaje, la vida social que se genera, las actividades de recreación, el asesoramiento a los estudiantes, aspectos financieros, las oportunidades laborales de la carrera y el contacto con el mercado laboral, entre otras.

3.1. Objetivos, dimensiones e indicadores

Los instrumentos de medición de los servicios públicos, entre ellos la educación superior, miden las expectativas y las percepciones de la calidad del servicio basada en quien recibe o utiliza el servicio (el cliente) (Araya-Castillo, 2013; Oliva y Gómez, 2014).

En este nuevo entorno competitivo, la calidad del servicio es vista por las universidades como una decisión estratégica para satisfacer las necesidades de sus clientes (sus estudiantes) y posicionarse competitivamente en los mercados en los que participan (Araya-Castillo, 2013).

Se puede observar en la Tabla 7 los tres modelos mencionados en la sección anterior, sus dimensiones o factores, lo que miden y el resultado buscado. Algunos autores (Vergara Schmalbach y Quesada Ibargüen, 2011) afirman que la educación superior encontró que herramientas como las mencionadas en la Tabla 7 permiten a las universidades identificar los puntos importantes sobre cuáles deben trabajar y llevar adelante los procesos de mejora para satisfacer las necesidades de sus clientes.

En la Tabla 8a se muestra la diferencia de metodologías y los clientes, los modelos y los resultados para la evaluación de la calidad del servicio de las IES, según diferentes autores.

Los modelos de evaluación SQ y SF son los más utilizados desde la perspectiva de la percepción, aunque ambos presentan vacíos que aún no se han resuelto. Si bien es verdad que se han probado con cierto grado de éxito, algunos autores creen que no necesariamente pueden aplicarse al servicio de la educación superior (Annamdevula y Bellamkonda, 2012). El modelo SQ ha sido criticado además por ciertos autores como Kwek et al. (2010), quienes argumentan que las dimensiones consideradas en la escala de este modelo no representan las características de las universidades y de los ámbitos en que se insertan. Por otro lado, en la literatura se encuentran también argumentos de que los resultados que se obtienen con la escala SQ pueden variar según el sector de servicios (Araya-Castillo, 2013), debido al grado de contacto que se presenta entre clientes y la organización, algo sumamente relevante en el contexto educativo.

Annamdevula y Bellamkonda (2012) consideran que, si bien se ha centrado la atención en que el cliente es el “estudiante”, se deben desarrollar instrumentos de medición para evaluar la calidad del servicio desde una visión de ambos clientes, los internos y los externos, especialmente los clientes internos representados por el personal académico y de apoyo. Estos autores identificaron que otros clientes potenciales que forman parte del proceso de educación en su conjunto deben ser satisfechos: los padres, el gobierno, la industria o empresa, los empleadores, los empleados, la sociedad (Araya-Castillo, 2013; Oliva y Gomez, 2014). No existe consenso sobre quiénes deben ser considerados como clientes de las IES (Capelleras y Vergés, 2001; Araya-Castillo; 2013).

Otros trabajos coinciden en que la calidad del servicio percibido por los alumnos es un punto estratégico que sin dudas marca una diferencia en el sistema universitario actual (Martínez-Argüelles et al., 2013), por lo que consideran a los estudiantes como los principales clientes en el ámbito educativo (Araya-Castillo, 2013).

En la Tabla 8b se pueden apreciar las dimensiones y factores utilizados por cada estudio, donde se observan dimensiones relacionadas a la organización institucional, la organización académica, los profesores y a los alumnos. Se observa que las más elegidas por los autores son, en primer lugar, los contenidos del plan de estudios, y le siguen la competencia de los profesores, la capacidad de respuestas del personal y la efectividad de los procesos administrativos. Claramente se visualiza que es una evaluación intrínseca de la institución.

4. Comparación entre las metodologías estudiadas

En respuesta al segundo objetivo planteado, se presenta la comparación entre las metodologías de medición de la calidad implementadas por las agencias de acreditación, los rankings universitarios y las investigaciones que incorporan modelos de medición de la calidad de los servicios.

En primer lugar, desde el punto de vista metodológico los rankings privilegian una evaluación cuantitativa mayoritariamente, mientras que tanto los procesos de acreditación como los instrumentos de medición de la calidad de los servicios educativos son cualitativos.

• Los primeros hacen una jerarquización de las instituciones sobre la base de parámetros que intentan medir la calidad de la educación superior, el nivel de investigación y algunos otros aspectos de la actividad académica, con el objeto de informar y orientar a la opinión pública (Velasco y Fernández, 2006). Estos hacen una comparación entre universidades.

• Los procesos de acreditación de las instituciones procuran orientar a las IES en su plan de desarrollo particular para el mejoramiento de la calidad de la institución (Dias Sobrinho, 2007).

•Las universidades se conforman con metas y objetivos diferentes entre sí, por lo que es necesaria la construcción de indicadores propios para medir su calidad. Asimismo, los instrumentos de medición de la calidad de los servicios de la educación universitaria se basan en dimensiones que intentan valorar el servicio ofrecido por la institución (Capelleras y Vergés, 2001).

En estos últimos dos casos, la evaluación no es comparativa, sino intrínseca de la propia institución.

En segundo lugar, respecto a las dimensiones e indicadores que utiliza cada herramienta para la aplicación de su metodología, encontramos lo siguiente:

• Las agencias de acreditación emplean indicadores relacionados con la misión y estructura organizativa de la institución universitaria (organización institucional, procesos educativos o enseñanza, recursos y rendimiento estudiantil). Y, en menor medida, encontramos otros indicadores relativos a la investigación, al impacto en la sociedad y a la vinculación de la institución con el medio.

• Los rankings definen, en su mayoría, distintas dimensiones que podrían agruparse en enseñanza, investigación y perspectiva internacional. Se observa que la investigación es la que recibe el mayor porcentaje respecto a las demás. Como indicadores para medir la investigación, por un lado se consideran solo los que figuran en base de datos reconocidas como Scopus o en el Scopus Citation Index, y por el otro se usan las encuestas de reputación académica que incluyen tanto la enseñanza como la investigación.

• Por último, los instrumentos de medición de la calidad de los servicios públicos miden las expectativas o percepciones, o la diferencia entre ambas, percibida por sus clientes. Se puede decir que aún no hay consenso respecto a quiénes considerar como clientes (estudiantes o agentes internos y externos de la institución). En cuanto a las dimensiones utilizadas por estos modelos de evaluación, algunos autores consideran la satisfacción del estudiante, otros toda la experiencia del estudiante en la institución, solo sus percepciones, la organización académica (cursos, planes de estudio, planificación, la inscripción, el profesorado, aspectos relacionados con la enseñanza) y aspectos de infraestructura de la institución, vida social del estudiante, aspectos financieros, oportunidades laborales de la carrera o contacto con el mundo laboral.

En tercer lugar, teniendo en cuenta la definición adoptada por cada metodología, se observa lo siguiente:

• El concepto de calidad que adoptan las agencias de acreditación en general está asociado al concepto de aseguramiento de la calidad (cumplimiento por parte de la institución de ciertos estándares mínimos) y al mejoramiento de la calidad (planteo de metas de superación continua) como un proceso de retroalimentación para cada institución en forma particular (Espinoza y González, 2012).

• Los rankings universitarios definen, por un lado, a la calidad a partir de la excelencia de la investigación y, por otro, a partir de su reputación institucional (Ordorika y Rodríguez, 2010; Barsky, 2014).

• Los modelos de evaluación de la calidad de los servicios públicos se basan en que ella está dada por la percepción (o satisfacción) de los clientes o por la diferencia entre expectativas y percepciones de los usuarios (Cronin y Taylor, 1994).

En este punto retomaremos el documento elaborado por UNESCO, que define los conceptos mencionados respecto a lo que se entiende por calidad de la educación -“La educación de calidad, en tanto derecho fundamental de todas las personas, tiene como cualidades esenciales el respeto de los derechos, la equidad, la relevancia y la pertinencia y dos elementos de carácter operativos: la eficacia y la eficiencia” (UNESCO, 2007, p. 27)- para compararlos con las definiciones que toma cada instrumento.

En este sentido, de acuerdo con lo definido por UNESCO (2007), la relevancia se refiere a que las IES deben favorecer el desarrollo de competencias necesarias para participar en los distintos ámbitos de la vida y realizar proyectos de vida relacionados con otros. La pertinencia se refiere a la necesidad de flexibilizar la enseñanza de modo que la educación ofrezca respuestas a la diversidad de necesidades de los hombres, sus contextos y limitaciones del entorno local, regional, nacional e internacional, y de este modo asegurar que los esfuerzos realizados por todos los interesados en el desarrollo de un capital intelectual y ético deseado estén alineados a los fines de una sociedad involucrada en un desarrollo sostenible. Continuando con las definiciones del documento de UNESCO, la equidad implica asegurar la igualdad de oportunidades para acceder a una educación de calidad para todos, brindándole a cada quien los recursos y la colaboración que se requiere. En otro orden, la eficacia y la eficiencia son atributos de acción pública que nos muestran la medida en que son alcanzados los objetivos y si se usan adecuadamente los recursos destinados a esta tarea. Terminan siendo elementos netamente operativos, pero no objetivos en sí mismos.

Se puede observar, teniendo en cuenta los conceptos definidos, que no se consideran dimensiones e indicadores en ninguna de las metodologías estudiadas que contemplen los conceptos de respeto de los derechos, ni la equidad, tampoco la relevancia o pertinencia.

En el caso de los rankings, el impacto de los artículos publicados de una institución universitaria o la reputación institucional no implican la consideración de ninguna de las dimensiones de orden social que establece la definición de calidad adoptada aquí, que incluye a la inclusión y la pertinencia. En este sentido, Albornoz y Osorio (2018) establecen que, para considerar la relevancia social al momento de evaluar la calidad de la investigación, habría que tomar en cuenta los contextos sociales, por lo que resultaría imposible medir la calidad limitándonos solo al uso de indicadores basados en bibliometría.

Se observará la posición que ocupan las universidades argentinas en los rankings mundiales a partir de los resultados que muestran las páginas oficiales de cada ranking:

•En el caso del ranking THE, no figuran las universidades argentinas en los primeros puestos. La única que aparece en el puesto 75° de THE-AL es la Universidad Nacional de Quilmes, de un total de 166 universidades latinoamericanas.

•En QS se observan solo tres instituciones universitarias argentinas que figuran entre las 400 primeras, una nacional y dos privadas: Universidad de Buenos Aires (UBA) (66°); Universidad de Palermo (326°) y Universidad Católica Argentina (377°).

•En ARWU aparecen, entre las primeras 1000 universidades, la UBA, la Universidad Nacional de la Plata y la Universidad Nacional de Córdoba.

•En CWUR, entre las posiciones 1000 y 2000, aparecen la Universidad Nacional de Cuyo y la Universidad Nacional de Rosario.

De esta forma, se puede observar que, si bien hay una representación de universidades argentinas en los rankings, esta proporción no llega al 3% de la totalidad de las universidades argentinas (públicas y privadas), que ascienden a 112 según lo publicado por la Síntesis de Información de Estadísticas Universitarias (SIEU) 2018- 2019 del Ministerio de Educación de Argentina. Y si se toma el porcentaje sobre las universidades públicas (62), el porcentaje de universidades argentinas que figuran en estos rankings asciendo a un 3,2%, lo que muestra que, a pesar de que algunos rankings diferencian por región la clasificación de las instituciones universitarias, no es suficiente para incluir más universidades con contextos diferentes. Otro punto importante es que, según la SIEU, las universidades que figuran de Argentina son las de mayor tamaño en cuanto a alumnos, docentes, carreras y recursos.

En cuanto a las agencias de acreditación, al asociar el concepto de calidad a la mejora y al aseguramiento de la calidad de la propia Institución, esto no necesariamente indica que la institución asegura que sus actividades o políticas mantienen equidad, relevancia o pertinencia. Más bien se evalúa que cumpla con su misión institucional, que no necesariamente indica que la universidad sea equitativa, relevante o pertinente. Si bien el mejoramiento de la calidad institucional y el cumplimiento de ciertos estándares mínimos deben garantizar que el egresado pueda desempeñarse adecuadamente en el mundo laboral, esto no significa que se lo prepare para responder a las demandas del entorno laboral de una sociedad en su diversidad. Como se ha mencionado, solo CNA (Colombia) y SINAES (Costa Rica) incluyen en la evaluación explícitamente indicadores relacionados con el impacto en la sociedad del programa académico. Por otro lado, se observa que las agencias de acreditación sí consideran la eficacia y la eficiencia en el sentido que se evalúa si los objetivos de la institución son logrados y se utilizan adecuadamente los recursos para las actividades definidas.

Respecto a los modelos de evaluación de la calidad de los servicios, se considera que una institución es de calidad si ofrece un servicio educativo que satisfaga al cliente o usuario respecto al servicio recibido, por lo que no se evidencia ninguno de los conceptos de la definición de calidad planteada. Se evalúa si el servicio educativo se brinda satisfactoriamente al usuario, pero no necesariamente si es relevante, inclusivo y pertinente. Si bien las dimensiones y los indicadores de este instrumento no aluden a estas características de orden social, sí evalúan si el servicio es eficaz o eficiente para quien lo recibe.

Conclusiones

En este trabajo se han revisado tres metodologías para medir o evaluar la calidad de la educación universitaria con el objeto de identificar qué es lo que miden y si tienen en cuenta en esa evaluación las dimensiones de orden social que se desprenden de la definición adoptada en la presente investigación, siguiendo las sugerencias de UNESCO (2007).

Si bien no es sencillo determinar y hacer operacional una metodología integral para la evaluación de la calidad de las IES, tampoco existen propuestas ideales, lo que obliga a repensar nuevos métodos válidos y fiables que incorporen dimensiones integrales en el concepto de calidad.

Organismos a nivel global como UNESCO convocan a distintos actores de la educación del mundo con el fin de introducir conceptos de inclusión, pertinencia e impacto social relacionados con la calidad de la educación superior. Sin embargo, hasta el momento son solo conceptuales y no se visualiza el desarrollo de aplicaciones prácticas. La evaluación y acreditación de universidades, la elaboración de rankings de orden mundial y los instrumentos de medición de la calidad de los servicios no contemplan esos conceptos entre las dimensiones clásicas de la universidad que sí consideran: la docencia, la investigación, la ciencia y la tecnología, la extensión.

Algunas de las razones posibles por las cuales se miden ciertas dimensiones y no otras es la facilidad de acceso a los datos, como en el caso de la investigación, aunque es cuestionable que su calidad sea por su inclusión en base de datos reconocidas como Scopus, sin considerar el impacto en el entorno social mismo. Además, los rankings no toman en cuenta los contextos locales ni los contextos sociales de las universidades, aunque haya un intento en ese sentido al diferenciar los rankings por regiones lo que no resulta suficiente, como ocurre con las universidades argentinas.

Los procesos de evaluación y acreditación tienen que valorar los criterios de pertinencia, democratización, equidad social, desarrollo local y regional y construcción de espacios públicos de discusión (Dias Sobrinho, 2007). Queda para una próxima investigación, tomando en cuenta la definición de calidad adoptada en este trabajo, que incluye dimensiones sociales como la pertinencia y la inclusión, proponer una metodología para medirlas y determinar si una institución universitaria contempla estas dimensiones de orden social como componentes indisociables de la calidad.

Bibliografía

Aguillo, I. (2012). Rankings de universidades: el ranking Web. Higher Learning Research Communications, 2(1), 3-12.

Albornoz, M. y Osorio, L. (2018). Rankings de universidades: calidad global y contextos locales. Revista Iberoamericana de Ciencia, Tecnología y Sociedad –CTS, 13(37), 13-51. Recuperado de: http://www.revistacts.net/contenido/numero-37/rankings-deuniversidades-calidad-global-y-contextos-locales/.

Annamdevula, S. y Bellamkonda, R. S. (2012). Development of HiEdQUAL for Measuring ServiceQuality in Indian Higher Education Sector. International Journal of Innovation, Management and Technology, 3(4), 412.

Araya-Castillo, L. (2013). ¿Qué hemos aprendido sobre la calidad de servicio en Educación Superior? Revista Pilquen-Sección Ciencias Sociales, 2(16), 1-12.

Arocho, W. R. (2010). El concepto de calidad educativa: una mirada crítica desde el enfoque histórico cultural. Revista Electrónica: Actualidades Investigativas en Educación, 10(1), 1-28.

Barsky, O. (2014). La evaluación de la calidad académica en debate. Volumen I. Los rankings internacionales de las universidades y el rol de las revistas científicas. Buenos Aires: Editorial UAI-Teseo (Colección UAI Investigación).

Bigné Alcañiz, J. E., Moliner Tena, M. Á., Vallet Bellmunt, T. y Sánchez García, J. (1997). Un estudio comparativo de los instrumentos de medición de la calidad de los servicios públicos. Universitat Jaume I. Recuperado de: http://repositori.uji.es.

Cabrera, V. A. (2005). El concepto calidad en la educación universitaria: clave para el logro de la competitividad institucional. Revista iberoamericana de Educación, 36(12), 1-7.

Capelleras, J. L. y Vergés, J. M. a (2001). Calidad de Servicio en la Enseñanza Universitaria: Desarrollo y Validación de una Escala de Medida. Revista Europea de Dirección y Economía de la Empresa, 104.

Cave, M., Hanney, S., Henkel, M. y Kogan, M. (1988, 1997). The use of performance indicators in higher education. Londres y Bristol: Jessica Kingsley Publishers.

Claverie, J., González, G. y Pérez, L. (2008). El Sistema de Evaluación de la Calidad de la Educación Superior en la Argentina: El modelo de la CONEAU. Alcances y Límites para Pensar la Mejora. Revista Iberoamericana de Evaluación Educativa, 1(2), 148-164.

CONEAU (2012). La CONEAU y el Sistema Universitario Argentino: memoria 1996- 2011. Con colaboración de Chidichimo Gabriela. Buenos Aires: CONEAU

Cronin J. R. y Taylor, S. A. (1994). SERVPERF versus SERVQUAL: conciliación de la medición de la calidad del servicio basada en el rendimiento y las percepciones menos expectativas. Journal of marketing, 58(1), 125-131.

de Fanelli, A. M. G. y Carranza, M. B. P. (2018). Los rankings y sus usos en la gobernanza universitaria. Revista Iberoamericana de Ciencia, Tecnología y Sociedad – CTS, 13(37), 96-113. Recuperado de: http://www.revistacts.net/contenido/numero-37/ los-rankings-y-sus-usos-en-la-gobernanza-universitaria/.

de Vergara, D. L., Suárez, A. A. G. y Miranda, A. J. M. (2014). Calidad de la educación superior: Un análisis de sus principales determinantes. Revista Saber, ciencia y libertad, 9(1), 157-170.

Delgado-López-Cózar, E. (2012). Cómo se cocinan los rankings universitarios. How to cook the university rankings. Revista Dendra médica, 11(1), 43-58.

Dias Sobrinho, J. (2007). Acreditación de la educación superior en América Latina y el Caribe. Revista La Educación Superior en el Mundo, 2(7), 282-295.

Espinoza, O. y González, L. E. (2012). Estado actual del sistema de aseguramiento de la calidad y el régimen de acreditación en la educación superior en Chile. Revista de la educación superior, 41(162), 87-109.

García-Aracil, A. y Villarreal, E. (2008). Some indicators to measure regional impact of entrepreneurial universities. Research Policy.

Kwek, Ch. L., Lau, T. y Tan, H. P. (2010): Education quality process model and its influence on students' perceived service quality. International Journal of Business and Management, 5(8), 154.

Fernández Lamarra, N. y Cóppola, N. (2007). Educación superior y calidad en América Latina y Argentina: los procesos de evaluación y acreditación. Caseros: Universidad Nacional de Tres de Febrero. Recuperado de: http://agnito.siu.edu.ar.

Lemaitre, M. J. (2007). Aseguramiento de la calidad: impacto y proyecciones. Presentación ante el Consejo Centroamericano de Acreditación. San José.

Liu, N. C., Cheng, Y. y Liu, L. (2005). Academic ranking of world universities using scientometrics-A comment to the “Fatal Attraction”. Scientometrics, 64(1), 101-109.

Martínez-Argüelles, M. J., Callejo, M. B. y Farrero, J. M. C. (2013). Las dimensiones de la calidad del servicio percibida en entornos virtuales de formación superior. RUSC. Universities and Knowledge Society Journal, 10(1), 89-106.

OCDE (2004). Education at a Glance. OCDE Indicators. París: OCDE. Recuperado de: https://www.voced.edu.au/content/ngv:34501.

Oliva, E. J. D. y Gomez, Y. D. (2014). Evaluación conceptual de los modelos de medición de la percepción de calidad del servicio: una mirada desde la educación superior. Revista Suma de Negocios, 5(12), 180-191.

Ordorika, I. y Rodríguez Gómez, R. (2010). El ranking TIMES en el mercado del prestigio universitario. Revista Perfiles educativos, 32(129), 8-29.

Orozco, J. E. F., Becerra, J. I. V. y Arellano, C. I. M. (2015). Perspectivas actuales sobre los rankings mundiales de universidades. Revista de la educación superior, 44(175), 41-67.

Palomares-Montero, D., García-Aracil, A. y Castro-Martínez, E. (2008). Evaluación de las instituciones de educación superior: revisión bibliográfica de sistema de indicadores. Revista española de documentación científica, 31(2), 205-229.

Parasuraman, A., Zeithaml, V. A. y Berry, L. L. (1988). Servqual: una escala de elementos múltiples para medir el consumo del consumidor. Journal of retailing, 64(1), 12.

Pires, S. y Lemaitre, M. J. (2008). Sistemas de acreditación y evaluación de la educación superior en América Latina y el Caribe. Conferencia regional de educación superior.

Quiles, O. L. y De Gracia, E. C. (2015). Calidad y evaluación de la educación superior. Una perspectiva transnacional a través de los rankings. Dedica. Revista de Educação e Humanidades, (8), 155-174.

Pérez Rasetti, C. (2018). Lo que los rankings dicen de la función de docencia de las universidades. Revista Iberoamericana de Ciencia, Tecnología y Sociedad —CTS, 13(37), 53-65. Recuperado de: http://www.revistacts.net/contenido/numero-37/lo-quelos-rankings-dicen-de-la-funcion-de-docencia-de-las-universidades/.

Silas Casillas, J. C. (2014). Calidad y acreditación en la educación superior: realidades y retos para América Latina. Páginas de Educación, 7(2), 104-123.

Strah, M. (2020). Los sistemas nacionales de aseguramiento de la calidad de la Educación Superior en Iberoamérica. Buenos Aires: CONEAU y OEI.

Teas, R. K. (1993). Expectations, performance evaluation, and consumers’ perceptions of quality. Journal of marketing, 57(4), 18-34.

Tumino, M. C. y Poitevin, E. R. (2014). Evaluación de la calidad de servicio universitario desde la percepción de estudiantes y docentes: caso de estudio. REICE. Revista Iberoamericana sobre Calidad, Eficacia y Cambio en Educación, 12(2), 63-84.

Tünnermann Bernheim, C. (2006). Pertinencia y calidad de la educación superior. Lección inaugural. Recuperado de: http://biblio2.url.edu.gt.

UNESCO (2007). Educación de Calidad para Todos: un asunto de Derechos Humanos. Documento de discusión sobre políticas educativas en el marco de la II Reunión Intergubernamental del Proyecto Regional de Educación para América latina y el Caribe (EPT/PRELAC). Buenos Aires: UNESCO.

Velasco, N., Martínez, Y. y Fernández, R. (2006). Indicadores y estándares internacionales de calidad universitaria. Revista: Calidad en la Educación, 25, 17-29.

Vergara Schmalbach, J. C., y Quesada Ibargüen, V. M. (2011). Análisis de la calidad en el servicio y satisfacción de los estudiantes de Ciencias Económicas de la Universidad de Cartagena mediante un modelo de ecuaciones estructurales. Revista electrónica de investigación educativa, 13(1),108-122.

Notas

IR