Artículos

Una mirada longitudinal: ¿Es el “Docentia” útil para la evaluación del profesorado universitario?

A Longitudinal Look: Is “Docentia” an useful instrument for university teacher’s evaluation?

Rosa Isla-Díaz *
Universidad de La Laguna, España
Hipólito Marrero-Hernández **
Universidad de La Laguna, España
Stephany Hess-Medler ***
Universidad de La Laguna, España
Mabel Soriano ****
Universidad de La Laguna, España
Severo Acosta-Rodríguez *****
Universidad de La Laguna, España
María-Victoria Pérez-Monteverde ******
Universidad de La Laguna, España
Marcos Blanco-Freijo *******
Universidad de La Laguna, España

Una mirada longitudinal: ¿Es el “Docentia” útil para la evaluación del profesorado universitario?

RELIEVE. Revista Electrónica de Investigación y Evaluación Educativa, vol. 24, núm. 2, 2018

Universidad de Granada

© Universidad de Valencia

Recepción: 14 Marzo 2018

Aprobación: 01 Octubre 2018

Publicación: 09 Octubre 2018

Resumen: El Docentia es el modelo propuesto por ANECA, y asumido por las universidades españolas para la evaluación de la calidad docente. Uno de los problemas del modelo que se viene detectando es su escasa capacidad para diferenciar al profesorado entre las distintas categorías posibles, con un sesgo muy acentuado hacia la calificación de “Excelente”. Esto afecta al prestigio del modelo: primero, si la gran mayoría del profesorado es “Excelente”, no se verá reflejado el profesorado que realmente destaca sobre el conjunto y, segundo, afecta a su capacidad para orientar al profesorado hacia la mejora de su docencia. En el presente estudio examinamos la capacidad discriminativa del modelo en base a la experiencia de su implementación en la Universidad de La Laguna (Docentia-ULL). Hemos simulado el resultado de la evaluación cambiando el modelo en dos sentidos. Por un lado, los pesos de las dimensiones y sub-dimensiones, así como de los topes de cada criterio, para primar la valoración del compromiso del profesorado con la formación y la innovación educativa, frente al mero cumplimiento de las obligaciones docentes. Por otro lado, los resultados de satisfacción del alumnado y de los responsables académicos pasan a actuar como requisito independiente de los méritos del docente en la evaluación. Además, se ha elevado el mínimo necesario de estas dimensiones para obtener una valoración “Favorable”, “Muy Favorable” o “Excelente”. Los resultados mostraron que la disminución del peso en la evaluación de las obligaciones docentes frente a la formación e innovación produjo una distribución de la calificación del profesorado más centrada hacia las categorías intermedias. Además se compara con resultados reales obtenidos después de la implantación del modelo alternativo elegido a raíz de las simulaciones. Se discuten las implicaciones de este tipo de mejoras en la evaluación de la calidad docente y del desempeño del profesorado en la universidad española.

Palabras clave: Docentia, Evaluación del desempeño en educación superior, Docencia universitaria, Profesorado universitario, Satisfacción de estudiantes universitarios.

Abstract: Docentia is an evaluation model proposed by ANECA (National Agency for Quality Evaluation) and used by Spanish universities to evaluate teaching quality. One of the detected problems is the low capacity to discriminate between the possible categories of teachers, showing a bias toward the highest score (Excellent). This affects negatively the prestige of the model: if most teachers are labelled “excellent”, those teachers who really foreground above the set would not be detected. Thus, the capacity to orientate teachers to improve their performance will be minored. This study explores the discrimination capacity of the model based on the experience at the University of La Laguna (Docentia-ULL). We simulate results of the evaluation changing the model in two ways. On one hand, changing weights of some dimensions and sub dimensions, as well as maximums of some criteria, in order to increase the value of the commitment of teachers with training and educational innovation, opposite to the mere fulfilment of teaching obligations. On the other hand, increasing the required minimum for student’s satisfaction and academic supervisor’s satisfaction to become necessary requirement to obtain positive, very positive or excellent evaluation. Our results show that reducing the weight of teaching obligations and increasing the weight of training and innovation produce a more centered distribution. Most teachers were situated in the middle categories. We also compared the real results obtained after the implementation of the chosen alternative simulated model. We discuss the implications of those improvements on the evaluation of teaching quality and on the performance of Spanish university teachers.

Keywords: Docentia, Performance evaluation in higher education, University teaching, University teacher, Student satisfaction in higher education.

El modelo “Docentia” para la evaluación del profesorado: antecedentes

La evaluación homologable del profesorado es una exigencia para las universidades dentro del Espacio Europeo de Educación Superior (EEES). En el estado español, el denominado programa Docentia ha constituido el modelo de referencia desarrollado por la Agencia Nacional de Evaluación de la Calidad y Acreditación (ANECA) para evaluar al profesorado universitario. A partir del mismo y apoyándose en objetivos comunes como la mejora continua de los programas formativos o completar el sistema de garantía de calidad para la acreditación de las titulaciones, Universidades y Agencias autonómicas de evaluación han diseñado sus propios programas, con características específicas consensuadas con su comunidad universitaria, cumpliendo, no obstante, un mandato común: contribuir a la mejora de la calidad docente, garantizando así la calidad de su profesorado de acuerdo con los principios del EEES (Murillo, 2008).

La evaluación de la actividad docente, abordada tradicionalmente a través de encuestas de opinión cumplimentadas por estudiantes (Calderón & Escalera, 2008), no es tarea sencilla, debido a la diversidad de funciones que desempeña el profesorado universitario, no siempre observables y por tanto medibles a través de un sistema de evaluación del desempeño efectivo. El docente universitario desempeña un complejo conjunto de tareas que se pueden agrupar en tres tipos principales de funciones: la docencia, la investigación y/o la gestión académica (Caballero & Bolívar, 2015; Murillo, 2008;). Esta carga de trabajo resulta difícil de evaluar objetivamente por su naturaleza intangible, limitándose su evaluación, hasta el momento, a los resultados obtenidos con cada grupo funcional. Sin embargo, un sistema de evaluación del desempeño adecuado habría de contemplar esta compleja diversidad funcional, en particular en el caso de la actividad docente (Álvarez Rojo et al., 2009), incluyendo indicadores específicos de medida para cada grupo de tareas, y cumpliendo así los términos de una ecuación que se ha descubierto difícil de implementar, ya que resultan a veces funciones contrapuestas en lugar de complementarias porque el grado de sobrecarga de trabajo experimentado por estos profesionales hace que el desempeño adecuado de un grupo de funciones requiera el abandono de los demás.

Específicamente, en la evaluación de la calidad de la docencia, las tareas a tener en cuenta para un desempeño eficiente son aún más diversas y complejas, si cabe, dado el giro experimentado por la docencia al perseguir el cumplimiento de la normativa universitaria del EEES. El objetivo de la docencia universitaria ya no es la adquisición de conocimientos, sino de competencias a través del desarrollo autónomo del estudiantado, lo que conlleva demandas distintas al profesorado, fundamentalmente relacionadas por un lado con la planificación y coordinación vertical y horizontal y por otro con la tutorización académica, pero también con nuevos, o no tan nuevos, requerimientos como es la formación continua y la innovación docente (Perales, Jornet & González, 2014). El diseño de un nuevo sistema de evaluación global de la calidad docente era entonces necesario, un sistema que abordara esta complejidad funcional a través de herramientas y fuentes múltiples de información, reflejando así la dimensión del trabajo del docente en este ámbito (Benito & Cruz, 2006; Zabalza, 2003, 2009), proceso en el cual el profesorado debería estar implicado (Mayor, 2009; Valcárcel, 2003).

En el contexto de Canarias, se sumaron al Programa Docentia sus dos universidades públicas. En el caso de la Universidad de La Laguna (ULL), la elaboración del modelo ha supuesto un valor añadido para el Programa, ya que el documento representa un esfuerzo de integración y colaboración entre todos los agentes implicados en la adopción de un marco común para el Sistema Universitario Español en lo que concierne a la evaluación de la actividad docente del profesorado.

La implantación del modelo de evaluación Docentia, supuso así la oportunidad de visibilizar la labor docente del profesorado tanto como las nuevas demandas y requerimientos que habría de asumir éste en el nuevo contexto universitario. No obstante, aunque el fin último era la búsqueda de la excelencia docente, en cumplimiento de la exigencia del modelo (ANECA, 2007), el documento explicita entre otras acciones vinculadas a los resultados de la evaluación las siguientes: a) el diseño de planes de formación adecuados a las necesidades del profesorado; b) la valoración de la actividad docente y su certificación como mérito de obligado reconocimiento en la acreditación nacional a los cuerpos docentes universitarios (RD. 1312/2007, de 5 de octubre), y en los concursos de acceso a los cuerpos docentes universitarios (RD. 1313/2007, de 5 de octubre) c) su consideración como mérito para la concesión de ayudas para la innovación docente y la difusión de sus resultados, en el baremo de contratación y promoción del profesorado, así como en la distribución del presupuesto de Centros y Departamentos y, finalmente, la identificación de buenas prácticas e innovaciones docentes utilizadas por el profesorado y su difusión al resto de la comunidad universitaria (Universidad de La Laguna, 2009). En definitiva, habrá de ser una evaluación útil, precisa, y con consecuencias (Alfageme & Caballero, 2010; Tejedor & García-Valcárcel, 2010) pero al mismo tiempo estimulante para la adopción de buenas prácticas que contribuyan a la mejora de la calidad docente (Pozo, Giménez & Bretones, 2009). En suma, la mejora de la evaluación de la actividad docente se hace necesaria para que ésta se convierta en una herramienta útil para el profesorado, que le permita valorar la mejora de su metodología docente, y percibir sus puntos fuertes y débiles (Calderón & Escalera, 2008).

El modelo Docentia para la evaluación del profesorado: Universidad de La Laguna

El programa Docentia-ULL constituye un modelo de evaluación de la actividad docente de su profesorado que tiene en cuenta las actividades que éste realiza, antes, durante y después de la impartición de su materia, los resultados que obtiene, así como la formación e innovación docente llevada a cabo con el objeto de mejorarla. Se utilizan los procedimientos necesarios para incluir en el resultado final de la evaluación la valoración de todos los agentes implicados en el proceso de enseñanza-aprendizaje. Además, contempla la valoración de todas aquellas tareas desempeñadas por el docente en este ámbito de actuación, que no el único si se atiende al complejo y diverso conjunto de funciones de un docente universitario.

Con tal fin este modelo se basa en la valoración de tres dimensiones: Planificación de la enseñanza, Desarrollo de la docencia y Resultados, que a su vez están compuestas de sub-dimensiones relacionadas y caracterizadas por una serie de indicadores con determinado peso específico en el resultado final de la evaluación, teniendo en cuenta, además, los criterios de Adecuación, Satisfacción, Eficiencia y Orientación a la mejora que caracterizan a la calidad de la labor docente, tal y como recoge ANECA.

La concepción del docente que subyace a este modelo es la de un agente de cambio a través de un abanico de actividades diversas dirigidas, principalmente, a la adquisición de competencias de sus estudiantes, desde el diseño de las tareas necesarias para ello, su desarrollo y aplicación, hasta el posterior análisis y valoración de resultados, que constituye la fuente de retroalimentación necesaria para su mejora continua. En definitiva, la herramienta que permite la reflexión final en el esquema Planifica, Ejecuta, Revisa y Actúa que propone el círculo de calidad y mejora continua de Deming.

Resulta esencial que el modelo de evaluación sea simultáneamente efectivo y aceptado por el evaluado, entendiendo que ha constituido para éste una importante herramienta de reflexión sobre su desempeño docente (Mayor, 2009; Valcárcel, 2003). Para ello el modelo ha de ser, como todo sistema de evaluación del desempeño, válido, fiable y con capacidad discriminativa entre el profesorado con unos resultados favorables y aquel con unos no tan favorables.

Con esta finalidad, la evaluación de la actividad docente se lleva a cabo en el marco del programa Docentia-ULL a partir de la triangulación de tres fuentes de información: el docente, su estudiantado y sus responsables académicos. Específicamente se diseñaron tres instrumentos de recogida de información en torno a indicadores de la actividad docente del profesorado incluidos en las dimensiones principales del modelo, permitiendo así una evaluación complementaria y global de esta parte de la actividad académica: Autoinforme del docente; Informe de Responsables académicos y Encuesta de satisfacción del alumnado (Universidad de La Laguna, 2009).

El modelo de evaluación del programa Docentia-ULL ha de contribuir tanto al necesario diagnóstico de la actividad docente del profesorado para su mejora continua, como a la puesta en valor de la misma, facilitando su reconocimiento y su desarrollo profesional. Uno de los requisitos para ello es su necesaria capacidad discriminativa entre los cuatro posibles resultados que el participante puede obtener: “Desfavorable”, “Favorable”, “Muy Favorable” o “Excelente”. Sin embargo, en la línea de lo planteado por Isla-Díaz et al. (2014), una característica común de gran parte de los modelos de evaluación de la calidad docente de las universidades españolas mediante el Programa Docentia de ANECA que se viene detectando, es su escasa capacidad para distinguir adecuadamente al profesorado “Excelente” del resto de categorías. La Tabla 1 muestra los datos de 16 universidades españolas que tienen públicos sus resultados a este respecto.

Tabla 1
Tabla comparativa de resultados en porcentajes de la evaluación del profesorado en 16 universidades españolas según categorías de evaluación en distintas convocatorias
Universidades
Año académicoCalificaciónAutónomade Madrid*Burgos*Girona*Politécnica de Valencia*Europea Miguel de Cervantes*A CoruñaAlcaláCádizComplutense de MadridCórdobaExtremaduraLa LagunaLa RiojaLas Palmas de Gran CanariaSalamancaSantiago de Compostela
2010/11E100180590421005279
MF746610-04514
F63478957-0
D020711025
2011/12E1998183003315633942510036
MF637453606743-3663257
F15613355444110447
D4225102-200000
2012/13E410016067662509042991666
MF6764643350-337313730
F29162943385127462
D004602-1221102
2013/14E39319721219653641866310020
MF535564685635-37112941
F7101493164181838
D1430340-43100
2014/15E251722117653795610025
MF733959612432183242
F24410261111233
D0092042000
2015/16E3323432285720276010033
MF58704359684378472437
F561410212221520
D20091014100
2016/17E416275934100
MF4986461148
F78192615
D208030
* Con certificado ANECA

E=Excelente, MF=Muy favorable, F=Favorable, D=Desfavorable

*: Con certificado ANECA

Nota: en algunas Universidades/años la suma de porcentajes no resulta 100% exacto debido bien a redondeo bien a que no se incluye en los porcentajes publicados al profesorado excluido de la evaluación

De hecho, ANECA viene insistiendo en los seguimientos que realiza de los modelos verificados en las distintas universidades, en la escasa capacidad de discriminación del modelo, y en la necesidad de que alcance una mayor capacidad discriminativa para que sea efectivo. Esta recomendación suele presentarse como necesaria para certificar la implantación del modelo en la universidad. El requisito de que Docentia sea una herramienta que discrimine adecuadamente al profesorado, especialmente al profesorado excelente, afecta seriamente a su prestigio. Nos referimos a que, si esta herramienta de evaluación conduce a que, por ejemplo, un 90% del profesorado sea calificado como “Excelente”, dado que teóricamente se espera una distribución de la calificación del profesorado más centrada hacia el punto medio, no se verá reflejado el profesorado que realmente destaca sobre el conjunto. Este efecto “techo” conduce al desprestigio del modelo, con consecuencias negativas para la necesaria incorporación de la evaluación de la docencia por parte del profesorado universitario.

Objetivos del estudio

En este contexto, y tras valorar los resultados de la implantación del modelo Docentia de la Universidad de la Laguna (Docentia-ULL) en el 42,5% del profesorado (725) que sometió su actividad docente a evaluación en las tres primeras convocatorias, entre los años 2010 y 2013, se planteó desde el Comité de la Evaluación de la Docencia el objetivo de encontrar un modelo de evaluación no sólo fiable, sino válido, que garantice la diferencia entre el profesorado “Excelente”, aquel profesorado que cumple sus labores de manera notable, el que lo hace con normalidad y aquel que no cumple, intentando así responder a la pregunta: ¿es el Docentia una herramienta útil? (Isla-Díaz et al., 2014). Desde el Comité de Evaluación de la Docencia de la ULL se estableció que la estrategia apropiada para la consecución de este objetivo pasaba por la disminución del peso de los indicadores asociados a obligaciones docentes, a favor de la dimensión de Resultados: encuestas de satisfacción de los responsables académicos y del alumnado, junto a las actividades de formación e innovación.

Dentro del Espacio Europeo de Educación Superior, la formación universitaria, en tanto que orientada al aprendizaje de competencias por parte del alumnado, conlleva un proceso de renovación pedagógica y requiere de la participación del profesorado en este proceso y, por tanto, de una adecuada incentivación para ello, lo que implica un cambio de la cultura docente tanto en el profesorado como en la Institución (Martínez y Esteban, 2005; Pozo, Bretones, Martos, y Alonso, 2011). El hecho de que Docentia sea un modelo que se orienta a la mejora continua, estrechamente vinculado a la incorporación de un nuevo enfoque de la docencia universitaria, centrado en el aprendizaje del alumnado, conduce necesariamente a revisar el modelo en este sentido. No se puede premiar aquello que constituye una obligación en el desempeño laboral (por ejemplo, el cumplimiento del horario docente), frente a la necesaria incentivación de aspectos relevantes del desempeño docente, como la formación y la innovación educativas. Estos son los aspectos de la labor docente que están marcando la apuesta actual por la calidad educativa de las universidades, de la que el profesorado parece ser cada vez más consciente y participativo (Caballero & Bolívar, 2015; Perales et al., 2014; Zabalza, 2009). Los cambios solo pueden llevarse a las aulas si cuentan con el apoyo del colectivo encargado de hacerlos realidad (Valcárcel, 2003).

En relación a la oportunidad de nuestra apuesta por los Resultados, el caso de la consideración del programa de la asignatura y de la claridad de los criterios de evaluación puede resultar ilustrativo. Como se ha dicho, la planificación de la enseñanza, y el desarrollo de la docencia afectan a capacidades relevantes para el desempeño del profesorado, como el establecimiento de un apropiado sistema de evaluación (Sinahuya & Sánchez-Tarazaga, 2018) o la adecuación de los contenidos impartidos con los créditos asignados a la asignatura. Junto a la capacidad de motivar al alumnado y una adecuada tutorización, lo anterior se considera clave para el perfil de un buen docente universitario (Caballero & Bolívar, 2015; San Martín, Santamaría, Hoyuelos, Ibáñez, & Jerónimo, 2014; Tejedor & García-Varcárcel, 2007, 2010; Zabalza, 2009). Al inicio de la implantación del EEES tenía mucho sentido incentivar la elaboración del programa y de los criterios de evaluación en la valoración del desempeño docente, dado que exige al profesorado la puesta en práctica de la planificación de la enseñanza. Sin embargo, una vez consolidada la práctica, y asumida como obligación docente, pierde sentido su incentivación, en tanto que tampoco tenemos certeza de que su elaboración implique por sí mismo la capacidad del profesorado para una adecuada planificación de la enseñanza. En contraste, puede considerarse que estas capacidades están valoradas de manera más fiable en el apartado de Resultados, particularmente en la encuesta de satisfacción del alumnado (véase Pozo Muñoz et al., 2011). De manera más general, consideramos que tenía sentido revisar el Modelo verificado Docentia_ULL para identificar los indicadores “quemados” que ya habían cumplido su objetivo, y donde se apreciara una escasa variabilidad a la par que un efecto “techo”.

En cuanto al procedimiento a seguir, en primer lugar nos propusimos examinar los pesos de las dimensiones del Modelo verificado, y de las sub-dimensiones dentro de cada dimensión. Como se ha dicho, la idea de partida era la de otorgar un peso menor a las “obligaciones ordinarias” del profesorado en la evaluación frente a la Dimensión de Resultados, y a su participación en las actividades de formación e innovación educativas. A este respecto, elaboramos dos modelos alternativos de cómputo de puntuaciones y vamos a comparar los datos obtenidos con el Modelo verificado por ANECA con lo que se obtendría de la simulación de resultados de estos modelos alternativos. Posteriormente, una vez implementado el modelo alternativo seleccionado, vamos a realizar el seguimiento longitudinal de la distribución de puntuaciones de los datos reales obtenidos en las dos primeras convocatorias con dicho nuevo modelo (2015/16 y 2016/17). En ambos modelos alternativos al verificado se modificaron los pesos de las dimensiones y sub-dimensiones del modelo de evaluación verificado, para primar el compromiso del profesorado con la formación y la innovación educativa.

Otro aspecto que consideramos necesario revisar era el relativo al informe de los responsables académicos y la encuesta del alumnado sobre la docencia recibida. Esta última, actúa en el Modelo verificado como requisito para la inclusión del profesorado en una cierta categoría evaluativa. El buen desempeño del profesorado ha de traducirse necesariamente en la satisfacción que genera, principalmente en su alumnado. De hecho, en el contexto del EEES la herramienta básica de evaluación del desempeño docente es la encuesta de satisfacción al alumnado (Pozo Muñoz et al., 2011).

Adicionalmente, nos parecía de interés el examen de la asociación entre las tres fuentes de evaluación: méritos del profesorado, satisfacción del alumnado y de los responsables académicos, en las que se apoya el modelo para la triangulación de la información. Se asume que son fuentes no redundantes, y relativamente independientes. La información que obtengamos tendría cierto valor diagnóstico para nuestro conocimiento del modelo de evaluación del Docentia.

En resumen, la revisión del Modelo verificado Docentia ULL constituía una oportunidad para orientar la actividad docente de acuerdo a los objetivos de calidad que corresponden a una institución de educación superior, incentivando de manera estratégica el desempeño del profesorado en aquellas actividades directamente vinculadas con la calidad, en el contexto de un cambio en el modelo educativo que las universidades españolas debemos asumir.

Método

Muestra

Se tomaron para su análisis las puntuaciones del profesorado de la tercera convocatoria de evaluación de la actividad docente del profesorado de la ULL en el curso 2012/13, que aglutina una muestra del 21,5% del profesorado (n=367).

Instrumentos

La Evaluación del desempeño docente del profesorado de la ULL se lleva a cabo a través de la triangulación de tres fuentes de información: cuestionario de satisfacción del alumnado, el informe de sus responsables académicos y los méritos y actividades del propio profesorado en las tres dimensiones del modelo que se recogen en un autoinforme (Universidad de La Laguna, 2009).

Tal y como se ilustra en la Tabla 2, las tres dimensiones del Modelo Docentia-ULL son: 1. Planificación de la Enseñanza, 2. Desarrollo de la Docencia, y 3. Resultados e Innovación. La Planificación de la Enseñanza se refiere, entre otros aspectos, al grado de actualización y entrega de guías docentes, así como el nivel de coordinación vertical y horizontal dentro de las titulaciones en las que participa el docente. El Desarrollo de la Docencia recoge el grado de cumplimiento percibido en relación a actividades como la entrega de actas, horarios de clase y tutorías, así como actividades complementarias y especiales, llevadas a cabo por el docente con el fin de enriquecer el proceso de aprendizaje de sus estudiantes. La Dimensión de Resultados e Innovación incluye el grado de satisfacción del alumnado y de los responsables académicos, así como las evidencias cuantitativas referidas a las tasas de rendimiento, eficiencia y abandono de las asignaturas que imparte el docente, junto a las actividades desarrolladas por el profesorado en relación a su propia formación y a las estrategias de innovación docente llevadas a cabo en la impartición de sus materias.

Tabla 2
Puntuaciones del modelo original, y de los modelos simulados de la valoración del docente en función de las dimensiones y sub-dimensiones del modelo
Tabla 2.Puntuaciones del modelo original, y de los modelos simulados de la valoración del docente en función de las dimensiones y sub-dimensiones del modelo
DIMENSIONES y SUB-DIMENSIONESVALOR MÁXIMO MODELO VERIFICADOVALORMÁXIMOMODELO 1VALORMÁXIMOMODELO 2
1. PLANIFICACIÓN DE LA ENSEÑANZA2515*15*
1.1 Participación en órganos de gestión docente999
1.2 Planificación de la docencia86*3*
1.3 Actividades de coordinación883*
2. DESARROLLO DE LA DOCENCIA353535
2.1 Actividades docentes ordinarias2016*5*
2.2 Actividades docentes complementarias1530*30*
2.3 Actividades docentes especiales
3. RESULTADOS E INNOVACIÓN4050*50*
3.1 Evidencias cuantitativas101010
3.2. Evidencias cualitativas (Cuestionario del alumnado e Informe de responsables académicos)2025*25*
3.3 Formación e Innovación1020*20*
3.4 Otros méritos
TOTAL100100100
*Cambios realizados con respecto al Modelo verificado Fuente: Manual Docentia ULL (2009) y elaboración propia
Manual Docentia ULL (2009) y elaboración propia* Cambios realizados con respecto al Modelo verificado

El resultado final se establece en un máximo de 100 puntos, que se distribuye en dimensiones con distintos pesos, y sub-dimensiones que contribuyen a cada dimensión, con distintos topes, cuya suma puede sobrepasar la puntuación máxima otorgada a cada dimensión (en la columna 2 se muestran los pesos y topes tanto en el modelo vigente en el curso 2012-13 denominado como “Modelo verificado” como en los dos modelos simulados).

Puede observarse que las dimensiones 2.2 y 2.3 se valoran conjuntamente con un máximo de 15 (Modelo verificado), 30 (Modelos 1 y 2). Cada sub-dimensión contabiliza los méritos correspondientes, no pudiendo sobrepasar la suma los máximos establecidos. Lo mismo ocurre en las dimensiones 3.3 y 3.4 que se valoran conjuntamente hasta un máximo de 10/20/20 puntos (según modelo).

Procedimiento

El resultado del primer informe de certificación emitido por ANECA para el Modelo Docentia ULL verificado transmitió la necesidad de que dicho modelo, para obtener la certificación, ha de discriminar adecuadamente entre el profesorado. Además, durante las tres primeras convocatorias, el Comité de Evaluación de la Calidad Docente detectó un nivel de insatisfacción considerable, tanto en el profesorado participante como en sus Responsables Académicos. La insatisfacción se generó principalmente, debido al escaso poder discriminativo, con un alto número de calificaciones excelentes, como puede observarse en la Tabla 1.

El Comité de Evaluación de la Calidad Docente se plantea estudiar el cambio del modelo con el fin de cumplir los requerimientos de ANECA, por un lado y mejorar la satisfacción del profesorado evaluado y sus Responsables Académicos, por otro.

Para ello, y al objeto de comparar los resultados con el Modelo Docentia-ULL verificado, se aplicaron dos modelos simulados a la matriz de puntuaciones de los 367 participantes en la tercera convocatoria Docentia-ULL (curso 2012-13), consistentes en ajustar los pesos de las dimensiones, así como los topes de las sub-dimensiones del modelo original verificado por ANECA. Además, se ajustaron los mínimos que ha de lograr el profesorado en las denominadas “Evidencias cualitativas” esto es, en la encuesta del alumnado y en la valoración realizada por sus responsables académicos, para obtener un resultado “Favorable”, “Muy Favorable” o “Excelente”.

Dado que los méritos de la dimensión 1 Planificación de la enseñanza (ver Tabla 2) constituyen básicamente las obligaciones de un docente universitario; en especial la sub-dimensión Planificación de la docencia (1.2), se propone disminuir su peso en pro de aumentar otras actividades voluntarias.

Así, en el primer modelo simulado (Modelo 1), tal y como se ilustra en la Tabla 2, la sub-dimensión Planificación de la docencia (1.2) pasa a tener un máximo de 6 puntos en lugar de 8. Y el máximo de esta dimensión 1 (Planificación de la enseñanza) queda disminuido a un máximo de 15. En la misma línea, la dimensión 2 Desarrollo de la docencia, mantiene su peso; sin embargo, la sub-dimensión de Actividades docentes ordinarias (2.1) baja a 16 puntos en lugar de 20, mientras que las Actividades docentes complementarias y especiales (2.2 y 2.3) elevan conjuntamente su valor máximo a 30 en lugar de 15. Finalmente, haber disminuido en 10 puntos la dimensión 1 Planificación de la enseñanza permitió aumentar la magnitud de la dimensión 3 Resultados e Innovación, pudiendo así alcanzarse un máximo de 50 puntos, en lugar de los 40 con el Modelo verificado. La sub-dimensión Evidencias cualitativas (3.2) aumenta su tope de 20 a 25 puntos y Formación e innovación (3.3) junto aotros méritos (3.4) pasa de 10 a 20 puntos máximos.

Por otra parte, y como puede observarse en los pesos del Modelo 1, las sumas de las puntuaciones de las sub-dimensiones superan el máximo de cada dimensión. Esto permite al docente lograr la puntuación máxima de cada dimensión por distintas vías, siguiendo el principio de equifinalidad. Sin embargo, el detalle de los cambios para las sub-dimensiones en el Modelo 2, como puede observarse en la Tabla 2, resulta más restrictivo.

Por otro lado, el umbral para obtener un resultado “Muy favorable” aumenta hasta 70 puntos, la puntuación mínima necesaria en la encuesta de satisfacción del alumnado es de 9,8 de 15 puntos posibles (equivalente a 6,5 sobre 10 puntos) y en el informe de responsables académicos se establece el mínimo también en 6,5 de 10 puntos posibles. Para un resultado “Excelente” han de lograrse entre 90 y 100 puntos, y un resultado mínimo en la satisfacción del alumnado de 12 de los 15 puntos posibles (equivalente a 8 sobre 10) y en el informe de los responsables académicos también de 8 de los 10 puntos posibles (véase Tabla 3). Asimismo, las condiciones para obtener un resultado “Favorable” serían, además de obtener 50 puntos en la evaluación, alcanzar una puntuación mínima de 7,5 sobre 15 (equivalente a 5 sobre 10) en la encuesta de satisfacción del alumnado, al igual que en el informe de valoración de responsables académicos.

Tabla 3
Calificación del docente en función de la puntuación obtenida tanto en el Modelo verificado como en los modelos simulados
Calificación del docenteModelo verificadoModelos simulados
Excelente80 -100 puntos90-100 puntosSatisfacción alumnado: 12-15 (~ 8/10 – 10/10)Informe responsables académicos:8-10
Muy Favorable65 – 79,9 puntos70 – 89 puntosSatisfacción alumnado: 9,8-11,9 (~ 6,5/10 – 7,9/10)Informe responsables académicos: 6,5-7,9
Favorable50 - 64,9 puntos50-69 puntosSatisfacción alumnado: 7,5 – 9,7 (~ 5/10 – 6,4/10)Informe responsables académicos: 5-6,4
Desfavorable<50 puntos<50 puntos
Fuente: Manual Docentia ULL (2009) y elaboración propia

En el segundo modelo simulado (Modelo 2), más exigente, además de los ajustes en intervalos y requisitos mínimos aplicados en el Modelo 1, se ajustan las sub-dimensiones Planificación de la docencia (1.2) y Actividades de coordinación (1.3) que pasan a tener un máximo de 3 puntos y la sub-dimensión de Actividades docentes ordinarias (2.1) de 5 (véase Tabla 2).

Ambos Modelos flexibilizaron las vías por las que un profesor/a pudiere alcanzar la puntuación máxima en cada dimensión, a la vez que evitar que acumulase todos los méritos en una dimensión, en detrimento de las otras. Paralelamente, se dificultó alcanzar la calificación de Favorable, así como los saltos cualitativos hacia las de Muy Favorable o Excelente, a través de la puntuación mínima de su alumnado y los Responsables Académicos.

Tras el análisis de los resultados de las simulaciones, el Comité de Evaluación de la Calidad Docente consensuó con los representantes de la Junta y el Comité de Personal Docente e Investigador seleccionar el Modelo 1 para ser aplicado en la segunda fase quinquenal de la evaluación de su profesorado. Este consenso se apoyó en la exigencia excesiva del Modelo 2, mientras que el Modelo 1 ya cumplía los objetivos planteados.

Resultados

Modelos simulados y discriminabilidad en la evaluación del profesorado

En la Figura 1, se muestra la distribución del profesorado por categoría de calificación en función del Modelo verificado y cada uno de los modelos simulados.

Figura 1.
Distribución del profesorado por categorías de calificación en función del Modelo verificado y los dos modelos simulados.
Distribución del profesorado por categorías de calificación en función del Modelo verificado y los dos modelos simulados.

Como puede comprobarse, las modificaciones llevadas a cabo en los modelos simulados producen una notable disminución del profesorado “Excelente” en el denominado Modelo 1, con una distribución algo más centrada (índice de asimetría = -1,03) aunque, sin embargo, mantiene al igual que el Modelo verificado (índice de asimetría = -2,84) un sesgo hacia la evaluación positiva del profesorado, en este caso focalizado en la categoría “Muy favorable”. En contraste, el Modelo 2, más exigente a la hora de dar un mayor peso a la dimensión de Resultados e Innovación junto a mayores restricciones en el peso de la dimensión Planificación de la enseñanza, así como en la suma de los topes de las distintas sub-dimensiones que contribuyen a la misma, conduce a una distribución más centrada (índice de asimetría = 0,08) del profesorado en las distintas categorías evaluativas. En suma, el contraste entre el Modelo verificado por ANECA para la ULL, y las simulaciones realizadas, indican que Docentia-ULL es capaz de discriminar al conjunto del profesorado, ateniéndose a una distribución de las puntuaciones con una menor asimetría a la derecha con el Modelo 1, o a una distribución centrada en las categorías intermedias (Modelo 2). Ninguno de los tres modelos se distribuye de forma normal, aunque se aprecia que el Modelo 1 y el Modelo 2 se aproximan más a la curva normal que el Modelo verificado.

Si bien los resultados de la simulación del Modelo 2 se acercan más a la normalidad, la ULL apostó por la implementación del Modelo1, menos exigente que el Modelo 2, pero con la capacidad discriminativa entre calificaciones de la calidad docente del profesorado demandada por ANECA y consensuada, tal y como se explicitó anteriormente.

En la Figura 2 se compara la distribución de la calificación del profesorado en cada uno de los modelos simulados con los datos reales del Modelo verificado y los datos obtenidos en la aplicación del modelo alternativo (Modelo 1) en las convocatorias 2015/16 y 2016/17. Se aprecia cómo los resultados reales obtenidos con la implementación del Modelo 1 se acercan a la distribución del Modelo 1 simulado, fundamentalmente en lo que a las categorías de “Excelente” y “Muy favorable” se refiere. Además, ponen de manifiesto la capacidad para discriminar de forma más adecuada entre el profesorado “Favorable”, “Muy favorable” y “Excelente”.

En este sentido, el contraste Chi-cuadrado de bondad de ajuste resulta significativo si comparamos la distribución del Modelo 1 con las distribuciones obtenidas los cursos 2015/16 y 2016/17 ( χ 3 2 =50,55; p=0.00 y χ 3 2 =21,38; p=0.00, respectivamente). En ambas ediciones se obtiene más profesorado “Favorable” del que se esperaba. Sin embargo, si realizamos este contraste sin tener en cuenta la categoría “Favorable” las distribuciones obtenidas los cursos 2015/16 y 2016/17 ya no se diferencian de la distribución esperada en función del Modelo 1 ( χ 2 2 =1,75; p=0.42 y χ 2 2 =5,95; p=0.051, respectivamente).

Figura 2.
Comparación de la Distribución del profesorado por categoría de calificación (%) en función de los Modelos verificado, simulados y los resultados reales obtenidos aplicando el Modelo 1 en 2015/16 y 2016/17.
Comparación de la Distribución del profesorado por categoría de calificación (%) en función de los Modelos verificado, simulados y los resultados reales obtenidos aplicando el Modelo 1 en 2015/16 y 2016/17.

En la Figura 3 se representan las distribuciones e indicadores de síntesis de las distintas dimensiones y sub-dimensiones en función del Modelo Verificado, Modelo 1 y Modelo 2 obtenidos mediante la aplicación del cambio de criterios presentado en el procedimiento.

Figura 3.
Distribuciones e indicadores de síntesis de las distintas dimensiones y sub-dimensiones en función del Modelo Verificado, Modelo 1 y Modelo 2.
Distribuciones e indicadores de síntesis de las distintas dimensiones y sub-dimensiones en función del Modelo Verificado, Modelo 1 y Modelo 2.

Puede observarse que la distribución de la puntuación total, aumenta su variabilidad, disminuyendo su media, asimetría y curtosis. La primera dimensión, Planificación de la enseñanza (actividades obligatorias), recibe un efecto techo de 15 puntos. La dimensión 2, Desarrollo de la docencia, también aumenta su variabilidad, disminuyendo su media, asimetría y curtosis. Está compuesta por las sub-dimensiones Actividades docentes ordinarias, que reciben un techo de 16 o 5 puntos según qué modelo y Actividades docentes complementarias y Actividades especiales, que consiguen aumentar su media y variabilidad. La dimensión 2, Resultados e Innovación, aumenta su rango de puntuaciones, incrementando ligeramente su media y aumentando su variabilidad. Su sub-dimensión Evidencias cualitativas aumenta su rango, en la misma línea que las sub-dimensiones Formación e innovación y otros méritos, que eleva su variabilidad y su media al incrementar su techo conjunto

Datos de regresión y correlacionales de la relación entre las tres fuentes de evaluación: méritos del profesorado, satisfacción del alumnado y del responsable académico

El Modelo Docentia asume que las tres fuentes de información para la evaluación del profesorado son independientes, esto es, no son redundantes. Para examinar este extremo, hemos correlacionado la Satisfacción del alumnado, la Satisfacción de los responsables académicos y varias dimensiones/sub-dimensiones referidas a los méritos del profesor: Planificación de la enseñanza, Desarrollo de la docencia y la sub-dimensión de Formación e innovación, tanto en el Modelo verificado, como en el Modelo 1 (que se implementó). Las correlaciones se muestran en la Tabla 4.

Tabla 4.
Correlaciones entre dimensiones/sub-dimensiones de los méritos del docente con satisfacción de los responsables académicos y del alumnado, tanto en el Modelo verificado (MV) como el Modelo 1 (M1).
Tabla 4. Correlaciones entre dimensiones/sub-dimensiones de los méritos del docente con satisfacción de los responsables académicos y del alumnado, tanto en el Modelo verificado (MV) como el Modelo 1 (M1).
Actividades docentes ordinariasActiv. docentes complemen-tarias y especialesFormación e Innovación y otros méritosSatisfacción alumnadoResponsable académicoPuntuación total
Planificación de la enseñanza MV0,0800,334,-0,0890,1140,699
Planificación de la enseñanza M1-0,0180,2090,200-0,0300,0440,392
Actividades docentes ordinarias MV0,0050,0550,0840,0390,087
Actividades docentes ordinarias M1-0,0310,0150,016-0,005-0,028
Activ. docentes complementarias y especiales MV0,2740,0660,2470,585
Activ. docentes complementarias y especiales M10,2770,0510,2260,639
Formación e Innovación y otros méritos MV-0,0540,1340,628
Formación e Innovación y otros méritos M1-0,0670,0880,715
Satisfacción alumnado MV0,0680,170
Satisfacción alumnado M10,0680,201
Responsable académico MV0,303
Responsable académico M10,306
n=367; correlaciones significativas al 0,05 a partir de un valor de 0,114

Como puede observarse en esta Tabla, la Satisfacción del alumnado es independiente de los méritos del docente y de la valoración del responsable académico, tanto en el Modelo verificado como en el Modelo 1. En cuanto a la Satisfacción de los responsables académicos, presenta una correlación baja tanto con las Actividades docentes complentarias en ambos modelos, como con la formación e innovación educativa. Estos datos apoyan la independencia de las tres fuentes en las que se basa el modelo para la triangulación de la información: méritos del docente (autoinforme), satisfacción del alumnado y la valoración del responsable académico. Sin embargo, aunque cierta independencia de las tres fuentes es positiva para la validación del Modelo Docentia, lo cierto es que una relación de baja a moderada entre las tres fuentes podría ser esperable; pero esto solo se produce en el caso de la correlación entre las Actividades docentes complementarias, y la Satisfacción del responsable académico. Nos resulta particularmente llamativo que la Formación e Innovación no tenga una correlación mas elevada con la Satisfacción del alumnado.

A efectos de conocer el peso de los méritos del docente, así como de la satisfacción del alumnado y de los responsables académicos en la puntuación total obtenida, hemos llevado a cabo análisis de regresión lineal, tanto para el Modelo verificado, como para Modelo 1 (Tabla 5).

Tabla 5.
Coeficientes de regresión, significación y correlación semiparcial de las sub-dimensiones sobre la puntuación total obtenida en el Modelo verificado (MV) y en el Modelo 1 (M1).
Tabla 5. Coeficientes de regresión, significación y correlación semiparcial de las sub-dimensiones sobre la puntuación total obtenida en el Modelo verificado (MV) y en el Modelo 1 (M1).
BError típ.BetatSig.Semi-parcial
Planificación de la enseñanza MV090,061,47317,877,000,421
Planificación de la enseñanza M11,616,189,1968,535,000,189
Actividades docentes ordinarias MV,060,305,005,198,843,005
Actividades docentes ordinarias M1-1,8761,777-,023-1,056,292-,023
Actividades docentes complementarias y especiales MV,449,042,28210,811,000,255
Actividades docentes complementarias y especiales M1,625,038,39716,576,000,367
Formación e Innovación y otros méritos MV,976,068,37214,423,000,340
Formación e Innovación y otros méritos M11,014,042,56824,276,000,537
Satisfacción alumnado MV,707,082,2058,575,000,202
Satisfacción alumnado M1,897,093,2159,655,000,214
Responsable académico MV,650,137,1164,736,000,112
Responsable académico M1,968,155,1426,242,000,138
MV: R2=0,80; F6,360=240,078; p= 0,000.M1: R2=0,82; F6,360=280,312; p= 0,000.

Como puede observarse en la Tabla 5, para ambos modelos resulta significativo el coeficiente de determinación (R.), explicando un 80 y 82% de la variabilidad de la puntuación total para el Modelo verificado y el Modelo 1, respectivamente. Las Actividades docentes ordinarias (obligatorias) constituyen el único predictor que no resulta significativo en ningún modelo. La aportación (ß) de las Actividades docentes complementarias y la de la Formación e innovación es mayor en el Modelo 1 que en el Modelo verificado. En cambio, los méritos del profesorado asociados a la planificación de la docencia pierden su peso en el Modelo 1, a favor de la Formación e Innovación. En la misma línea se puede interpretar los coeficientes de regresión semiparciales.

Estos resultados apoyan nuestro supuesto de partida: las obligaciones docentes no son útiles para discriminar al profesorado de favorable a excelente. Asimismo, apoya que en el Modelo 1, los méritos “voluntarios” del profesorado adquieren un peso mayor con respecto al Modelo verificado y que las obligaciones pierden su peso, que era uno de los objetivos que perseguíamos.

Discusión

Los resultados obtenidos con la implementación del modelo alternativo (Modelo 1) en las dos primeras convocatorias del nuevo quinquenio Docentia ULL (2015/16 y 2016/17) ponen de manifiesto su capacidad discriminativa una vez ajustado a las modificaciones propuestas en base a las simulaciones realizadas.

Del estudio de las distribuciones de los modelos, puede deducirse que el peso dado en el Modelo verificado a las dimensiones y sub-dimensiones vinculadas a las obligaciones docentes (sub-dimensión 1.2: Planificación de la docencia; sub-dimensión 2.1: Actividades docentes ordinarias), así como la flexibilidad en los topes de estas sub-dimensiones para alcanzar la puntuación máxima de cada dimensión (1. Planificación de la Enseñanza y 2. Desarrollo de la Docencia) explica en buena medida el sesgo hacia la evaluación del profesorado en las categorías más positivas. En contraste, el incremento de los pesos, y también las restricciones para obtener la máxima puntuación en la dimensión 3. Resultados e Innovación, conduce a una clara disminución del profesorado calificado como “Excelente”.

Cuando se asigna menor peso a las obligaciones docentes y mayor peso a los méritos que voluntariamente obtiene el profesorado, esto es, su formación continua y su implicación en la innovación docente, se obtiene una distribución más centrada en las categorías intermedias del profesorado evaluado en las distintas categorías de valoración, y se discrimina positivamente al profesorado “Excelente”. La formación continua y la innovación en la labor docente están marcando la apuesta actual por la calidad educativa de las universidades. Sin embargo, como ya comentamos, los cambios en el modelo de enseñanza-aprendizaje solo pueden llevarse a las aulas si cuentan con el apoyo del colectivo encargado de hacerlos realidad (Valcárcel, 2003). La conciencia de su valor se va incorporando entre el profesorado, lo que va asociado a su mayor participación en proyectos docentes de esta índole (véase Perales et al., 2014). Aun así, el esfuerzo debe continuar, dado que las experiencias son dispersas, y las universidades no cuentan con mecanismos sistemáticos que posibiliten la extensión de las buenas prácticas educativas.

Por otro lado, lo teóricamente esperable, de acuerdo al modelo del desempeño que se plantea en el Docentia para un colectivo como el profesorado universitario es una distribución no tan centrada como la que ocasiona el Modelo 2, pero sí menos asimétrica que el Modelo verificado. Esa distribución esperable es la encontrada en el Modelo 1 de nuestro estudio. Por lo tanto, el Docentia-ULL se muestra capaz de discriminar entre el profesorado que cumple con sus obligaciones docentes de forma “Favorable” y aquel que lo hace de forma “Muy favorable” o “Excelente”, una vez adoptado el modelo en base a los resultados encontrados con las simulaciones. Con ello, el modelo puede recuperar su prestigio entre el profesorado y su capacidad para orientar la actividad de los docentes hacia el compromiso con la excelencia. El cambio de modelo educativo de la clase magistral centrada en el docente, a la figura del docente como agente dinamizador del proceso de aprendizaje centrado en el estudiante, requiere de ese compromiso.

Como se ha mencionado previamente, el modelo se apoya en la triangulación de tres fuentes de información: satisfacción del alumnado, satisfacción de los responsables académicos y méritos del profesorado. Se asume que son fuentes no redundantes, y relativamente independientes, lo que ha sido apoyado por el análisis correlacional que hemos llevado a cabo. Podría argumentarse, en sentido contrario, que la satisfacción, sobre todo del alumnado, debería presentar una asociación moderada con el esfuerzo del profesorado en ámbitos como la formación/innovación o el desarrollo de la docencia. Una mayor asociación podría ser incluso deseable. De acuerdo a la literatura previa, el alumnado valora positivamente capacidades del profesorado como el establecimiento de un apropiado sistema de evaluación, la adecuación de los contenidos impartidos con los créditos de la asignatura, la capacidad de motivar o una adecuada tutorización. Estas competencias se consideran centrales en el perfil del docente universitario (Caballero & Bolívar, 2015; Pozo Muñoz et al., 2011; San Martín et al., 2014; Tejedor & García-Varcárcel, 2007; Tejedor & García-Varcárcel, 2010; Zabalza, 2009). La capacidad de innovación del profesorado se reflejaría en la satisfacción del alumnado en la medida en que redundara en la motivación y estímulo para el estudio y facilite su aprendizaje. A este respecto, se ha comprobado una asociación positiva de las prácticas de innovación educativa con la satisfacción del alumnado en tanto que afectan positivamente la motivación y su aprendizaje, cuando la innovación se refiere al uso de las Tics para la mejora docente (García-Varcárcel & Tejedor, 2017; Herrero, 2014).

La ausencia de relación entre un factor tan relevante en el desempeño docente como la formación del profesorado y su capacidad innovadora con la satisfacción del alumnado, en nuestro estudio merece una reflexión. En primer lugar, en cuanto a sus implicaciones para la reforma del modelo Docentia que hemos planteado, que dota de mayor peso a la formación e innovación educativa en la evaluación del profesorado. Si resulta que no redunda en la satisfacción del alumnado, el mayor peso que le hemos otorgado podría carecer de una fuente de validez convergente relevante. Por otro lado, la baja correlación encontrada puede deberse a un problema metodológico de nuestro estudio. La encuesta de satisfacción del alumnado de la ULL (como en la mayoría de las universidades españolas), no contiene ítems que valoren directamente si el profesorado lleva a cabo innovaciones educativas en la docencia que imparte ni la satisfacción con las mismas. Por lo tanto, solo se puede medir la satisfacción con la formación e innovación educativa, asumiendo que se relaciona con otras capacidades del profesorado que sí se miden (como la capacidad para motivar al alumnado o la utilización de recursos didácticos que faciliten el aprendizaje). A este respecto, una pregunta relevante que podemos hacernos, es si se debería incluir ítems específicos sobre la capacidad de innovación del profesorado y la satisfacción con la misma, en la encuesta del alumnado. Ello permitiría evaluar de manera directa si la formación e innovación tiene un reflejo en la satisfacción del alumnado.

A modo de especulación, exponemos seguidamente algunas razones que pueden estar incidiendo en esta baja asociación. A este respecto, puede ocurrir que la innovación educativa no siempre afecte a la motivación o a la percepción del alumnado como facilitadora de su aprendizaje (y del éxito académico) y, por lo tanto, a su satisfacción con la docencia. Este podría ser el caso de la innovación educativa que aborda estrategias de evaluación más sofisticadas (como el empleo de rúbricas y las guías de evaluación) que, aunque relevante para la evaluación de la adquisición de competencias, podrían no tener un efecto motivador directo en el alumnado (son relativamente ajenas a sus intereses), y donde su relación con la mejora del aprendizaje no resulta tan evidente. A la par, pueden conllevar un mayor esfuerzo por su parte o resultar redundantes con la evaluación tradicional, lo que constituyen elementos negativos de cara a la evaluación de su satisfacción con el profesorado que las implementa. De hecho, en una investigación anterior llevada a cabo en el contexto del sistema universitario andaluz, se encontró que un ítem de la encuesta del alumnado que puede vincularse a la formación del profesorado y la innovación educativa “Utiliza recursos didácticos que facilitan el aprendizaje” no resultó un predictor significativo de la satisfacción general del alumnado (Pozo, Giménez, & Bretones, 2009).

En el contexto actual, la innovación educativa en nuestra universidad se basa en iniciativas particulares del profesorado, es abundante, pero frecuentemente dispar, y afectan a ámbitos diversos como el empleo de las Tics, la metodología docente o la evaluación. Consideramos que su asociación con la satisfacción del alumnado es asimismo dispar, lo que podría ayudar a explicar nuestros resultados correlacionales. No existe, hasta donde sabemos, estudios previos donde se analice de manera sistemática la relación de la innovación educativa, en toda su amplitud, con la satisfacción del alumnado. Por lo tanto, la realización de nuevas investigaciones que indaguen en la relación entre la innovación educativa y la formación del profesorado con la satisfacción del alumnado con la docencia parece oportuna.

Los sistemas de evaluación de la actividad docente requieren ser mejorados para que la evaluación se convierta en un instrumento útil para el profesorado y que lo oriente a la mejora de su desempeño. En la ULL este estudio ha constituido un punto de partida para la modificación del Modelo verificado, tras su implantación durante los primeros cinco años. Como fruto de esta experiencia, se ha modificado el Docentia-ULL en el sentido que la misma nos ha indicado. De acuerdo con los representantes del profesorado, y con el apoyo de la institución, a partir de la convocatoria Docentia-ULL 2015/16 se ha implementado el Modelo 1, que ha demostrado tener la capacidad discriminativa que se buscaba. El objetivo tiene relevancia institucional, ya que una mejor y más adecuada discriminación del profesorado, de acuerdo a las bases del Modelo Docentia, le otorga credibilidad y prestigia la labor docente. A este respecto, es necesario que continúe el apoyo institucional para que la evaluación del desempeño docente tenga efectos institucionales y personales en la promoción del profesorado. A este respecto, es conveniente tener presente las recomendaciones del “High Group on Modernization of Higher Education” de la Comisión Europea de 2013, en el sentido de equilibrar la relevancia institucional que se otorga a la docencia con la de la investigación, a todos los efectos (Caballero & Bolívar, 2015; Zabalza, 2009). Un decidido impulso a la formación e innovación educativa se hace realmente necesario y, con ello, llevar a cabo políticas destinadas a la incorporación de la cultura de la innovación educativa entre nuestro alumnado y profesorado (Roig-Vila, 2017). También podría ser relevante la apuesta por modelos de enseñanza-aprendizaje, o de evaluación, que tengan cierto carácter unificador; particularmente el apoyo real a la evaluación continua permitiría una mayor unificación de las prácticas de innovación educativa (Fraile, López-Pastor, Castejón, & Romero, 2013; Hortigüela, Pérez-Pueyo, & López-Pastor, 2015). Asimismo, resultaría oportuna la realización por parte de la institución de políticas destinadas a prestigiar la innovación educativa, y al profesorado que las realiza, para que esa capacidad del docente pueda trasladarse adecuadamente a la satisfacción del alumnado.

Este estudio tiene la limitación de circunscribirse a una sola universidad. Sin embargo, consideramos que tiene potencial para su extrapolación a otras universidades, dado que el Modelo Docentia, en particular sus dimensiones evaluativas y los criterios de Adecuación, Satisfacción, Eficiencia y Orientación a la Mejora que determinan sus contenidos, constituyen un marco común en el Sistema Universitario Español (SUE). Como se desprende de la Tabla 1, la dificultad para distinguir al profesorado “Excelente” es común a un número importante de universidades españolas. En cualquier caso, se hace necesaria la realización de estudios en otras universidades del SUE para examinar la eficacia de los cambios de nuestros modelos simulados para una adecuada categorización del profesorado. Asimismo, es importante continuar con el seguimiento de los resultados obtenidos en la propia ULL con el nuevo Modelo Docentia-ULL durante el quinquenio ya iniciado, para una nueva revisión.

Por otro lado, es necesario que este tipo de reflexiones se generalicen en el conjunto del SUE, y se asuman por las agencias de calidad (ANECA y agencias autonómicas), en tanto que la evaluación del profesorado afecta a su propia promoción. Los procedimientos de acreditación, como el ACADEMIA, contemplan al Docentia como instrumento válido para ello. Si la excelencia se obtiene más fácilmente en unas universidades frente a otras, se estará primando la promoción de unos frente a otros, sin que pueda considerarse esa discriminación ni justa ni válida, sino como una evaluación arbitraria del desempeño docente del profesorado universitario.

Referencias

Alfageme, M. B., & Caballero, K. (2010). Evaluación y profesorado en la universidad española. Educatio Siglo XXI, 28(1), 271-294.

Álvarez-Rojo, V., Asensio-Muñoz, I., Clares, J., Del-Frago, R., García-Lupión, B., & García-Nieto, N. “…” Salmerón, P. (2009). Perfiles docentes para el espacio europeo de educación superior (EEES) en el ámbito universitario español. RELIEVE, 15(1). doi: https://doi.org/10.7203/relieve.15.1.4187

Agencia Nacional de Evaluación de la Calidad y Acreditación (2007). Programa DOCENTIA: Programa de Apoyo a la Evaluación de la Actividad Docente del Profesorado. Recuperado de http://www.aneca.es/Programas-de-evaluacion/Evaluacion-institucional/DOCENTIA

Agencia Nacional de Evaluación de la Calidad y Acreditación (2008). Programa Academia. Principios y orientaciones para la aplicación de los criterios de evaluación. Recuperado de http://www.aneca.es/Programas-de-evaluacion/Evaluacion-de-profesorado/ACADEMIA

Benito, A. & Cruz, A. (2006). Nuevas claves para la docencia universitaria en el Espacio Europeo de Educación Superior. Madrid: Narcea.

Caballero, K., & Bolívar, A. (2015). El profesorado universitario como docente: hacia una identidad profesional que integre docencia e investigación. REDU: Revista de Docencia Universitaria, 13, 57-77.

Calderón, C., & Escalera, G. (2008). La evaluación de la docencia ante el reto del Espacio Europeo de Educación Superior (EEES). Educación XX1, 11, 237-256. doi: https://doi.org/10.5944/educxx1.11.0.316

High Group on Modernization of Higher Education (2013). Improving the quality of teaching and learning in Europe’s higher education institutions. Recuperado de http://ec.europa.eu/dgs/education_culture/repository/education/library/reports/modernisation_en.pdf

Fraile, A., López-Pastor, V., Castejón, J., & Romero, R. (2013). La evaluación formativa en docencia universitaria y el rendimiento académico del alumnado [The education evaluation in university teaching and the academic performance of students]. Aula Abierta, 41, 23-34.

Herrero, R. (2014). El papel de las TIC en el aula universitaria para la formación en competencias del alumnado. Pixel-Bit. Revista de Medios y Educación, 45, 173-188.

García-Valcárcel, A., & Tejedor, F. J. (2017). Percepción de los estudiantes sobre el valor de las TIC en sus estrategias de aprendizaje y su relación con el rendimiento. Educación XX1, 20(2), pp. 137-159. doi https://doi.org/10.5944/educxx1.19035

Hortigüela, D., Pérez-Pueyo, A., & López-Pastor, V. (2015). Implicación y regulación del trabajo del alumnado en los sistemas de evaluación formativa en educación superior. RELIEVE, 21(1), pp. 1-5. https://doi.org/10.7203/relieve.21.1.5171

Isla-Díaz, R., Ramos, T., Noda, A., Jiménez, F., Acosta, S., Marrero Hernández, H., Pérez Monteverde, M.V., y Soriano, M.I. (2014). Evaluación de la calidad docente: ¿Es el Docentia una herramienta inútil? XI Foro Internacional sobre Evaluación de la Calidad de la Investigación y la Educación Superior. 8 al 11 de Julio de 2014. Bilbao.

Martínez, M., & Esteban, F. (2005) Una propuesta de formación ciudadana para el EEES. Revista Española de Pedagogía, 63. 230, enero-abril, 63-73.

Mayor, C. (2009). Nuevos retos para una Universidad en proceso de cambio: ¿Pueden ser los profesores principiantes los protagonistas? Revista de Currículum y Formación del Profesorado, 13(1), 61-77. Recuperado de https://recyt.fecyt.es/index.php/profesorado/article/view/41904/23910

Murillo, J. (2008). La evaluación del Profesorado Universitario en España. Revista Iberoamericana de Evaluación Educativa, 1(3), 29-45.

Perales, M. J., Jornet, J. M., & González, J. (2014). Tendencias en las políticas de formación y evaluación del profesorado en la Educación Superior en España. Revista Iberoamericana de Evaluación Educativa, 2, 53-64

Pozo, C., Giménez, M. L., & Bretones, B. (2009). La evaluación de la calidad docente en el nuevo marco del EEES. Un estudio sobre la encuesta de opinión del Programa DOCENTIA-ANDALUCÍA. XXI Revista de Educación, 11, 43-64.

Pozo, C; Bretones, B.; Martos, M. J., & Alonso, E. (2011). Evaluación de la actividad docente en el Espacio Europeo de Educación Superior: un estudio comparativo de indicadores de calidad en universidades europeas. Revista Española de Pedagogía, 248, 145-163.

Roig-Vila, R. (Ed.) (2017). Investigación en docencia universitaria: Diseñando el futuro a partir de la innovación educativa. Barcelona: Editorial Octaedro.

San Martín, S., Santamaría, M., Hoyuelos, F. J., Ibáñez, J., & Jerónimo, E. (2014). Variables definitorias del perfil del profesor/a universitario/a ideal desde la perspectiva de los estudiantes pre-universitarios/as. Educación XX1, 17 (2), 193—215. doi: https://doi.org/10.5944/educxx1.17.2.11486

Sinahuya, A., & Sánchez-Tarazaga, V. (2018). La competencia evaluativa de los docentes: formación, dominio y puesta en práctica en el aula. Revista Iberoamericana de Educación, 76(2), 95-116

Tejedor, F. J., & García-Valcárcel, A. (2007). Causas del bajo rendimiento del estudiante universitario (en opinión de los profesores y alumnos). Propuestas de mejora en el marco del EEES. Revista de Educación, 342, 443-473.

Tejedor, F. J., & García-Valcárcel, A. (2010). Evaluación del desempeño docente. Revista Española de Pedagogía, 247, 439-460.

Universidad de La Laguna (2009). Manual para la Evaluación de la Actividad Docente (DOCENTIA-ULL). Recuperado de https://web.archive.org/web/20120413024947/https://www.ull.es/Private/folder/institucional/ull/calidad/DOCENTIA/Manual.pdf

Valcárcel, M. (2003). La preparación del profesorado universitario español para la Convergencia Europea en Educación Superior. Proyecto EA2003-0040. Recuperado de http://campus.usal.es/~ofeees/ESTUDIOS_INFORMES_GRALES/informe_final.pdf

Zabalza, M. A. (2003). Competencias docentes del profesorado universitario. Calidad y desarrollo. Madrid: Narcea.

Zabalza (2009). Ser profesor universitario hoy. La cuestión universitaria, 5, 69‐81.

Notas de autor

* Isla-Díaz, Rosa (risladia@ull.es). Profesora titular de Psicología Social del Departamento de Psicología Cognitiva, Social y Organizacional de la Universidad de La Laguna. Dirección Postal: Facultad de Psicología y Logopedia. Apartado 456. Código postal 38200-San Cristóbal de La Laguna. S/C de Tenerife (España).
** Marrero-Hernández, Hipólito (hmarrero@ull.es). Catedrático de Psicología Básica del Departamento de Psicología Cognitiva, Social y Organizacional de la Universidad de La Laguna. Dirección Postal: Facultad de Psicología y Logopedia. Apartado 456. Código postal 38200-San Cristóbal de La Laguna. S/C de Tenerife (España).
*** Hess-Medler, Stephany (sthess@ull.edu.es). Profesora titular de Metodología de las Ciencias del Comportamiento del Departamento de Psicología Clínica, Psicobiología y Metodología de la Universidad de La Laguna. Dirección Postal: Facultad de Psicología y Logopedia. Apartado 456. Código postal 38200-San Cristóbal de La Laguna. S/C de Tenerife (España).
**** Soriano, Mabel (msoriano@ull.es). Profesora Titular del Departamento de. Ingeniería Química y Tecnología Farmacéutica de la Universidad de La Laguna. Dirección Postal: Facultad de Farmacia. Apartado 456. Código postal 38200-San Cristóbal de La Laguna. S/C de Tenerife (España).
***** Acosta-Rodríguez, Severo (sacosta@ull.es). Profesor Titular del Departamento de Bellas Artes de la Universidad de La Laguna. Dirección Postal: Facultad de Bellas Artes. Apartado 456. Código postal 38200-San Cristóbal de La Laguna. S/C de Tenerife (España).
****** Pérez-Monteverde, María-Victoria (mvperez@ull.edu.es). Departamento de Economía, Contabilidad y Finanzas de la Universidad de La Laguna. Dirección Postal: Facultad de Economía, Empresa y Turismo. Apartado 456. Código postal 38200-San Cristóbal de La Laguna. S/C de Tenerife (España)
******* Blanco-Freijo, Marcos ( mblanco@ull.edu.es). Unidad de Calidad de la Universidad de La Laguna. Dirección Postal: Torre Agustín Arévalo. Apartado 456. Código postal 38200-San Cristóbal de La Laguna. S/C de Tenerife (España)

risladia@ull.es

Información adicional

Cómo referenciar este artículo: Isla-Díaz, Rosa; Marrero-Hernández, Hipólito; Hess-Medler, Stephany; Soriano, Mabel; Acosta-Rodríguez, Severo; Pérez-Monteverde, María-Victoria, & Blanco-Freijo, Marcos (2018). Una mirada longitudinal: ¿Es el “Docentia” útil para la evaluación del profesorado universitario? RELIEVE, 24(2), art. 2. doi http://doi.org/10.7203/relieve.24.2.12142

Enlace alternativo

HTML generado a partir de XML-JATS4R por