Servicios
Servicios
Buscar
Idiomas
P. Completa
Teacher training at the University of Barcelona: satisfaction, transfer and impact
Teresa Pagés Costas; Rosa Sayós Santigosa; Juan Antonio Amador Campos;
Teresa Pagés Costas; Rosa Sayós Santigosa; Juan Antonio Amador Campos; Evangelina González Fernández; Lourdes Marzo Ruiz; Mònica Mato Ferré
Teacher training at the University of Barcelona: satisfaction, transfer and impact
Teacher training at the University of Barcelona: satisfaction, transfer and impact
@tic. revista d'innovació educativa, núm. 17, pp. 41-48, 2016
Universitat de València
resúmenes
secciones
referencias
imágenes

Resumen: Este estudio analiza el efecto que los programas de formación del Instituto de Ciencias de la Educación (ICE) de la Universidad de Barcelona (UB) tiene sobre la acción docente del profesorado que recibe esta formación. Se ha valorado la satisfacción del profesorado sobre los cursos recibidos, el nivel de transferencia de los conocimientos adquiridos a la docencia y su repercusión en el rendimiento académico, en la motivación y en la participación de los estudiantes. También se analizan las dificultades para transferir a la práctica los conocimientos y las habilidades adquiridas en la formación. Los indicadores utilizados para la recogida y el análisis de datos forman parte del Sistema Interno de Garantía de Calidad (SIGC) de los programas de formación del ICE de la UB. Los datos muestran una alta satisfacción del profesorado con la formación recibida. Indican que los programas diseñados favorecen la adquisición de competencias docentes y proporcionan a los profesores una mayor capacidad para introducir cambios en su docencia Dichos cambios repercuten en la mejora del rendimiento académico, así como en la participación y motivación de los estudiantes. La percepción de que algunos aspectos organizativos de la institución obstaculizan la transferencia es mayor en el profesorado que ha recibido más formación. Así mismo, se pone de manifiesto que el SIGC es una buena herramienta para el seguimiento y la evaluación de los programas de formación, para su acreditación, y en consecuencia, para acreditar también el desarrollo docente del profesorado.

Palabras clave:formación docenteformación docente, profesorado universitario profesorado universitario, Sistema Interno de Garantía de Calidad Sistema Interno de Garantía de Calidad, percepción sobre transferencia e impacto percepción sobre transferencia e impacto.

Abstract: This study analyses the effect that the training programs of the Institute of Education (ICE) of the University of Barcelona (UB) has on the teaching of the trainees who received this training. The satisfaction of the teaching staff about the courses, the level of transfer of the knowledge acquired to their teaching and its impact on the academic performance, motivation and participation of the trainees have been evaluated. Besides, the difficulties in transferring knowledge and skills acquired in the training to the teaching practice have been analysed. The indicators used for the collection and analysis of data are part of the Internal Quality Assurance System (IQAS) of the ICE’s training programs. The data show a high satisfaction of the teacher trainees with the training received. They indicate that the programs designed favour the acquisition of teaching competences and provide teachers with a greater capacity to introduce changes in their teaching. These changes affect the improvement of academic performance as well as the participation and motivation of their students. The perception that some organizational aspects of the institution hamper the transference to their teaching is greater in the trainees who have received more training. Moreover, it shows that IQAS is a good tool for monitoring and evaluating the training programs, to accredit them, and therefore also to accredit the professional development of teacher trainees.

Keywords: teacher training, university teaching staff, Internal Quality Assurance System, perception on transfer and impact.

Resum: Aquest estudi analitza l'efecte que els programes de formació de l'Institut de Ciències de l'Educació (ICE) de la Universitat de Barcelona (UB) té sobre l'acció docent del professorat que rep aquesta formació. S'ha valorat la satisfacció del professorat sobre els cursos rebuts, el nivell de transferència dels coneixements adquirits a la docència i la seva repercussió en el rendiment acadèmic, en la motivació i en la participació dels estudiants. També s'analitzen les dificultats per transferir a la pràctica els coneixements i les habilitats adquirides en la formació. Els indicadors utilitzats per a la recollida i l'anàlisi de dades formen part del Sistema Intern de Garantia de Qualitat (SIGQ) dels programes de formació de l'ICE de la UB. Les dades mostren una alta satisfacció del professorat amb la formació rebuda. Indiquen que els programes dissenyats afavoreixen l'adquisició de competències docents i proporcionen als professors una major capacitat per introduir canvis en la seva docència Aquests canvis repercuteixen en la millora del rendiment acadèmic, així com en la participació i motivació dels estudiants. La percepció que alguns aspectes organitzatius de la institució obstaculitzen la transferència és més gran en el professorat que ha rebut més formació. Així mateix es posa de manifest que el SIGQ és una bona eina per al seguiment i l'avaluació dels programes de formació, per la seva acreditació, i en conseqüència, per acreditar també el desenvolupament docent del professorat

Paraules clau: formació docent, professorat universitari, Sistema Intern de Garantia de Qualitat, percepció sobre transferència i impacte.

Carátula del artículo

Monograph

Teacher training at the University of Barcelona: satisfaction, transfer and impact

Teacher training at the University of Barcelona: satisfaction, transfer and impact

Teresa Pagés Costas
Universitat de Barcelona, España
Rosa Sayós Santigosa
Universitat de Barcelona, España
Juan Antonio Amador Campos
Universitat de Barcelona, España
Evangelina González Fernández
Universitat de Barcelona, España
Lourdes Marzo Ruiz
Universitat de Barcelona, España
Mònica Mato Ferré
Universitat de Barcelona, España
@tic. revista d'innovació educativa, núm. 17, pp. 41-48, 2016
Universitat de València

Recepción: 20/10/2016

Aprobación: 19/12/2016

Publicación: 23/12/2016

1. Introducción y estado de la cuestión

La Universidad, como institución de Educación Superior, tiene la misión específica de formar a los profesionales que necesita la sociedad y en este sentido el desarrollo profesional de su personal docente e investigador (PDI) es primordial. Aunque tradicionalmente la cultura institucional ha dado más importancia a la investigación, en detrimento de la docencia, gradualmente se ha ido reconociendo la necesidad de fortalecer y mejorar la función docente, reforzando su vinculación con la investigación. Este cambio, que ha sido progresivo y ha estado influido por demandas internas y externas, se ha hecho totalmente necesario a partir de la implementación del Espacio Europeo de Educación Superior (EEES). En este contexto es necesario potenciar el perfil docente del profesorado universitario, que tendría que definirse a partir de las competencias docentes que dicho profesorado debe poseer. Por este motivo los programas de formación son un elemento clave para facilitar el cambio institucional hacia la consecución de este perfil (Sánchez, 2015; Torra et al., 2012, 2013; Triadó et al., 2014).

El Sistema Interno de Garantía de Calidad (SIGC) de las universidades españolas establece la obligación de velar por el desarrollo de la carrera profesional de su PDI, entendiendo que, junto al dominio de los conocimientos científicos de su especialidad, un profesor universitario debe tener competencias que le capaciten para diseñar situaciones de enseñanza y de aprendizaje que permitan la adquisición de conocimientos, habilidades y actitudes a los estudiantes. Por este motivo, la mayoría de instituciones de Educación Superior disponen de unidades de formación que diseñan y ejecutan un amplio abanico de actividades formativas, en el marco de la política docente marcada por cada universidad. Esta formación resulta imprescindible si se tiene en cuenta que, como consecuencia del proceso de Bolonia, la educación ha desplazado su eje, pasando de estar centrada en la enseñanza a estar centrada en el aprendizaje.

Aunque las unidades de formación del profesorado universitario recogen la política de calidad de la institución, en general hacen poco hincapié en los procesos de aseguramiento de la calidad de los programas formativos en sí mismos, lo que dificulta el reconocimiento de la formación docente en los procesos de acreditación del profesorado. Tal como proponen algunos autores (García-Berro et al., 2014), se tendría que ir hacia una evaluación global del profesorado universitario, en la que se contemplaran de forma integrada indicadores para evaluar tanto la actividad investigadora como la actividad docente, ya que la universidad es una institución de educación superior y de investigación.

Es en este contexto que desde el Instituto de Ciencias de la Educación (ICE) de la Universidad de Barcelona (UB) se planteó la elaboración y aplicación de un SIGC para valorar los programas de formación docente ofrecidos al profesorado universitario, partiendo de la idea que dichos programas tienen que estar vinculados al proceso de evaluación del profesorado que llevan a cabo las agencias de evaluación.

Los programas de formación que propone el ICE de la UB contemplan la formación continua del profesorado y abarcan todos los estadios de su desarrollo profesional. Basándose en el modelo de razonamiento y acción pedagógicos de Shulman (2005)1 y en los principios del movimiento Scholarship of Teaching and Learning, tienen en cuenta los siguientes aspectos:

  • que el perfil de los titulados se ha definido a partir de las competencias que deben adquirir; por lo tanto, es lógico que se pida al profesorado que posea unas determinadas competencias docentes;

  • que de forma continua se van produciendo cambios sociales que modifican el planteamiento del proceso de enseñanzaaprendizaje y por lo tanto tendrán que replantearse los contenidos y los modelos de formación que se proponen al profesorado;

  • que es necesario utilizar metodologías que ayuden y faciliten aprender a través de la acción, la reflexión sobre la propia praxis y la autocrítica formativa y, al mismo tiempo, promuevan el interés continuo de los docentes por el aprendizaje de sus estudiantes.

Desde hace unos años, y de forma progresiva, se ha pasado de los cursos predominantemente expositivos a cursos donde predomina la participación activa, el trabajo por proyectos y la reflexión sobre la práctica docente de los participantes. Se pretende que el profesorado implemente en el aula los aprendizajes adquiridos durante la formación.

Para diseñar el SIGC de los programas de formación del ICE se ha seguido en gran medida el modelo de las Guías de Autoevaluación, de Evaluación Externa y Metaevaluación del “Programa de evaluación de los planes de formación para la docencia del profesorado”, diseñado en su día por ANECA en el marco de un programa experimental (Zabalza, 2011). También se ha intentado ajustarse en la medida de lo posible al programa AUDIT.

El SIGC contempla cuatro dimensiones:

  1. 1. Diseño y aprobación del plan de formación

  2. 2. Planificación e implementación

  3. 3. Seguimiento del proceso formativo

  4. 4. Resultados de la formación

Para cada dimensión se proponen una serie de indicadores que son analizados a partir de evidencias cuantitativas y cualitativas, proporcionadas por diferentes agentes (profesorado, ICE, formadores, coordinadores de formación) en distintos momentos del proceso de formación (previo, durante, después). El análisis de estos indicadores permite determinar si el programa ha conseguido los resultados esperados, ha contribuido de forma eficiente al desarrollo profesional del profesorado y ha tenido un impacto positivo, tanto en la mejora del aprendizaje de los estudiantes como en la institución. El desarrollo completo del SIGC se puede consultar en el siguiente enlace (Sayós et al. 2016):< http://www.ub.edu/ice/quest_uni/SIGCplanesformacionICE-UB.pdf >

Para conseguir una formación de calidad del profesorado universitario es necesario diseñar e implementar un mecanismo de evaluación que permita hacer un seguimiento del proceso formativo con el objeto de comprobar que se han conseguido los resultados esperados. En cualquier evaluación de acciones formativas se debe considerar la transferencia del aprendizaje; es decir, la forma en la que los participantes en la formación incorporan los aprendizajes adquiridos a su trabajo cotidiano. También se debe valorar el impacto de dicha formación en los ámbitos en los que se pretende influir: mejores recursos didácticos para el profesorado, mejor docencia, mejores resultados de aprendizaje de los estudiantes y mayor relevancia de la docencia en la cultura institucional. La evaluación de la transferencia y del impacto de la formación permite verificar la calidad de las acciones formativas y, por tanto, comprobar si satisface las necesidades que la motivan y produce mejoras, tanto en el desarrollo profesional individual como en la institución (Amador et al., 2013; Amador y Pagés, 2014; Tejada y Fernández, 2007).

Existen diversos modelos de evaluación de la formación, entre otros: Modelo basado en los cuatro niveles de Kirkpatrick; Modelo holístico de evaluación de la formación de Pineda, (Kirkpatrick, 1998; Kirkpatrick y Kirkpatrick, 2006; Pineda Herrero, 2011). En nuestro caso hemos optado por el Modelo de los cuatro niveles de evaluación de Kirkpatrick, uno de los más utilizados. Este modelo contempla:

  • Nivel 1: Reacción. Se refiere a la satisfacción que manifiestan los participantes en las actividades formativas una vez finalizada la formación.

  • Nivel 2: Aprendizaje. Se define como la cantidad de cambio que se produce en los participantes, tanto a nivel de conocimientos, como de habilidades, destrezas y actitudes.

  • Nivel 3: Comportamiento. Se refiere a las nuevas conductas que los participantes despliegan en su lugar de trabajo, en este caso, el aula.

  • Nivel 4: Resultados. Alude a la efectividad y al impacto de la formación en las diversas áreas de la organización. En nuestro caso, se refiere a la forma en la que los cambios repercuten en el aula, el departamento, la facultad y la universidad.

Aunque Pineda Herrero (2011) lo considera demasiado simplista, nosotros hemos creído que es un buen modelo, claro y viable, que permite incrementar la complejidad del mismo a medida que se va avanzando en los procesos de evaluación de la formación, y lo hemos incorporado a nuestro SIGC.

En la Figura 1 se muestra la relación que hemos establecido entre los indicadores de las dimensiones 3 y 4 del SIGC del ICE de la UB que se analizan en este trabajo, con los niveles del modelo de evaluación descrito por Kirkpatrick.


Figura 1.
Relación entre los niveles del modelo de evaluación de Kirkpatrick y los del SIGC del ICE de la UB. Fuente: Elaboración propia.

Los tres primeros niveles miden los cambios que se producen en las actitudes, los conocimientos y las competencias del individuo. El cuarto nivel hace referencia a los cambios que se producen en el ámbito institucional y organizativo.

En el nivel más básico (nivel 1) se evalúa la satisfacción general de los participantes con la formación que han recibido. Los niveles 2 y 3 hacen referencia a los aprendizajes adquiridos a través de la formación y cómo estos aprendizajes se transfieren a las actividades docentes de los profesores. Cuando hablamos de transferencia nos referimos a la aplicación de conocimientos, habilidades y actitudes adquiridas en los cursos de formación a la práctica docente, a los procesos de gestión o a la investigación.

Finalmente, en el nivel 4 se evalúan los resultados de la formación, su impacto. Por impacto entendemos las repercusiones que la formación recibida por el profesor tiene sobre distintas áreas de la institución: los índices de rendimiento de los estudiantes, su actuación docente a medio y largo plazo, los cambios en la docencia en el resto de profesores de la asignatura y del departamento, etc.

El objetivo de este trabajo es analizar los resultados de la formación recibida por el profesorado de la UB. Este análisis se focaliza en dos de las dimensiones del SIGC que hemos elaborado: la dimensión 3, Seguimiento del proceso formativo y la dimensión 4, Resultados de la formación. Para ello hemos recogido la satisfacción de los profesores sobre la formación recibida, su percepción sobre la transferencia de los aprendizajes a su práctica docente y el impacto sobre el rendimiento de los estudiantes.

2. Metodología

Para recoger la información sobre cada uno de los indicadores del SIGC se han diseñado encuestas específicas, una de satisfacción y otra de transferencia e impacto. Se ha utilizado un aplicativo propio para distribuir las encuestas entre el profesorado que ha seguido los cursos y recoger sus respuestas. Para la elaboración de la encuesta de transferencia e impacto se partió de los trabajos realizados en el proyecto REDU 2012 (Pagés, 2014). También se tuvieron en cuenta distintos estudios (Baldwin y Ford, 1988; Cano, 2014; Feixas y Zellweger, 2010; Feixas et al., 2013ª; 2013b; 2015), que proponen herramientas para identificar los factores que influyen en la transferencia de las acciones formativas a la práctica del aula: relativos al individuo (factores contextuales o personales que podrían favorecer la transferencia), relativos al entorno laboral (aspectos de procesos relativos a la organización), relativos al diseño de la propia formación (aspectos de procesos relativos a la propia formación).

2.1. Encuesta para valorar la satisfacción sobre las acciones formativas

La encuesta para valorar la satisfacción está organizada en cinco bloques, que recogen los datos referentes al formador (bloque 1), contenido y metodología (bloque 2), nivel de aprendizaje y conocimiento adquirido (bloque 3), aspectos organizativos (bloque 4) y satisfacción general (bloque 5). La encuesta se completa con preguntas abiertas para recoger la opinión sobre 1) los obstáculos que dificultan la implementación en el aula de los aprendizajes realizados, 2) aspectos positivos a destacar de los cursos, 3) aspectos a mejorar y 4) temas de interés a incorporar en futuras ediciones. Se puede consultar la encuesta a través del siguiente enlace:<http://www.ub.edu/ice/quest_uni/Cuestionariopresencial.pdf>

Para las preguntas de tipo cuantitativo se ha utilizado una escala Likert de 6 puntos (de 1, mínimo, a 6, máximo). Se ha optado por esta escala para evitar la centralidad en las contestaciones y forzar una tendencia más positiva o negativa de los ítems. A partir de esta encuesta, se elaboró una versión para cursos en línea, con algunas preguntas específicas sobre materiales y dinamización del grupo. Se puede consultar la encuesta en el siguiente enlace:< http://www.ub.edu/ice/quest_uni/Cuestionarioenlinia.pdf >

Una vez analizadas las encuestas se realiza un informe que se envía al formador del curso, incluyendo los comentarios cualitativos de los participantes. Además se recoge la satisfacción del formador con la actividad realizada, que ayuda a mejorar los cursos, ya que aporta un punto de vista diferente al de los participantes. La encuesta se distribuye de forma habitual entre todo el profesorado al finalizar el curso al que ha asistido. El periodo evaluado va del 2010 al 2015, con un total de 4953 profesores inscritos.

2.2. Encuesta para evaluar la transferencia y el impacto de la formación

La encuesta no pretende obtener información específica de cursos concretos, sino que su objetivo es evaluar la utilidad de las acciones formativas para la mejora docente, valorar la posibilidad que tiene el profesorado de transferir a su docencia los conocimientos adquiridos y detectar los factores que favorecen o dificultan su aplicabilidad. Se puede consultar la encuesta a través del siguiente enlace: La encuesta se organizó en dos apartados:

  • El primer apartado recoge información sobre aspectos sociodemográficos y académicos de los participantes (edad, sexo, categoría profesional, dedicación, facultad, área de conocimiento, años de experiencia docente, cursos de formación realizados, razones para realizarlos).

  • El segundo apartado incide sobre la transferencia y el impacto de los conocimientos y las habilidades adquiridas en los cursos realizados. Comprende 46 ítems, que se valoran mediante una escala tipo Likert de 4 puntos (0=ninguno/nada; 1=algún cambio/poco; 2=bastante; 3=cambios significativos/mucho). Estos ítems se han agrupado en cuatro bloques:

A. Cambios introducidos en la docencia como consecuencia de la formación recibida. Contiene 17 ítems que hacen referencia a las competencias docentes que se ofrecen en la formación, agrupados según la competencia que contribuyen a desarrollar: Interpersonal y Comunicativa (ítems 1 a 4 y 10 a 12), Planificación y gestión, y Metodológica (ítems 6 a 9 y 13 a 14), Innovación docente, y Equipos docentes (ítems 15 a 17).

B. Beneficios de la formación que repercuten sobre la actividad docente del profesor (ítems 1 a 4) y sobre los estudiantes (ítems 5 a 7).

C. Factores que ayudan a transferir los conocimientos adquiridos en la formación, relacionados con el profesor (ítems 1 y 5), con los estudiantes (ítems 3 y 4) y con la institución (ítems 2, 6, 7 y 8).

D. Factores que dificultan la transferencia, desde el punto de vista del profesor (ítems 2 a 4), de la formación (ítems 1 y 10) y de la institución (ítems 5 a 9).

Al final, la encuesta incorpora un campo abierto para recoger sugerencias sobre mejoras en la oferta formativa. La encuesta fue enviada a 2919 profesores de la UB que habían realizado algunos de los cursos de formación permanente entre los años 2010 y 2015. Fue distribuida por correo electrónico a los participantes, con un enlace para acceder a ella. En el correo se hacía una presentación de la encuesta, explicando los objetivos del estudio y solicitando su colaboración. Se enviaron dos recordatorios, a los 15 y 30 días del primer envío. El efecto del número de cursos de formación realizados se ha estudiado mediante un análisis factorial de la variancia (ANOVA) y se ha aplicado la corrección de Bonferroni para comparaciones múltiples. La variable experiencia docente constaba de cinco intervalos (0-5, 6- 10, 11-15, 16-20 y más de 20 años de experiencia), que fueron recodificados a tres (0-5, poca; 6-15, media; y más de 15, alta), para evitar casillas vacías en la comparación de grupos. El mismo procedimiento se aplicó a la variable cursos de formación, en la que sus seis intervalos (1-3, 4-6, 7-9, 10-12, 13-15 y más de 15), se reagruparon en tres: 1-6, 7-12, y más de 12 cursos realizados.

3. Resultados
3.1. Satisfacción de la formación

De los 4953 profesores inscritos en los cursos de formación respondieron la encuesta 3566, que corresponde a un porcentaje de participación del 72%. Para un error muestral del 3% y un nivel de confianza del 95%, el tamaño de la muestra requerida es de 878 participantes, por lo que la muestra de respuestas obtenidas es altamente representativa.

En cuanto a la “Satisfacción general” con los cursos realizados, en el 92% de las respuestas la puntuación es igual o superior a 5 sobre la escala de 6.

En un 95% de los cursos se valora positivamente a los formadores y se remarca como punto fuerte el hecho de compartir experiencias con compañeros de otras disciplinas.

Del análisis de los elementos de respuesta abierta de los cursos presenciales, se desprende la necesidad de ofrecer cursos con componentes más prácticos y con más ejemplos próximos a las áreas de conocimiento de los participantes.

En los cursos en línea, los comentarios apuntaban a la temporalización no muy ajustada de las demandas, a fórums no bien gestionados, a consignas poco claras para realizar las actividades y, en ocasiones, se reclamaba más tiempo para realizar las actividades solicitadas. Para resolver estos aspectos se ha elaborado una pequeña guía del formador virtual, donde se dan orientaciones sobre cómo han de ser los cursos en línea y qué tipo de comunicación ha de establecer el formador con los participantes al curso.

3.2. Transferencia e impacto de la formación

A la encuesta sobre la transferencia e impacto de la formación, respondieron 464 profesores sobre 2919 encuestados. Aunque el número de respuestas obtenidas es pequeña en relación al número de profesores encuestados, la muestra es suficientemente representativa para poder considerar los resultados como válidos (para un error muestral del 5% y un nivel del confianza del 95%, el tamaño de la muestra requerida era de 340 participantes). De los participantes, 247 fueron mujeres (53,2%), 205 hombres (44,2%) y 12 (2,6%) no indicaron el sexo, con edades comprendidas entre los 26 y 70 años (media: 49,74 años; dt= 9,16). El 66,8% de los profesores de la muestra corresponde a PDI permanente (310), el 31,7% (147) a PDI no permanente y el 1,5% (7) no proporcionó esta información.

Por ramas de conocimiento la distribución fue del 17,7% profesorado de Artes y Humanidades, 25,2 de Ciencias, 22,4% de Ciencias de la Salud, 30% de Ciencias Sociales y Jurídicas, 3% de Ingenierías y Arquitectura. No se han encontrado diferencias estadísticamente significativas en la distribución del número de cursos de formación realizados por los profesores permanentes y por los no permanentes (χ2 (2; N=445), p=0,575). Entre los permanentes, el 71,8% ha realizado entre 1-6 cursos, el 25,25% entre 7-12 cursos y el 5,98% más de 12 cursos; entre los no permanentes, el 75% ha realizado entre 1-6 cursos, el 18,05% entre 7-12 y el 7% más de 12 cursos.

Sí se han encontrado diferencias significativas entre la situación de permanente y no permanente y la distribución de años de experiencia docente (χ2 (2; N=431), p< 0,001). De los profesores permanentes el 1% tiene una experiencia docente de 1-5 años, el 15,4% de entre 6 y 15 años y el 84,6% tienen más de 15 años de experiencia docente; mientras que entre los profesores no permanentes la distribución es del 18,7% entre 1 y 5 años de experiencia docente, el 54% entre 6 y 15 años y el 27,3% más de 15 años de experiencia docente.

Para analizar el efecto que el número de cursos realizados (1-6, 7-12, o más de12) tiene sobre la adquisición de las competencias docentes ligadas a los cursos impartidos y la transferencia de cada competencia a la docencia, se ha realizado un análisis factorial de la varianza de las diferentes variables, contemplando los años de experiencia docente y la categoría del profesorado (permanente, no permanente) como covariables, ya que se han encontrado relaciones significativas entre ellas (rho de Spearman = 0,584; p<0,001).

Las Tablas 2 a 5 recogen las puntuaciones medias, los valores del estadístico F, el tamaño de efecto y la potencia observada para cada una de las variables dependientes.

La formación recibida y el número de cursos realizados tiene un claro efecto sobre la adquisición de competencias docentes (Tabla 2): Interpersonal y Comunicativa F(2,390) = 3,560; p=0,02); Planificación y gestión de la docencia, y Metodológica F(2,383) = 7,657; p=0,001); Innovación docente, y Equipos docentes F(2,388) = 12,312; p<0,001).


Figura 2.
Cambios aplicados a la docencia, ligados a las competencias adquiridas

Los contrastes de Bonferroni indican que los profesores que han realizado entre 1 y 6 cursos de formación informan de una menor adquisición de las competencias de Planificación y gestión de la docencia, Metodológica, Innovación docente y Equipos docentes, que los otros dos grupos, sin que haya diferencias estadísticamente significativas entre los grupos que han realizado entre 7 y 12 cursos o más de 12 (apartado A de la encuesta).

Se han encontrado diferencias significativas entre el número de cursos de formación realizados y los beneficios que la formación tiene sobre el rendimiento académico, la participación en clase y la motivación de los estudiantes F(2,386) =3,664; p=0,027), siendo el grupo de profesores que ha realizado más de 12 cursos de formación el que informa de un mayor beneficio para sus estudiantes (apartado B de la encuesta). (Figura 3).


Figura 3
Beneficios obtenidos por el profesor y los estudiantes


Figura 4.
Factores facilitadores de la transferencia a la docencia

En cuanto a la dificultad del profesorado para transferir a su docencia los conocimientos adquiridos en la formación (apartado D de la encuesta), se han encontrado efectos significativos para los factores dependientes de la institución (número de alumnos por grupo, calendario de docencia y evaluación, dificultad para trabajar en equipos docentes, falta de recursos informáticos y tecnológicos, y falta de apoyo de los responsables de docencia del departamento y la facultad: F(2,385) =7,162; p=0,001). No se han encontrado diferencias significativas según el número de cursos realizados en los factores asociados a percepción o actitud del profesorado (falta de tiempo para aplicar lo aprendido, resultados obtenidos al aplicar lo aprendido: F(2,390) =4,624; p=0,010) o a la formación (falta de asesoramiento o falta de pautas o estrategias para aplicar a la práctica docente: F(2,389) = 1,654; p=0,193) (Figura 5).


Figura 5
Dificultades para la transferencia

4. Discusión y Conclusiones

Evaluar la transferencia y el impacto de los aprendizajes del profesorado resulta necesario para poder comprobar el grado en el que los conocimientos, las habilidades y las actitudes aprendidos durante la formación se reflejan en la práctica docente. No obstante, para poder realizar dicha evaluación, es necesario tener previamente información de la situación inicial, para constatar los cambios efectivos y regulares que esta formación ha provocado y para evidenciar en qué medida se está produciendo el cambio esperado. También es importante detectar los factores (personales, ambientales o metodológicos) que facilitan o que obstaculizan la transferencia.

Si analizamos los sistemas de evaluación de las unidades de formación de las distintas universidades, observamos que en todas ellas se valora el aprendizaje alcanzado y la satisfacción de los profesores sobre los cursos realizados. Pero es mucho menos frecuente evaluar la transferencia (Pagés, 2014; Rent-Davis, 2013) y casi nunca se evalúa el impacto de la formación (Tejada-Fernández y Fernández-Lafuente, 2007; Trigwell, et al., 2011). Tampoco es habitual que se haga un seguimiento de las dificultades que se encuentran los profesores para transferir la formación recibida. Los datos de nuestro estudio llenan en parte este vacío, y contribuyen a completar la bibliografía existente sobre el seguimiento global de las acciones formativas, con el objetivo de irnos ajustando a las recomendaciones del grupo de alto nivel de la Unión Europea para la mejora de la Enseñanza Superior y con los procesos de acreditación (European Comission, 2013).

En este trabajo hemos recogido básicamente la percepción y valoración de uno de los agentes del proceso, el profesor, como informante privilegiado de los cambios que introduce en su práctica docente, relacionados con la formación recibida. Hemos recogido su punto de vista sobre los factores que influyen en la transferencia del aprendizaje, los distintos agentes que intervienen dificultando y ayudando a su aplicación (formadores, profesorado, estudiantes, institución), ya que éstos pueden condicionar los resultados finales a la hora de evaluar el grado de transferencia de la formación al contexto laboral del profesor universitario.

Como se ha podido comprobar, los profesores, tanto los permanentes como los no permanentes, informan de un efecto beneficioso de la formación sobre la adquisición de competencias docentes. Cuanto mayor es el número de cursos realizados, mayor es la capacidad para introducir cambios en la docencia, ligados a las competencias adquiridas. Igualmente, al aumentar el número de cursos de formación, aumenta el impacto sobre el rendimiento académico, la motivación y la participación en clase de sus estudiantes.

Un aspecto que hay que destacar es que se han encontrado diferencias significativas entre el número de cursos realizados por el profesorado y las barreras que se encuentran para transferir lo aprendido, relacionadas con la institución. Los profesores que han realizado más cursos son los que perciben más barreras a la transferencia de los aprendizajes.

Este trabajo tiene algunos puntos que merecen destacarse: 1) el número de profesores que han respondido a la encuesta y al cuestionario es elevado y representativo de los profesores de la UB que realizan los cursos de formación programados por el ICE; 2) la satisfacción con la formación recibida, como se ha indicado en el apartado de resultados, es muy alta; 3) los datos proporcionados por los profesores sobre la utilidad de la formación para la adquisición de competencias docentes, sobre el impacto que perciben en sus estudiantes y sobre los aspectos que favorecen o entorpecen la formación. Estos datos son de vital importancia para garantizar la eficacia de los futuros planes de formación.

Finalmente, hay que señalar que los datos analizados en nuestro trabajo provienen de una única fuente de información: del profesorado que ha recibido la formación. Ésta es una limitación que se observa con frecuencia en las pocas universidades que valoran el impacto de la formación. Los datos sobre la percepción del profesorado, aunque necesarios en el sistema de evaluación de la calidad, son muy subjetivos y no son suficientes para determinar si se han alcanzado los objetivos que la institución se propone con la formación. En próximos trabajos habrá que ampliar el análisis añadiendo las aportaciones de los estudiantes sobre la actuación docente del profesorado. Los datos aportados por profesores y alumnos se deberán triangular con el análisis del rendimiento académico y con los cambios percibidos por la institución (departamento, facultad). Todo ello nos permitirá valorar de forma más completa el impacto de la formación.

Nuestro objetivo último es que la aplicación del SIGC de los programas de formación del ICE de la UB, en todas sus dimensiones, conduzca a la acreditación de nuestros programas de formación y, en consecuencia, a la acreditación docente del profesorado que los ha seguido.

Material suplementario
Referencias
Amador, J. A., Pagés, T, Sayós,R., GuàrdiaJ., González, E., Marzo,L., Mato,M. & Jorba,H. (2013). Análisis del impacto de los programas de formación del instituto de ciencias de la educación de la Universidad de Barcelona. Proceedings del X Foro Internacionalsobre Evaluación de la Calidad de la Investigación y la Educación Superior (pp. 1-5)- Granada, España,. http://www.ugr.es/~aepc/FECIES_13/PROCEEDING/1.pdf
Amador, J. A. & Pagès, T. (2014). La formación del profesorado universitario en las universidades españolas y la transferencia en la formación. En E. Cano, y A. Bartolomé,. (Eds.). Evaluar la formación es posible., Colección Transmedia XXI (pp. 35-51). Barcelona: Edicions Universitat de Barcelona. http://www.lmi.ub.es/transmedia21/pdf/7_EvaluarFormacion.pdf
Balwin, T. & Ford, J. K. (1988). Transfer of training: A review and directions for future research. Personal Psychology, 41(1), 63-105. https://www.doi.org/10.1111/j.1744-6570.1988.tb00632.x
Cano, E. (2014). Cuestionarios sobre Evaluación de la transferencia de la formación. (Red 512RT0443). Proyecto CYTED: Red iberoamericana para el desarrollo de una plataforma tecnológica de soporte a la evaluación de los procesos de formación (RIDEF), (2012-2014).
European Comission. (2013). EU high-level group: train the professors to teach. Press release, Bruselas. http://europa.eu/rapid/press-release_IP-13-554_en.htm
Feixas, M. & Euler, D. (2013). Academics as teachers: New approaches to teaching and learning and implications for professional development programs. International HELT Review, 2(2012), 115-127. https://www.hetl.org/wpcontent/uploads/2013/09/HETLReviewFullVolume2.pdf
Feixas, M., Duran, M., Fernández, I., Fernández, A., García, M. J. Márquez, M. D., et al. (2013a) ¿Cómo medir la trasferencia de la formación en educación superior?: el cuestionario de factores de transferencia. Revista de Docencia Universitaria,11(3), 219-248.http://bit.ly/2ieYEDh
Feixas, M., Fernández, A., Lagos, P., Quesada, C. & Sabaté, S. (2013b). Factores condicionantes de la transferencia de la formación docente en la universidad: Un estudio sobre la transferencia de las competencias docentes. Infancia y Aprendizaje, 36(3), 401-416. https://www.doi.org/10.1174/021037013807533034
Feixas, M. & Zellweger, F. (2010). Faculty development in context: changing learning cultures in higher education. En Schneckenberg, D. and Ehlers, U. (Eds.), Changing cultures in higher education: Moving ahead to future learning. A Handbook for strategic change (pp. 85-102). Heidelberg: Springer. http://link.springer.com/chapter/10.1007%2F978-3-642-03582-1_8
García-Berro, E., Roca, S., Navallas, F. J., Soriano, M. & Ras, A. (2014). Hacia una evaluación integral del profesorado universitario: la experiencia de la Universidad Politécnica de Cataluña. Bordón, 66(3), 61-74. https://dialnet.unirioja.es/descarga/articulo/4748794.pdf
Kirkpatrick, D. L. (1998). Evaluating training programs. The four levels (2nd edition). San Francisco: Berrett- Koehler Publishers, Inc.
Kirkpatrick, D. L.& Kirkpatrick, J. D. (2006). Evaluación de acciones formativas. Los cuatro niveles (3ª ed.). Barcelona: Gestión 2000.
Pagès, T. (coord.). (2014). Propuesta de un marco de referencia competencial del profesorado universitario y adecuación de los planes de formación basados en competencias docentes. (Memoria final REDU2012). Octubre 2014. http://goo.gl/SdHywV , Red Estatal de Docencia Universitaria. http://goo.gl/SdHywV
Pineda Herrero, P. (coord.). (2011). Avaluació de la transferència de la formació a l’administració pública de Catalunya. Barcelona: Escola d’Administració Pública de Catalunya. http://bit.ly/2hdnYrh
Rent, D. & Ana, I. (2013). La transferencia del aprendizaje en la formación para el trabajo y el empleo (Tesis doctoral). Tarragona: Universitat Rovira i Virgili. http://bit.ly/2huUK4S
Sánchez, F. (Ed.) (2005). Modelos de formación del profesorado y su valoración para el espacio Europeo de educación Superior. Proyecto EA2005-0150. Informe de resultados. España: Dirección General de Universidades, Ministerio de Educación y Ciencia. http://campus.usal.es/~ofeees/ESTUDIOS_INFORMES_GRALES/EA2005-0150%5B1%5D.pdf
Sayós, R., Pagés, T., Amador, J. A., González, E. & Marzo, L. (2016). El sistema de garantía de calidad de los planes de formación del profesorado universitario. Libro de Resúmenes XIII Foro Internacional sobre la Evaluación de la Calidad de la Educación Superior y de la Investigación (FECIES), (pp.376). , Ramiro- Sánchez, T Ramiro-Sánchez, M. T. & Bermúdez, M. P. (Comp.): Granada. http://www.ugr.es/~aepc/FECIES_13/RESUMENES_2016.pdf
Shulman, L. E. (2005). Conocimiento y enseñanza: fundamentos de la nueva reforma. Profesorado. Revista de currículum y formación del profesorado, 9(2), 1-30. https://www.ugr.es/~recfpro/rev92ART1.pdf
Tejada-Fernández, J. & Fernández-Lafuente, E.. (2007). La evaluación del impacto de la formación como estrategia de mejora en las organizaciones. Revista electrónica de investigación educativa, 9(2), 1-15. http://redie.uabc.mx/redie/article/view/167
Torra, I., Del Corral, I., Pérez, M. J., Triadó, X., Pagès, T., Valderrama, E. et al. (2012). Identificación de competencias docentes que orienten el desarrollo de planes de formación dirigidos a profesorado universitario. Revista de Docencia Univesitaria, 10(2), 21-56. https://dialnet.unirioja.es/servlet/articulo?codigo=4020954
Torra, I., Márquez, M. D., Pagès, T., Solà, P., García, R., Molina, F. et al. (2013). Retos institucionales de la formación del profesorado universitario. Revista de Docencia Universitaria, 11(1), 285-309. http://redu.net/redu/files/journals/1/articles/398/public/398-2010-1-PB.pdf
Triadó, X., Estebanell, M., Márquez, M.D. & Del Corral, I. (2014). Identificación del perfil competencial docente en educación superior. Evidencias para la elaboración de programas de formación continua del profesorado universitario. Revista Española de Pedagogía, 257, 51-72.
Trigwell, K., Caballero, K. & Feifei, H. (2011). Assessing the impact of a university teaching development programme. Assessment & Evaluation in Higher Education, 34(4), 499-511. http://dx.doi.org/10.1080/02602938.2010.547929
Zabalza, M. A. (2011). Evaluación de los planes de formación docente de las universidades. Educar 47(1), 181-197. https://ddd.uab.cat/pub/educar/0211819Xv47n1/0211819Xv47n1p181.pdf
Notas
Notas
1 Publicado originariamente en Harvard Educational Review, 57 (1),1987, pp. 1-22.

Figura 1.
Relación entre los niveles del modelo de evaluación de Kirkpatrick y los del SIGC del ICE de la UB. Fuente: Elaboración propia.

Figura 2.
Cambios aplicados a la docencia, ligados a las competencias adquiridas

Figura 3
Beneficios obtenidos por el profesor y los estudiantes

Figura 4.
Factores facilitadores de la transferencia a la docencia

Figura 5
Dificultades para la transferencia
Buscar:
Contexto
Descargar
Todas
Imágenes
Visor de artículos científicos generados a partir de XML-JATS4R por Redalyc