Resumen
Introducción: se presentan los resultados de la aplicación de una rúbrica para evaluar
presentaciones orales de proyectos en un posgrado en educación médica.
Método: el instrumento evaluó habilidades verbales, no verbales, ayudas visuales,
contenido y organización. Se obtuvo evidencia de validez de sus resultados
con análisis factorial de componentes principales; de fiabilidad, mediante
alfa de Cronbach; desde el punto de vista psicométrico a través del modelo
de Crédito Parcial de Rasch.
Resultados: se identificaron 3 grupos de habilidades en la presentación: diseño, control
interno e interacción con la audiencia. Alta fiabilidad para todo el
instrumento, correcto funcionamiento de las opciones de respuesta e
independencia entre estimaciones de parámetros de ítems y parámetros de
habilidad.
Conclusiones: la rúbrica es útil para evaluar las presentaciones de los estudiantes del
posgrado en cuestión, dado que es un instrumento confiable y con evidencia
de validez.
Palabras Clave: Instrumentos de evaluación, confiabilidad, validez, estudiantes de posgrado, educación médica.
Abstract
Introduction: The results of the application of a rubric to assess oral presentations of
research projects in a graduate course of medical education are
presented.
Method: The instrument assesses verbal and nonverbal abilities, visual aids, content
and organization. The evidence of validity of the results was obtained
through: principal component factor analysis, reliability by Cronbach’s
alpha, and psychometrically with the Rasch Partial Credit model.
Results: The most relevant findings were the identification of three groups of
abilities in the presentation: design, internal control, and interaction
with the audience. High reliability for the whole instrument, correct
operation of the response options and independence between item and ability
parameters estimations.
Conclusions: The instrument is useful to assess oral presentations of the graduate
students in the medical education program, given its reliability and
validity.
Keywords: Assessment instruments, reliability, validity, graduate students, medical education.
Carátula del artículo
El reto de evaluar presentaciones orales: uso de una rúbrica en un
posgrado de educación médica
The challenge of evaluating oral presentations: the use of a rubric
in a graduate program in medical education
Adriana Olvera López
Secretaría de Educación Pública, México
Maura Pompa Mansilla
Universidad Nacional Autónoma de
México, Mexico
Universidad Nacional Autónoma de
México, Mexico
Mary Paola Janett Maya López
Universidad Nacional Autónoma de
México, Mexico
Universidad Nacional Autónoma de
México, Mexico
María Dolores Hernández Flores
Universidad Nacional Autónoma de
México, Mexico
Universidad Nacional Autónoma de
México, Mexico
Manuel García Minjares
Universidad Nacional Autónoma de
México, Mexico
Universidad Nacional Autónoma de
México, Mexico
Melchor Sánchez Mendiola
Universidad Nacional Autónoma de
México, Mexico
Teresa Imelda Fortoul
Universidad Nacional Autónoma de
México, Mexico
Investigación en educación médica, vol. 10, núm. 39, pp. 35-42, 2021
Universidad Nacional Autónoma de México, Facultad de
Medicina
Recepción: 05 Enero 2021
Aprobación: 09 Marzo 2021
Introducción
La presentación de proyectos de investigación es una práctica habitual en los
posgrados y suele ser un requisito para: ingresar al posgrado, evaluar para
obtenerlo o un seguimiento de los avances durante el proceso. Esta última opción es
frecuente en varios posgrados, y diferentes países1. Estas evaluaciones definen el futuro del estudiante y
son de altas consecuencias para su futuro académico. Esta consecuencia académica
implica que su evaluación sea lo más objetiva posible y el empleo de rúbricas se
sugiere como una opción, aunque su empleo aún es limitado2.
En los posgrados se realizan seminarios de investigación o de avance de proyecto, en
los que el sustentante presenta diversas etapas del proceso para obtener el grado.
No obstante, la importancia de estas evaluaciones para la vida académica del
estudiante, se han privilegiado los contenidos, sin considerar la comunicación oral
de los mismos, lo que ha limitado la evaluación objetiva de estos procesos3.En este documento se describen los
hallazgos más importantes de la aplicación y evaluación de una rúbrica adaptada de
la que se empleó para evaluar la presentación oral de los estudiantes en un curso de
altas consecuencias4. Nuestro
objetivo fue evaluar la presentación oral de los proyectos de investigación de los
alumnos en el posgrado.
Método y población
Estudio metodológico de tipo observacional, para analizar la validez de los
resultados obtenidos de la rúbrica para evaluar presentaciones de proyectos de
investigación, aplicada en la maestría en Educación en Ciencias de la Salud del
posgrado de Ciencias Médicas, Odontológicas y de la Salud de la UNAM (MECS). El
instrumento evaluó las presentaciones e incluyó las habilidades comunicativas
verbales, no verbales, el tipo de apoyos visuales y organización empleada por el
alumno. Se aplicó en 2 ocasiones: noviembre a diciembre de 2016, en el seminario de
investigación (SI) de la MECS y durante el coloquio de investigación (CI) del
programa el 12 de enero de 2017. Al inicio de cada seminario se les indicó a los
participantes que se aplicaría una rúbrica para evaluar la presentación oral de su
proyecto. Se comunicó en qué consistía el instrumento y que se les haría llegar en
un formato en Google Forms para que lo contestaran al final del seminario. Se indicó
que su aplicación era parte de un proceso de evaluación formativa, sin repercusiones
en su evaluación final, que el reporte era individual (un formato para cada
estudiante evaluado) y la información de las evaluaciones era anónima. Del total de
las evaluaciones se haría un reporte para cada estudiante, que se les entregaría
individualmente. El SI es una asignatura obligatoria, semestral, y representa el 22%
del total de créditos del plan de estudios. Asisten profesores y estudiantes del
posgrado (maestría y doctorado); 2 horas a la semana para atender la presentación
del trabajo de investigación de 2 estudiantes. La calificación del SI considera la
presentación y entrega de avances en el proyecto y la participación en la ronda de
preguntas. El CI se realiza al final del semestre.
Consideraciones éticas
Tanto el SI como el CI son actividades obligatorias que forman parte del plan de
estudios de la Maestría y Doctorado, y la rúbrica se empleó para la evaluación
de las presentaciones de los proyectos de los estudiantes. Antes de la
aplicación de la rúbrica se les explicó a los estudiantes el objetivo del
estudio y que el resultado no tendría repercusión alguna en su evaluación final;
los datos obtenidos se emplearían únicamente con fines de investigación y se
preservaría en todo momento el anonimato de la información obtenida.
Descripción de la rúbrica
La rúbrica empleada es una modificación de Peeters, Sahloff & Stone (anexo 1)4. Se tradujo, retrotradujo
(backtranslation) y adaptó, lo cual comprendió 16 rasgos
agrupados en 4 categorías descritas en la tabla
1. Cada rasgo se dividió en 4 niveles de desempeño que iban de menos
a más en cuanto a la eficiencia de la presentación. Se eliminaron algunos ítems
que no se aplicaban a la evaluación de la presentación oral del proyecto y más
hacia el objetivo original de la rúbrica.
Tabla 1
Categorías y rasgos de la rúbrica para evaluar
presentaciones
Análisis estadístico
Se elaboró una base de datos con los resultados de las aplicaciones que incluyó:
la aplicación (SI o CI), fecha, nombre y sexo del evaluador, nombre y sexo del
alumno evaluado, nivel (maestría o doctorado) y semestre. Se realizó análisis
descriptivo para caracterizar la población participante. Se aplicó el análisis
factorial de componentes principales a los 16 rasgos de la rúbrica5.A partir del mismo se
obtuvieron varianza total explicada y matriz de componente rotado (con método de
rotación Varimax y normalización Kaiser). Se realizó análisis de fiabilidad con
alfa de Cronbach para los componentes derivados del análisis factorial5. Con los resultados de
fiabilidad obtenidos se analizaron los componentes derivados del análisis
factorial y se definieron las temáticas asociadas con ellos.
Se realizó un estudio observacional para obtener validez del uso de instrumentos
de medición, con el modelo de Crédito Parcial de Rasch para predicciones
probabilísticas de las respuestas esperadas a los ítems de una escala, así como
proponer una función logística de la diferencia relativa entre el nivel de
dificultad del ítem y el nivel de habilidad de la persona para responderlo. En
este modelo, no es obligatoria la normalidad de los datos6,7. El análisis se realizó con IBM SPSS Statistics
23.0, Microsoft Excel 2013 y WINSTEPS, versión 3.63.0.
Resultados
La rúbrica se aplicó a 40% de los estudiantes del posgrado durante el SI y a 90% de
ésta en el CI. En la primera aplicación en el SI, se evaluaron 8 alumnos, con 23
evaluadores (20 alumnos y 3 docentes); se obtuvieron 140 formularios aplicados con
Google Forms; en la segunda, participaron 18 miembros del comité tutoral, que
evaluaron a 18 alumnos, se obtuvieron 45 formularios completos en papel. Siete
alumnos fueron evaluados tanto en seminario como en coloquio; 3 evaluadores
participaron en ambas aplicaciones.
Los resultados del análisis factorial mostraron que hasta e 49% de la varianza total
es explicada por 3 componentes. La matriz rotada arrojó 15 ítems cargados en 3
componentes y solo se eliminó uno. El primer componente refiere a los relacionados
con eldiseño de la presentación; el segundo alcontrol
interno del estudiante, y el tercero a lashabilidades de
interacción con la audiencia. Los valores del primer componente oscilan
en el rango .683 a .776, los del segundo de .506 a .695, y los del tercero de .485 a
.673. Si bien los valores aceptados deben ser superiores a .5, en este caso se
consideró incluir el ítem volumen (valor .485) por su cercanía con el valor
aceptable y porque lo que evalúa es congruente con el ámbito de interacción con la
audiencia. El único ítem excluido fue el empleo de notas.
El componentediseño de la presentaciónse centró en el contenido y
diseño de la presentación. El componentecontrol interno del
estudianteconsideró la forma en la que éste se desenvuelve al realizar
la presentación, como el lenguaje que emplea, el tono de voz y la velocidad al
hablar, su lenguaje corporal y su capacidad para responder a los cuestionamientos u
observaciones. Finalmente,la interacción con la audienciase refirió
a habilidades que permiten al estudiante captar la atención de los participantes y
mantenerla.
El alfa de Cronbach para los 16 ítems fue de .823, con 83% de casos válidos, de los
185 procesados.
La tabla 2muestra el índice de discriminación
de Rasch de los 3 componentes -a)Diseño de la presentación,
b)Control interno del estudiante, y c)Interacción con
la audiencia-, los cuales resultaron del análisis factorial, realizado
para asegurar unidimensionalidad.
Tabla 2
Índice de discriminación de los componentes por ítem
ID: índice de discriminación. Fuente: Elaboración propia a partir de cálculos derivados del
análisis de Crédito Parcial de Rasch.
Todos los ítems presentaron un alto índice de discriminación, mayor que .65, que
indicó que la habilidad estimada para cada evaluación no dependió del número y tipo
de ítems, ni la dificultad de los mismos sino del número y tipo de evaluaciones.
En el instrumento se observaron parámetros adecuados tanto para las evaluaciones como
para los ítems, es decir los residuales cuadráticos medios (mnsq) fueron de 0.99,
deben situarse en el intervalo entre 0.6 y 1.4, donde 1 sería el valor
ideal6. En los estadísticos residuales cuadráticos medios
estandarizados (zstd) el valor fue 0; un valor de 0 indica que el modelo predice de
forma adecuada los datos observados, considerándose que aquellos que se encuentran
en el intervalo -2 y +2 indican que hay un ajuste aceptable (componentes diseño de
la presentación, control interno, interacción con audiencia).
El ajuste específico de los parámetros para cada ítem, tanto en
elinfitcomooutfitdel mnsq, se encontraron
dentro de un ajuste adecuado. Todos los valores de los zstd estaban en el rango
apropiado, excepto para el componentediseño de la presentación, en
el índiceoutfitdel ítem 4 (organización), que estaba por debajo del
valor de -2. Los valores de la correlación punto biserial, reflejan que cada ítem
contribuyó de manera adecuada a la medición de cada componente.
Discusión
Los resultados muestran las fortalezas y debilidades de la rúbrica aplicada a
estudiantes del programa MECS para evaluar presentaciones del SI8,9.
El análisis factorial mostró una agrupación de 15 ítems en 3 componentes, que aluden
a las habilidades de los estudiantes en cada presentación, y son:diseño de
la presentación, control interno e interacción con la audiencia. Es
destacable que solo un ítem haya quedado fuera, lo que puede indicar la fortaleza
que presenta la adaptación del instrumento al contexto del posgrado.
El alfa de Cronbach para todo el instrumento es cercana a uno y la calculada por
componente arroja fiabilidad importante en el diseño de la presentación y en el
control interno del estudiante, no así en la interacción con la audiencia, donde el
valor .567 está muy por debajo del .823 obtenido por todo el instrumento.
Se encontró un adecuado ajuste general de los datos al modelo, que indicó que es
posible encontrar un patrón de respuesta predecible en la rúbrica (para los 3
componentes) y por tanto modelable con el Modelo de Crédito Parcial.
Si los datos presentan un buen ajuste al modelo de Rasch propuesto, considerando que
se tuvieron 185 evaluaciones, entonces es posible afirmar que las estimaciones de
los parámetros de los ítems y las estimaciones de los parámetros de habilidad de las
personas son independientes entre sí. Coincidimos con Malini y Andrade10en que resulta necesario probar la
calidad de los resultados que arroja el instrumento, por ello nuestro objetivo.
Entendemos por validez si la rúbrica mide lo que pretende medir, y por fiabilidad,
si provee consistencia al calificarla.
Poco se ha atendido la validez de las rúbricas, ya que la mayor parte de lo reportado
se centra en la fiabilidad10,11. Hay pocas pruebas piloto en cuanto a la fiabilidad de las
rúbricas antes de implementarlas, y pocos son los que reportan los resultados. Los
estudios deben reportar cómo es que establecieron la validez de la rúbrica, la
fiabilidad de los puntajes, así como el logro de fiabilidad de los puntajes
asignados por los evaluadores, entre otros10.Este estudio atiende esos aspectos y pretende aportar
información útil y replicable para esos efectos.
De acuerdo con el apartado de desarrollo de este documento, de los 3 componentes de
la rúbrica, tanto en el decontrol interno del estudiantecomo en el
deinteracción con la audiencia, un criterio de cada uno tuvo
valores muy bajos, lo que nos indica que es posible evaluarlos con sólo 3
categorías. Esto resulta significativo de acuerdo con el estudio desarrollado por
García-Ros2, en donde a partir
de los resultados que obtuvieron de la aplicación de su rúbrica concluyen que son
necesarios más estudios que tengan como objetivo reducir el número de los criterios
que se incorporan en ella.
Es importante considerar que una rúbrica bien elaborada aminorará las inconsistencias
que pudieran darse en el proceso de puntuación al minimizar los errores causados por
el perfil y la realimentación del evaluador; así como por la claridad en las
descripciones de los criterios12.
Todo esto señala que la rúbrica es útil para evaluar las presentaciones de los
estudiantes del posgrado en cuestión, es un instrumento confiable y con evidencia de
validez para hacerlo.
De acuerdo con García-Ros2, la
percepción de los estudiantes sobre el uso de una rúbrica fortalece su validez. El
presentarla y discutir con ellos su utilidad para el aprendizaje reduce la ansiedad
que ocasionan las presentaciones, ya que, de acuerdo con el autor, las
presentaciones orales son una de las actividades en las que los estudiantes muestran
mayor ansiedad12,13.
Limitaciones
Una limitante del estudio fue no instruir ni a los estudiantes ni a los tutores, de
manera previa, en la aplicación de la rúbrica, situación que después se
corrigió.
Conclusiones
La rúbrica que se presenta es de utilidad para evaluar la calidad de las
presentaciones orales de los alumnos del posgrado en educación en profesiones de la
salud de una manera más objetiva.
Apéndices
ANEXO 1
Rúbrica para evaluar presentaciones de proyectos de investigación en el
programa de Educación en Ciencias de la Salud, del posgrado en Ciencias Médicas
de la UNAM
Instrucciones:
Este instrumento contribuye a la evaluación de habilidades no verbales, verbales,
apoyos visuales, contenidos y organización de las presentaciones que realizan
las y los estudiantes del posgrado en educación médica. La rúbrica comprende 16
rasgos agrupados en cuatro categorías. Cada rasgo se divide en cuatro niveles de
desempeño, que van de menos a más en cuanto a eficacia en la presentación. Se le
solicita que por cada rasgo señale una sola opción de respuesta.
Datos de identificación:
Nombre del evaluador:
______________________________________________________________________
Nombre del alumno evaluado:
______________________________________________________________________
En una escala de cinco al diez, escriba la calificación que en general otorga al
alumno evaluado:___________________
En este espacio puede comentar otros aspectos relevantes para evaluar la
presentación no contenidos en la rúbrica:
_____________________________________________________________________________________
_____________________________________________________________________________________
_____________________________________________________________________________________
_____________________________________________________________________________________
_____________________________________________________________________________________
_____________________________________________________________________________________
Créditos: Este instrumento ha sido traducido y adaptado por la Coordinación de
Desarrollo Educativo e Innovación Curricular para
uso exclusivo del posgrado en Educación Médica de la Universidad Nacional
Autónoma de México.
Fuente: Peeters, Michael J., Eric G. Sahloff y Gregory E. Stone (2010). A
standardized rubric to evaluate student presentations.
American journal of pharmaceutical education, 74(9), 171.
Agradecimientos
A los profesores y alumnos que amablemente participaron en este estudio.
Referencias
1. Arenis OY, Pinilla AE. Evaluación de estudiantes de posgrado en
ciencias de la salud. Acta Med Colomb. 2016;41(1):49-57.
2. García-Ros R. Analysis and validation of a rubric to assess oral
presentation skills in university contexts. Electron J Res Educ Psychol.
2011;9(3):1043-62.
3. Jönsson A, Matthaios K, Svingby G, Attström R. The use of scoring
rubrics: Reliability, validity and educational consequences. Educ Res Rev.
2007;2:130-44.
4. Peeters MJ, Sahloff EG, Stone GE. A standardized rubric to
evaluate student presentations. Am J of Pharm Educ. 2010;
74(9):1-8.5.
5. Prieto G, Delgado A. Fiabilidad y validez. Papeles del Psicólogo.
2010;31(1):67-74.
6. Sayans JS, Fernández Calderón PF, Vidal Giné G, Rojas Tejada A.
Aplicación de un modelo politómico de TRI al test ASSIST para el estudio de sus
propiedades métricas. Trastornos Adictivos. 2012;14(2):50-7.
7. López Pina JA. Análisis psicométrico de la escala de marcha y
equilibrio de Tinetti con el modelo de Rasch. Fisioterapia.
2009;31(5):192-202.
8. Downing S. Validity: on the meaningful interpretation of
assessment data. Med Educ. 2003;37:830-7.
9. Kane M. Validating the interpretations and uses of test scores.
JEM. 2013;50(1):74-83.
10. Malini R, Andrade H. A review of rubric use in higher education.
Assess Eval High Educ. 2010;35(4):435-48.
11. Tierney R, Simon M. What’s still wrong with rubrics: focusing on
the consistency of performance criteria across scale levels. PARE. 2004 [citado:
21 de mayo de 2018];9, Article 2. Disponible en:Disponible en:http://pareonline.net/getvn.asp?v=9&n=2
12. Andrade H. Teaching with rubrics: The good, the bad, and the
ugly”. Coll Teach. 2005;53(1):27-31.
13. Andrade H, Ying D. Student perspectives on rubric-referenced
assessment”. PARE. 2005;10(3):1-11.
Notas
Presentaciones previas
Olvera-López A, Pompa-Masilla M, Fortoul van der Goes T, Sánchez-Mendiola M.
Presentación oral: Evaluación de habilidades de presentación en un posgrado en
Educación en Ciencias de la Salud. Congreso de Educación Médica 2018 “La
Educación Médica a Debate”. Facultad de Medicina, UNAM.12 al 14 de septiembre de
2018.
Declaración de intereses
Conflicto de intereses Los autores declaran no tener conflicto de intereses.
Notas de autor
Contribución individual
-
AOL: Diseño del estudio, redacción del primer borrador y revisión
del manuscrito final.
-
MPM: Redacción, revisión del manuscrito en sus versiones
iniciales y final. Traducción y retrotraducción de la rúbrica.
-
MJML: Análisis de las bases de datos y diseño del análisis
estadístico.
-
MDHF: Análisis de las bases de datos y diseño del análisis
estadístico.
-
MGM: Análisis de las bases de datos y diseño del análisis
estadístico.
-
MSM: Participación en el diseño del estudio y la revisión del
manuscrito final.
-
TIF: Diseño del estudio, redacción del primer borrador y revisión
del manuscrito final.
*Autor para correspondencia: Teresa I. Fortoul.
Departamento de Biología Celular y Tisular, Facultad de Medicina, UNAM. Edificio
A, 3er piso. Teléfono: 55 5623 2182.Correo
electrónico:fortoul@unam.mx
