Artículos originales
Recepción: 31 Agosto 2021
Aprobación: 07 Febrero 2022
DOI: https://doi.org/10.22201/fm.20075057e.2022.43.21399
Resumen
Introducción: Ante la necesidad de evaluar a distancia las competencias clínicas durante la pandemia de COVID-19, se diseñó y aplicó un examen clínico objetivo estructurado (ECOE) en línea en 2021 a los egresados de la Facultad de Medicina de la Universidad Nacional Autónoma de México y a las instituciones incorporadas.
Objetivo: Evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.
Método: Se desarrolló la adaptación del ECOE presencial a la modalidad en línea adecuándose en todos los casos clínicos la habilidad clínica de la exploración física y se sustituyó el rubro de la nota médica por un resumen clínico verbal. Para la aplicación en línea se utilizó la plataforma Zoom, se capacitó a los evaluadores y pacientes estandarizados para homogeneizar su desempeño en esta plataforma. Se analizó el procedimiento empleado en el diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba.
Resultados: Ambas modalidades de ECOE constaron de seis estaciones de 20 minutos. Se evaluaron los 99 reactivos que integran la totalidad de las seis competencias evaluadas y discriminaron a <0.001 entre puntajes altos y bajos. Se identificaron seis factores que explican el 60.7% de la varianza en el ECOE presencial, y seis factores más cinco indicadores en la modalidad en línea con una varianza explicada de 56.6%. El Alfa de Cronbach fue 0.96 para el ECOE presencial y 0.93 para la modalidad en línea.
Conclusiones: Ambas modalidades de ECOE mostraron evidencias de calidad psicométrica con respecto a la validez de contenido, la estructura interna de la prueba y el proceso de respuesta, lo que le da solidez al mismo. Este estudio observó que la modalidad en línea es una alternativa factible como evaluación de la fase práctica del examen profesional.
Palabras clave: ECOE en línea, evaluación sumativa, competencias clínicas, pandemia COVID-19, México.
Abstract
Introduction: In view of the need to remotely assess clinical competencies during the COVID-19 pandemic, an online objective structured clinical examination (OSCE) was developed and applied in 2021 to applicants at the end of their medical degree at the National Autonomous University of Mexico, Faculty of Medicine and of incorporated institutions.
Objective: To assess the OSCE online 2021 psychometric quality and compare it to a face-to-face OSCE modality in 2020 in a high stakes examination.
Method: The OSCE was adjusted from a face-to-face to an online format. The clinical cases and the rubrics used for the online modality were previously designed according to the face-to-face OSCE. In each of the clinical cases, the ability of the physical examination was adjusted and the medical note was replaced to a verbal clinical summary. For this new modality we used the zoom platform; therefore, training courses were given to the assessors and patients to standardize their knowledge and performance on this platform. For the applicants we designed audiovisual resources explaining the process of the examination. We analyzed the applied procedure based on the design, implementation, and grade; also, we used the psychometric analysis to provide the validity evidence related to the internal structure of the test.
Results: Both formats of the OSCE were composed of six-20 minutes stations. We examined the 99 items that constitute the total of the six evaluated competencies with a <0.001 discrimination between the high and the low scores. We identified six factors that explain the 60.7% of the variance in the face-to-face OSCE and six factors with five more indicators in the online format that explained the 56.6% of the variance. We calculated a Chronbach Alfa of 0.96 for the face-to-face format and a 0.93 for the online OSCE.
Conclusions: Both OSCE formats showed psychometric quality evidence based on the content validity, internal structure of the test, and the response process, these characteristics strengthened both tests. This research showed that the online format is a feasible alternative for the evaluation of the practical phase in the professional examination.
Key words: OSCE online, summative exam, clinical competencies, covid-19 pandemic, Mexico.
INTRODUCCIÓN
La Facultad de Medicina (FM) de la Universidad Nacional Autónoma de México (UNAM), desde 2010, implementó un plan de estudios por asignaturas enfocado por competencias en la licenciatura de médico cirujano (LMC)1. La evaluación de las competencias en el examen profesional (EP) se desarrolla en dos fases: teórica y práctica, esta última se realiza mediante la aplicación del examen clínico objetivo estructurado (ECOE). Este método permite observar la interacción de los estudiantes con pacientes estandarizados para evaluar sus habilidades clínicas, ya que entre más semejanza exista con la práctica clínica habitual, mayor valor tendrá la evaluación. El ECOE ofrece un entorno de evaluación formativa y sumativa por lo que su utilización en la evaluación de competencias es común y la eficacia en la evaluación del aprendizaje clínico está ampliamente documentada2.
El ECOE lo inició Harden en 1975, la FM de la UNAM lo adoptó en 1998 y lo aplica desde 2002 en la fase práctica del EP a sus sustentantes y a los de las instituciones del sistema incorporado (ISI)2-4. A partir de 2015 se modificó y adaptó al formato del National Board of Medical Examiners (NBME)5,6. Se integra por estaciones clínicas que hacen referencia a los problemas más frecuentes a los que se enfrenta el médico general, tomados del programa académico de internado médico7. Para cada caso se desarrollan libretos, instrucciones para sustentantes con sus estudios de laboratorio y/o gabinete y guías para el evaluador en las que se especifican lo que debe de realizar el sustentante en cada una de las competencias8.
Un circuito del ECOE está constituido por seis estaciones y en cada una hay un caso clínico de cada área de la medicina. Durante 20 minutos los sustentantes desarrollan el estudio clínico del paciente (interrogatorio, exploración física específica, solicitan estudios de laboratorio y/o gabinete para integrar un diagnóstico, los diferenciales y el plan preventivo-terapéutico), al final realizan un resumen de la nota médica del problema del paciente y se hace el cambio de estación. Este proceso se continúa hasta completar las seis estaciones.8
Todos los evaluadores que participaron en el ECOE 2021 son médicos, académicos de la FM, capacitados y muchos de ellos cuentan con más de diez años de experiencia en su aplicación. Actualmente se cuenta con un total de 180 pacientes estandarizados y capacitados, la mayoría con experiencia de más de cinco años. Los pacientes son seleccionados acorde a su edad, género y complexiónidóneos para cada representación.
A partir del 2020, debido a la pandemia por COVID-19, las medidas de distanciamiento social se aplicaron a múltiples áreas, incluidas la enseñanza y la evaluación; por lo cual, las instituciones educativas modificaron esos procesos a fin de disminuir el riesgo de contagio entre los sustentantes, pacientes y evaluadores.
Los profesores tuvieron que hacer uso de las tecnologías de la información y la comunicación (TIC), a pesar de considerar que no estaban suficientemente preparados para utilizarlas plenamente9-11. Ante la evidencia del riesgo, se optó por hacer uso de la tecnología en ausencia de cualquier otra alternativa disponible12-14.
Asimismo, los procesos de evaluación en línea requieren más que una simple introducción al uso de las TIC, se requiere resolver una serie de imperativos que resaltan la importancia de diseñar, desarrollar, adaptar métodos y estrategias que hacen posible la evaluación, esto incluye, entre otros aspectos, la respuesta a las preguntas: ¿Cómo evaluar de manera justa? ¿Cómo mantener la validez de los distintos métodos? ¿Qué tan confiables serán? ¿Qué tan viable es hacerlo en línea? ¿Cuál es la aportación de las evidencias de validez con respecto a la calidad psicométrica del ECOE en línea?
En el presente estudio se entiende calidad psicométrica como las características de un instrumento de medición a partir de las evidencias de validez obtenidas, así como los procedimientos con los que se realizó dicho instrumento, los cuales permiten la interpretación de los puntajes obtenidos dentro de un marco conceptual15-17.
Algunas instituciones educativas del área de la salud han propuesto estrategias para la aplicación del ECOE en línea18-22. Sin embargo, se han centrado en detallar las modificaciones realizadas que permitieran la aplicación del ECOE y/o evaluar la satisfacción de los estudiantes posterior a su aplicación, dejando a un lado la calidad psicométrica del instrumento utilizado.
Por tanto, ante la necesidad de evaluar a distancia las competencias de los sustentantes, se desarrolló una estrategia institucional que permitiera aplicar el ECOE en línea.
OBJETIVO
El objetivo de este estudio fue evaluar la calidad psicométrica del ECOE en línea 2021 y compararlo con un ECOE presencial realizado en 2020 para un examen de altas consecuencias.
MÉTODO
La estrategia utilizada para determinar la calidad psicométrica del ECOE en línea y compararlo con la modalidad presencial fue analizar el procedimiento empleado en su diseño, elaboración, implementación y calificación; así como el uso de análisis estadístico psicométricos que dieron cuenta de la evidencia de validez referida a la estructura interna de la prueba. A continuación se describen a detalle.
De abril a diciembre de 2020 se planificó y desarrolló la adaptación del ECOE a la modalidad en línea. El comité de expertos estuvo integrado por diez médicos, cinco psicólogos y tres ingenieros en sistemas, adscritos a la Secretaría de Educación Médica (SEM) de la FM. El equipo de trabajo se reunió de forma virtual (Zoom) constantemente para cumplir en tiempo y forma con el objetivo.
Los sustentantes del ECOE presencial fueron 927, y en la modalidad en línea 1,190, la mayor proporción en ambas modalidades fue de mujeres (65.3 y 70.3%, respectivamente).
Los ejes rectores para la adaptación en la modalidad en línea fueron:
1. Adecuación de los casos clínicos y de las rúbricas
Tanto los casos clínicos como las rúbricas que se utilizaron para la modalidad en línea se diseñaron con base en el ECOE presencial. Se revisó la redacción y las cuestiones técnicas de cada uno de los materiales utilizados. En cada uno de los casos se precisó la adecuación de la exploración física para evaluar la habilidad clínica, en este sentido, llegado el momento del acto médico, los sustentantes mencionarían y justificarían de forma verbal las regiones a explorar, los procedimientos específicos a realizar y la descripción de las maniobras a efectuar. Si eran pertinentes, el evaluador proporcionaría al sustentante, los datos requeridos y no más información. Se sustituyó el rubro de la nota médica por un “resumen clínico verbal” para sintetizar los datos más relevantes de la entrevista clínica, enfocándose en el mismo formato de nota médica (SOAP), justificando el o los diagnósticos y el plan preventivo-terapéutico.
2. Capacitación de evaluadores, pacientes estandarizados y sustentantes
Los evaluadores y pacientes estandarizados que participaron recibieron cursos de capacitación tanto de la plataforma para videoconferencias como de la adecuación metodológica de la prueba, de los materiales y de las rúbricas, con el objetivo de estandarizar su participación. Para los sustentantes se crearon materiales audiovisuales que describen el proceso de desarrollo del examen y fueron proporcionados a cada uno de ellos por los canales oficiales de comunicación de la FM.
3. Plataforma virtual
Para la aplicación en línea se utilizó la plataforma Zoom versión 5.0 (Zoom Video Communications Inc.; San José, California) debido a que la UNAM cuenta con licencia oficial para su uso y es considerada aula virtual de la institución. Esto permitió tener un control logístico eficiente y asegurar la calidad de la aplicación, pues mostró su facilidad de uso, ser una interfaz intuitiva con aplicación masiva y versatilidad.
4. Pruebas piloto
Se realizaron dos pruebas piloto con el objetivo de evaluar e identificar dificultades logísticas, operativas, técnicas y de conexión. Permitieron determinar las estrategias necesarias para resolverlas y limitar, en la medida de lo posible, los problemas durante la aplicación. En la primera prueba piloto se incluyeron sólo tres estaciones de diferentes áreas clínicas y participaron tres pasantes de servicio social de la LMC adscritos a la SEM. La segunda prueba constó de seis estaciones clínicas con una duración de 20 minutos cada una y participaron seis pasantes. Con ambas pruebas se evaluó la viabilidad de la nota médica y la sustitución de ella por un resumen clínico verbal que el sustentante comunicaría al final de la entrevista clínica.
Además, permitieron establecer las bases de las modificaciones necesarias en la habilidad de exploración física como se describió anteriormente. Previo a la aplicación de las pruebas, se enviaron los materiales de evaluación y la liga de acceso oportunamente a los evaluadores, pacientes estandarizados y pasantes, a estos últimos se les añadieron las instrucciones de cada caso.
Estructura y aplicación del ECOE presencial y en línea
Se cumplió con la normatividad vigente contenida en el reglamento general de exámenes de la UNAM y en las recomendaciones para la realización de los exámenes profesionales o de grado vía remota durante la contingencia sanitaria expresados en el oficio de la abogacía general23,24.
Los ECOE presencial y en línea estuvieron compuestos de seis estaciones (1. Cirugía, 2. Ginecología y obstetricia, 3. Medicina interna, 4. Medicina familiar, 5. Urgencias y 6. Pediatría), en ambas modalidades, cada una se evaluó con rúbricas holísticas diseñadas exprofeso con cuatro niveles de desempeño: bueno, suficiente, insuficiente y deficiente para cada competencia25(anexo 1). Las competencias evaluadas fueron:
-
1: Pensamiento crítico.
-
3: Comunicación.
-
4: Conocimiento y aplicación de las ciencias biomédicas, sociomédicas y clínicas.
-
5: Habilidades clínicas.
-
6: Profesionalismo, aspectos éticos y responsabilidades legales.
-
7: Promoción de la salud y prevención de la enfermedad.
En la modalidad presencial y en línea las rúbricas se conformaron por 99 reactivos, el número se determinó de acuerdo con los indicadores de cada competencia expuesta en el plan de estudios de la LMC, con una distribución diferente para cada estación: la uno con 16 reactivos; la dos con 17; la tres con 15; la cuatro con 18; la cinco con 17; y la seis con 16. En cada estación se evaluaron cuatro competencias dependiendo del caso clínico con énfasis en las competencias 3 y 5.
El ECOE presencial se aplicó en siete días diferentes con un total de 140 circuitos con seis estaciones cada uno, en cuatro turnos por día. Se conformó de ocho versiones distintas, se utilizaron 48 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.
El ECOE en línea se aplicó en tres días diferentes con un total de 58 circuitos con seis estaciones cada uno, en tres o cuatro turnos por día. Constó de tres versiones de examen diferentes, se utilizaron 18 casos clínicos diferentes, equivalentes en el área clínica, estructura de las competencias y grado de complejidad.
En ambas modalidades la capacitación para los evaluadores y pacientes estandarizados fue la misma, con respecto del contenido de los casos clínicos, solo para la modalidad en línea, se capacitó a los evaluadores y pacientes en el uso de la plataforma Zoom. Para la modalidad presencial participaron 113 evaluadores y 85 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El ECOE en línea contó con la participación de 180 evaluadores y 180 pacientes estandarizados, incluyendo los de reserva, de acuerdo a su disponibilidad de horario. El incremento del personal en 2021 se debió al número reducido de días de aplicación. El 90% de los evaluadores y pacientes participantes de la modalidad presencial se mantuvieron en las mismas estaciones que en el ECOE en línea. La asignación de los sustentantes fue aleatoria, con base en el listado de la Secretaría de Servicios Escolares.
La mecánica de aplicación consistió en la identificación del sustentante y en la ubicación de este en la estación de inicio. Al comienzo, en cada una de ellas, el profesor envió por el chat de la plataforma las instrucciones del examen y la indicación del inicio de la prueba. El sustentante mantuvo su micrófono y cámara encendidos, los evaluadores apagaron su cámara y lo observaron interactuando virtualmente con el paciente. Llegado el momento de la exploración física, el evaluador proporcionó de forma verbal solo la información requerida y justificada. Para finalizar, el sustentante expresó verbalmente al evaluador el resumen clínico del paciente. Terminado el tiempo, fue conducido a la siguiente estación hasta completar el circuito (figura 1).
Figura 1
Dinámica de la aplicación del ECOE en línea
Análisis estadístico
Para evaluar la calidad psicométrica de cada uno de los instrumentos se calculó la discriminación de los reactivos utilizando la prueba t de Student, la consistencia interna del instrumento empleando el Alfa de Cronbach y la estructura por medio del análisis de componentes principales. Para lograr el objetivo del presente estudio se utilizó la prueba t de Student con medida del efecto. Para la realización de estos análisis se utilizó el paquete estadístico SPSS versión 25 (SPSS Statistics, IBM; Stanford, California).
CONSIDERACIONES ÉTICAS
Se eliminaron los identificadores individuales; se presentan únicamente resultados agregados, siempre se mantuvo el anonimato de los sustentantes en la elaboración del manuscrito. Los participantes dieron su consentimiento informado.
RESULTADOS
Para lograr el objetivo del presente estudio se muestran a continuación las evidencias de validez observadas en los ECOE presencial y en línea, se describen cinco categorías: contenido, proceso de respuesta, estructura interna, relación con otras variables y consecuencias26(tabla 1).
Fuentes de evidencia de validez para los ECOE profesionales en la evaluación de competencias
ECOE: Examen Clínico Objetivo Estructurado; LMC: licenciatura de médico cirujano; EAAs: evaluaciones del avance académico.
-
Evidencia de validez de contenido: En el diseño de ambas modalidades del ECOE se hace referencia a la relación entre el comportamiento presentado por el sustentante entre las competencias del plan de LMC evaluadas y cómo se representan estas en las estaciones que conforman el examen. Esto se realizó con la verificación de los contenidos por el juicio de expertos en el área (evaluadores y pacientes estandarizados).
-
Evidencia de validez del proceso de respuesta: El instrumento se diseñó de acuerdo con los comportamientos que simulan el acto médico que se desarrolla en el primer nivel de atención, lo cual se obtuvo siguiendo el procedimiento ejecutado para el diseño de rúbricas holísticas para ECOE25.
-
Evidencia de validez de estructura interna: Al evaluar la discriminación de los reactivos en ambos instrumentos se observó que los 99 permiten distinguir entre puntajes altos y bajos (p < 0.001), la consistencia interna de la prueba obtuvo un Alfa de Cronbach de 0.96 para el ECOE presencial y de 0.93 para el ECOE en línea considerando los 99 reactivos que integran la totalidad de las seis competencias evaluadas. Para la estructura interna del instrumento presencial se identificaron seis factores que explican el 60.7% de la varianza y 6 factores más cinco indicadores para la modalidad en línea con una varianza explicada de 56.6% (tabla 2 y anexo 2). Los seis factores de la modalidad presencial se agrupan de acuerdo a las seis estaciones evaluadas, en tanto, en la modalidad en línea 6 factores hacen referencia a las seis estaciones más 5 indicadores que no cubren el requisito para integrar un factor.
-
Evidencia de validez de relación con otras variables: De acuerdo con el enfoque del presente estudio, no se obtuvo.
-
Evidencia de validez de las consecuencias de la prueba: Al ser examen profesional tiene altas consecuencias, aprobar o quedar suspendido.
Análisis psicométrico
*Esfericidad de Bartlett, Sig. <0.001.† La discriminación corresponde a los 99 reactivos de ambos instrumentos.
Para conocer el desempeño presentado por los sustentantes se calcularon sus calificaciones por competencias y habilidades clínicas de acuerdo al tipo de contenido establecido en la tabla de especificaciones diseñada para las rúbricas del ECOE presencial y en línea.
Como se mencionó al inicio, la calidad psicométrica de un instrumento se sustenta en sus evidencias de validez y los procedimientos con los que se realizó para poder convertir los datos en información. A continuación se describen los resultados que permiten observar el nivel de desempeño de los sustentantes, las competencias y sus habilidades clínicas (tablas 3y4).
Puntaje global de los sustentantes por competencias clínicas del ECOE en línea (n = 1,190)
Media ± desviación estándar. *Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.† Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.‡ Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).
Puntaje global de los sustentantes por habilidades clínicas del ECOE en línea (n = 1,190)
Media ± desviación estándar. *Los valores de p se obtienen al comparar el ECOE presencial 2020 y en línea 2021. Valor p < 0.05 obtenido utilizando prueba de T student.† Puntaje del ECOE presencial de 2020, n = 927. Los resultados se expresan en una escala máxima de 100 puntos.‡ Valores: r > 0.8 se considera una magnitud del efecto con alta magnitud, r > 0.6 moderada alta, r > 0.5 moderada media, r > 0.3 moderada baja, r > 0.2 de alta magnitud (Cohen, 1988). La magnitud del efecto (ME) se define como el grado de generalidad que posee esa superioridad de A sobre B en la población de la que se obtuvo la muestra estudiada. De esta manera, la ME se refiere a la magnitud de un efecto que es, en este ejemplo, la diferencia entre un tratamiento nuevo A y otro clásico B. (Ledesma y cols., 2008).
Se calcularon los puntajes en una escala máxima de 100 puntos. A pesar de que hubo diferencias estadísticamente significativas a favor del ECOE en línea, solamente las competencias 3, 5 y 6 tuvieron una magnitud del efecto mayor a 0.3; en contraste, las competencias 1, 4 y 7 tuvieron baja magnitud del efecto (r ≤ 0.3). Asimismo, de las 19 habilidades clínicas evaluadas, en nueve se observaron diferencias estadísticamente significativas y magnitud del efecto alto con mayor puntaje para la modalidad en línea; por ejemplo, en las habilidades de interrogatorio y resumen clínico tuvieron r = 0.38 y r = 0.62, respectivamente. Por otra parte, la exploración física, que fue modificada para el ECOE en línea, presentó diferencia estadísticamente significativa con respecto al ECOE presencial; sin embargo, tuvo magnitud del efecto bajo (r = 0.09) (tablas 3 y 4).
DISCUSIÓN
Con respecto a la calidad psicométrica del examen, se observó que la modalidad en línea permite la interacción virtual con los participantes, esto confirma que los avances y la amplia utilización de la telemedicina a nivel mundial son de utilidad en la educación y la evaluación, además de la práctica clínica a distancia27. De forma consistente otra institución realizó un ECOE en línea, constituido por seis estaciones, se aplicaron rúbricas holísticas validadas y se usó la plataforma Zoom18,25. Por otra parte, en odontología se han aplicado ECOE con metodología similar a grupos pequeños; sin embargo, se han centrado en conocer la opinión sobre la satisfacción de los participantes en esta modalidad, sin aportar evidencias sobre la eficiencia y el desempeño de los evaluados19-22.
Los resultados de las evidencias de validez de contenido indican que el procedimiento seguido para el desarrollo de ambas modalidades cumple la pertinencia y relevancia de los comportamientos observados en las estaciones. Los requerimientos para desarrollar la modalidad en línea fueron similares a los empleados en el presencial, con la diferencia de las reuniones de los participantes, que se realizaron de forma remota.
Además, debido a las características de la modalidad en línea, se adecuaron las habilidades de exploración física y nota médica de forma colegiada. Con respecto a la exploración física se observó consistencia en este procedimiento con lo realizado en otro estudio18. La nota médica se sustituyó por un resumen clínico verbal y tuvo un desempeño alto con respecto al presencial, lo cual se explica a partir de la posibilidad de poder describir y argumentar con más información al evaluador para expresar el problema del paciente. El desempeño observado en el resto de las habilidades clínicas fue similar en ambas modalidades. Por lo tanto, la modalidad en línea, al igual que la presencial, permite obtener información precisa y válida sobre el desempeño de las competencias en sustentantes de la LMC.
Con base en la evidencia de validez del proceso de respuesta, se consideró la complejidad de las habilidades clínicas bajo la directriz de la aplicación de conocimientos, conceptos y la solución de problemas médicos en el primer nivel de atención. La utilización de rúbricas holísticas diseñadas exprofeso, validadas y detalladas para evaluar el desempeño de las competencias de los sustentantes permitieron disminuir la subjetividad de los evaluadores, lo cual se aprecia en los resultados observados en la ejecución de las habilidades clínicas, con niveles semejantes en ambas modalidades. Por otra parte, para garantizar la consistencia en el proceso de respuesta, se mantuvo a un 90% de los evaluadores y pacientes estandarizados en las dos modalidades, al porcentaje restante se le proporcionó el acompañamiento para la realización de sus actividades.
Los sustentantes de ambas modalidades estaban familiarizados con el tipo de actividades en el ECOE, las dos poblaciones participaron en tres exámenes diagnóstico-formativos después de concluir segundo, tercero y cuarto año, respectivamente (Evaluaciones del Avance Académico I, II y III). Esto contribuyó con el desempeño alto de las habilidades clínicas, como lo observado en varios estudios que han reportado que la familiarización de las actividades del ECOE puede conducir a niveles más bajos de ansiedad y mayor confianza, lo que lleva a una puntuación más alta28-30.
Con referencia a la evidencia de validez de la estructura interna de la prueba, los valores psicométricos calculados para los 99 reactivos de las rúbricas de las seis competencias en ambas modalidades fueron: la discriminación, la consistencia interna y la estructura de la prueba. Los valores obtenidos en el análisis de discriminación indican que las calificaciones de los sustentantes permiten distinguir entre aquellos que tienen un desempeño óptimo y los que tienen uno deficiente, lo cual, señala que el instrumento cumple su función para identificar el nivel de ejecución del comportamiento en el ECOE. Con base en el valor obtenido para la consistencia interna del instrumento utilizado en las dos modalidades, indica que en los dos ECOE permiten observar un desempeño sistemático bajo las condiciones del examen de forma consistente. Finalmente, para la estructura de la prueba en ambas modalidades, el eje que agrupa a los 99 reactivos de las rúbricas son las estaciones del examen, una explicación plausible de esta estructura es que el caso que define a la estación funciona como un “organizador clínico-cognitivo”, ya que la resolución del problema del paciente estandarizado requiere de la adecuada integración e interdependencia de las competencias, como sucede en el acto médico, lo cual es la intención del ECOE.
De acuerdo con el enfoque del estudio, las evidencias de validez de su relación con otras variables no se obtuvieron debido a que, hasta este momento, las calificaciones obtenidas no cuentan con otros datos para identificar relaciones.
En la evidencia de validez de las consecuencias, el sustentante aprueba o queda suspendido debido a la naturaleza de un examen profesional.
Fortalezas y áreas de oportunidad
Los resultados obtenidos a partir del examen en línea indican que esta modalidad proporciona información certera, al igual que en la presencial, para la evaluación de las competencias clínicas. El proceso de diseño y validación, aunado a la experiencia previa de los evaluadores y pacientes estandarizados, además de la capacitación para este examen, son aspectos relevantes a resaltar que tiene este ECOE.
Entre algunos obstáculos identificados en la parte operativa, destaca la inestabilidad en la conexión de algunos dispositivos de los participantes, lo que extendió el tiempo y el número de turnos del examen.
Para tener mayor seguridad en la aplicación del examen y observar al sustentante desde otro ángulo, se recomienda el uso de una segunda cámara o un software especializado para así tener otra perspectiva del entorno del mismo y poder identificar algún factor externo que estuviera interviniendo en su desempeño22.
CONCLUSIONES
La adaptación del ECOE a la modalidad en línea mostró una calidad psicométrica adecuada, en las diferentes fuentes de evidencias de validez, en especial en la evidencia de la estructura interna de la prueba lo que le da solidez del instrumento para obtener puntajes interpretables dentro de un marco de referencia. Las habilidades clínicas de ambas modalidades mostraron diferencias significativas con una magnitud del efecto “moderada baja” en nueve habilidades clínicas, en el resto no se observaron diferencias, lo cual indica una similitud de ambas pruebas.
Dado que las instituciones educativas necesitan métodos sólidos para evaluar a distancia las competencias de los sustentantes y que sean comparables a los utilizados de manera presencial, se observó que la modalidad en línea es una alternativa factible para la evaluación de competencias clínicas para exámenes de altas consecuencias en ciencias de la salud. Además, este estudio provee las bases para un modelo híbrido de la evaluación, categorizando estaciones apropiadas para las modalidades presencial y en línea.
El análisis de los resultados proporciona información importante para realimentar los planes y programas académicos en sus áreas biomédica, sociomédica y clínica para tomar decisiones sobre la formación de los profesionales de la salud, además de dar pie al ensayo de otras metodologías y a la mejora continua de la estrategia diseñada.
Finalmente, el ECOE que se realiza en la FM desde 2015 es un referente, debido a la forma integral en que evalúa las competencias clínicas en la LMC. Se propone esta modalidad en línea como una alternativa que reduce costos, es útil en escenarios remotos, disminuye la movilidad, aumenta la seguridad de los participantes en la transportación y en la salud, entre otros.
REFERENCIAS
Facultad de Medicina UNAM. Plan de Estudios 2010 y Programas Académicos de la Licenciatura de Médico Cirujano. En: Facultad de Medicina UNAM, editor. Ciudad Universitaria 2009. p. 1-150. [Consultado: 16 May 2021]. Disponible en: http://www.facmed.unam.mx/plan/PEFMUNAM.pdf
Harden RM, Stevenson M, Downie WW, Wilson GM. Assessment of clinical competence using objective structured examination. Br Med J. 1975;1(5955):447-51. doi: 10.1136/bmj.1.5955.447
Trejo Mejía J, Larios Mendoza H, Velasco Jiménez M, Hernández López A, Martínez Viniegra N, Cortés Gutiérrez M. Evaluación de la Competencia Clínica de los alumnos al iniciar el Internado Médico de Pregrado. Rev Fac Med. 1998;41(3):108-13. Disponible en: https://pesquisa.bvsalud.org/portal/resource/pt/lil-234020 y en: https://www.imbiomed.com.mx/articulo.php?id=16134
Larios Mendoza H, Trejo Mejía J, Méndez I. Examen Profesional con el Examen Clínico Objetivo Estructurado. Rev Ed Sup. 2005;34(4):7-17. [Consultado: 10 Jun 2021]. Disponible en: https://www.redalyc.org/pdf/604/60413601.pdf
Furman GE. The role of standardized patient and trainer training in quality assurance for a high-stakes clinical skills examination. Kaohsiung J Med Sci. 2008;24(12):651-5. doi: 10.1016/s1607-551x(09)70031-2
Furman G, Montanano A. ECFMG 2014 Annual Report. Case Development Workshop conducted at School of Medicine of the National Autonomous University of Mexico; Monterrey, Mexico: ECFMG; 2014. p. 1-75. [Consultado: 20 May 21]. Disponible en: https://www.yumpu.com/en/document/read/38343332/ecfmg-2014-annual-report
Facultad de Medicina UNAM. Internado Médico. Asignatura Clínica-Quinto Año-Décimo y Undécimo Semestre. En: Facultad de Medicina UNAM, editor. Ciudad Universitaria; 2018. p. 1-101. [Consultado: 10 jul 21]. Disponible en: http://paginas.facmed.unam.mx/deptos/ss/wp-content/uploads/2018/10/1011.pdf
Martínez-González A, Sánchez-Mendiola M, Olivares-Olivares S, Grimaldo-Avilés J, Trejo-Mejía J, Martínez-Franco A, y cols. Colaboración de tres escuelas de medicina de México en un examen clínico objetivo estructurado (ECOE). Inv Ed Med. 2020;10(38). doi: 10.22201/fm.20075057e.2020.36.20258
Amin H, Shehata M, Ahmed S. Step-by-step Guide to Create Competency-Based Assignments as an Alternative for Traditional Summative Assessment. MedEdPublish. 2020:1-15. doi: 10.15694/mep.2020.000120.1
Boursicot K, Kemp S, Ong T, Wijaya L, Goh S, Freeman K, y cols. Conducting a high-stakes OSCE in a COVID-19 environment. MedEdPublish. 2020:1-8. doi: 10.15694/mep.2020.000054.1
Khan RA, Jawaid M. Technology Enhanced Assessment (TEA) in COVID 19 Pandemic. Pak J Med Sci. 2020;36(COVID19-S4):S108-S10. doi: 10.12669/pjms.36.covid19-s4.2795
Ahmed S, Shehata M, Hassanien M. Emerging Faculty Needs for Enhancing Student Engagement on a Virtual Platform. MedEdPublish. 2020:1-5. doi: 10.15694/mep.2020.000075.1
Shehata MH, Kumar AP, Arekat MR, Alsenbesy M, Mohammed Al Ansari A, Atwa H, y cols. A toolbox for conducting an online OSCE. Clin Teach. 2021;18(3):236-42. doi: 10.1111/tct.13285
Ward JP, Gordon J, Field MJ, Lehmann HP. Communication and information technology in medical education. Lancet. 2001;357(9258):792-6. doi: 10.1016/s0140-6736(00)04173-8
Standards for educational and psychological testing / American Educational Research Association, American Psychological Association, National Council on Measurement in Education [Internet]. Washington, DC: American Educational Research Association; 2014 [Citado: 2022 Ene 15]. Disponible en: https://search.ebscohost.com/login.aspx?direct=true&db=edsnuk&AN=edsnuk.vtls004537073&lang=es&site=eds-live
Nuván Hurtado IL, Rivera Porras DA, Carillo Sierra SM, Forgiony Santos JO, Bonilla Cruz NJ, Rozo Sánchez AC. Diferencias en la calidad psicométrica de tests construidos mediante la estrategia pedagógica audiovisual y las estrategias pedagógicas tradicionales. Rev Esp. 2018; 39(25):7-21. ISSN 0798 1015. Disponible en: https://www.revistaespacios.com/a18v39n25/a18v39n25p07.pdf
García Pérez EM, Magaz Lago A. ¿Cómo valorar test psiscométricos? [Internet] Bizkaya, España: COHS. Consultores en Ciencias Humanas, S.L.; 2009. [Citado: 2022 Ene 15]. Disponible en: http://www.gac.com.es/editorial/libros/comovalorartestpsicometricos.pdf
Craig C, Kasana N, Modi A. Virtual OSCE delivery: The way of the future? Med Educ. 2020;54(12):1185-6. doi: 10.1111/MEDU.14286
Kakadia R, Chen E, Ohyama H. Implementing an online OSCE during the COVID-19 pandemic. J Dent Educ. 2020. doi: 10.1002/jdd.12323
Hytönen H, Näpänkangas R, Karaharju-Suvanto T, Eväsoja T, Kallio A, Kokkari A, y cols. Modification of national OSCE due to COVID-19 - Implementation and students' feedback. Eur J Dent Educ. 2020. doi: 10.1111/eje.12646
Donn J, Scott JA, Binnie V, Bell A. A pilot of a Virtual Objective Structured Clinical Examination in dental education. A response to COVID-19. Eur J Dent Educ. 2020. doi: 10.1111/eje.12624
Khalaf K, El-Kishawi M, Moufti MA, Al Kawas S. Introducing a comprehensive high-stake online exam to final-year dental students during the COVID-19 pandemic and evaluation of its effectiveness. Med Educ Online. 2020;25(1):1826861. doi: 10.1080/10872981.2020.1826861
Reglamento General de Exámenes, UNAM (1969). [Consultado: 25 Jul 21]. Diponible en: http://www.abogadogeneral.unam.mx/sites/default/files/2018-05/229.pdf
González Contró, M. Oficio AGEN/DGEL/107/20OJ/62/20. Ciudad Universitaria 2020. [Consultado: 25 Jul 21]. Disponible en: http://escolares.quimica.unam.mx/exaprof/Oficio_AGEN-DGEL-107-20.pdf
Alpuche HA, Trejo-MJ, Peña BJ, Ortiz MA. Diseño y elaboración de rúbricas para evaluar competencias de estudiantes de medicina en un Examen Clínico Objetivo. Psicología Educativa. 2020-2021;8-9(1):58-64. eISSN 2448-6957
Downing, SM. Validity: On the meaningful interpretation of assessment data. Medical Education. 2003;37(9):830-837. https://doi.org/10.1046/j.1365 2923.2003.01594.x
Lawrence K, Hanley K, Adams J, Sartori DJ, Greene R, Zabar S. Building Telemedicine Capacity for Trainees During the Novel Coronavirus Outbreak: a Case Study and Lessons Learned. J Gen Intern Med. 2020;35(9):2675-9. doi: 10.1007/s11606-020-05979-9
Robinson P, Morton L, Haran H, Manton R. Mock OSCEs improve medical students' confidence and reduce anxiety related to summative examinations. Education in Medicine Journal. 2017;9:41-5. doi: 10.21315/eimj2017.9.2.4
Hess BJ, Kvern B. A call to understand the psychometric implications of virtual OSCE delivery. Med Teach. 2020:1-2. doi: 10.1080/0142159X.2020.1849591
Young I, Montgomery K, Kearns P, Hayward S, Mellanby E. The benefits of a peer-assisted mock OSCE. Clin Teach. 2014;11(3):214-8. doi: 10.1111/tct.12112
Anexo 1
Rúbrica de la competencia 5 con sus habilidades clínicas correspondientes
1. Habilidades en el interrogatorio
2ª. Habilidades en la exploración física
2B. Habilidades en la exploración física
Estudios de laboratorio y gabinete
Habilidades diagnósticas
Fundamentación del diagnóstico
Plan preventivo-terapéutico (médico y/o quirúrgico)
Nota médica / resumen clínico verbal
Evaluación por el paciente
Valoración global de los conocimientos y habilidades
Anexo 2
Matriz de componente rotado del ECOE 2020
C: competencia; E: estación; F: factor; I: indicador de la competencia. Método de extracción: análisis de componentes principales. Método de rotación: Varimax con normalización Kaiser. La rotación ha convergido en 8 iteraciones.
Matriz de componente rotado del ECOE 2021
Ac: área clínica; E: estación; F: factor; R: reactivo. Método de extracción: análisis de componentes principales. Método de rotación: Varimax con normalización Kaiser. La rotación ha convergido en 14 iteraciones.
Notas
-
En el Congreso de la Facultad de Medicina de la UNAM, en abril de 2021, se presentó la experiencia sin el análisis de este trabajo.
-
En la sesión del mes de abril de 2021 de la Academia Nacional de Educación Médica se presentó la experiencia y la logística, pero no el análisis de este trabajo.
-
En el Congreso de Guatemala en julio de 2021 se habló de la experiencia que se tuvo con el ECOE en línea en México, en términos muy generales.
Notas de autor
-
JATM, JPB, AOM, AC, CASA: Conceptualización, diseño y revisión crítica.
-
JATM, JPB, CASA: Metodología, redacción, interpretación de datos, revisión crítica, edición y referencias.
-
AAH: Análisis psicométrico y revisión crítica. Conservación de datos.
-
JATM, JPB, CASA, AAH, AOM, AC: Aprobación final del manuscrito.
-
A Francisco Javier Fernández Puerto, Mónica Anastasia Ramírez Arrieta, Rocío García Duran por su decidida participación en la logística del examen.
-
A Argelia Rosales Vega y Alejandro Enríquez Andonaegui por su participación en la asistencia técnica del sistema informático de evaluación y de la plataforma antes y durante la ejecución del examen.
-
A Mauricio Pilar Díaz por la cesión de la imagen de la dinámica del ECOE.
-
A Arsenio Vargas y Tania Vives Varela por su apoyo y comentarios en la redacción del manuscrito.
-
A todos los profesores y pacientes que participaron para el éxito del examen.
*Autor para correspondencia: Juan Andrés Trejo Mejía. Coordinador del ECOE, Departamento de Evaluación Educativa, Facultad de Medicina, Universidad Nacional Autónoma de México. Circuito Universitario. 3er Piso. CU. Cd. Mx., México, C.P. 04510. Correo electrónico: andretreme@gmail.com
Declaración de intereses
