Introducción

Desde la publicación del informe Flexner, se han implementado innovaciones en educación médica para formar médicos que brinden los servicios de salud que requiere la sociedad actual. Con la finalidad de ofrecer una perspectiva de dichas transformaciones, se realizó una revisión crítica de la literatura para identificar las nuevas propuestas curriculares, didácticas y de evaluación en este campo. En un trabajo previo, se presentaron los hallazgos en los dos primeros ámbitos¹. Esta investigación comprende las innovaciones identificadas en relación con los métodos de evaluación de los aprendizajes, así como una descripción de los avances tecnológicos que han impulsado y posibilitado la transformación del proceso educativo en medicina.

La información aquí plasmada fue recuperada de cinco bases de datos -PubMed, Scopus, Eric, Redalyc y Scielo- utilizando como palabras clave “innovación”, “innovación educativa”, “innovation educational” o “educational innovation” y “educación médica” o “medical education” y aplicando como filtro la disponibilidad en texto completo. Dada su incidencia en la educación médica, se consultaron también documentos del National Board of Medical Examiners, Best Evidence Medical Education, Carnegie Foundation. Se seleccionaron en los artículos resultantes aquellas innovaciones en cuyo desarrollo e implementación se cumplieran con los siguientes atributos que fueron descritos en el trabajo previo: a) destrucción creativa, es decir, que el proceso, producto o servicio nuevo que es creado reemplaza a otro, que deja de ser utilizado o existir; b) carácter novedoso, significa que, aquello que se introduce no existía en el contexto y momento histórico específico; c) impacto positivo de la transformación, que genera un beneficio observable en el logro de las metas y objetivos; y, d) instrumentación del cambio, en tanto las innovaciones han sido adoptadas por una comunidad y han resultado en ajustes en las prácticas cotidianas¹. Finalmente, se eligieron aquellas representativas de cada ámbito -currículo, didáctica y evaluación del aprendizaje- y se buscó información complementaria para integrar una descripción y un ejemplo de cada innovación.

En la primera sección, después de definir algunos conceptos clave, se describen las nuevas ideas sobre evaluación que han ido conformando los métodos empleados para valorar los aprendizajes de los futuros médicos, tanto durante su trayectoria escolar como al final de ésta. En una tabla, se resumen los principales métodos y, a manera de ejemplo, se enuncian algunas de las instituciones educativas donde se han utilizado. La segunda sección inicia con una reflexión sobre la relación entre tecnología e innovación educativa e incluye una explicación sintética de los principales avances tecnológicos que inciden en la enseñanza y el aprendizaje de la medicina, así como ejemplos de aplicaciones de cada herramienta con fines ilustrativos. Se concluye con una reflexión sobre los retos de implementar las innovaciones y la relevancia de seguir buscando nuevas maneras de preparar a los médicos para el futuro.

Innovaciones en evaluación de los aprendizajes en educación médica

La implementación de innovaciones curriculares en la formación médica, se han acompañado de transformaciones en los métodos de enseñanza y aprendizaje y, por supuesto, de evaluación. Este último proceso se ha conceptualizado como el conjunto de procedimientos que se utilizan para adquirir información de manera sistemática sobre algo o alguien, con la intención de emitir juicios de valor para la toma de decisiones². En este apartado nos centraremos en analizar los métodos dirigidos a la valoración de los aprendizajes en la educación médica. Rumbo a procesos de evaluación cada vez más estandarizados, se definieron las características que deben considerarse al desarrollar e implementar un proceso de evaluación: validez, confiabilidad, impacto educativo, aceptabilidad y costo³. Éstas características han servido como referente en el análisis del funcionamiento de los distintos instrumentos de evaluación.

Después del Informe Flexner⁴, la principal preocupación de la comunidad de educadores médicos estaba orientada a sistematizar la evaluación de los futuros médicos en Estados Unidos. En 1915, William L. Rodman funda la National Board of Medical Examiners (NBME) con la intención de definir los estándares de cualificación de la práctica médica, así como para, con base en ellos, reconocer a quienes los han alcanzado y certificarlos para ejercer la práctica médica. Durante más de un siglo la NBME se ha encargado de ambas tareas: definir estándares de desempeño en diferentes áreas de la medicina y aplicar exámenes de certificación. En una primera etapa, las evaluaciones consistieron en exámenes de respuesta corta o a través de ensayos, exámenes orales, prácticas de laboratorio y clínicas. En 1954 se decidió sustituir las preguntas de opción múltiple por preguntas abiertas; para 1962, se buscó valorar también las habilidades clínicas, por lo que, los procedimientos de evaluación requirieron del apoyo de médicos examinadores que observaban la interacción del médico con el paciente. Eventualmente estos encuentros fueron sustituidos por la presentación de videos de pacientes que se mostraban al evaluado para emitir el diagnóstico presuntivo. Con el surgimiento de equipos de simulación más sofisticados, hacia 1984 se comenzaron a utilizar exámenes por computadora con pacientes simulados para evaluar la toma de decisiones y las habilidades de solución de problemas. En 1992 esta organización, en colaboración con la Federation of State Medical Boards, (FSMB) aplicó el Examen de Licencias Médicas de los Estados Unidos (United States Medical Licensing Examination, conocido como USMLE), con el objetivo de evaluar la capacidad de los examinados para aplicar conceptos y principios relevantes de salud y enfermedad. El USMLE también migró a una versión computarizada en 1999⁵. Hasta ahora, la NBME ha sido reconocida como la principal organización independiente que proporciona evaluaciones de alta calidad de profesionales de la salud en Estados Unidos y se ha considerado como un referente a nivel internacional. Sus aportaciones han sido valiosas en tanto han utilizado diversos métodos de evaluación para adaptarse al contexto y necesidades de la época.

Desde la década de los 50’s del siglo pasado, los cambios conceptuales en torno a la evaluación han versado sobre sus funciones y esta discusión ha llevado a categorizarla como formativa y sumativa. La diferencia entre ambos tipos radica en el momento de recolección de la información y sus propósitos. De este modo, la evaluación formativa es aquella que se lleva a cabo durante el proceso de enseñanza para mejorar el aprendizaje del estudiante, mientras que la sumativa ocurre al final de un curso o proceso de enseñanza para determinar el nivel de aprendizaje alcanzado y decidir si el evaluado ha acreditado o si se le otorga una certificación⁶. Esta categorización permitió tener más clara la dirección e intenciones del proceso de evaluación, así como determinar los métodos a utilizar, por lo que puede ser denominada como una propuesta conceptual innovadora para aquella época. La innovación relacionada con cada tipo de evaluación ha tenido orientaciones distintas. En el caso de la evaluación sumativa, se ha enfocado a lograr juicios más certeros y precisos sobre las capacidades de los profesionales médicos; mientras que la evaluación formativa se ha preocupado por contar con estrategias para realimentar a los estudiantes y a los educadores médicos sobre los logros que se van alcanzando en la formación, para mejorar la enseñanza y el aprendizaje.

Otro planteamiento teórico relacionado con la evaluación que surgió a finales del siglo pasado, a la par de la incorporación de la Educación Médica Basada en Competencias (EMBC), es la denominada Pirámide de Miller⁷ que buscó resaltar la complejidad de las habilidades clínicas y describir cómo los estudiantes transitan en su desarrollo (Figura 1). Este autor recomendó utilizar diversos métodos en la evaluación de las capacidades de un médico, pues ninguno por sí solo permitía obtener información suficiente para juzgar el ejercicio de esta profesión. Es así que categorizó los niveles de dominio de las habilidades clínicas con la intención de contribuir a la sistematización. La pirámide constituye un marco teórico que dio pauta a estructurar los métodos de evaluación existentes y definir el nivel de dominio que cada uno valoraba. Significó una innovación conceptual que detonó nuevos abordajes en la valoración de las capacidades del médico y, a la fecha, orienta la selección de los métodos más pertinentes a cada situación⁸.

Los exámenes con preguntas de opción múltiple han sido utilizados con mayor frecuencia para valorar el primer dominio, “saber”, por varias razones: son clave para la valoración de los conocimientos, principalmente cuando es necesario tomar decisiones de elevadas consecuencias, como la acreditación y la certificación, y facilitan examinar a un gran número de personas dado que su calificación puede ser automatizada. Para asegurar la validez y confiabilidad de los resultados, es necesario que al diseñar estas preguntas se sigan lineamientos claros y que se analicen los resultados obtenidos en su aplicación para garantizar que funcionan de manera adecuada. Haladyna & Downing⁹ retomaron los principios establecidos en la psicología para definir los principios que se han utilizado como referente para el diseño de reactivos en educación médica. La Teoría Clásica de los Test fue el fundamento de los procedimientos estadísticos para analizar los resultados durante muchos años, pero, dadas sus limitaciones, desde los años 60 se empezaron a utilizar aquellos vinculados con la Teoría de la Respuesta al Ítem (TRI)¹⁰. La TRI se ha considerado el método más idóneo para el análisis estadístico de los exámenes adaptativos computarizados, que representaron un gran cambio en las evaluaciones en Ciencias de la Salud desde finales de los 90s, por la posibilidad de determinar el nivel de dominio de habilidades en poco tiempo y de manera precisa¹¹.

Por otro lado, para evaluar el nivel de dominio “demostrar cómo” definido por Miller, se diseñaron métodos de evaluación que requerían de equipos de simulación de baja y alta tecnología y para aportar objetividad a este crítico proceso, utilizaron instrumentos como listas de cotejo o rúbricas para asignar puntajes en la valoración de acciones específicas. Un ejemplo es el Examen Clínico Objetivo Estructurado (ECOE) desarrollado en los años 70s en la Universidad de Dundee, para evaluar las competencias clínicas de manera sistematizada¹². El ECOE ha sido uno de los métodos preferidos por los evaluadores de los aprendizajes para fines sumativos.

A la fecha, diferentes organizaciones encargadas de estandarizar la evaluación de la profesión médica en diferentes países, han propuesto diversos métodos tanto para la evaluación sumativa como la formativa, como la mencionada NBME o la Accreditation Council for Graduate Medical Education (ACGME) y la American Board of Medical Specialities (ABMS) en Estados Unidos o la CanMeds del Royal College of Physicians and Surgeons of Canada que surgió desde los 90s. La ACGME y la ABMS colaboraron para proponer una serie de métodos de evaluación de las competencias de los residentes¹³. La CanMeds surgió en Canadá como apoyo del proyecto de la Educación del Futuro de Ontario, para desarrollar el marco de competencias de los especialistas en el marco de la Educación Basada en Competencias, que hoy constituye un referente para la enseñanza y evaluación de los médicos. Esta organización también publicó en un compendio de herramientas de evaluación de las competencias¹⁴.

De este modo, la EMBC continúa siendo un referente para dirigir los métodos de evaluación. Como se ha señalado desde la propuesta de Miller en 1990, se ha pugnado por valorar las competencias con diferentes métodos y evaluadores para brindar realimentación rumbo a la mejora de la atención médica¹⁵. Sin embargo, autores como Dauphinee, Boulet y Norcini¹⁶, consideran que la evaluación basada en competencias ha dejado de ser sostenible como una innovación puesto que, dada la complejidad de su implementación, no ha llegado a integrarse en la operación de los sistemas de salud y no ha impactado en la calidad de la atención médica.

En el caso de la evaluación formativa, se ha buscado que los instrumentos brinden realimentación sobre el desempeño de los estudiantes por su efecto positivo en el desempeño clínico, lo cual se ha relacionado con la evaluación para el aprendizaje. Se ha reportado la importancia de que los estudiantes conozcan en qué han progresado y que cuenten tanto con la información sobre cómo pueden mejorar como los recursos para hacerlo, puesto que les motiva a participar en actividades de aprendizaje pertinentes para su desempeño¹⁷. Los métodos de evaluación formativa se comenzaron a utilizar de manera sistematizada a finales del siglo pasado¹⁸como el Mini-Clinical Evaluation Exercise, que se introdujo en los 90s por la American Board of Internal Medicine (ABIM) y ha sido utilizado en diferentes contextos¹⁹. Para alinear la evaluación formativa con la EMBC, también, se desarrollaron otros métodos como la evaluación programática en la Universidad de Maastricht, utilizada para valorar las competencias a través de diversas fuentes e instrumentos durante la formación médica^20,21.

A manera de síntesis, en la Tabla 1 se describen algunos de los métodos de evaluación de los aprendizajes y el desempeño que, de acuerdo al análisis cumplen con los atributos para ser considerados como innovación.

Los métodos de evaluación de la tabla anterior han sido implementados en diversos contextos y momentos críticos. Algunos se han superpuesto a las evaluaciones tradicionales por su valor dados los cambios en las perspectivas curriculares, otros las han reemplazado. Es importante mencionar que para incorporar o sustituir un método de evaluación es necesario que se cuestione sobre los objetivos y alcances que este tiene, sus ventajas y limitaciones, los recursos tecnológicos y humanos que se requieren y, sobre todo, si realmente representa o no una mejora frente a los métodos existentes, en cuanto a su factibilidad, validez y confiabilidad. Seleccionar una estrategia de evaluación de los aprendizajes en el proceso de formación médica tiene implicaciones importantes, pues las estrategias de evaluación que se utilicen transmiten aquello que se valora como importante de la profesión médica. Si se evalúa únicamente con exámenes de opción múltiple con énfasis en el conocimiento declarativo, los estudiantes interpretarán que lo realmente valioso es el conocimiento y podrían descuidar el desarrollo de las competencias clínicas. No resulta sorprendente que, en las propuestas curriculares basadas en competencias donde aún se evalúa con exámenes de opción múltiple²⁶, los profesores se orienten a enseñar a los estudiantes a pasar el examen, en lugar de promover el desarrollo de capacidades.

Por último, ante los retos de evaluar el desempeño y la toma de decisiones y dadas las dificultades de utilizar estrategias de evaluación integral durante el proceso educativo, reiteramos que es necesario emplear diversas estrategias para evaluar al estudiante en diferentes momentos de su formación, así mismo integrar métodos de evaluación para el aprendizaje a través de las cuales se proporcione realimentación para la reflexión sobre la acción y mejora.

Tecnología e innovación en educación médica

La tecnología -entendida como la aplicación del conocimiento para el logro de las metas de la humanidad o en la transformación del ambiente donde se desenvuelve el hombre con el fin de facilitar la vida o hacerla más productiva y placentera²⁷- se ha desarrollado a un ritmo muy acelerado en las últimas tres décadas, influyendo en la atención a los pacientes como en los procesos de enseñanza y aprendizaje de los médicos.

En particular, en el caso de la tecnología de la información y la comunicación (TIC), hemos sido testigos de grandes cambios en su potencial, mismos que han transformado muchos ámbitos, incluyendo la práctica médica y la educación. Por ejemplo, la evolución del Internet ha pasado por varias “etapas, fases” desde la Web 1.0 -en la cual los usuarios se mantenían como consumidores pasivos que consultaban información-, la Web 2.0 -donde se convierten en productores de contenidos y colaboran en la construcción del conocimiento-, la Web 3.0 que permite conformar redes semánticas, hasta la Web 4.0, en la cual el uso de algoritmos de aprendizaje de máquina y aprendizaje profundo (machine learning y deep learning) hace posible procesar información de manera similar al cerebro humano y ofrece un comportamiento más inteligente y más predictivo: con sólo realizar una afirmación o petición, se ponen en marcha un conjunto de acciones que tendrán como resultado aquello que se pidió o se dijo. Así, hoy existen gran cantidad de herramientas y recursos electrónicos que tienden a mejorar el acceso al conocimiento para las personas y ayudan a superar limitaciones de la enseñanza presencial.

La Tabla 2 describe algunas tecnologías educativas que han impactado en la educación médica y ofrece ejemplos de cómo se han utilizado, sin pretender que éstas herramientas o ejemplos sean los mejores o los únicos.

El análisis del cuadro anterior hace posible identificar de qué manera las tecnologías han impactado más en la innovación en educación médica:

• Almacenamiento, sistematización, búsqueda y acceso remoto a grandes cantidades de información

• Interacción y comunicación a distancia, síncrona y asíncrona

• Colaboración entre personas ubicadas en distintos lugares

• Creación de recursos digitales multimedia, interactivos e incluso, inmersivos gracias a la realidad virtual y aumentada

• Análisis de datos estructurados y no estructurados, para identificar patrones

En el discurso educativo actual, con frecuencia se considera como innovación a la mera introducción de las tecnologías de información y comunicación (TIC), sin que ello implique necesariamente una transformación de las prácticas docentes³⁵. Las innovaciones curriculares, didácticas y de evaluación en educación médica del último siglo presentadas en esta revisión muestran cómo, en la educación médica, se concatenan una serie de propuestas con miras a modificar la formación de los médicos para atender mejor las necesidades sociales a las cuales responde esta profesión. La tecnología incide en este proceso de dos maneras; por un lado, los avances tecnológicos transforman la práctica médica y con ello, generan necesidades de integrar al currículo nuevas habilidades y contenidos; es decir, constituye un detonador y un motor del cambio. Al mismo tiempo, la tecnología ofrece herramientas que permiten instrumentar las nuevas ideas de los educadores médicos sobre la formación de los futuros médicos y, con ello, contribuye a hacer realidad las ideas innovadoras²⁷. En el periodo considerado en este artículo, es posible identificar algunas de las aplicaciones de la tecnología en la implementación de innovaciones en educación médica, por ejemplo:

1. 1. Diversificar las modalidades de enseñanza y aprendizaje. Los cursos en línea o híbridos brindan opciones formativas alternativas a la enseñanza presencial y las rotaciones clínicas; en particular se han utilizado para atender nuevas líneas curriculares (como las ciencias en sistemas de salud).
2. 2. Ofrecer recursos digitales multimedia que apoyen el aprendizaje de los estudiantes dentro y fuera del aula para brindar información o facilitar la práctica en entornos lo más parecidos a la realidad. La integración de este tipo de materiales ofrece varias ventajas. Permite que los educadores médicos aprovechen los momentos de interacción con estudiantes para promover el aprendizaje activo y centrado en el estudiante (por ejemplo, sustituyendo la cátedra con aula invertida); así, los docentes podrían concentrarse en desempeñar otros roles distintos a la transmisión de información. También hacen posible que el estudiante realice tareas en contextos similares a los que enfrentaría en la práctica profesional, con el andamiaje y control necesario para desarrollar la pericia sin riesgos para pacientes reales; de esta manera permiten el aprendizaje experiencial y situado³⁶. Finalmente, en tanto estos recursos están disponibles desde cualquier dispositivo conectado a Internet, pueden enriquecer la enseñanza que tiene lugar en los hospitales y centros de salud donde existe conectividad y apoyar el aprendizaje durante la práctica clínica.
3. 3. Brindar a los estudiantes acceso a bases de datos con gran cantidad de información, ya sean artículos de literatura científica que les permiten actualizarse, o información médica sobre pacientes reales para apoyar el aprendizaje de temáticas relacionadas con problemas y necesidades sociales a través de minería de datos. Gracias a la inteligencia artificial, las búsquedas de información pueden automatizarse y contribuir también a la formación continua de los médicos³³.
4. 4. Integrar, en la evaluación de los aprendizajes de los estudiantes, una combinación de evidencias sobre los conocimientos y habilidades adquiridos, así como sobre la capacidad de aplicarlos en contextos reales, y ofrecer realimentación oportuna sobre sus logros. Con las TIC, en particular la inteligencia artificial, pueden integrarse evidencias cualitativas de desempeño en contextos clínicos analizadas con procesamiento de lenguaje natural³⁷ y ofrecer realimentación oportuna e inteligente a los estudiantes³³.
5. 5. Crear trayectorias de formación personalizadas y flexibles, en las que permitan a los estudiantes transitar por los programas de acuerdo con sus ritmos de aprendizaje y garantizar que se desarrollan las capacidades consideradas³⁴. El avance está determinado por la demostración de los aprendizajes y apoyado en materiales que pueden ser consultados de manera independiente por los estudiantes. Con ello, se busca lograr una instrumentación de esquemas basados en competencias donde el dominio de las capacidades sea el criterio de avance y no los tiempos de estudio o los créditos.
6. 6. Recopilar información sobre distintos elementos de los sistemas de educación médica cuyo análisis con modelos de minería de datos sirva para identificar problemas que afectan la formación y sustentar la toma de decisiones académico-administrativa³⁶.

Reflexiones finales

La educación médica enfrenta retos importantes para preparar a los profesionistas que requieren los sistemas de salud del mundo en la actualidad, por ello, las escuelas de medicina están integrando una o varias de las innovaciones curriculares, didácticas y en evaluación antes descritas. La transformación del proyecto educativo de cada escuela de medicina o centro hospitalario depende de factores relacionados con la institución (misión y cultura organizacional, normatividad académico-administrativa), currículum, planta académica, infraestructura y recursos financieros disponibles; la visión de sus líderes (estilo de liderazgo y prioridades) y el contexto en el cual están insertos (retos y problemáticas vigentes en la práctica médica local, políticas y legislación educativas, características de sus alumnos, relación con otras escuelas). Existen universidades que han instrumentado pequeños cambios, como la inclusión de alguna(s) asignatura(s) nueva(s), o la integración de metodologías didácticas activas en un plan de estudios flexneriano, mientras que otras han modificado radicalmente la mayoría de los elementos de la formación médica. Los programas de la Universidad de Vanderbilt, de Harvard y de la Universidad de Nueva York constituyen ejemplos de innovaciones radicales que replantean la educación médica.

Tanto en el caso de innovaciones puntuales como sistémicas, ponerlas en marcha resulta una tarea compleja, dado que en la formación médica participan no sólo instituciones educativas sino también hospitales y centros de salud. La modificación de un elemento suele incidir en otros componentes del sistema y resulta necesario contemplar estas interacciones para lograr que la comunidad académica se apropie de lo nuevo y se alcancen los propósitos deseados. Una de las tendencias dominantes en educación médica, la educación basada en competencias, requiere más que la elaboración de un nuevo plan de estudios: demanda alinear tanto las prácticas docentes para que los estudiantes tengan suficientes oportunidades de desarrollar las competencias establecidas en el currículo, como las estrategias e instrumentos de evaluación para que demuestren su dominio.

Es necesario, por lo tanto, capacitar a los educadores médicos en relación con las características del nuevo currículo y las estrategias didácticas que implica operarlo; cuidar que los espacios faciliten las actividades de aprendizaje previstas y dotar a profesores y estudiantes de los herramientas y materiales pertinentes; así como generar y aplicar evaluaciones del aprendizaje que realimenten continuamente al personal de salud en cada uno de sus roles; y, ofrecer recursos y acceso a la información para su mejora. Cualquier omisión en los factores involucrados en la educación médica afecta la probabilidad de conseguir el cambio buscado.

Cabe mencionar que las innovaciones en la práctica médica aquí presentadas surgieron en un determinado contexto y época para atender necesidades o problemáticas particulares de una población, sistema de salud o centro de formación; sin embargo, eventualmente perdieron su carácter de innovación pues pasaron a formar parte de la práctica cotidiana o bien, fueron sustituidas por otras ideas. Algunas de dichas propuestas continúan consolidándose como en el caso del Aprendizaje Basado en Problemas de la Universidad de McMaster en Canadá, estrategia que es considerada como innovación en otros contextos de formación médica e incluso, en otras disciplinas.

Finalmente, es importante hacer notar que la medicina del futuro dependerá de la educación médica de hoy. Es pertinente seguir construyendo nuevas propuestas teóricas y procedimentales en la formación de médicos de pre y posgrado, que consideren el panorama futuro en los avances científicos y tecnológicos, la práctica médica, los roles del profesional de salud, los sistemas de salud y los problemas sociales que estos últimos deben atender. Sólo así, podrán formarse médicos con las cualidades para adaptarse al nuevo panorama de la medicina en un mundo de cambios acelerados.

Referencias

1. González P, Luna de la Luz V. La transformación de la educación médica en el último siglo: innovaciones curriculares y didácticas (parte 1) 2018 Inv Ed Med. 2019 apr; 30(8): 95-109.

2. Miller MD, Linn RL, Gronlund NE. Measurement and Assessment in Teaching. 11a ed. USA: Pearson; 2013. 574

3. van Der Vleuten, C. The assessment of professional competence: developments, research and practical implications. Advances in Health Sciences Education 1996; 1:41-47.

4. Flexner A. Medical Education in the United States and Canada: A Report to the Carnegie Foundation for the Advancement of Teaching. Carnegie Foundation for the Advancement of Teaching 1910, editor Carnegie Bulletin. New York; 1910 364 p.

5. NBME, National Board of Medical Examiners Centennial 1915-2015. [Internet] USA; [consultado 5 febrero 2020] Disponible en: https://www.nbme.org/

6. Alkin M, Vo TA. Evaluation Essentials. 2d ed. New York: Guilford Press; 2018.

7. Miller GE. The assessment of clinical skills/competence/performance. AcadMed 1990; 65 (Suppl): S63-S67.

8. Shumway JM, Harden RM. AMEE Guide No. 25: The assessment of learning outcomes for the competent and reflective physician. Med Teach 2003; 25(6): 569-584.

9. Haladyna TM, Downing SM, Rodríguez MC. A review of multiple-choice item writing guidelines for classroom assessment. Appl Meas Educ 2002; 15(3):309-333.

10. Downing S. Item response theory: applications of modern test theory in medical education Med Ed 2003; 37:739-745.

11. Seo DG, Overview and current management of computerized adaptive testing in licensing/certification examinations. J Educ Eval Health Prof. 2017;14:17

12. Harden RM, Stevenson M, Downie WW. Assessment of clinical competence using objective structured examination. Medical Education 1975; 1:447-451.

13. ACGME and ABMS. Toolbox of assessment methods. [Versión electrónica] En: A product of the joint initiative of the ACGME Outcome Project of the Accreditation Council for Graduate Medical Education (ACGME) and the American Board, 2000; Versión 1.1.

14. CANMEDS. Assessment tools handbook: an introductory guide to assessment methods for the CANMEDs Competencies. 1a e. Canada, 2006

15. Lockyer J, Carraccio C, Chan M, Hart D, Smee S, Touchie C, Holmboe ES, Frank JR. Core principles of assessment in competency-based medical education. MedTeach. 2017 39:6, 609-616.

16. Dauphinee W, Boulet J, Norcini J, Considerations that will determine if competency-based assessment is a sustainable innovation Adv in Hearth Sci Educ. 2018

17. Shepard LA. The Role of assessment in a learning culture. Educ Res. 2000 29;7:4-14

18. Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Tech. 2007:855-871.

19. Mortaz S, Mohammad J, Rasoul M, Mandana S, Saharnaz N, Nornici J. The utility of mini-clinical evaluation exercise in undergraduate and postgraduate medical education: A BEME review: BEME Guide No. 59. Med Teach. 2019

20. Tekian A, Watling C, Roberts T, Steinert Y, Norcini J. Qualitative and quantitative feedback in the context of competency-based education. Med Teach. 2017 39(12):1245-1249.

21. Schuwirth L, Van der Vleuten C. Programmatic assessment: from assessment of learning to assessment for learning. MedTeach, 2011;33 (6);478-485.

22. Gade SA, Chari SN, Chalak A. Use of mini-CEX as a teaching learning method in physiology for undergraduate medical students. Natl J Physiol Pharm. 2017 7(4):482-485.

23. Paukert JL, Richards ML, Olney C. An encounter card system for increasing feebback to students. Am J Surg. 2002; 183:300-304.

24. Martin, Regehr, Reznick, Macrae, Murnaghan, Hutchison & Brown Objective structured assessment of technical skill (OSATS) for surgical residents. Br J Surg. 1997; 84 (2) 273-278.

25. Heeneman S, Oudkerk A, Schuwirth L, van del Vleuten E, Driessen E. The impact of programmatic assessment on student learning: theory versus practice. Med Educ. 2015;49(5);487-98.

26. Riley B, Riley G. Innovation in graduate medical education -using a competency based medical education curriculum. International Journal of Osteopathic Medicine. 2017; 23:36-41.

27. Cook D, Triola M. Educational Technologies in Health Professions Education: Current State and Future Directions. In: Stuart G, Triola M. 2015 Enhancing Health Professions Education through Technology: Building a Continuously Learning Health System. Proceedings of a conference sponsored by the Josiah Macy Jr. Foundation. 2015;71-111. Disponible en https://macyfoundation.org/assets/reports/publications/macy_foundation_monograph_oct2015_webpdf.pdf

28. Shah D. (2019). By The Numbers: MOOCs in 2019. Class Central. MOOC Report [Internet]. [consultado el 5 de febrero de 2020] Disponible en: https://www.classcentral.com/report/mooc-stats-2019/

29. Wiecha J, Heyden R, Sternthal E, Merialdi. M Learning in a Virtual World: Experience With Using Second Life for Medical Education. J Med Internet Res 2010;12(1):e1

30. Kamphuis, C, Barsom E, Schijven M, Christoph N. Augmented reality in medical education? Perspect Med Educ 2014;3:300-311

31. Eberly Center. Teaching Excellence & Educational Innovation [Internet]. Pittsburgh. PA: Carnegie Mellon University c2020. Curriculum Mapping Tool; 2020 [consultado el 2020 Feb 06]. Disponible en: https://www.cmu.edu/teaching/assessment/assessprogram/tools/Curriculum%20Mapping%20Tool.html.

32. Gillespie C, Zabar S, Altshuler L, Fox J, Pusic M, Xu J, Kalet A. The Research on Medical Education Outcomes (ROMEO) Registry: Addressing Ethical and Practical Challenges of Using "Bigger," Longitudinal Educational Data, Acad Med, 2016 May; 91(5): 690-695

33. Masters K. Artificial intelligence in medical education. Med Teach 2019 Sep;41(9):976-980.

34. Zhao H, Guijie L, Feng W. Research on Application of Artificial Intelligence in Medical Education. International Conference on Engineering Simulation and Intelligent Control. 2018. [Internet] IEEE Xplore [Consultado el: 2020 Feb 7]. Disponible en: https://ieeexplore.ieee.org/document/8530428.

35. Tierney, W. G., & Lanford, M. (2016). Conceptualizing Innovation in Higher Education. En M. B. Paulsen (Ed.), Higher Education: Handbook of Theory and Research (pp. 1-40). Cham: Springer International Publishing. Han, E., Yeo, S., Kim, M. et al. Medical education trends for future physicians in the era of advanced technology and artificial intelligence: an integrative review. BMC Med Educ 2019; 19, 460.

36. Chan T, Sebok-Syer S, Thoma B, Wise A, Sherbino J, Pusic M. Learning Analytics in Medical Education Assessment: The Past, the Present, and the Future. AEM Education and Training 2018 Ap; 2(2):178-187.

Notas de autor

*Verónica Luna de la Luz. Tel.: 56 22 66 66 Ext. 82310. Correo electrónico: veronica.luna@codeic.unam.mx. Coordinación de Desarrollo Educativo e Innovación Curricular, CODEIC. UNAM. Dirección de innovación educativa. Universidad Nacional Autónoma de México, Ciudad Universitaria, Cto. Centro Cultural, Insurgentes Cuicuilco, CDMX

IR