Introducción

La educación superior universitaria presenta múltiples retos pedagógicos, didácticos y curriculares, debido a diversas transformaciones sociales que derivan en nuevas exigencias para los procesos de enseñanza-aprendizaje (Hernández et al., 2015). En este escenario, el proceso evaluativo se torna de especial interés, dado que tradicionalmente se restringe a cuantificar los logros de los estudiantes (De la Orden Hoz y Pimienta Prieto, 2016; Rico-Reintsch, 2019).

Específicamente en la medicina, en Colombia, ha resultado difícil superar modelos del siglo pasado, con centralidad en la transmisión-adquisición de información. Pese a ello, en algunas instituciones como la Universidad Cooperativa de Colombia, se ha propiciado la construcción y desarrollo de un modelo educativo por competencias, cuyo currículo gira en torno del estudiante, con confluencia de elementos sociales, cognoscitivos, afectivos y psicológicos, que mejoran la adaptación a entornos hospitalarios cambiantes (J. García, 2011; Unigarro, 2017). Otras características relevantes de la formación médica por competencias son el estimular la creatividad, la transdiciplinariedad, asumir el docente como un gestor de ambientes de aprendizaje, y que la evaluación se direcciona a evidenciar las destrezas de los estudiantes en contextos reales (J. García, 2011; Unigarro, 2017) para velar por la integridad, la vida y la salud de las poblaciones.

La evaluación médica por competencias dispone de herramientas basadas en la simulación de situaciones clínicas, estudios de caso, uso de problemas profesionales, aprendizaje basado en problemas, trabajos colaborativos y grupos de discusión. En esta diversidad de herramientas, la evaluación clínica objetiva y estructurada (ECOE), corresponde a una combinación de las tres primeras, donde los estudiantes rotan por una serie de estaciones secuenciales, en las que cuales se evalúan competencias específicas a partir de pacientes simulados homogéneos (unificados en sus acciones), casos clínicos por computador, maniquíes, interpretación de ayudas diagnósticas y cuestionarios (Daniels & Pugh, 2018).

Algunos antecedentes de investigación sobre la ECOE demuestran un bajo número de publicaciones en medicina general; es más frecuente en pediatría (Di Lalla et al., 2014; Gamboa et al., 2011; Hamui et al., 2016; Megale et al., 2012; Servin et al., 2014), ortopedia (Lafave & Katz, 2014), medicina interna (Barría et al., 2003; Saidenberg & Pugh, 2014; Parra et al., 2014) y psiquiatría (Vargas et al., 2008). También, se dispone de investigaciones donde la ECOE se empleó para comparar el desempeño de estudiantes de varias instituciones (López et al., 2015), validar el título (Kunakov y Bozzo, 2015) o evaluar una competencia específica (de Almeida, 2006; George et al., 2013).

En relación con las percepciones frente a la ECOE, algunos estudios refieren satisfacción de los estudiantes con la organización e implementación de la prueba, aunque con críticas al manejo del tiempo y el estrés (de Almeida, 2004; Elfaki & Al-Humayed, 2016; Sánchez et al., 2017). En otros se valora el amplio espectro de conocimientos evaluados y el hecho de mejorar las habilidades clínicas y los sistemas de enseñanza (Idris et al., 2014).

Lo anterior, pone de manifiesto que la ECOE es más usada en las especializaciones médicas, sin investigar tres elementos de gran importancia, i) las competencias clínicas de los médicos generales, quienes son la puerta de entrada del paciente a la red de servicios de salud; ii) las percepciones evaluadas con un constructo multidimensional validado psicométricamente; y iii) la indagación hermenéutica que permite una aproximación a las formas en que profesores y estudiantes conciben este tipo de evaluación.

Por lo expuesto, el objetivo de esta investigación fue analizar las percepciones vinculadas a la ECOE en profesores y estudiantes de la Facultad de Medicina de la Universidad Cooperativa de Colombia. En la actualidad, este es el único programa de medicina en Colombia acreditado bajo un enfoque de formación por competencias; además, la Universidad Cooperativa es la única institución de educación superior universitaria del país donde la formación por competencias se explicita como su enfoque de formación, y toda su estructura curricular y evaluativa propende por la adquisición de competencias genéricas, transversales y específicas, en las dimensiones del saber, el ser y el hacer (Unigarro, 2017).

La importancia de esta investigación radica en la necesidad de superar modelos de evaluación tradicionales, privilegiar la realimentación in-situ y evaluar casos relevantes para el perfil de morbilidad y mortalidad local. Además, las percepciones son un elemento clave para anticipar, en alguna medida, el éxito o fracaso de esta modalidad de evaluación, considerándolas, según el lenguaje controlado de los Descriptores en Ciencias de la Salud (DeCS), como un proceso mental que permite reconocer e interpretar la naturaleza y el significado de los estímulos sensoriales y sociales.

Marco teórico

Una prioridad de la evaluación en la educación superior universitaria es el logro de la excelencia, la cual se evidencia en la capacidad de estas instituciones educativas para responder al reto social de ofrecer educación superior a miles de estudiantes, mejorar el desarrollo social, garantizar la calidad en sus procesos, participar de evaluaciones internas y externas, entre otros. La excelencia alude un constructo multidimensional que se cristaliza en indicadores de proceso, producto o meta, siendo de mayor relevancia los primeros, en la medida que incluyen métodos de enseñanza, evaluación y realimentación, experiencias de aprendizaje de los estudiantes e integración de la enseñanza con la investigación (E. García, 2016).

En tal sentido, algunas experiencias que han propiciado la excelencia universitaria incluyen la realizada en Harvard Business School, con la incorporación de los estudios de casos; Western Governors University, con la definición del crédito académico como medida del trabajo del estudiante; y la Universidad de Stanford con la incorporación de la formación basada en competencias, articulando la enseñanza con el desarrollo de la industria informática del Silicon Valley (E. García, 2016).

En este contexto, la formación basada en competencias se ha asumido como el modelo educativo más pertinente para el ámbito universitario mundial, en la medida que resulta afín con las características de la sociedad del conocimiento; conjuga los aportes de las ciencias, la tecnología y las humanidades en el proceso educativo, al tiempo que reconoce y respeta la diversidad e individualidad en el aula (Alonso y Gallego, 2010; Pérez et al., 2018; Sarthou, 2018).

La formación basada en competencias exige que los docentes potencien los estilos de aprendizaje en los estudiantes (Alonso y Gallego, 2010), con los cuales pueda enfrentar y resolver problemas reales, al tiempo que el proceso le permite discriminar entre el conocimiento superficial y el significativo, conocerse a sí mismo, reconocer y potenciar sus capacidades y limitaciones. En este modelo, el desarrollo de las competencias del estudiante implica manejar saberes, mejorar el control de sus interacciones sociales y reconocer y aceptar los sentimientos de los demás (Ortega, 2008).

En este orden de ideas, las competencias aluden la conjunción de destrezas, conocimientos, aptitudes y actitudes, así como los diferentes dispositivos que potencian el aprendizaje, de forma que el estudiante mejore su capital cultural y desarrollo personal, lo cual subsume la participación ciudadana y la capacidad para ser productivo (Dirección General de Educación y Cultura de la Comisión Europea, 2004). Este concepto resulta más amplio que el referido a los objetivos de formación de los modelos tradicionales, en la medida que estos últimos están restringidos al cierre de una materia o cursos, orientados a la planificación, con mayor protagonismo del profesor y los contenidos de la asignatura, mientras que la competencia es multidimensional y directamente ligada a lo que el futuro egresado debe saber, hacer y ser; es decir, la competencia se orienta al tipo de egresado que se desea formar (J. García, 2011; Unigarro, 2017).

En este marco, la evaluación por competencias gira en torno del desempeño del estudiante frente a diferentes situaciones o problemas de contextos específicos (Rial, 2007), con la finalidad de que el profesor determine si el estudiante obtiene el rendimiento académico esperado, y que el estudiante mejore en el mismo. La evaluación deja de estar circunscrita al aula u otro lugar específico, para ampliarse a contextos más próximos a la realidad del futuro egresado, virando a una evaluación holística (Yanes, 2005), con inclusión de diferentes componentes como la autoevaluación, la coevaluación intergrupal y la heteroevaluación del profesor (Rial, 2007).

De esta forma, la evaluación permite valorar el logro de competencias transversales y específicas, por lo que actúa como elemento regulador del aprendizaje; no consiste sólo en evaluar una competencia per se, sino identificar acciones para su mejoramiento. Para evaluar las competencias aprehendidas por los estudiantes, se aplican rúbricas que permiten valorar aspectos complejos de la esfera subjetiva, con lo cual la evaluación se hace más interpretable, justa y transparente (S. García, 2014; Unigarro, 2017).

En medicina se evalúan competencias genéricas (por ejemplo, inglés y humanidades), transversales (por ejemplo, bioestadística, epidemiología, salud pública, investigación, bioética, bioquímica, inmunología) y específicas; estas últimas pueden clasificarse en asistenciales, de medicina preventiva y comunitaria u otras como los sistemas corporales (digestivo, respiratorio, renal, endocrino, etc), semiología, farmacología, ayudas diagnósticas o clínica de las especialidades. Cada competencia puede desagregarse; así, en las asistenciales se pueden evaluar la capacidad para recolectar información del paciente, diligenciamiento de la historia clínica y la exploración física, elaboración de un informe clínico, comunicación eficaz con el paciente y sus familiares, conocimiento y abordaje de una patología, interpretación de pruebas complementarias, jerarquización de problemas clínicos, realización de diagnósticos diferenciales, aplicación de planes terapéuticos; incluso habilidades técnicas como tomar la presión sanguínea o hacer una sutura (Daniels & Pugh, 2018; Lafleur et al., 2015;. Saeed et al., 2012; Stansfield et al., 2016; Yazbeck et al., 2018).

En este último ámbito puede situarse la ECOE, en la cual se diseña una serie de casos clínicos para evaluar diferentes competencias. La validez y fiabilidad de ECOE debe reunir una serie de características básicas, como una duración entre tres y cuatro horas, tener ocho o más pacientes simulados, cada estación debe durar diez minutos, tener un máximo de 30 ítems de evaluación por caso, no reunir más de 20 candidatos a evaluar en cada sesión y combinar varios instrumentos (Battistone et al., 2017; Daniels & Pugh, 2018; Saeed et al., 2012; Yazbeck et al., 2018).

Metodología

Tipo de estudio. Se realizó un estudio mixto secuencial con predominio cuantitativo. En la primera fase se realizó un estudio analítico transversal para analizar las percepciones relacionadas con la ECOE y validar psicométricamente una escala. La segunda etapa correspondió a una investigación etnometodológica para hacer análisis hermenéutico.

Sujetos de estudio. En el análisis cuantitativo participaron 29 profesores que diseñaron y evaluaron la ECOE, y 98 estudiantes que presentaron la evaluación; en esta fase se tomó la totalidad de participantes de la ECOE por lo que no aplica un cálculo de tamaño de muestra ni un sistema de muestreo. Para el componente cualitativo, el número de participantes se estableció por medio de un muestreo teórico con saturación de categorías, con cinco grupos focales en los cuales participaron 40 sujetos.

Descripción de la ECOE. Se diseñó una prueba para los estudiantes de internado, matriculados en 11 y 12 semestre de medicina. Los estudiantes realizaron rotaciones por un circuito de ocho estaciones que reflejan las principales áreas de desempeño del médico general en Colombia: medicina interna, ginecología y obstetricia, pediatría, urgencias, ortopedia, cirugía general, psiquiatría y atención integral del paciente. Cada estación tuvo una duración de 15 minutos, de los cuales 12 minutos se destinaron al abordaje integral del caso clínico y los tres restantes se destinaron para la realimentación in situ por parte de los evaluadores.

Para el diseño de cada estación se tuvieron en cuenta los siguientes componentes: i) objetivos de la estación; ii) sitio de encuentro del estudiante y el paciente; iii) tipo de encuentro, es decir, visita al paciente por un evento de salud, su control o seguimiento, o la solicitud de un certificado de salud; iv) tipo de interacción a evaluar, es decir, interrogatorio, exploración física, interpretación de estudios de laboratorio, diagnóstico, manejo integral o aplicar determinadas habilidades y destrezas en un simulador.

Recolección de la información. En el componente cuantitativo se utilizó fuente de información primaria, basada en una escala con validez de apariencia para colectar datos sociodemográficos y académicos, así como las percepciones sobre el ECOE; en esta se controlaron los sesgos de información con capacitación a los encuestadores, motivación a los sujetos de estudio y prueba piloto. En el componente cualitativo se realizaron entrevistas en profundidad y grupos focales con guion de entrevista, siguiendo los criterios de calidad metodológica de credibilidad, auditabilidad y transferibilidad (Castillo y Vásquez, 2003).

Análisis de la información. El análisis cuantitativo se realizó en SPSS® versión 24.0., mediante frecuencias y medidas de resumen. Se realizaron pruebas de hipótesis para explorar asociaciones entre las percepciones sobre el ECOE, según el sexo, la edad y grupo de estudio.

Previo al análisis de las percepciones se hizo la evaluación psicométrica con el siguiente proceso: i) identificación de los ítems para medir percepciones con una revisión de la literatura y consulta a expertos; cada ítem incluido en la escala se codificó de uno (resultado más bajo) a cinco (más alto); ii) validación de la versión inicial del instrumento y reducción de los ítems redundantes; iii) análisis factorial exploratorio para establecer las agrupaciones de ítems en dimensiones o componentes; iv) generación de los puntajes de cada dimensión a partir de la sumatoria de las respuestas de cada uno de sus ítems (el puntaje de cada dimensión se transformó en una escala de cero, como peor resultado, y 100 como el mejor posible); y v) evaluación de las propiedades psicométricas de fiabilidad con el α de Cronbach, consistencia interna (correlación de cada ítem con el puntaje de su dimensión) y poder discriminante (correlación de cada ítem con el puntaje de las dimensiones a las cuales no pertenece), con correlaciones de Spearman, validez de contenido con coeficientes de correlación λ del análisis factorial y validez predictiva con el porcentaje de la varianza explicada por los ítems de cada dimensión (Luján y Cardona, 2015). La bondad de ajuste del análisis factorial se corroboró con Kaiser-Meyer-Olkin (cercano a 1.0) y la Prueba de esfericidad de Bartlett (Vp<0.05)

En el componente cualitativo, todas las entrevistas fueron grabadas en formato digital y posteriormente procesadas en texto escrito. El procesamiento de los datos se realizó con el software Atlas Ti 7.5.4., teniendo en cuenta una codificación abierta para identificar categorías descriptivas y codificación axial para las analíticas.

Aspectos éticos. Se acogen las directrices internacionales de la Declaración de Helsinki, la normativa nacional Resolución 8430 del Ministerio de Salud de Colombia 1993; además, el proyecto contó con aval del Comité de Bioética de la Universidad Cooperativa de Colombia.

Resultados

La edad de los estudiantes osciló entre 21 y 37 años, con una media de 24,7^±2,7 y el 50 % de los valores centrales fluctuó entre 23 y 26. El 60,2 % (n=59) corresponde a mujeres, 73,7 % (n=70) de estrato socioeconómico medio y el porcentaje restante de estrato alto. El 82,8 % (n=24) de los profesores corresponde a hombres y la mayoría de estrato socioeconómico medio (82,8 %).

En la escala de percepciones, la mayoría de los ítems presentaron una calificación mayor a cuatro, con una desviación alrededor de una unidad; llama la atención la elevada referencia a Sentimientos negativos, como la ansiedad y el miedo, mientras que los puntajes relacionados con entusiasmo y autoconfianza fueron menores (Tabla 1).

De manera global, los puntajes de las dimensiones Oportunidad, Conocimientos y Métodos presentaron resultados satisfactorios en la medida que fueron superiores a 70; sin embargo, en el dominio relacionado con Sentimientos positivos los puntajes fueron bajos (Tabla 2).

En la evaluación de las propiedades psicométricas de reproducibilidad se halló una excelente fiabilidad; en la consistencia interna se halló un 100 % de éxito, evidenciando que los ítems incluidos en cada dimensión presentan una elevada correlación con su puntaje de resumen. En el poder discriminante el porcentaje de éxito fue del 100 %, con excepción del dominio Sentimientos positivos en el cual fue 80 %, lo que en general muestra que los ítems de cada dimensión son específicos y no se correlacionan con otras dimensiones (Tabla 2).

La escala presentó 100 % de éxito en la validez de contenido con altas cargas factoriales con la dimensión a la cual pertenece. La validez predictiva presentó porcentajes de la varianza explicada mayores al 40 %, mostrando la pertinencia de los ítems para dar cuenta del constructo resumido en el puntaje de cada dimensión (Tabla 2).

Una vez validada la estructura factorial de la escala y la pertinencia del puntaje de resumen de cada una de sus dimensiones, estas se compararon con las características de la población de base. Ninguno de los puntajes de las dimensiones de la escala sobre percepciones presentó diferencias estadísticas con la edad ni el estrato socioeconómico (Vp Rho de Spearman > 0,05); de la misma manera, no se hallaron diferencias entre profesores y estudiantes ni el sexo (Vp U de Mann-Whitney > 0,05), con excepción del dominio de sentimientos positivos (Vp t Student = 0,012) que presentó mejores resultados en los hombres, con media de 50 puntos (IC95%=45-55), en comparación con una media de 38 puntos (IC95%=33-43) en las mujeres.

Esto refleja que la escala es reproducible y válida, al tiempo que los puntajes hallados en cada dimensión no presentaron variaciones importantes en función de las variables independientes evaluadas (con excepción de la dimensión de Sentimientos positivos).

En la segunda fase, es decir, el componente etnometodológico, se interpretaron las narrativas de los sujetos de estudio, las cuales se agruparon en las siguientes categorías analíticas: diseño de los casos clínicos, un componente emocional ligado al examen, factibilidad y viabilidad de la prueba, relevancia de la validación de las rúbricas.

Diseño de los casos clínicos

En esta categoría analítica emergieron tres categorías descriptivas, referidas al número de casos clínicos, la pertinencia de la competencia a evaluar y el tiempo para su resolución. Todos los participantes consideran que el tiempo de cada caso resulta bajo e inoportuno, a la luz de la complejidad que implicaba la atención de algunos pacientes simulados; además, igualar el tiempo de todas las estaciones no representa la realidad de la atención médica en Colombia. Un estudiante lo refiere así:

Hay unas estaciones que deberían tener un poco más de tiempo. Para mí la de ginecología porque son muchas las cosas que uno tiene que mirar, y había que mirar los paraclínicos (...) 13 minutos no le da uno; porque a uno normalmente en consulta le dan entre 30 y 40 minutos.

Todos los participantes indicaron que el tipo de casos seleccionados fue adecuado, dado que representan situaciones clínicas frecuentes en el ejercicio profesional en Colombia. Por su parte, en el número de casos hubo divergencias, dado que algunos consideran que es necesario incluir un mayor número de áreas o especialidades médicas en la ECOE, aunque desarrollando la prueba en dos o más días. Un profesor plantea lo siguiente:

Con respecto al número de estaciones me parece que han sido las adecuadas, sobretodo porque las estaciones que hay son la que agrupan las áreas en medicina más significativas para el ejercicio del médico general. Es adecuado para evaluar los casos mínimos necesarios.

Componente emocional ligado al examen

Indagar por los sentimientos, es interesarse por el sujeto que desarrolla la prueba y trascender del modelo sumativo a un proceso formativo que está permeado por el Ser. En este sentido, se hallaron narrativas que destacan el estrés y el nerviosismo como las dos emociones más frecuentes y difíciles de controlar por los estudiantes. Estas se consideran inherentes a la mayoría de evaluaciones, e incluso se destacan como un asunto positivo de la prueba en la medida que es algo que debe enseñarse y aprender a manejar en los actos médicos.

En este sentido, dos estudiantes refieren lo siguiente: “A mí me tocaba concentrarme en la rotación y también en estudiar para la ECOE; yo estaba súper estresada porque no sabía que iban a preguntar. Entonces la ECOE termina produciendo mucho estrés”; “si este tipo de actividades se pudieran realizar más seguido yo creo que sería muchísimo más enriquecedor, o sea, cuatro veces al año, seis veces al año sería espectacular, eso bajaría el estrés y la ansiedad”.

A pesar de las fortalezas de la ECOE, como permitir al estudiante autoevaluarse, enfrentar el temor y abordar patologías relevantes en Colombia, los casos simulados generan mayor temor y ansiedad en comparación con otras modalidades de evaluación tradicional, focalizadas en un contenido teórico o una actividad práctica muy concreta. En este sentido, el acompañamiento del estudiante y de los profesores, previo a la prueba, ha sido un elemento fundamental para mejorar su disposición, confianza y desempeño, al aclarar aspectos clave, como las áreas médicas a evaluar, las competencias a fomentar, Y el rol de los actores de cada caso y de los especialistas médicos que diligenciarán la rúbrica.

Factibilidad y viabilidad de la prueba

En esta categoría se aludieron aspectos positivos y negativos de la ECOE, los cuales determinan la factibilidad y viabilidad de su implementación como principal recurso evaluativo de las competencias médicas.

En los elementos positivos se destacó la estandarización de los pacientes simulados, los espacios en que se diseñaron las estaciones, la evaluación del especialista, la autoevaluación, la focalización en casos de la realidad clínica colombiana y la validación de criterios evaluativos. La ECOE permite evaluar conocimientos, habilidades comunicativas y competencias del dominio del ser, particularmente el mejoramiento de asuntos éticos de la relación médico-paciente. Un estudiante indica lo siguiente:

Nos evalúan competencias como saludar, presentarse, preguntarle el nombre al paciente, pedir consentimiento informado; calidez en el trato, empatía con el paciente, relación médico-paciente. Esto es muy importante pero no debería calificarse porque genera mucha ansiedad y estrés pensar en olvidar alguno de estos detalles. Además, se crea un ambiente que permite evaluar la necesidad de controlar la ansiedad y el estrés en situaciones reales y mejora seguridad en la práctica clínica.

En adición, la ECOE mejora el perfil del egresado al ayudar a identificar y eliminar el miedo; el estudiante egresa con mayor confianza al evaluar casos reales, aporta experiencia, da seguridad, auto-confrontación, mejora la forma de estudiar y permite recapitular el abordaje de los casos. Un profesor lo narra así:

La ECOE mejora crecimiento personal, apropiación de todo el proceso de formación, conocimientos, habilidades personales, manejo del estrés, falencias propias. Para que los directivos enfoquen programas curriculares, el tipo de competencias a desarrollar, los métodos de enseñanza, que el profesor identifique áreas de mayor debilidad propias y del estudiante, divergencias sobre las formas de evaluar y necesidad de concertar parámetros de evaluación.

Entre los aspectos negativos se aludió la necesidad de diversificar el tiempo en las estaciones, según la complejidad del caso; mejorar la explicación de la estación, en aspectos como la presentación del caso, lo que se espera de la acción del médico y objetivos específicos de la estación (examen físico, solicitud de paraclínicos, diagnóstico, tratamiento, relación médico-paciente).

Relevancia de la validación de las rúbricas

En algunas estaciones no eran claras las competencias que debían demostrar los estudiantes. En este sentido, se evidenciaban limitaciones en la presentación de los casos; en algunos no era necesario detenerse en el examen físico, dado que esto hacía parte de dicha presentación y se pretendían competencias de otro momento clínico como la orientación del tratamiento. Además, la ponderación de los componentes de las rúbricas usadas para la evaluación no era uniforme, en la medida que algunos especialistas daban más peso a algunos ítems, sin ofrecer toda la información requerida al estudiante.

También, se narró como limitación la heterogeneidad en el diseño de las estaciones y su secuencialidad, lo que derivó en cambios abruptos de los comportamientos de los estudiantes al pasar de una estación a otra; que si bien, se reconoce como algo propio de la praxis clínica, en términos didácticos puede impactar negativamente la aplicación de las rúbricas de algunas competencias.

Los participantes también refirieron la importancia de que los estudiantes conozcan previamente a qué se van enfrentar; si bien son estudiantes próximos a graduarse y deben tener un conocimiento global de las principales patologías clínicas de su contexto, los estudiantes deben conocer las rúbricas con las cuales serán evaluadas y la bibliografía que se utilizará para el abordaje de cada caso clínico.

Discusión de resultados

En esta investigación se analizaron las percepciones sobre la ECOE a partir de la construcción de una escala con 25 ítems o percepciones agrupados en cuatro dimensiones: oportunidades que ofrece la prueba, tipo de conocimiento y habilidad que promueve, métodos que fomenta y las emociones que genera. La escala demostró excelentes propiedades psicométricas de validez y reproducibilidad, lo que permite aseverar que sus componentes representan constructos independientes, que los ítems miden lo que pretenden y que los puntajes de resumen de cada dimensión son útiles para evaluar la pertinencia de la ECOE y hacer seguimiento de su implementación. Esto es, la escala resultó útil para operacionalizar el constructo referido a las percepciones de manera precisa, consistente y congruente (Argibay, 2006), con lo cual se pueden visibilizar elementos subjetivos relacionados con las percepciones de los estudiantes y profesores.

El análisis cuantitativo se complementó con una aproximación etnometodológica que puso de manifiesto la importancia de incluir los contextos sociales que condicionan los discursos de la comunidad educativa. Así, la etnometodología proporciona una interpretación de los acontecimientos en espacios educativos, como parte de un contexto que estructura y permite la interacción diaria, pone atención en las actividades cotidianas de los individuos, y busca comprender el conocimiento del mundo común y práctico (Esquivel, 2016).

En la aproximación cualitativa se reiteran y afianzan algunas posiciones favorables frente al examen; al tiempo que detallan vivencias en las cuales los estudiantes y docentes asocian la prueba con su cotidianidad clínica. Estos elementos son de gran relevancia para mejorar los procesos educativos en medicina, hegemónicamente permeados por perspectivas reduccionistas que, en nombre de la objetividad, anulan la singularidad del estudiante.

El uso de estudios mixtos en investigaciones educativas, toma cada vez más fuerza, pues permite establecer un vínculo entre lo cualitativo y lo cuantitativo, con lo cual no sólo se describe un fenómeno, sino que se hace una aproximación a las vivencias que los actores tiene frente a este, desde una perspectiva de integración (Pereira, 2011).

El constructo analizado en este estudio a partir de cuatro dimensiones, resulta diferente de los estudios previos que han indagado las percepciones con preguntas de satisfacción o frecuencia de emociones relacionadas con la presentación del examen. Esta novedad del constructo multidimensional limita la comparación de los resultados con investigaciones previas. Sin embargo, vale precisar algunas convergencias, como la crítica a aspectos logísticos y manejo del tiempo (de Almeida, 2004), así como la factibilidad de su implementación, dado la percepción favorable frente a su organización (Elfaki & Al-Humayed, 2016) y el tipo de competencias que promueve (Idris et al., 2014).

En el presente estudio las dimensiones Oportunidad, Conocimientos y Métodos arrojaron resultados satisfactorios; al contrastar con estudios similares se encuentra que los estudiantes de medicina general valoran la ECOE como una prueba que les permite autoevaluarse, revisar sus conocimientos previos, desarrollar habilidades prácticas y retomar conceptos teóricos, entre otros aspectos que evidencian la pertinencia de su aplicación (Morales, 2007). Dichos aspectos se complementaron con la aproximación cualitativa en la cual múltiples testimonios precisan los aspectos positivos y negativos que pueden mejorar la implementación de la ECOE.

En la dimensión de Sentimientos positivos los puntajes fueron bajos, indicando que esta esfera fue la peor percibida por los estudiantes. Al contrastar con otros estudios se corrobora como gran limitante de la prueba la cantidad e intensidad de los sentimientos negativos que genera. El estudio de Morales (2007) reporta ansiedad y/o nerviosismo en más de la mitad de los estudiantes. Esto implica una línea de trabajo adicional, en la medida que los resultados de este y otros estudios relacionan la ECOE con una fuerte carga afectiva que debe estudiarse e intervenirse, con el fin de mejorar los procesos de enseñanza – aprendizaje.

Particularmente el estrés y el nerviosismo se consideran inherentes a la mayoría de evaluaciones, e incluso se destacan como un asunto positivo de la prueba en la medida que constituyen un aspecto poco incluido en la evaluación tradicional y que debe dominarse en los actos médicos. En este sentido, vale recordar que la evaluación formativa se define como aquella que recoge el proceso formativo y se usa para ir modelando algunas conductas (en este caso de la esfera emocional), en lugar de limitarse a resumir los logros (OECD, 2004). Es decir, el estudiante debe aplicar sus conocimientos, al tiempo que controla sus actividades, interacciones sociales y emociones (Ortega, 2008).

La mayoría de participantes consideró que un tiempo de 12 minutos por caso resultaba muy bajo e inoportuno. Al contrastar con estudios previos, se evidencia que el diseño de la prueba es heterogéneo, dado que algunos sugieren siete a diez minutos por cada estación, incluyendo la realimentación. De igual forma, otros sugieren por lo menos cinco estaciones que permitan la valoración de destrezas en contextos específicos (Romero, 2002). Esta diversidad recaba la necesidad de que cada institución adapte la ECOE a sus necesidades.

En esta investigación se logró una elevada validez externa en los resultados del componente cuantitativo al incluir la totalidad de estudiantes y profesores que participaron en la ECOE, mientras que en el componente cualitativo se logró una excelente generalidad en las categorías de estudio, al aplicar un muestreo teórico. Además, el número de estudiantes y profesores fue elevado, en comparación con aproximaciones previas del medio, en las cuales sólo se incluían los estudiantes de una rotación, lo que mejora las posibilidades de extrapolación de resultados.

Por otra parte, se debe resaltar el valor agregado de esta investigación para la educación universitaria, en general, y formación médica en particular, donde no es frecuente el desarrollo de estudios mixtos para abordar diferentes temáticas de este campo. Específicamente en educación médica, esta investigación resulta novedosa (y por consiguiente con alto valor agregado para la generación de conocimiento en este campo) debido a la ausencia de investigaciones sobre la ECOE en Colombia; además, en el contexto internacional son pocos los estudios de este tipo en estudiantes universitarios, ya que los usos investigativos de esta modalidad evaluativa se concentran en especializaciones como pediatría (Di Lalla et al., 2014; Gamboa et al., 2011; Hamui et al., 2016; Megale et al., 2012; Servin et al., 2014), ortopedia (Lafave & Katz, 2014), medicina interna (Barría et al., 2003; Saidenberg & Pugh, 2014; Parra et al., 2014) y psiquiatría (Vargas et al., 2008).

Además, también se destaca como valor agregado el hecho de concentrarse en las perspectivas de los profesores y estudiantes sobre la ECOE, mediante la construcción y validación de una escala de percepciones inédita en Colombia. A esto se suma la aproximación cualitativa que es poco implementada en este campo de la educación médica en el mundo.

Entre las implicaciones prácticas de esta investigación se destaca el hecho de generar evidencia para incentivar transformaciones institucionales y curriculares que propendan por la formación médica por competencias en Colombia; ofrecer opciones de mejoramiento de la evaluación universitaria, incluyendo las narrativas de los estudiantes y profesores; fomentar el uso de los métodos mixtos en investigación, como una de las opciones que presenta mayor proximidad con las realidades educativas; y mejorar los procesos evaluativos mediante la inclusión de escalas de percepción. Además, la evidencia de este estudio se suma a investigaciones previas de Colombia que han explicitado las ventajas del enfoque por competencias, como el caso de Rojas et al. (2020) sobre la “percepción del proceso de formación por competencias y su relación con las prácticas empresariales” y el de Arias et al (2019) centrado en las competencias de investigación formativa.

Entre las limitaciones del estudio se encuentra el sesgo temporal (o imposibilidad de estimar relaciones estadísticas causales), propio de los estudios transversales; a esto se suman posibles problemas de poder estadístico en los análisis bivariados. Por su parte, en el componente cualitativo, debido a la naturaliza de este tipo de evaluación, no fue posible ampliar algunos elementos hermenéuticos con entrevistas u observaciones de campo adicionales.

Conclusiones

La población de estudio muestra percepciones favorables sobre las características pedagógicas y didácticas de la ECOE; esto constituye un insumo de gran relevancia para su aplicación en diferentes escenarios de evaluación médica en Colombia, dado que en algunos contextos se ha indicado que, pese a sus ventajas, la aplicación de la ECOE podría generar resistencia en algunas facultades, debido a su elevada exigencia, lo cual no corresponde con la realidad del programa de medicina de la Universidad Cooperativa de Colombia, donde la ECOE fue percibida de manera positiva por parte de profesores y estudiantes. No obstante, estudios futuros deberían profundizar en la identificación de los factores que pueden explicar posibles percepciones negativas por parte de los actores clave de cada facultad específica.

Se identificaron como principales retos de la ECOE la unificación de criterios para evaluar las competencias de cada una de las áreas clínicas incluidas, lo que da cuenta de la complejidad inherente a la cristalización de las competencias genéricas, transversales y específicas de la formación médica en Colombia, donde sólo existe una facultad con un enfoque de formación por competencias. Esto devela la necesidad de desarrollar estudios posteriores que permitan identificar las competencias genéricas, transversales y específicas que son centrales en la formación médica, lo que a su vez redundaría en el perfeccionamiento de los criterios evaluativos de la ECOE.

El diseño de la ECOE como modalidad evaluativa de alta validez y fiabilidad para las competencias clínicas, así como la construcción de una escala válida para la medición de las percepciones relacionadas con esta modalidad de evaluación, resultan de gran relevancia para las facultades de medicina interesadas en la implementación y fortalecimiento de la formación por competencias. Futuros estudios podrían mejorar la escala construida y validada en la Universidad Cooperativa de Colombia, mediante la adición de otros ítems o dimensiones que resulten de interés en cada contexto de aplicación.

Los resultados de esta investigación constituyen un insumo de gran valor para la implementación de la formación por competencias en los médicos generales, máxime en Colombia donde este enfoque es poco aplicado en las universidades y se ha indagado poco sobre las percepciones de estudiantes y profesores sobre este enfoque y sus modalidades evaluativas.

Referencias

Alonso, C., y Gallego, D. (2010). Los estilos de aprendizaje como competencias para el estudio, el trabajo y la vida. Revista de Estilos de Aprendizaje, 6(6), 1-28.

Argibay, J. (2006). Técnicas psicométricas. cuestiones de validez y confiabilidad. Subjetividad y Procesos Cognitivos, (8),15-33.

Arias, L., García, G., y Cardona, J. (2019). Impacto de las prácticas profesionales sobre las competencias de investigación formativa en estudiantes de Microbiología de la Universidad de Antioquia–Colombia. Revista Virtual Universidad Católica del Norte, (56), 2–15.

Asociación Médica Mundial. (2013). Declaración de Helsinki. Principios éticos para las investigaciones médicas en seres humanos. https://www.wma.net/es/policies-post/declaracion-de-helsinki-de-la-amm-principios-eticos-para-las-investigaciones-medicas-en-seres-humanos/

Barría, M., Dighero, H., y Guirao, P. (2003). Aplicación de una evaluación clínica objetiva y estructurada a estudiantes de cuarto año de medicina en la asignatura de Medicina Interna. Boletín Hospital San Juan de Dios, 50(6), 351-360.

Battistone, M., Barker, A., Beck, J., Tashjian, R., & Cannon, G. (2017). Validity evidence for two objective structured clinical examination stations to evaluate core skills of the shoulder and knee assessment. BMC Medical Education, 17(1), 13. https://doi.org/10.1186/s12909-016-0850-7

Castillo, E., y Vásquez, M. (2003). El rigor metodológico en la investigación cualitativa. Colombia Médica, 34(3), 164-167.

Comisión Europea. (2006). Competencias clave para el aprendizaje permanente - Un marco europeo. https://www.educacionyfp.gob.es/dctm/ministerio/educacion/mecu/movilidad-europa/competenciasclave.pdf?documentId=0901e72b80685fb1

Daniels, V., & Pugh, D. (2018). Twelve Tips for Developing an OSCE That Measures What You Want. Med Teach, 40(12), 1208-1213. https://doi.org/10.1080/0142159X.2017.1390214

de Almeida, L. (2004). Clinical skills assessment: limitations to the introduction of an “OSCE” (Objective Structured Clinical Examination) in a traditional Brazilian medical school. Sao Paulo Medicine Journal, 122(1), 12-7.

de Almeida, L. (2006). Significance of experts’ overall ratings for medical student competence in relation to history-taking. Sao Paulo Medical Journal, 124(2), 101-4.

De la Orden Hoz, A., y Pimienta Prieto, J. (2016). Instrumento para determinar los tipos de evaluación utilizados por los profesores universitarios. Revista Electrónica de Investigación Educativa, 18(2), 40-52.

Di Lalla, S., Manjarin, M., Torres, F., Ossorio, M., Wainsztein, R., & Ferrero F. (2014). Using objective structured clinica examination (OSCE) across different levels of pediatric training. Revista Facultad Ciencias Médicas Universidad Nacional Córdoba, 71(2),94-97.

Elfaki, O., & Al-Humayed, S. (2016). Medical Students' Perception of OSCE at the Department of Internal Medicine, College of Medicine, King Khalid University, Abha, KSA. Journal of the College of Physicians and Surgeons Pakistan, 26(2), 158-9.

Esquivel, A. (2016). La Etnometodología, una alternativa relegada de la educación. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 6(12), 135-146.

Gamboa, T., Martínez, N., Peña, Y., Pacheco, A., García, R., y Sánchez, J. (2011). Examen Clínico Objetivo Estructurado como instrumento para evaluar la competencia clínica en Pediatría. Estudio piloto. Boletín Médico del Hospital Infantil de México, 68(3), 184-192.

García, E. (2016). Concepto de excelencia en enseñanza superior universitaria. Educación Médica, 17(3), 83-87.

García, J. (2011). Modelo educativo basado en competencias: importancia y necesidad. Revista Electrónica "Actualidades Investigativas en Educación", 11(3), 1-24.

García, S. (2014). La evaluación de competencias en Educación Superior mediante rúbricas: un caso práctico. Revista Electrónica Interuniversitaria de Formación del Profesorado, 17(1), 87-106.

George, S., Cuadrado, D., Solar, I., Peralta, J., Sanhueza, H., y Bascuñán, J. (2013). Experiencia: aceptabilidad del uso de simulación clínica en educación médica: la experiencia del curso Síntesis de Conocimientos en Medicina. Revista Hospital Clínico Universidad de Chile, 25, 54-60.

Hamui, M., Ferreira, J., Paganini, A., Torres, F., Ossorio, M., Yulitta, H., Eiguchi, K., y Ferrero, F. (2016). Aplicación del Examen Clínico Objetivo Estructurado en la residencia de Pediatría de la Ciudad de Buenos Aires. Revista Chilena de Pediatría, 87(4), 274-278.

Hernández, H., Martuscelli, J., Navarro, D., Muñoz, H., y Narro, J. (2015). Los desafíos de las universidades de América Latina y el Caribe. ¿Qué somos y a dónde vamos? Perfiles Educativos, 37(147), 202-218.

Idris, S., Hamza, A., Elhaj, M., Elsiddig, K., Hafiz, M., & Adam, M. (2014). Students’ perception of surgical objective structured clinical examination (OSCE) at final year MBBS, University of Khartoum, Sudan. Medicine Journal, 1(1), 17-20.

Kunakov, N., y Bozzo, S. (2015). La revalidación práctica del título de médico cirujano a través de un método estandarizado. Experiencia de la Universidad de Chile. Revista Médica de Chile, 143, 1058-1064.

Lafave, M., & Katz, L. (2014). Vialidity and reliability of the standardized orthopedic assessment tool: a variation of the traditional objetive structured clinical examination. Journal of Athletic Training, 49(3), 373-380.

Lafleur, A., Côté, L., & Leppink, J. (2015). Influences of OSCE design on students' diagnostic reasoning. Medical Education, 49(2), 203‐214. https://doi.org/10.1111/medu.12635

López, J., Trejo, J., Sánchez, J., Muñoz, G., González, A., García, C., Carmona, S., Cruz, M., Loya, L., Monterrosas, A., Guzmán, S., y Narro, J. (2015). Evaluación integral de competencias en la formación de médicos en México. Estudio interinstitucional. Fundación Educación Médica, 18(1), 55-61.

Luján, J., y Cardona, J. (2015). Construcción y validación de escalas de medición en salud: revisión de propiedades psicométricas. Archivos de Medicina, 11(3:1), 1-10.

Megale, L., Dias, E., y Mota, J. (2012). Competências Clínicas Essenciais em Pediatria: Estão os Estudantes Aptos a Executá-las? Revista Brasileira de Educação Médica, 36(4), 478-488.

Ministerio de Salud de Colombia. (1993). Resolución 8430, por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud. https://www.minsalud.gov.co/sites/rid/Lists/BibliotecaDigital/RIDE/DE/DIJ/RESOLUCION-8430-DE-1993.PDF.

Morales C. (2007). Examen clínico objetivo estructurado formativo en el Internado de Medicina: evaluación del proceso por los estudiantes. Revista Educación Ciencias de la Salud, 4(2),106-110.

OECD. (2004). Evaluación formativa: mejora del aprendizaje en las aulas de secundaria. OECD Multilingual Summaries, 1-6.

Ortega, R. (2008). Competencias para una educación cosmopolita. Andalucía Educativa, (66), 27-30.

Parra, H., Benavides, J., López, J., Favela, R., Guevara, C., y Vázquez, A. (2014). Evaluación por competencias de un modelo novedoso de gestión de calidad en médicos internos de pregrado. Investigación en Educación Médica, 3(10), 65-73.

Pereira, Z. (2011). Los diseños de método mixto en la investigación en educación: Una experiencia concreta. Revista Electrónica Educare, 25(1), 15-29.

Pérez, R., Mercado, P., Martínez, M., y Mena, E. (2018). La sociedad del conocimiento y la sociedad de la información como la piedra angular en la innovación tecnológica educativa. Revista Iberoamericana para la Investigación y el Desarrollo Educativo, 8(16), 847-870.

Rico-Reintsch, I. K. (2019). Uso de autoevaluación docente como herramienta innovadora para el mejoramiento de las asignaturas universitarias. Revista CEA. 5(10), 69-81. https://doi.org/10.22430/24223182.1445

Rial, A. (2007). Diseño curricular por competencias: el reto de la evaluación.https://dugi-doc.udg.edu/bitstream/handle/10256/819/AntonioRial.pdf?sequence=1

Rojas Arenas, I. D., Vélez Castañeda, Ch. K., Durango Marín, J. A., Díaz Peláez, A. y Rodríguez Álvarez, A. F. (mayo-agosto, 2020). Percepción del proceso de formación por competencias y su relación con las prácticas empresariales: un caso de estudio. Revista Virtual Universidad Católica del Norte, (60), 46-68. https://www.doi.org/10.35575/rvucn.n60a4

Romero, D. (2002). ECOE: Evaluación Clínica Objetiva estructurada. Medicina de Familia, 3(4), 227-281.

Saeed, N., Jaffery, T., & Quadri, K. (2012). Exploring the process of final year objective structured clinical examination for improving the quality of assessment. Journal of Pakistan Medical Association, 62(8), 797‐802.

Saidenberg, E., & Pugh, D. (2014). The use of anobjective structure clinical examination to assess internal medicine residents transfusion knowledge. Transfusion, 54(6), 1537-1541.

Sánchez, F., González, J., Juste, M., Compañ, A., y Ramos, J. (2017). Encuesta de percepción de la evaluación clínica objetiva y estructurada (ECOE) por los estudiantes de sexto grado en medicina de la Universidad Miguel Hernández. Revista de la Fundación Educación Médica, 20(3), 137-140.

Sarthou, N. F. (2018). Los instrumentos de la política en ciencia, tecnología e innovación en la Argentina reciente. Trilogía Ciencia Tecnología Sociedad, 10(18), 97-116. https://doi.org/10.22430/21457778.666

Servin, R., Auchter, M., Grachot, M., y Denegri, L. (2014). Relación entre expectativas profesionales y adquisición de competencias en pediatría. Revista Facultad de Medicina, 34(3), 4-10.

Stansfield, R., Diponio, L., Craig, C., Zeller, J. Chadd, E., Miller, J., & Monrad, S. (2016). Assessing musculoskeletal examination skills and diagnostic reasoning of 4th year medical students using a novel objective structured clinical exam. BMC Medical Education, 16(1), 268. https://doi.org/10.1186/s12909-016-0780-4

Unigarro, M. (2017). Modelo Educativo Crítico con Enfoque de Competencias. Universidad Cooperativa de Colombia.

Vargas, S., Vargas, H., Liboni, M., Martins, D., Mendonça, L., y Turini, B. (2008). O ensino de psiquiatria, habilidades de comunicação e atitudes no currículo integrado do curso de Medicina da Universidade Estadual de Londrina. Revista Brasileira de Educação Médica, 32(2), 210-216.

Yanes, E. (2005). Los fundamentos del diseño curricular por competencias laborales. http://www.ilustrados.com/tema/7253/fundamentos-diseno-curricular-competenciaslaborales.html

Yazbeck, V., Park, Y., Tekian, A., & Youssef, N. (2018). Evaluating the validity evidence of an OSCE: results from a new medical school. BMC Medical Education, 18(1), 313. https://doi.org/10.1186/s12909-018-1421-x