Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial 4.0 Internacional.
Recepción: 13 Febrero 2017
Aprobación: 13 Marzo 2018
Publicación: 15/03/18
DOI: https://doi.org/10.7203/relieve.24.1.9672
Resumen: La supervisión clínica en medicina es una modalidad de enseñanza en el servicio que persigue como fin la práctica independiente de la profesión médica. En la supervisión clínica el profesor asume una función de modelador del desempeño de los estudiantes en un contexto de práctica profesional real. El objetivo de este artículo es reportar el proceso de investigación que permitió desarrollar un cuestionario de evaluación formativa de la supervisión clínica con base en la opinión de los estudiantes. El método consistió en tres estudios empíricos: (i) un proceso de exploración del contexto de la supervisión clínica que se logró mediante el análisis documental y entrevistas semiestructuradas; (ii) el diseño del cuestionario de evaluación formativa de la supervisión clínica en medicina, lo cual requirió la identificación en la literatura de los dominios de los supervisores clínicos, definir una matriz de especificación del instrumento, someter la matriz de especificación a validación de contenido por expertos, un estudio piloto y un proceso de validación de contenido de los ítems; y (iii) un tercer estudio de generación de evidencias de validez y fiabilidad de las interpretaciones producto de las mediciones. Los resultados giran en torno a la construcción de un cuestionario de evaluación formativa de la supervisión clínica que permite interpretaciones válidas y fiables. Las evidencias generadas en la investigación confirman que la evaluación de las competencias docentes, independientemente del contexto, requiere considerar la previsión/planificación didáctica, la conducción del proceso de enseñanza propiamente dicho y la evaluación de los aprendizajes de los estudiantes.
Palabras clave: Medicina, Evaluación formativa, Evaluación de la docencia con base en la opinión de los estudiantes, Validez de cuestionario.
Abstract: Clinical supervision in medicine is a mode of teaching in the service that pursues as an end the independent practice of the medical profession. In clinical supervision, the teacher assumes a role modeling student performance in a context of real professional practice. The goal of this article is to report the research process that allowed the development of a questionnaire of formative evaluation of clinical supervision based on the opinion of the students. The method consisted of three empirical studies. (i) a process of exploration of the context of clinical supervision that was achieved through documentary analysis and semi-structured interviews; (ii) the design of the formative evaluation questionnaire for clinical supervision in medicine, which required the identification in the literature of the domains of clinical supervisors define an instrument planning matrix, submit the planning matrix to content validation by experts, a pilot study and a content validation process of the items; and (iii) a third study to generate validity and reliability evidences. The results revolve around the construction of a formative evaluation questionnaire of clinical supervision that allows valid and reliable interpretations. The evidence generated in the research confirm that the evaluation of the teaching competences, regardless of the context, requires consider the didactic planning, the conduction of the teaching process itself and the evaluation of the learning of the students.
Keywords: Medicine, Formative evaluation, Teaching evaluation, Student evaluation of teacher performance, Test validity.
La supervisión clínica en medicina es una modalidad de enseñanza en el servicio que persigue como fin la práctica independiente de la profesión médica (Schumacher et al., 2013). En la supervisión clínica, el profesor asume una función de modelador de los desempeños de los estudiantes, en un contexto de práctica profesional real, donde los contenidos pedagógicos se circunscriben a la atención de enfermos, sus familias y las necesidades de la institución de salud en la que se lleva a cabo el proceso educativo (Lifshitz-Guinzberg, 2012; Schumacher et al., 2013; Santana et al., 2013).
Es así que la supervisión clínica tiene dos características medulares e interrelacionadas: por una parte, se centra en la atención integral a pacientes en condición de enfermedad, y por otro lado promueve gradualmente en los estudiantes la práctica independiente de la profesión médica.
En estas condiciones, el supervisor clínico en medicina requiere, en primer lugar, prever todos los escenarios posibles para su labor a través de la planificación didáctica, en donde establece las metas formativas, las estrategias de las que echará mano en condiciones determinadas, los materiales que requiere para desarrollar su trabajo y los procedimientos para asegurar el logro de las metas (Cruess et al., 2008; Hore, Lancashire & Fassett, 2009; Falender & Shafranske, 2004; Jochemsen-Van der Leeuw et al.,2013; Paice et al., 2002).
En segundo lugar, es necesario que el supervisor clínico asegure que sus alumnos dominen las competencias profesionales médicas. Para este propósito, el modelaje es el método por excelencia, a través del cual el supervisor promueve la autonomía progresiva, empezando por mostrar los procedimientos, promover las preguntas y respuestas, fomentar que sus alumnos ensayen de forma supervisada dichos procedimientos, hasta lograr la ejecución independiente de las actividades en cuestión (HHS, s/f;Irby, 1994; Kennedy, Regehr, Baker & Lingard, 2005).
El tercer elemento esencial de la supervisión clínica se refiere al monitoreo permanente del desempeño de los estudiantes y el ajuste de las estrategias didácticas utilizadas para resolver las necesidades que se vayan presentando en el proceso formativo. En consecuencia, la evaluación del aprendizaje de los supervisados es un elemento fundamental para la efectividad de la supervisión clínica en medicina (Durante, 2006; Epstein, 2007; Fornells-Vallés, 2009; Fluit et al., 2010; Kilminster & Jolly, 2000).
En síntesis, la supervisión clínica en medicina es una forma de docencia compleja, ya que el proceso didáctico no se limita a un contenido y un contexto, puesto que el objeto de estudio está centrado en las necesidades de personas enfermas. Con base en la complejidad señalada, se vuelve prioritaria la evaluación de la supervisión clínica en medicina, de tal manera que se promueva la reflexión sobre la propia práctica y la mejora constante de los desempeños de los supervisores. Dicha evaluación debe ser contextualizada y desarrollada de manera sistemática para lograr que la información resultante sea útil.
Se reconocen, al menos tres estrategias de evaluación de la supervisión clínica: (i) la autoevaluación, (ii) el rendimiento académico de los estudiantes, y (iii) la evaluación con base en la opinión de los alumnos (Gómez, Rosales & Vázquez, 2014). La evaluación de la supervisión clínica con base en la opinión de los estudiantes suele ser la estrategia privilegiada a nivel internacional, de acuerdo con la literatura especializada.
A pesar de que se reconoce que la evaluación de la supervisión clínica es un proceso obligatorio y fundamental para mejorar este tipo de práctica docente, en la literatura analizada se detectó insuficiencia de desarrollo teórico y, sobre todo, evidencia empírica; esto es, a diferencia de lo que sucede en las actividades áulicas, es poca la evidencia empírica que describa cómo se enseña en el ambiente clínico en atención directa a pacientes y, principalmente, cómo se evalúa a los supervisores clínicos en medicina (Fluit et al., 2010; Gómez, Rosales & Vázquez, 2014).
Esta situación identificada en la literatura es consistente con el caso particular de la Universidad Autónoma de Baja California, esto se debe a que existe escasa evidencia documentada de la finalidad, el objeto y los métodos utilizados para evaluar a los supervisores clínicos en la licenciatura en medicina que oferta dicha institución.
El objetivo de este artículo es reportar el proceso de investigación que permitió desarrollar un cuestionario de evaluación formativa de la supervisión clínica en la Licenciatura en Medicina de la Universidad Autónoma de Baja California con base en la opinión de los estudiantes. Esta investigación tuvo una duración de tres años.
Método
El trabajo se dividió en tres estudios: un estudio exploratorio que persiguió la caracterización del contexto de la supervisión clínica, un segundo estudio de diseño del cuestionario y un tercer estudio de generación de evidencias de validez y fiabilidad de las interpretaciones producto de las mediciones. Esta división se debió a la necesidad de organizar lógicamente la investigación, lo que permitió profundizar en cada una de las etapas que obedecían a propósitos particulares y destacar los hallazgos de cada una.
Estudio 1. Exploración del contextoEstudio 1. Exploración del contexto
Para lograr caracterizar la supervisión clínica en la Licenciatura en Medicina de la Universidad Autónoma de Baja California en México, se analizó el contexto normativo del programa educativo en cuestión y se consultó a expertos en el área. La descripción de los participantes, materiales y procedimiento se presentan a continuación.
Informantes clave
Se entrevistó a un grupo de seis supervisores clínicos de medicina que colaboran en la Universidad estudiada y en las instituciones de salud sede que reciben a estudiantes de la Licenciatura en Medicina en las etapas clínicas. Los informantes clave se identificaron de acuerdo con tres criterios: (i) supervisores que se desempeñen en actividades docentes en campos clínicos de la medicina; (ii) experiencia igual o mayor que cinco años como supervisor clínico en medicina; (iii) no se consideraron como criterios de selección el género, la edad o el estatus económico.
Materiales
Se utilizó una guía de entrevista con una pregunta general sobre las características de la supervisión clínica en medicina y cuatro preguntas específicas sobre la planificación, el proceso didáctico, la evaluación y los principales problemas que enfrentan los supervisores clínicos en su labor.
Procedimiento
La exploración se desarrolló en dos fases: un análisis documental de la normatividad de la supervisión clínica y una etapa empírica de consulta a los supervisores. En la primera fase se analizó el plan de estudios de la Licenciatura en Medicina, se recuperó la información que permitiera entender cómo se enseña en los campos clínicos y cómo se evalúa a los supervisores.
En la segunda fase se entrevistó a un grupo de seis médicos que se desempeñan como supervisores clínicos. La información se registró mediante grabaciones de audio, para posteriormente transcribirlas y analizarlas mediante la técnica de análisis del contenido. El análisis de contenido llevado a cabo con las transcripciones de las entrevistas fue de tipo inductivo, esto es, en función de la información que emergía de los informantes se fueron generando códigos y categorías. La categorización fue un proceso que se desarrolló en cuatro fases: (i) el autor de este trabajo y un lector externo codificaron las transcripciones de las entrevistas; (ii) posteriormente se discutieron las diferencias de códigos y se acordaron los códigos finales; (iii) se construyeron categorías de análisis; y (iv) finalmente se redactaron las inferencias inductivas.
Estudio 2. Diseño del cuestionario de evaluación
El segundo estudio se desarrolló con el propósito de responder a la pregunta ¿cuáles son los elementos esenciales que se deben de considerar para evaluar las competencias de los supervisores clínicos en medicina con base en la opinión de los estudiantes?
Participantes
Se recurrió a tres grupos de personas y una participante individual en diferentes momentos del proceso: (i) un grupo de expertos de la supervisión clínica de la medicina de la Universidad Autónoma de Baja California, quienes validaron la matriz de especificación del cuestionario diseñado; (ii) otro grupo de expertos de la supervisión clínica de la medicina de varias instituciones públicas de salud en México, quienes validaron el contenido del cuestionario; (iii) un tercer grupo compuesto de estudiantes de pregrado en medicina de una universidad pública mexicana, quienes formaron parte del estudio piloto; y (iv) una experta en gramática.
Materiales
El Modelo de Evaluación de la Competencia Docente (MECD) [García-Cabrero et al., 2008] fue el material principal que permitió la presente investigación. El MECD se fundamenta en cuatro dimensiones: contexto institucional, previsión, conducción y valoración de los procesos de enseñanza y aprendizaje.
Procedimiento
La investigación se desarrolló en cinco fases que van desde la identificación de los dominios del supervisor clínico hasta la integración del cuestionario, la validación del contenido y la aplicación del cuestionario a una muestra intencional en el estudio piloto.
Fase 1. Diseño de la matriz de especificación del cuestionario
Con base en la información recolectada en la literatura especializada, se definieron los dominios que deben de considerarse para evaluar a los supervisores clínicos en medicina, para posteriormente desagregarlos en ítems e integrar una matriz de especificación del cuestionario.
Fase 2. Validación por expertos de la matriz de especificación del cuestionario
Las dimensiones, competencias e ítems que constituyen la matriz de especificación se pusieron a consideración de un psicómetra y cuatro expertos en la supervisión clínica. En esta sesión con expertos se valoraron tres elementos: (i) la claridad del ítem, que se refiere al grado en que el ítem comunica de manera objetiva el enunciado; (ii) la factibilidad del ítem, es el grado en que el ítem puede ser contestado por el estudiante; y (iii) la congruencia, que se refiere al grado en que los ítems se corresponden lógicamente con la competencia a la que pertenecen. Los juicios de los expertos fueron tratados mediante el análisis cualitativo de contenido y se tomaron en consideración aquellas modificaciones que fueron propuestas por al menos dos jueces. El producto de esta fase fue la primera versión del cuestionario con los ítems que habrían de utilizarse en la fase piloto del estudio.
Fase 3. Estudio piloto
En esta fase se aplicó la primera versión del cuestionario a 37 estudiantes de Medicina que cursan unidades de aprendizaje clínicas de la Universidad Autónoma de Baja California, con el propósito de analizar la consistencia interna del cuestionario y empezar con la depuración de los ítems.
Fase 4. Definición de los ítems esenciales
Se solicitó a los expertos que valoraran los ítems calificándolos de acuerdo con lo propuesto con Lawshe (1975): ítems esenciales, ítems útiles, pero no esenciales e ítems no necesarios.
Para analizar la información producto de la consulta a expertos se utilizó la propuesta de adaptación del Content Validity Ratio (CVR) y Content Validity Index (CVI) originalmente propuesto por Lawshe (1975) y modificado por Tristán (2008). La expresión algebraica utilizada para el cálculo del CVR´ fue:
Donde:
= número de expertos que tienen acuerdo en la categoría esencial.
N= número total de expertos que participaron el en proceso con expertos.
Se recurrió a la modificación propuesta por Tristan ya que la versión original de Lawshe resultó demasiado rigurosa: de acuerdo con Lawshe (1975), se requiere un número muy grande de expertos para validar el contenido de un cuestionario o bien, un nivel de acuerdo muy elevado entre pocos expertos; por ejemplo, para el número de jueces que se utilizó en este estudio (n=6) se requería un nivel de acuerdo de 0.99. Por su parte, el Índice de Validez de Contenido (CVI) se calculó mediante un promedio simple de todos los ítems aceptables (CVR ≥0.58).
Fase 5. Integración del cuestionario
En esta fase se integraron los resultados del estudio piloto y la validación por consulta de expertos, de tal forma que se pudo depurar el instrumento y tener una versión más parsimoniosa y adecuada. Los criterios para desechar ítems fueron: (i) los ítems que presenten un valor menor a .35 en el índice de homogeneidad corregido; (ii) los ítems que presenten comentarios similares de parte de los jueces y los alumnos que participaron en el pilotaje; y (iii) los ítems que obtienen valores por debajo de 0.5823 en el cálculo de la Razón de Validez de Contenido (CVR) por considerarse no esenciales de acuerdo con los criterios propuestos por Tristán (2008).
Estudio 3. Evidencias de fiabilidad y validez Estudio 3. Evidencias de fiabilidad y validez
El estudio consiste en generar evidencias de validez y fiabilidad de las interpretaciones que se producen con el uso del cuestionario desarrollado, esto se logró mediante un proceso de validación cruzada.
Participantes
La muestra total (n=350) se obtuvo mediante el muestreo probabilístico estratificado con afijación proporcional, para lograrlo, se consideró el total de alumnos que cursan la etapa disciplinar como población, esto es, 1490 estudiantes que están en asignaturas consideradas clínicas. Se definieron los porcentajes que correspondían a cada estrato y se hizo el cálculo de la muestra con universo finito. Mediante una lista de matrículas se seleccionaron los participantes que al interior de cada estrato serían considerados en el estudio.
Materiales
Se utilizó el cuestionario de evaluación de las competencias de supervisión clínica en medicina diseñado en esta investigación como único material. El cuestionario se divide en cinco factores y 38 ítems en una escala ordinal tipo Likert de cuatro opciones de respuesta (nunca, casi nunca, algunas veces y siempre).
Procedimiento
En esta fase se desarrolló la versión final del cuestionario y consta de cuatro pasos: (i) la aplicación del cuestionario a una muestra estadísticamente representativa; (ii) la captura de los registros producto de la aplicación; (iii) un proceso de validación cruzada: un Análisis Factorial Exploratorio con una mitad de la muestra y un Análisis Factorial Confirmatorio con la otra mitad; y (iv) una propuesta de procedimiento para interpretar los resultados de la aplicación del cuestionario.
En este sentido, con la mitad de la muestra se llevó a cabo el Análisis Factorial Exploratorio (AFE) con base en las cinco dimensiones que originalmente se diseñaron en la matriz de especificación, sin embargo, los datos señalaron que no era la estructura ideal, de modo que se llevó a cabo un AFE libre para definir el número óptimo de factores. Con la otra mitad de la muestra se realizó un Análisis Factorial Confirmatorio (AFC).
Resultados
El objetivo general y los objetivos específicos de la investigación se lograron mediante el desarrollo del cuestionario de evaluación formativa de las competencias de los supervisores clínicos en medicina. El proceso de construcción evidenció la sistematicidad y rigurosidad científica con la que se alcanzó el producto. Con el propósito de consistencia, se presentan a continuación los resultados para cada estudio.
Estudio 1. Exploración del contexto
La Licenciatura en Medicina analizada está organizada en tres etapas: una etapa introductoria básica que se desarrolla casi exclusivamente en las aulas de la facultad, una segunda etapa de carácter disciplinar que se desarrolla predominantemente en los campos clínicos (atención directa a pacientes) y una tercera etapa terminal que corresponde al internado rotatorio de pregrado que se desarrolla por completo en las instituciones de salud sede. Cabe señalar que los cursos en los que se atiende directamente a pacientes bajo la supervisión de un especialista están presentes a lo largo de las tres etapas, siendo la segunda etapa la que concentra el mayor número de cursos y en la que se ha centrado la investigación.
Esta forma de organización curricular es consistente con lo argumentado por Hamui et al. (2012) sobre los tipos de actividades que se privilegian en la educación médica en México: actividades áulicas, actividades de laboratorio y actividades clínicas. Asimismo, existe un acuerdo en la literatura al considerar que la formación médica es un continuo que va desde la formación teórica introductoria, la formación metodológica intermedia y la práctica real avanzada (Fluit, Bolhuis, Grol, Laan, & Wensing, 2010; Lifshitz-Guinzberg, 2012; Miller, 1990; Santana, Lifshitz-Guinzberg, Castillo & Prieto, 2013).
En la literatura analizada se encontraron argumentos concordantes con los resultados del estudio exploratorio: existe escasa evidencia empírica sobre los procesos didácticos y evaluativos que se desarrollan en la supervisión clínica de la medicina, y casi no existe un debate académico en torno a esta escasez de evidencias (Fluit et al., 2010; Gómez, Rosales & Vázquez, 2014).
El modelaje es la estrategia didáctica por excelencia en la enseñanza clínica de la Licenciatura en Medicina. A través del modelaje, los expertos muestran los procedimientos clínicos para posteriormente ceder de forma gradual la ejecución del tratamiento, brindando en todo momento la retroalimentación necesaria para el mejoramiento continuo del desempeño de los supervisados.
De acuerdo con los entrevistados, las principales áreas de oportunidad se pueden subsumir en la necesidad de documentar sistemáticamente las actividades que se desarrollan en la supervisión clínica. No se encontraron evidencias de la planificación didáctica de la supervisión clínica y sigue existiendo resistencia por parte de los supervisores para desarrollarlo. El proceso de evaluación de los aprendizajes también carece de sistematicidad.
Los supervisores clínicos de la Licenciatura en Medicina valoran como el elemento central de su labor la atención profesional, oportuna y humana a los pacientes en condición de enfermedad. Asimismo, asumen la responsabilidad de la transmisión del arquetipo de médico: la reproducción del estilo de vida del médico, incluyendo la apariencia física y el mantenimiento del prestigio social.
Estudio 2. Diseño del cuestionario de evaluación
Fase 1. Diseño de la matriz de especificación del cuestionario
El resultado de esta fase fue una matriz de especificación integrada por cinco competencias y 60 ítems, como se muestra en la tabla 1.
Elementos que integran la matriz de especificación del cuestionario
Fase 2. Validación por expertos de la matriz de especificación del cuestionario
Las valoraciones de los expertos no fueron unívocas, esto es, no necesariamente existió un acuerdo. En la tabla 2 se presenta la relación de ítems que, en opinión de los jueces, merecen ser analizados de nuevo.
Relación de ítems susceptibles a ser modificados con base en la opinión de los expertos
Para utilizar la información de la consulta de expertos de la matriz de especificación e integrar la primera versión del cuestionario se optó por hacer las modificaciones solo a aquellos ítems que fueron objeto de comentarios similares de por lo menos dos jueces. Con base en esto, se tomaron las siguientes decisiones: (i) se cambió la redacción de los ítems 13, 15, 26 y 30; y (ii) se eliminaron los ítems 3 y 4 que se encuentran subsumidos en el número 2, caso similar sucedió con el ítem número 5 que ya estaba contenido en el 7. De esta manera quedó un cuestionario de 57 ítems que se utilizó en el pilotaje.
Fase 3. Estudio piloto
El índice de fiabilidad obtenido a través del cálculo del alfa de Cronbach para las medidas obtenidas con los 57 ítems es de 0.947, lo que se interpreta como un valor excelente. Al analizar las correlaciones entre los ítems y el total de la medida, se identificaron siete ítems con valores no significativos por debajo de 0.35 y que, de ser eliminados, no afectarían la fiabilidad (ver tabla 3).
Tabla 3 -
Sumado a lo anterior, los alumnos que participaron en el pilotaje del cuestionario expresaron escrita y oralmente varios elementos que podrían ser considerados para mejorar la claridad del instrumento (ver tabla 4). Los comentarios se organizan en torno a (i) problemas con la escala; (ii) la claridad de los ítems; (iii) la redundancia entre ítems; y (iv) la falta de correspondencia con la realidad empírica.
Comentarios de los alumnos participantes en el pilotaje
Fase 4. Definición de los ítems esenciales
Los expertos distinguieron entre aquellos ítems que son esenciales y no esenciales en un formato de validación diseñado para tal propósito. Con base en ello, se presenta la relación de ítems que no alcanzaron el valor mínimo de Content Validity Ratio (CVR) de 0.5823. Es así que, del total de 57 ítems sometidos a juicio, 13 no alcanzaron el valor mínimo de CVR. Los ítems 11, 14, 18, 24, 26, 28, 29, 34, 35, 41, 42, 50 y 51 son descartables con base en la opinión de los expertos (ver tabla 5).
Ítems con un Content Validity Ratio por debajo de 0.5823
Fase 5. Integración del cuestionario
Los ítems número 1, 9, 13, 14, 37, 38 y 47 obtuvieron un índice de homogeneidad corregido menor a 0.350, por lo cual se decidió eliminarlos del cuestionario. Con el cálculo del CVR se pudieron identificar trece ítems (11, 14, 18, 24, 26, 28, 29, 34, 35, 41, 42, 50 y 51) que pueden ser desechados por no lograr obtener un valor mínimo de 0.5823 en la razón mencionada, lo que significa que no son contenidos esenciales.
Con base en las decisiones tomadas partiendo de la información recabada, la segunda versión del cuestionario consta de 38 ítems, divididos en cinco competencias: (i) la competencia de “planear el programa de supervisión” compuesta por cinco ítems, (ii) la competencia “gestionar el proceso de supervisión” que incluye 13 ítems, (iii) la competencia “dar seguimiento, ajustar y monitorear las acciones desarrolladas” constituida por ocho ítems, (iv) la competencia “utilizar formas de comunicación adecuadas” que integra siete ítems, y (v) la competencia “valorar los procesos de supervisión individual y grupal” formada por cinco ítems.
Estudio 3. Evidencias de fiabilidad y validez
Mediante este estudio se analizó la estructura interna del cuestionario diseñado en búsqueda de evidencias de validez y fiabilidad de las interpretaciones producto de su aplicación. De tal manera que en este apartado se presentan los resultados del AFE, AFC, la estructura final del cuestionario y una propuesta para la interpretación de los resultados.
Análisis Factorial Exploratorio
La extracción de factores se llevó a cabo con el método de Mínimos Cuadrados No Ponderados (ULS); al rotar los factores extraídos mediante el método PROMIN, se identificaron 3 variables que presentan una carga mayor o igual a 0.300 en más de un factor: ítems 16, 18 y 28 (ver tabla 6).
Matriz factorial* rotada** de dos factores
* valores inferiores a 0.30 han sido omitidos** rotación oblicua PROMIN
El siguiente paso fue cambiar el método de rotación a PROMAX, sin embargo, las cargas cruzadas continuaron presentándose en los mismos tres factores que con el método PROMIN. Al excluir las tres variables del cálculo y volver a rotar se presentó carga cruzada de dos ítems que no había resultados en los cálculos anteriores: los ítems número 29 y 30.
En vista de que emergían cinco ítems con cargas cruzadas (ver tabla 7) en diferentes combinaciones de métodos de rotación, se intentaron varias combinaciones de exclusión de ítems hasta que se logró eliminar las cargas factoriales cruzadas con la exclusión de solo cuatro ítems (16, 18, 29 y 30).
Ítems que presentan carga cruzada con diferentes métodos de rotación
Una vez evidenciado empíricamente que era recomendable eliminar cuatro variables, se procedió a revisar el contenido de los ítems y resultaron las siguientes conclusiones: (i) el ítem número 16 ya había sido objeto de comentarios de falta de claridad conceptual por parte de los estudiantes en el estudio piloto, pero como sólo había sido un comentario se decidió mantener dicho ítem; (ii) el ítem 18 ya había presentado comentarios sobre su redundancia (hay otro par de ítems que preguntan sobre la retroalimentación) en el estudio piloto; y (iii) durante el estudio piloto, los ítems 29 y 30 habían recibido comentarios de redundancia con otro ítem en el que también habla de la libre expresión de las ideas, asimismo, en la matriz de correlaciones sin rotar presentaron comunalidades con valores inferiores a 0.5.
Por lo tanto, se decidió utilizar el modelo de dos factores, con la eliminación de los ítems 16, 18, 29 y 30, con lo que se obtuvo una estructura interna con índices aceptables como se muestra en la tabla 8.
Resumen de los índices del modelo de dos factores.
Cálculo con el programa FACTOR
Los ítems quedaron agrupados en dos factores, el primer factor compuesto por 18 ítems y el segundo por 16 ítems. En la tabla 9 se representan las cargas factoriales de los ítems por factor. Cabe señalar que las cargas factoriales con valores inferiores a 0.300 han sido omitidos.
Matriz factorial* rotada** de dos factores
* valores inferiores a 0.30 han sido omitidos** rotación oblicua PROMIN Cálculo llevado a cabo con el programa FACTOR.
El primer factor contiene 10 ítems de la competencia Gestionar el proceso de supervisión, todos los ítems (n=5) de la competencia Dar seguimiento, ajustar y monitorear las acciones desarrolladas y tres ítems de la competencia Utiliza formas de comunicación adecuadas; se decidió nombrar a este primer factor Modelación de la intervención clínica, debido a que se conjugan ítems que se concentran en la intervención didáctica directa y es congruente con los hallazgos teóricos sobre los dominios del supervisor clínico en medicina.
El segundo factor integra todos los ítems (n=5) de la competencia planear el programa de supervisión, dos ítems de la competencia Gestionar el proceso de supervisión, dos ítems de la competencia Utiliza formas de comunicación adecuadas, y todos los ítems (n=6) de la competencia Valora los procesos de supervisión individual y grupal. Con base en esta información, se decidió nombrar Planeación y evaluación de la supervisión.
Análisis Factorial Confirmatorio
Partiendo de la estructura de dos factores que resultó del AFE, el modelo arrojó valores insatisfactorios en los índices de bondad de ajuste calculados, por lo cual se decidió re-especificar el modelo para llevar a cabo un segundo análisis. Los resultados del primer cálculo arrojaron la recomendación de modificar las covarianzas de los errores de las variables observadas (1-2, 3-5, 5-24, 7-8, 11-13, 13-18, 23-24, 29-30, 30-31, 31-32-33, 33-34).
Con base en el modelo re-especificado, se eliminaron los ítems 2, 5, 7, 13, 23, 30, 31, 32, 33 y 34. Una vez eliminados los ítems que co-variaban en sus errores, se determinaron los índices de bondad de ajuste. En la tabla 10 se presenta que todos los índices están en el rango de los valores aceptables. Destacan los valores de CFI (0.932) y NNFI (0.917); el RMSEA está en el límite de lo aceptable (0.0532).
Índices de bondad de ajuste del AFC re-especificado (modelo de 24 ítems)
* Levy, Varela y Abad (2006)GFI Índice de Bondad de AjusteRMSEA Media del Error de la Aproximación;NFI Índice de Ajuste NormalizadoNNFI Índice de Ajuste No NormalizadoCFI Índice de Ajuste ComparativoPNFI Índice de Ajuste Parsimónico Normalizado.
Esta re-especificación del modelo llevó a la eliminación de diez ítems, de manera que el modelo quedó formado por 24 ítems divididos en dos factores: el factor número uno, denominado Modelación de la intervención clínica., que se refiere a el desarrollo de la supervisión in situ, está formado por 15 ítems.
Por su parte, el factor dos se nombró Planeación y evaluación de la supervisión, que consiste en las actividades de planificación y evaluación de la supervisión contiene 9 ítems. El índice Theta para estimar la fiabilidad arrojó un valor de 0.98, mientras que el Alfa Ordinal fue de 0.961, ambos valores considerados muy buenos.
Estructura final del cuestionario
En resumen, se partió de un banco de ítems inicial de 60, llegando a depurar el cuestionario a tal grado que quedó integrado por 24 ítems, distribuidos en dos dimensiones: (i) modelación de la intervención clínica y (ii) planeación y evaluación de la supervisión (ver tabla 11).
Ítems de la última versión del cuestionario diseñado
los ítems del 1 al 15 constituyen el factor Modelación de la intervención clínica, en tanto que el resto (ítems 16 al 24) conforman el factor Planeación y evaluación de la supervisión
Conclusiones
La supervisión clínica en medicina es una forma particular de docencia universitaria en la que se enseña en contacto directo con pacientes en condición de enfermedad, situación que complejiza el proceso didáctico. La atención no solo está puesta en los aprendizajes que deben desarrollar los estudiantes, la prioridad es la integridad de los enfermos y el respeto a sus derechos humanos y a la salud.
El Cuestionario de Evaluación Formativa de la Supervisión Clínica en Medicina es un instrumento de evaluación formativa que permitió interpretaciones válidas y fiables de las puntuaciones obtenidas por los supervisores de la licenciatura en medicina de la Universidad Autónoma de Baja California, con base en la opinión de sus estudiantes.
La planificación didáctica, el modelaje y la evaluación de los aprendizajes son los tres elementos esenciales para evaluar a los docentes que se desempeñan en los campos clínicos de la medicina. Este argumento se sustenta en la evidencia que se recolectó durante la investigación y es consistente con las dimensiones que se consideran en la literatura de evaluación de la docencia.
Estas evidencias representan una aportación al objeto de estudio ya que confirman que la evaluación de las competencias docentes requiere considerar la previsión/planificación didáctica, la conducción del proceso de enseñanza propiamente dicho y la evaluación de los aprendizajes de los estudiantes.
Metodológicamente se enfrentaron dos retos principales e interrelacionados: (i) el tamaño de la muestra fue reducido, más aún considerando que se dividió en dos submuestras para llevar a cabo los dos análisis factoriales; (ii) el número de registros considerados en cada submuestra, llevaron a reconfigurar múltiples veces los factoriales, situación que condujo a reducir de cinco a dos factores.
El Cuestionario de Evaluación Formativa de la Supervisión Clínica en Medicina se desarrolló para brindar información susceptible a ser utilizada en la reflexión sobre la propia práctica de los supervisores. En este sentido, una aportación fundamental de la investigación consiste en la presentación de los baremos del cuestionario, de manera que los supervisores evaluados estén en condiciones de ubicar sus desempeños en uno de los tres niveles de dominio e interpretar dichos resultados.
El procedimiento de interpretación que aquí se propone parte de la construcción de baremos percentilares con base en los 350 cuestionarios considerados en este estudio de validación. En la tabla 12 se presentan los valores que corresponden a los percentiles 25, 50 y 75.
Cuartiles de las sumatorias por factor
El nivel de competencia para cada factor considerado en el cuestionario desarrollado se puede ubicar dentro de tres rangos: un nivel de competencia bajo para aquellos supervisores que obtengan un puntaje total por debajo de 45; un nivel de competencia intermedio para los supervisores que obtengan un puntaje total entre 45 y 65; y un nivel de competencia alto para los supervisores que obtengan puntajes totales mayores a 65.
Asimismo, para cada uno de los factores se puede estimar el nivel de competencia partiendo de los mismos rangos descritos. De esta manera, en la tabla 13 se muestran los rangos para la interpretación de los niveles de dominio de las competencias de los supervisores clínicos en medicina con base en el cuestionario desarrollado.
Niveles de dominio por rangos de puntaje del cuestionario
Para el dominio Planeación y evaluación de la supervisión, que se refiere a las competencias que los supervisores clínicos en medicina deben de tener para planificar y evaluar la supervisión clínica, se utiliza un rango de puntuación que va de cero a 27 y se subdivide en tres niveles de dominio.
Por su parte, el dominio Modelación de la intervención clínica se refiere al desarrollo de las actividades propias de la supervisión en el contexto específico de trabajo y se fundamenta esencialmente en el modelaje de los desempeños de los supervisados. El rango de puntuación que se considera para este dominio en el cuestionario desarrollado va de cero a 45 puntos y se subdivide en tres niveles de dominio.
Por último, de acuerdo con la información empírica recabada a partir de las declaraciones de los supervisores consultados en el desarrollo de la investigación, la supervisión clínica obedece a un modelo de independencia progresiva, esto es, los estudiantes inician su proceso de aprendizaje en los campos clínicos con un total control por parte del supervisor, y conforme van adquiriendo conocimientos y desarrollando habilidades, el control por parte de los supervisores disminuye paulatinamente.
Referencias
Cruess, S., Cruess, R., & Steinert, Y. (2008). Role modeling-making the most powerful teaching strategy. British Medicine Journal, 336: 718-721. doi: https://doi.org/10.1136/bmj.39503.757847.BE
Durante, E. (2006). Algunos métodos de evaluación de las competencias: escalando la pirámide de Miller. Revista Hospital Italiano, 26(2), 55-61. Recuperado de http://www.aspefam.org.pe/intranet/CEDOSA/metodo%20de%20evaluacion%20minicex.pdf
Epstein, R. (2007). Assessment in medical education. New England Journal of Medicine, 356(4): 387-396. doi: https://doi.org/10.1056/NEJMra054784
Falender, C. A. & Shafranske, E. P. (2004). Clinical supervision a competency-based approach. Washington, DC: American Psychological Association. doi: https://doi.org/10.1037/10806-000
Fluit, C., Bolhuis, S., Grol, R., Laan, R. & Wensing, M. (2010). Assessing the Quality of Clinical Teachers. Journal of General Internal Medicine, 25(12), 1337–1345. doi: https://doi.org/10.1007/s11606-010-1458-y
Fornells-Vallés, J. (2009). El ABC del Mini-CEX. Educación Médica, 12(2), 83-89. doi: https://doi.org/10.4321/S1575-18132009000300004
García-Cabrero, B., Loredo, J., Luna, E. & Rueda, M. (2008). Modelo de evaluación de competencias docentes para la educación media y superior. Revista Iberoamericana de Evaluación Educativa, 1(3) 124-136.
Gómez, V., Rosales, S. & Vázquez, J. (2014). Validez y consistencia de un instrumento para evaluar la práctica docente en clínica médica de pregrado. Revista Educación y Desarrollo, 28(19), 15-20. Recuperado de http://www.cucs.udg.mx/revistas/edu_desarrollo/anteriores/28/028_Gomez.pdf
Health and Human Services. (s/f). Competencies for substance abuse treatment clinical supervisors. Recuperado de https://store.samhsa.gov/shin/content/SMA12-4243/SMA12-4243.pdf
Hore, C. T., Lancashire, W. & Fassett, R. G. (2009). Clinical supervision by consultants in teaching hospitals. Medical Journal of Australia, 191(4). Recuperado de https://www.mja.com.au/journal/2009/191/4/clinical-supervision-consultants-teaching-hospitals
Irby, D. (1994). What clinical teachers in medicine need to know? Acad Med, 69(5), 333–342. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/8166912
Jochemsen-Van der Leeuw, R., Van Dijk, N., Van Ettern-Jamaludin, F., & Wieringa-de Waard, M. (2013). The attributes of the Clinical trainer as role model: A systematic review. Academic Medicine, 88(1): 26-34. doi: https://doi.org/10.1097/ACM.0b013e318276d070
Kennedy, T., Regehr, G., Baker, R., & Lingard, L. (2005). Progressive independence in clinical training: a tradition worth defending? Academic Medicine, 80(10): 106-111. Recuperado de http://www.ncbi.nlm.nih.gov/pubmed/16199447
Kilminster, S. & Jolly, B. (2000). Effective supervision in clinical practice settings: a literature review. Medical education, 34(1): 827-840. doi: https://doi.org/10.1046/j.1365-2923.2000.00758.x
Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel Psychology, 28(1): 563-575. doi: https://doi.org/10.1111/j.1744-6570.1975.tb01393.x
Levy, J., Varela, J., & Abad, J. (2006). Modelización con estructuras de covarianzas en ciencias sociales: temas esenciales, avanzados y aportaciones especiales. España: Netbiblo.
Lifshitz-Guinzberg, A. (2012). La enseñanza clínica en la era moderna. Revista de Investigación en Educación Médica, 1 (04). Recuperado de http://riem.facmed.unam.mx/sites/all/archivos/V1Num04/08_AR_LA_ENSENANZA_DE_LA_CLINICA.PDF
Miller, G. (1990). The assessment of clinical skills/competence/performance. AcadMed; 65(Suppl.): S63-S67. doi: https://doi.org/10.1097/00001888-199009000-00045
Milne, D. Aylott, H. Ftzpatrick, H. & Ellis. M. (2008). How does clinical supervision work? Using a “best evidence synthesis “Approach to construct a basic model of supervision. The Clinical Supervisor, 27(2) 170-190. doi: https://doi.org/10.1080/07325220802487915
Paice, E., Heard, S., & Moss, F. (2002). How important are role models in making good doctors? British Medicine Journal, 325 (1): 707-710. doi: https://doi.org/10.1136/bmj.325.7366.707
Santana, L., Lifshitz-Guinzberg, A., Castillo, J. & Prieto, S. (2013). El aprendizaje de la clínica. México. Recuperado de http://www.fundacionlegadopatronus.org/libro.pdf
Schumacher, D., Bria, C. & Frohna, J. (2013). The quest toward unsupervised practice: Promoting autonomy, not independence. The Journal of American Medical Association, 310(24), 2613–2614. doi: https://doi.org/10.1001/jama.2013.282324
Tristán, A. (2008). Modificación al modelo de Lawshe para el dictamen cuantitativo de la validez de contenido de un instrumento objetivo. Revista de Avances en Medición, 6(1): 37-48. Recuperado de http://www.humanas.unal.edu.co/psicometria/files/8413/8574/6036/Articulo4_Indice_de_validez_de_contenido_37-48.pdf
Notas de autor
abdel.villavicencio@uabc.edu.mx
Información adicional
Cómo referenciar este artículo: : Villavicencio-Martínez, Rubén-Abdel & Luna-Serrano, Edna (2018). Diseño y validación de un cuestionario de evaluación de la supervisión clínica. RELIEVE, 24(1), art. 1. doi: http://doi.org/10.7203/relieve.24.1.9672
Enlace alternativo
https://ojs.uv.es/index.php/RELIEVE/article/view/9672/11926 (pdf)
