Introducción

Promover competencias profesionales integrales vinculadas a la reflexión, en una formación en servicio como es una residencia de Bioquímica Clínica, colabora en el desarrollo del pensamiento crítico, la comunicación y el profesionalismo. La formación en estas competencias es especialmente considerada durante las exposiciones orales en los tradicionales ateneos de servicio. Si bien los ateneos como espacios de formación han sido estudiados en otras profesiones de la salud (1), no se encuentran estudios vinculados con programas de formación en Bioquímica, sumado a que aún hay poca evidencia construida en cuanto a educación de posgrado de esta profesión.

En la República Argentina la Bioquímica Clínica es ejercida por graduados de la formación de grado denominada Bioquímica o Licenciatura en Bioquímica (2). El desempeño de la profesión bioquímica está considerado una actividad de interés público ya que su ejercicio puede comprometer la salud, la seguridad y los bienes de las personas (Resolución 565/2004 - MECT) (3). Es así que la formación continua es una necesidad y un derecho de los profesionales para afrontar la evolución de los conocimientos teórico-clínicos, el constante cambio de la tecnología asociada al diagnóstico y el cumplimiento de la misión social que atañe a esta profesión. De esta forma, los graduados tienen la opción de completar sus estudios con programas de formación en servicio, como son las residencias ofrecidas tanto a nivel nacional, provincial, públicas o privadas y las becas de perfeccionamiento en distintas especialidades del laboratorio.

En este sentido, dentro de los distintos programas de residencia de profesionales de salud, la exposición oral de diferentes temas (llamada comúnmente “ateneos clínicos” o en nuestro caso, “ateneos de laboratorio”) es una actividad muy habitual que permite desarrollar competencias comunicativas (4). Esta actividad, tan común para los profesionales del equipo de salud en general, funciona como una instancia formadora y evaluativa de los residentes. Sin embargo, estructurarla como una instancia de evaluación formativa requiere diseñar instrumentos para un feedback cuidadoso y acorde a los objetivos educativos. En este trabajo se presenta la inclusión de rúbricas como instrumentos que objetivan y estructuran la retroalimentación (o feedback) para con los residentes (1) (5) respecto de sus exposiciones orales y formalizan la evidencia del logro de las competencias adquiridas por los mismos.

Las rúbricas son recursos educativos que funcionan como instrumentos de evaluación usados para valorar el desempeño orientado al aprendizaje. Describen características específicas de un proceso o tarea en diferentes dimensiones de su realización, con el fin de clarificar lo que se espera del trabajo realizado, valorar su ejercicio y garantizar así, la proporción de feedback efectivo. La rúbrica puede ser global (también llamada holística o comprehensiva) o analítica. El primer tipo sirve como valoración integral o general y el segundo sirve para ponderar el desempeño desglosando sus componentes (6). Muestran potencialidad en la calidad de la evaluación, pero es imprescindible elaborar rúbricas que cumplan con criterios de confiabilidad y validez.

Cabe destacar que el uso de las rúbricas no ha sido explorado en residencias bioquímicas y, en general, han sido poco exploradas en otras residencias del equipo de salud (7).

En este trabajo se propuso identificar la confiabilidad y describir el impacto educativo del uso de rúbricas como instrumento de evaluación formativa de las competencias comunicacionales disciplinares de los residentes durante el desarrollo de ateneos de laboratorio, a través del análisis de la fiabilidad del instrumento y su impacto educativo sobre los programas de formación de posgrado en servicio que desarrollaron.

Materiales y Métodos

Se realizó un estudio observacional, descriptivo, transversal y retrospectivo. En éste se analizó la rúbrica de ateneos de laboratorio, que fue planteada como rúbrica analítica por dos bioquímicas con experiencia y formación docente, comprometidas con el programa en cuestión y asesoradas por una Doctora en Ciencias de la Educación de la misma institución pero externa al programa.

El instrumento aquí analizado abordó 12 indicadores (o ítems) organizados en 8 categorías: comprensión del tema (ítems 1 y 2), adecuación a la audiencia (ítem 3), abordaje del eje temático (ítem 4), fuentes de información utilizadas (ítems 5 y 6), preparación del ateneo, actitud (ítems 7 a 10), aportes del disertante (ítem 11) y recursos gráficos utilizados (ítem 12). La escala para evaluar los indicadores fue de tipo descriptiva en cuanto a las expectativas a alcanzar por los residentes y becarios (RyB) y se tradujo en una escala numérica del 1 (resultados a mejorar) al 3 (expectativas alcanzadas). Además, se incluyeron dos preguntas de respuesta abierta para que los docentes evaluadores pudieran realizar sugerencias de mejora (recomendaciones) y observaciones generales.

Estas rúbricas se implementaron durante los ateneos de laboratorio. El ateneo es un encuentro semanal del Servicio del Laboratorio Central de un hospital universitario de comunidad, que se realiza en dos horarios para lograr mayor asistencia del personal y al que está invitada la totalidad de los bioquímicos y técnicos del sector, así como de los demás laboratorios del hospital.

La exposición comprende el desarrollo de una revisión bibliográfica de un tema y un caso clínico al finalizar cada rotación pautada en su programa de formación, siempre con un enfoque centrado en el laboratorio y con una duración máxima de 50 a 60 minutos.

El período analizado incluyó desde el comienzo del uso del instrumento en un formato impreso (noviembre de 2018) y seguido luego en forma electrónica (utilizando un formulario de Google como formato digital) desde junio de 2019 hasta julio de 2020.

La muestra estuvo compuesta por 51 rúbricas de evaluación de las exposiciones de los 9 profesionales en formación participantes en ese período, dentro de la residencia de Bioquímica Clínica y de becas de perfeccionamiento del laboratorio de un hospital universitario. A los fines de este trabajo, para preservar el anonimato de los participantes se los codificó con letras (de la A a la I).

En todos los casos, al iniciar su formación de posgrado en la institución, los RyB participaron de una instancia académica formativa donde se trabajaba de forma conjunta los siguientes puntos: qué se esperaba de un ateneo de laboratorio, cuáles eran los objetivos de esta actividad, cuáles eran las habilidades que se aprendían y si tuvieron acceso a la rúbrica para analizar las categorías y la escala utilizada.

Las rúbricas analizadas fueron completadas por los tutores docentes de cada rotación quienes, en todos los casos, habían realizado asesoramiento durante la preparación del ateneo.

Estudios realizados

Se analizaron los siguientes aspectos:

a) La confiabilidad del instrumento se estudió a partir de su consistencia interna, estimando el coeficiente alfa de Cronbach (6) mediante el programa estadístico IBM SPSS versión 26.

b) Para dar cuenta del impacto educativo del instrumento y las oportunidades de aprendizaje que se identificaron en los RyB, se analizaron las recomendaciones y observaciones de los evaluadores, así como se identificaron aquellos ítems con menor puntaje y el perfil de los estudiantes que enfrentaron mayores desafíos para completar la actividad.

Resultados

A partir de las 51 rúbricas aquí analizadas, se evaluaron 48 participaciones en ateneos de 6 residentes y 3 becarios (Tabla I) que fueron evaluados/as con la rúbrica por un total de 18 docentes bioquímicos/as y un médico, los cuales desempeñaban sus funciones al servicio en alguna de las áreas de laboratorio.

El análisis de confiabilidad del instrumento, que se llevó adelante a través del establecimiento del alfa de Cronbach, arrojó un valor de 0,71 con un nivel de confianza del 95% (p≤0,05). El valor teórico de este estadístico va de cero a uno, y se consideró de mayor confiabilidad cuanto más cercano a uno resultara; 0,71 se consideró un valor aceptable (8).

Además, se valoró el impacto educativo que la rúbrica, como instrumento de evaluación de aprendizajes, puede tener sobre los RyB. Así, del análisis y sistematización de los aportes realizados por los tutores docentes, se evaluaron 65 comentarios a las preguntas abiertas incluidas en la rúbrica (conjuntamente observaciones y recomendaciones). En estas respuestas se encontró que aquello que destacaron como positivo fue: 1- formas adecuadas de presentación del conocimiento (23 observaciones), 2- preparación adecuada de la comunicación (8), 3- la actitud receptiva frente a los aportes del tutor (7) y 4- elección pertinente del tema y novedad (5). Respecto a las oportunidades de mejora que los observadores propusieron a los expositores: 1- continuar o sostener la actitud positiva de los RyB ante las situaciones de aprendizaje (14), 2- la mejora en el manejo del tiempo en los futuros ateneos (5) y 3- la búsqueda de mayores o mejores interacciones con el auditorio (3). A modo de ejemplo, se incluye en la Tabla II un comentario realizado por un docente evaluador de cada una de las categorías aquí sistematizadas.

Asimismo, se enfocó el desempeño del conjunto de los RyB por ítem de la rúbrica. Allí se observó que los ítems evaluados que resultaban más desafiantes eran los siguientes: a) aporte de datos extras a los convencionales, experiencias o ideas innovadoras (ítem 11), b) realización de acciones para lograr la participación de la audiencia, como interpelar o realizar preguntas (ítem 9), c) utilización de recursos distintos y variados que enriquezcan y fortalezcan la presentación (ítem 12) y d) respuesta precisa a las preguntas planteadas (ítem 2).

Por último, en el análisis del perfil de los estudiantes, se encontró que en el caso de los residentes no se observaron indicadores desafiantes distintos a los globales que se repetían en el análisis particular de cada estudiante. Sin embargo, en el caso de los tres becarios, además de los globales y por frecuencia de aparición, se identificaron como retos particulares: a) comprensión del tema (ítem 1)- este indicador resultó con menores puntajes respecto al promedio, b) precisión en la documentación de los recursos utilizados (ítem 6) y c) preparación y ensayo de la exposición. Estos dos ítems resultaron con puntajes menores en relación al promedio general en dos de los tres becarios en formación.

Discusión y Conclusiones

De los resultados planteados, en primer lugar, a partir del estudio del alfa de Cronbach de la rúbrica de ateneos de laboratorio, se puede concluir que el instrumento aquí analizado tiene una confiabilidad aceptable como evaluación, se ha validado su uso para la recolección de datos (8); aunque, por supuesto, es perfectible y se lo sigue sometiendo a estudio y mejoras. Las rúbricas como instrumentos evaluativos muestran potencialidad en la calidad de la evaluación, pero es imprescindible elaborar rúbricas que cumplan con criterios de confiabilidad y validez. Mediante el coeficiente alfa de Cronbach, estadístico comúnmente utilizado para evaluar consistencia interna de encuestas, se cuantificó el grado en el que los elementos de un instrumento se correlacionaban unos con otros. La obtención de un resultado mayor de 0,5 permitió afirmar que nuestra rúbrica disponía de una consistencia interna adecuada y cumplía condiciones para ser confiable (9). Esto asegura que las puntuaciones no van a variar en función del instrumento, es decir que las calificaciones otorgadas por los evaluadores son consistentes con el desempeño del proceso realizado por el residente y el becario.

En cuanto a la evaluación del impacto educativo del instrumento, se identificaron en primer lugar los logros en términos de aprendizajes que la experiencia de participar de ateneos le brinda a los RyB, con foco en la formación de competencias comunicacionales disciplinares. La preparación del tema, la claridad, la receptividad a las recomendaciones son aspectos que dan cuenta de la preparación y desarrollo de los ateneos; no son sólo un requisito sino una instancia de aprendizajes que se realizan con la guía de un tutor. También se pudieron reconocer aquellos indicadores que resultaban más desafiantes a nivel global. Éstos reflejaron aspectos de esta competencia comunicativa, académico-disciplinar, que también son un reto para los más expertos: originalidad, precisión, diálogo con referentes en el auditorio. Dada la posición de asimetría entre los RyB y los profesionales del auditorio (incluidos los evaluadores) resulta pertinente percibir como desafío lo mencionado, ya que deben investirse como representantes de un saber en el que se están formando.

Por otro lado, respecto a aquellos ítems reconocidos como desafiantes según el perfil de cada evaluado, se reconoció el impacto de la práctica o el ejercicio acompañado y sostenido en el desarrollo de ateneos, que puede vehiculizar la incorporación de las competencias buscadas y la identificación de las expectativas docentes. Esto permitió identificar que los currículums de formación entre residentes y becarios tendrían distinta complejidad en la adquisición de competencias comunicacionales y, seguramente, debido al tiempo (mayor en los residentes que en los becarios) en el cual permanecen en el programa de formación ensayando esta actividad de interpretación y exposición.

Como limitación del estudio, se entiende que debido al escaso tiempo de evaluación de este instrumento no fue posible evaluar las rúbricas de un programa de residencia completo (tres años), no pudiendo inferir con más seguridad sobre la adquisición de competencias comunicacionales a lo largo de la formación completa. Asimismo, no fue posible compararlo con otras rúbricas utilizadas para esto por no encontrar otras publicaciones para hacerlo.

Este instrumento fue introducido al programa de evaluación de la residencia en Bioquímica Clínica y becas de perfeccionamiento del Laboratorio Central de esta institución, dentro de un proceso de mejora de la calidad del programa de formación. Se eligió un tipo de rúbrica y se definieron los indicadores con el fin de tener precisión en lo evaluado con criterios objetivos y comunes para los distintos docentes evaluadores, para disminuir así la subjetividad de miradas (10). La utilización de esta rúbrica, por ser analítica, permite a los profesionales en formación identificar sus fortalezas y los puntos de mejora en la habilidad comunicacional y apreciar con antelación qué se espera de ellos (6), garantizando la observación de múltiples dimensiones y de distintas miradas en manos de diferentes evaluadores.

Es importante tener en cuenta que para llevar a cabo una evaluación significativa para los RyB, debe comenzarse con el planteo de los objetivos y lograr identificar en qué medida fueron cumplidos y cuáles son los puntos de mejora que pueden lograrse a futuro (11). Sobre todo, debe pensarse que adquirir estas habilidades requiere de un recorrido, por lo que se entiende que parte de la garantía de calidad de esta evaluación comienza con la instancia que se otorga al nuevo residente para trabajar y aprender qué se espera de un ateneo de laboratorio y por qué se lo considera como parte del proceso de enseñanza-aprendizaje-evaluación en un programa de formación de posgrado.

En conclusión, la rúbrica aquí analizada ha servido para clarificar a los RyB las metas de aprendizaje esperadas a partir de una actividad tradicional en la formación de posgrado en servicio en la carrera de Bioquímica, como es la presentación de ateneos; pero además, se ha logrado generar un instrumento de evaluación confiable que puede ser utilizado en otras profesiones y especialidades del equipo de salud cuyos residentes lleven adelante esta actividad expositiva tan comúnmente utilizada en este tipo de programas de formación.

Correspondencia

Bioq. MARÍA AMELIA NARDI

Hospital Italiano de Buenos Aires, Tte. Gral. Juan Domingo Perón 4190, C1199ABB CIUDAD AUTÓNOMA DE BUENOS AIRES, Argentina.

Tel.: 011-4952-0200

Correo electrónico: maria.nardi@hospitalitaliano.org.ar

Fuentes de financiación

Los autores declaran que este trabajo no requirió financiación externa.

Referencias bibliográficas

1. Wald HS, Borkan JM, Taylor JS, Anthony D, Reis SP. Fostering and evaluating reflective capacity in medical education: developing the REFLECT rubric for assessing reflective writing. Acad Med 2012; 87 (1): 41-50.

2. Martínez AEC, Zapata PD. Aplicación de un trabajo práctico autoguiado para la formación en el uso de herramientas bioinformáticas de alumnos de pregrado en Bioquímica Clínica. Educación Médica 2006; 9 (4B): 207-11.

3. Argentina.gob.ar [Internet]. Disponible en: https:// www.argentina.gob.ar/ (Fecha de acceso: 3 de agosto de 2020).

4. Arribalzaga EB. Presentación oral como evaluación comunicacional del médico residente de cirugía general. FEM 2018; 21 (6): 287-93.

5. Bing-You RG, Trowbridge RL. Why medical educators may be failing at feedback. JAMA 2009 Sep 23; 302 (12): 1330-1.

6. Gatica-Lara F, Uribarren-Berrueta T del NJ. ¿Cómo elaborar una rúbrica? Investigación en Educ Médica 2013; 2 (5): 61-5.

7. Latorre MA. La rúbrica como instrumento de evaluación en los estudios universitarios. Observar. Revista Electrónica de Didáctica de las Artes 2016; 10 (1): 1-15.

8. Gliem JA, Gliem RR. Calculating, interpreting, and reporting Cronbach’s alpha reliability coefficient for Likerttype scales. Presented at the Midwest Research-to-Practice Conference in Adult, Continuing, and Community Education. The Ohio State University, Columbus, OH, October 8-10; 2003.

9. Virla MQ. Confiabilidad y coeficiente alpha de Cronbach. Telos 2010; 12 (2): 248-52.

10. Morán Barrios J. Evaluar actividades complejas a través de rúbricas. NefroPlus 2018; 10 (1): 16-9.

11. de Lima AEA. Claves para la evaluación efectiva del residente. Rev Hosp Ital B Aires 2005; 25 (3/4): 108-11.

Notas de autor

maria.nardi@hospitalitaliano.org.ar

Información adicional

Conflictos de intereses: Los autores declaran no tener conflictos de intereses respecto del presente trabajo.

IR