Escala de competencias clínicas básicas para psicoterapeutas (ECCBP). Construcción y fiabilidad para Argentina

Basic Clinical Competences Scale for Psychotherapists (BCCSP). Construction and reliability for Argentina

Esta obra está bajo una Licencia Creative Commons Atribución-NoComercial-CompartirIgual 4.0 Internacional.

Tal como afirma Barber et al. (2007), las definiciones de competencia no son evidentes por sí mismas y la variedad de definiciones disponibles en la literatura ejemplifican este punto. Algunos conceptos tienen una visión más estrecha considerando que las competencias se refieren a las características de las personas, tanto atributos como conocimientos, que originan comportamientos (Lopera Arbeláez y Echeverri Álvarez, 2018). Con mayor especificidad, Kaslow (2004), en el marco del estudio de las competencias en psicología, expresa que “competencia” es la habilidad y capacidad individual para comprender y realizar ciertas tareas de manera apropiada y efectiva consistente con las expectativas para una persona calificada en una profesión o especialidad en particular. Otra definición considera que son agrupaciones de conocimientos, habilidades, capacidades y otros atributos que le permiten a una persona actuar de manera eficaz y dentro de un estándar definido en una situación particular de su ejercicio profesional (International Association of Applied Psychology, 2016). El denominador común en las definiciones es que las competencias pueden ser medidas por un estándar de efectividad. El enfoque de competencias ha significado un mayor énfasis en la globalidad de las capacidades del individuo y ha orientado su formación a la solución de problemas, incluyendo los contenidos procedimentales y actitudinales (Mikulic et al., 2015a).

En el campo de la psicoterapia, se estima que entre el 3 y el 15 % de los pacientes tienen una experiencia negativa (Boisvert y Faust, 2003; Crawford et al., 2016; Hardy et al., 2017) que incluiría el empeoramiento de los síntomas y la reticencia a buscar tratamiento en el futuro (Barlow, 2010; Lilienfeld, 2007; Parry et al., 2016), lo que permite afirmar que el abordaje empírico de las competencias para llevar a cabo un proceso terapéutico no es un tema menor, ya que involucra de manera directa la calidad del servicio ofrecido al público. Se torna necesario realizar estudios empíricos que consideren tanto la persona del terapeuta, puesto que sería responsable de un gran porcentaje de la varianza de los tratamientos (Baldwin e Imel, 2013; Nissen-Lie et al., 2013), como otros múltiples aspectos que tienen impacto potencial sobre el resultado del proceso (Sánchez-Bahíllo et al., 2014).

Afortunadamente, en las últimas décadas, han aumentado los estudios sobre las competencias para el ejercicio de las profesiones de la salud (Gonsalvez et al., 2017). A nivel internacional, se han elaborado modelos e instrumentos de evaluación de competencias, por ejemplo, el modelo del Cubo (Rodolfa et al., 2005), uno de los modelos con mayor difusión que distingue entre competencias fundamentales y funcionales. Otro modelo específico para psicología es el informe final de Apa Task Force on the Assessment of Competence in Professional Psychology (APA, 2006) en el que se detallan diversas metodologías o paquetes de The Competency Assessment Toolkit for Professional Psychology elaborado por la APA (Fremer et al.,1989; Kaslow et al., 2009; Khan y Aljarallah, 2011). Allí se presenta la OSCE (Objective Structured Clinical Examination), instrumento de evaluación que utiliza situaciones clínicas ficticias (Harden et al., 1975). Del mismo modo, la V-MAT, herramienta que permite evaluar 10 dominios de competencias en 40 viñetas estandarizadas (Gonsalvez et al., 2019). La escala DPCCQ (Development of Psychotherapists Common Core Questionnaire, Orlinsky et al., 1999) traducida y adaptada en varios países de Latinoamérica, instrumento autoadministrable que evalúa el desarrollo autopercibido de los psicoterapeutas, en su versión original compuesto por 370 ítems que abracaban nueve dimensiones (Helmich y Echevers, 2019).

En Nepal, se elaboró la ENACT (Enhancing Assessment of Common therapeutic factors) para la evaluación de factores comunes requeridos para llevar a cabo un proceso terapéutico que permite evaluar tanto a profesionales como otros sujetos que se desempeñan en el área (Kohrt et al., 2015).

En Argentina, gran cantidad de los estudios han sido realizados con cuestionarios de autorreporte elaborados ad hoc para estudiantes de grado (Gimeno Santos y Gallego Matas, 2007; Puppeto, 2017; Rodríguez Gómez et al., 2018; Trechera Herreros et al., 2015) o aplicando el Cuestionario de Competencias Específicas del Proyecto Tuning (Laurito y Benatuil, 2017). En los últimos años, se realizó un relevamiento de competencias locales a través de entrevistas a diferentes expertos en psicoterapia y como resultado se reportan siete competencias clínicas básicas para el ejercicio de la psicoterapia y cinco indicadores asociados a su entrenamiento (Cuadro 1) (Crocamo, 2019; Crocamo y Benatuil, 2020).

Cuadro 1
Definiciones de competencias clínicas básicas e indicadores asociados.

Adaptado de Crocamo (2019).

Sin embargo, no se cuenta con instrumentos de evaluación específicos ajustados al contexto, lo que afecta no solo a la evaluación sino también al estudio sistemático del área. Por lo tanto, con motivo de favorecer el ajuste ecológico del instrumento, y tomando como referencia este relevamiento local, este trabajo tiene como objetivo construir un instrumento para su evaluación denominado Escala de Competencias Clínicas Básicas para Psicoterapeutas (ECCBP). La ECCBP evalúa competencias en dispositivos generales, sin abordar especificidades de la población asistida ni patologías, ya que, como afirman Barber et al. (2007), los estudios disponibles se han centrado en menor medida en estas habilidades y en las competencias generales debido a la dificultad para medirlas.

Por otra parte, existe un amplio acuerdo sobre que una misma competencia pueda ser medida utilizando diferentes modelos y que no existe un instrumento ideal que permita su evaluación exhaustiva (APA, 2006; Dolan et al., 2003). Por eso, para la construcción de la ECCBP se emplearon diversos formatos de evaluación: por un lado, resolución de casos clínicos y autoevaluación para las competencias clínicas y, por otro, un cuestionario que permite considerar otros indicadores asociados y obtener datos cualitativos del evaluado que pueden ser utilizados en actividades de investigación, programas de formación y seguimiento educativo.

Los resultados se organizan de acuerdo con cada fase del procedimiento llevado a cabo: (1) elaboración del sistema de evaluación; (2) redacción de consignas e ítems; (3) revisión de la versión piloto; y (4) desarrollo del instrumento definitivo.

Fase 2. Redacción de consignas e ítems

En primer lugar, para la resolución de casos clínicos se elaboró la siguiente consigna: “A continuación, se presentan algunos casos clínicos, por favor resuelva los interrogantes tal como lo haría si fuera el profesional a cargo de las consultas” y se redactaron cinco viñetas preliminares a modo de ejemplo:

Julia tiene 27 años, es muy delgada y su dentadura tiene apariencia frágil, habla rápido e insulta mientras relata situaciones de la vida cotidiana. En la actualidad está en pareja, conviven junto a su familia porque ambos están desempleados. Su pareja es consumidor de cocaína y pelean diariamente con intensidad arrojándose objetos. Refiere dos eventos significativos en su vida: haber sido abusada por su tío en la infancia e internación prolongada de su hija por prematurez. Cree que estos eventos son causantes de su nerviosismo y falta de apetito.

Para cada situación clínica se presentaban 15 interrogantes, diez para evaluar la competencia proceso diagnóstico y cinco para diseño, intervenciones y técnicas (Tabla 1).

Tabla 1
Ítems casos clínicos.

Para la autoevaluación de competencias se redactaron 63 ítems –versión piloto. A modo de ejemplo, para la evaluación de diseño, intervenciones y técnicas, se presentó la siguiente consigna: “Indique su nivel de competencia para...” y luego se completó con: “elaborar un plan de tratamiento”, “considerar recursos, potencialidades y fortalezas del paciente”, “tomar decisiones durante el curso de un proceso terapéutico”, “seleccionar las técnicas adecuadas”, “aplicar técnicas verbales”, “aplicar técnicas corporales” y “aplicar técnicas de imaginería” y formato de respuesta Likert con una escala de cinco puntos, desde 1 (Muy incompetente) hasta 5 (Muy competente). Los puntajes para cada una de las competencias se obtienen realizando la suma simple de las respuestas de sus ítems.

Se realizaron estudios de confiabilidad para cada escala cuyos valores son: vínculo terapéutico α = .833; rol profesional α = .715; variables contextuales y diversidad α = .853; manejo de entrevista α = .845; evaluación y finalización del proceso α = .845 y diseño, intervenciones y técnicas α = .797.

Por último, la ECCBP cuenta con un cuestionario que permite obtener datos cualitativos del evaluado que pueden ser utilizados en actividades de investigación, programas de formación y seguimiento educativo. Para ello, se elaboraron 34 ítems –versión piloto– con formato multiple choice, en algunos casos con respuesta múltiple, y en otros con opciones excluyentes, de acuerdo a lo pactado con los expertos en metodología en función de la conceptualización de cada indicador y atendiendo a lo que mejor se ajustara para la recolección y posterior análisis de los datos. La consigna del cuestionario era: “A continuación, encontrará una serie de preguntas relacionadas con el ejercicio de su profesión, seleccione la/s respuesta/s que mejor se ajuste/n a su situación profesional”. A modo de ejemplo para evaluar supervisión: “¿Supervisa su trabajo clínico?, ¿Con qué frecuencia?, ¿Qué modalidad emplea?, ¿Con qué objetivo emplea generalmente las supervisiones?”. Estas respuestas no se califican numéricamente, sino que permiten obtener datos descriptivos.

Fase 3. Revisión de la versión piloto

En primer lugar, en lo que respecta a los criterios de dificultad y verosimilitud en la resolución de casos, se excluyó el caso 5 y se realizaron ajustes de contenido para conservar el caso 4. Seguidamente, en lo concerniente al criterio de coherencia y relevancia, se descartaron los ítems mecanismos de defensa y mecanismos de afrontamiento –ya que los revisores del instrumento señalaron que no correspondería evaluarlo en todos los modelos teóricos–, y el ítem técnicas, porque se advirtió que cuantificar sus respuestas podría generar dificultades debido a la amplia variedad de intervenciones disponibles que pueden emplearse para tratar una misma situación clínica y la imposibilidad de valorizar cuáles serían las técnicas más adecuadas para emplear en una situación ficticia. Seguidamente, el análisis de la consistencia interna de los ítems de las viñetas arrojó niveles de confiabilidad, cuyos valores α oscilaban entre .715 y .853 en cada escala. Por último, atendiendo al criterio de suficiencia, se completó la descripción de la situación clínica correspondiente al caso 1 y se lo conservó para la versión final mientras que el caso 2 fue excluido del protocolo.

En simultáneo, atendiendo a los criterios de coherencia y relevancia, se eliminaron nueve ítems del formato autoevaluación, en las escalas vínculo terapéutico (un ítem), rol profesional (cuatro ítems) y manejo de entrevista (un ítem), y diez del cuestionario en las escalas formación de base y actualización (seis ítems), pertenencia a instituciones y red de profesionales (un ítem) y desarrollo personal y trabajo sobre sí mismo (tres ítems). Asimismo, se depuraron los ítems correspondientes a las escalas del cuestionario (Tabla 2).

Tabla 2
Revisión de ítems del cuestionario: criterio de coherencia y relevancia.

Fase 4. Desarrollo del instrumento definitivo

A partir del relevamiento local de Crocamo (2019), se elaboró el sistema de evaluación y se redactaron las consignas de los ítems para siete competencias clínicas y cinco indicadores asociados. A continuación, se revisó la versión piloto y se eliminaron los casos clínicos e ítems que no cumplían los criterios establecidos. Finalmente, la ECCBP versión definitiva quedó conformada por 122 ítems en total; compuesto por tres viñetas clínicas y 15 interrogantes para cada caso, 55 ítems de autoevaluación de competencias divididos en seis escalas y 22 ítems bajo la modalidad de cuestionario. El material se presentó mediante formato papel o electrónico y se requirieron aproximadamente 45 minutos para completarlo en su totalidad (Tabla 3).

Tabla 3
ECCBP Versión definitiva.

Si bien existen múltiples definiciones de competencias en función de los elementos que la componen y el contexto de utilización, existe un gran acuerdo en que las competencias pueden ser evaluadas comparándolas con un estándar definido. Se han reportado diversos beneficios de la implementación de la evaluación por competencias, entre ellos: fomentar el aprendizaje, valorar su progreso, colaborar en el diseño y ajuste del currículum, determinar la eficacia de los programas de capacitación e identificar déficit y elaborar estrategias para remediarlos (APA, 2006; Elman y Forrest, 2007; Kaslow, 2004). Sin embargo, algunos de los desafíos que se presentan a la hora de diseñar instrumentos de evaluación es adecuarlos a las características de la población. Por eso, y a pesar de que existen algunos modelos internacionales que detallan competencias (Rodolfa et al., 2005), con motivo de maximizar el ajuste ecológico del instrumento, para la elaboración del contenido de la ECCBP, se tomó como referencia un estudio local realizado en los últimos años que detalla siete competencias clínicas básicas que deben poseer los psicoterapeutas y cinco indicadores asociados a su desarrollo (Crocamo y Benatuil, 2020). Asimismo, se tomó como referencia este relevamiento porque considera los factores comunes en psicoterapia y las posibles diferencias que se generarían entre modelos teóricos, puesto que en ese estudio, para determinar las competencias clínicas que deben poseer los terapeutas para su ejercicio profesional, fueron entrevistados terapeutas de diferentes modelos teóricos. Además, como afirman Goldfried y Wolfe (1998), existe alguna evidencia de que los terapeutas avanzados que representan diferentes modalidades terapéuticas se parecen más a otros terapeutas de otros modelos teóricos con el mismo nivel de formación.

Si bien se han construido diferentes instrumentos, se trata predominantemente de cuestionarios de autorreporte elaborados ad hoc para estudiantes de grado, la gran mayoría se limitan a evaluar competencias generales del estudiante universitario (Rodríguez Gómez et al., 2018); otros estudios se centran en los estudiantes de psicología (Puppeto, 2017; Trechera Herreros et al., 2015) y algunos de ellos comparan la autoevaluación que realiza el estudiante sobre el desarrollo de una competencia y la importancia que le otorga (Gimeno Santos y Gallego Matas, 2007; Laurito y Benatuil, 2017). A nivel global, son escasos los estudios empíricos que utilizan viñetas clínicas con interrogantes, a excepción de la línea de trabajo de Gonsalvez et al. (2016). En este sentido, es necesario destacar que lo que diferencia a la ECCBP es que ha sido específicamente diseñada para profesionales graduados con título de grado de psicología, orientada a la psicoterapia en particular, y que incluye, además de la autopercepción de competencia presente en la mayoría de los estudios, la resolución de casos clínicos y un cuestionario que permite recolectar, de manera sistematizada, información cualitativa y datos descriptivos de los profesionales que completen el instrumento.

A diferencia de otros instrumentos como el ENACT (Kohort et al., 2015), la ECCBP es un instrumento con mayor cantidad de ítems, 122 frente a 18. Si bien podría resultar extenso para el psicoterapeuta, este tipo de instrumentos permite la recolección de un gran caudal de información sobre competencias y datos sociodemográficos y profesionales en una sola toma. Si bien existen estudios sobre el perfil sociodemográfico de los terapeutas (Klinar et al., 2019), no se han encontrado estudios sistematizados que hayan considerado la evaluación de competencias mediante viñetas, su autopercepción y relevamiento de datos cualitativos en un mismo instrumento en Argentina. Por consiguiente, utilizando la ECCBP se podrían obtener datos de múltiples áreas en una misma toma; y, aunque se han realizado estudios de competencias, generalmente se han ceñido a un solo tipo: tómese de ejemplo el estudio de las competencias de intervención desarrollado por Barber et al. (2007).

Con motivo de asegurar que el instrumento refleje con fidelidad la práctica, se elaboraron diversas viñetas clínicas que recrean situaciones similares a la práctica profesional y, para reducir la subjetividad en el proceso de corrección, se consensuaron de antemano respuestas modelo (Elander et al., 2007; Pitts et al., 2001; Smith y Tillema, 2003). En esta instancia, para obtener mayor grado de representatividad y heterogeneidad de respuestas, las claves de respuestas fueron elaboradas por participantes que pertenecían a diferentes modelos teóricos tradicionales según la clasificación de Fernández-Álvarez (1994). Al igual que otros instrumentos similares como la V-MAT (Gonsalvez et al., 2016), en la ECCBP se presentan escenarios uniformes para todos los evaluados. La implementación de viñetas es una metodología segura, puesto que se trata de una situación ficticia en la que no se involucran pacientes y, a diferencia de otras metodologías de evaluación, no es un instrumento costoso, ya que no es necesario contar con actores o mobiliario específico para realizar una simulación, además de que se reducen los sesgos como el efecto halo (Evans et al., 2015; Gonsalvez et al., 2013; Zayyan, 2011).

La evaluación multimétodo tiene ventajas y desventajas. Primeramente, permite realizar una autoevaluación, que cada profesional puntúe el grado de adquisición de una competencia, habilidad o frecuencia de una actividad. Aunque la autoevaluación es importante para el desarrollo profesional, puede resultar parcial y poco confiable y, en algunos estudios, se concluye que este tipo de medidas no correlacionaría con el desempeño real (Ward et al., 2002). Sin embargo, se ha reportado que proporcionaría información importante sobre el desarrollo de la confianza y las áreas en las que un aprendiz percibe que tiene fortalezas y debilidades (Mathieson et al., 2009). Asimismo, estudios en constante revisión, realizados por la Society for Psychotherapy Research (SPR) en la sección de interés del desarrollo y entrenamiento de terapeutas (SPRISTAD), sugieren que existen diferencias en la percepción de los terapeutas principiantes y experimentados y que esos niveles de percepción se elevan a medida que se incrementan los años de práctica profesional (Messina et al., 2019; Orlinsky et al., 2015).

También es sabido que existe la deseabilidad social y que el intento de dar una buena imagen de sí y/o la elevada autovaloración profesional pueden distorsionar los resultados (Mikulic et al., 2015b). El uso del formato autorreporte, en algunos estudios, ha mostrado baja correlación con la observación de un evaluador externo y el riesgo que el sujeto seleccione respuestas para causar una impresión favorable; sin embargo, numerosos autores señalan como fundamental su inclusión para una adecuada evaluación de competencias (Castillo Rojas, 2012; De las Cuevas Castresana y González De Rivera y Revuelta, 1992; Ward et al., 2002). Es por ello que se decidió incorporar una técnica de heteroevaluación, compuesta por escenarios clínicos que son puntuados en base a criterios externos (profesionales expertos), lo cual tiene como uno de sus objetivos contrarrestar la posible distorsión de los resultados.

En virtud de dichas limitaciones, a pesar de la inclusión de las viñetas clínicas es posible emprender nuevos estudios utilizando instrumentos observacionales que podrían complementar los resultados de la ECCBP (Castillo Rojas, 2012). Además, la incorporación del estudio de la deseabilidad social resultaría de relevancia considerando los sesgos de respuesta producidos en las pruebas psicológicas, especialmente en las de autorreporte (Mikulic et al., 2015b). Por otra parte, también hay que considerar el efecto opuesto, la influencia del nivel de autoestima, autocrítica y perfeccionismo en los estudiantes de psicología que los podría conducir a subvalorar sus competencias (Arana et al., 2014; Helguera y Oros, 2018).

Posteriormente hay un tercer método –cuestionario– que se utilizó para describir las actividades y experiencias asociadas al desarrollo profesional (actividades de formación, supervisión, etcétera). Si bien este apartado se evalúa mediante el autorreporte, es un cuestionario estructurado que, partiendo de la base de que quienes participan lo hacen de manera voluntaria, anónima y sin recibir retribución a cambio, se espera que respondan con sinceridad y de manera fidedigna, de modo que se reduce el margen de las posibles respuestas distorsionadas. Además, el empleo del cuestionario de la ECCBP permitiría hacer estudios comparativos con la escala DPCCQ Development of Psychotherapists Common Core Questionnaire (Orlinsky et al., 1999) que ha sido traducida y adaptada en varios países de Latinoamérica. Tanto la DPCCQ como la ECCBP son instrumentos extensos debido a la complejidad del área de estudio: mientras que la primera abarca nueve dimensiones, la segunda evalúa trece variables, entre competencias e indicadores. Sin embargo, el tiempo para completarlo la ECCBP es de aproximadamente 45 minutos frente a una o dos horas que requiere la DPCCQ (Orlinsky et al., 1999).

Como toda técnica, tiene sus fortalezas y debilidades y es claramente perfectible, pero en su construcción se enfatizó la inclusión de terapeutas de distintos modelos teóricos y con diferentes niveles de formación desde recién graduados a expertos reconocidos a nivel nacional e internacional, además de contener distintos modos de operacionalización de los ítems.

En lo que respecta a los estudios de confiabilidad preliminares, algunos valores de α son elevados: vínculo terapéutico (.833), variables contextuales y diversidad (.853), manejo de entrevista (.845), evaluación y finalización del proceso (.845). Si bien esto podría interpretarse como consecuencia de cierta redundancia en las preguntas, se considera que la fortaleza de la ECCBP es obtener una amplia variedad de datos descriptivos por lo cual, en primera instancia, no se eliminaron más ítems luego del análisis de los expertos. Dado que excede los objetivos planteados para este trabajo, en estudios futuros se abordará con mayor detalle el comportamiento del instrumento, los análisis de fiabilidad de los ítems de cada parte de la ECCBP y será oportuno realizar una comparación con otros instrumentos de similares características. Por último, se podría profundizar el proceso de validación de las escalas realizando análisis factorial exploratorio para evaluar la convergencia y discriminación de los ítems de acuerdo a los constructos a evaluar y, posteriormente, análisis factorial confirmatorio para confirmar la estructura de los constructos teóricos, tal como realizaron otros autores (Ferrando y Anguiano-Carrasco, 2010; Trechera Herreros et al., 2015).

Si bien el objetivo de la escala es ponderar competencias clínicas comunes a todos los modelos teóricos, sería interesante poder determinar –mediante análisis factorial– si existen perfiles de respuesta propios de cada modelo (cognitivo, psicoanalítico, sistémico, integrativo, etcétera). Asimismo, sería interesante llevar a cabo estudios de correlación con otras escalas que le aporten validez convergente; a modo de ejemplo, el perfil de valoraciones de competencias propuesto por Gimeno Santos y Gallego Mata (2007).

Si bien se ha señalado que hay vinculación entre los niveles de competencia profesional y los resultados en la psicoterapia, mayor indagación es necesaria para evaluar la calidad del servicio que proporcionan los profesionales y su vinculación con los resultados de la psicoterapia (Webb et al., 2010). Por otra parte, habría que explorar la validez predictiva con algunas medidas de resultados o variables específicas tales como alianza terapéutica, personalidad y estilo personal del terapeuta (Delgadillo et al., 2020).

Tal como se mencionó en el inicio, la gran mayoría de modelos y estudios de evaluación se han desarrollado en países anglosajones. La propuesta de valor de la ECCBP radica en ser un instrumento construido especialmente para la población local, transteórico y específico para la psicoterapia, que adicionalmente puede ser generalizable a otros contextos socioculturales semejantes. Al mismo tiempo, en virtud de la carencia de instrumentos de evaluación locales, la ECCBP podría constituirse en una herramienta valiosa, tanto para ser utilizada en actividades de investigación como en programas de formación y seguimiento educativo.

En próximos estudios se podrán describir las competencias clínicas básicas de psicoterapeutas pertenecientes a múltiples modelos teóricos y con diferente experiencia profesional residentes en diferentes provincias de Argentina. También permitirá obtener datos descriptivos acerca de la formación y actualización de los profesionales, sus experiencias personales y profesionales, la pertenencia a instituciones, las actividades que llevan a cabo para su desarrollo personal y trabajo sobre sí mismo, la concurrencia a supervisión y las características de este proceso.

Por último, su empleo permitirá evaluar si existen diferentes niveles de competencias clínicas básicas según la cantidad de años de experiencia profesional y profundizar el proceso de validación de las escalas para valorar si su aplicación tiene una capacidad predictiva que permita diferenciar a los psicoterapeutas en función de su nivel de competencia.