Introducción

Tal como afirma Barber et al. (2007), las definiciones de competencia no son evidentes por sí mismas y la variedad de definiciones disponibles en la literatura ejemplifican este punto. Algunos conceptos tienen una visión más estrecha considerando que las competencias se refieren a las características de las personas, tanto atributos como conocimientos, que originan comportamientos (Lopera Arbeláez y Echeverri Álvarez, 2018). Con mayor especificidad, Kaslow (2004), en el marco del estudio de las competencias en psicología, expresa que “competencia” es la habilidad y capacidad individual para comprender y realizar ciertas tareas de manera apropiada y efectiva consistente con las expectativas para una persona calificada en una profesión o especialidad en particular. Otra definición considera que son agrupaciones de conocimientos, habilidades, capacidades y otros atributos que le permiten a una persona actuar de manera eficaz y dentro de un estándar definido en una situación particular de su ejercicio profesional (International Association of Applied Psychology, 2016). El denominador común en las definiciones es que las competencias pueden ser medidas por un estándar de efectividad. El enfoque de competencias ha significado un mayor énfasis en la globalidad de las capacidades del individuo y ha orientado su formación a la solución de problemas, incluyendo los contenidos procedimentales y actitudinales (Mikulic et al., 2015a).

En el campo de la psicoterapia, se estima que entre el 3 y el 15 % de los pacientes tienen una experiencia negativa (Boisvert y Faust, 2003; Crawford et al., 2016; Hardy et al., 2017) que incluiría el empeoramiento de los síntomas y la reticencia a buscar tratamiento en el futuro (Barlow, 2010; Lilienfeld, 2007; Parry et al., 2016), lo que permite afirmar que el abordaje empírico de las competencias para llevar a cabo un proceso terapéutico no es un tema menor, ya que involucra de manera directa la calidad del servicio ofrecido al público. Se torna necesario realizar estudios empíricos que consideren tanto la persona del terapeuta, puesto que sería responsable de un gran porcentaje de la varianza de los tratamientos (Baldwin e Imel, 2013; Nissen-Lie et al., 2013), como otros múltiples aspectos que tienen impacto potencial sobre el resultado del proceso (Sánchez-Bahíllo et al., 2014).

Afortunadamente, en las últimas décadas, han aumentado los estudios sobre las competencias para el ejercicio de las profesiones de la salud (Gonsalvez et al., 2017). A nivel internacional, se han elaborado modelos e instrumentos de evaluación de competencias, por ejemplo, el modelo del Cubo (Rodolfa et al., 2005), uno de los modelos con mayor difusión que distingue entre competencias fundamentales y funcionales. Otro modelo específico para psicología es el informe final de Apa Task Force on the Assessment of Competence in Professional Psychology (APA, 2006) en el que se detallan diversas metodologías o paquetes de The Competency Assessment Toolkit for Professional Psychology elaborado por la APA (Fremer et al.,1989; Kaslow et al., 2009; Khan y Aljarallah, 2011). Allí se presenta la OSCE (Objective Structured Clinical Examination), instrumento de evaluación que utiliza situaciones clínicas ficticias (Harden et al., 1975). Del mismo modo, la V-MAT, herramienta que permite evaluar 10 dominios de competencias en 40 viñetas estandarizadas (Gonsalvez et al., 2019). La escala DPCCQ (Development of Psychotherapists Common Core Questionnaire, Orlinsky et al., 1999) traducida y adaptada en varios países de Latinoamérica, instrumento autoadministrable que evalúa el desarrollo autopercibido de los psicoterapeutas, en su versión original compuesto por 370 ítems que abracaban nueve dimensiones (Helmich y Echevers, 2019).

En Nepal, se elaboró la ENACT (Enhancing Assessment of Common therapeutic factors) para la evaluación de factores comunes requeridos para llevar a cabo un proceso terapéutico que permite evaluar tanto a profesionales como otros sujetos que se desempeñan en el área (Kohrt et al., 2015).

En Argentina, gran cantidad de los estudios han sido realizados con cuestionarios de autorreporte elaborados ad hoc para estudiantes de grado (Gimeno Santos y Gallego Matas, 2007; Puppeto, 2017; Rodríguez Gómez et al., 2018; Trechera Herreros et al., 2015) o aplicando el Cuestionario de Competencias Específicas del Proyecto Tuning (Laurito y Benatuil, 2017). En los últimos años, se realizó un relevamiento de competencias locales a través de entrevistas a diferentes expertos en psicoterapia y como resultado se reportan siete competencias clínicas básicas para el ejercicio de la psicoterapia y cinco indicadores asociados a su entrenamiento (Cuadro 1) (Crocamo, 2019; Crocamo y Benatuil, 2020).

Sin embargo, no se cuenta con instrumentos de evaluación específicos ajustados al contexto, lo que afecta no solo a la evaluación sino también al estudio sistemático del área. Por lo tanto, con motivo de favorecer el ajuste ecológico del instrumento, y tomando como referencia este relevamiento local, este trabajo tiene como objetivo construir un instrumento para su evaluación denominado Escala de Competencias Clínicas Básicas para Psicoterapeutas (ECCBP). La ECCBP evalúa competencias en dispositivos generales, sin abordar especificidades de la población asistida ni patologías, ya que, como afirman Barber et al. (2007), los estudios disponibles se han centrado en menor medida en estas habilidades y en las competencias generales debido a la dificultad para medirlas.

Por otra parte, existe un amplio acuerdo sobre que una misma competencia pueda ser medida utilizando diferentes modelos y que no existe un instrumento ideal que permita su evaluación exhaustiva (APA, 2006; Dolan et al., 2003). Por eso, para la construcción de la ECCBP se emplearon diversos formatos de evaluación: por un lado, resolución de casos clínicos y autoevaluación para las competencias clínicas y, por otro, un cuestionario que permite considerar otros indicadores asociados y obtener datos cualitativos del evaluado que pueden ser utilizados en actividades de investigación, programas de formación y seguimiento educativo.

Método

Diseño y tipo de estudio

Se utilizó un diseño no experimental, transversal de tipo exploratorio en cuatro fases: (1) elaboración del sistema de evaluación; (2) redacción de ítems; (3) revisión de la versión piloto; y (4) desarrollo del instrumento definitivo.

Participantes

Para atender a la particularidad de cada fase se utilizaron tres muestras.

Expertos en metodología

Grupo de informantes compuesto por tres psicoterapeutas, con formación académica de nivel magister o superior, dedicados a la investigación en psicoterapia y a la formación por competencias de psicólogos. Los participantes eran dos mujeres y un hombre, cuyas edades oscilaban entre 37 y 51 años (M = 43.3; DE = 7.09) y su experiencia profesional era mayor a 10 años (M = 17.3; DE = 3.78), quienes fueron convocados para participar en la selección de las diferentes metodologías para evaluar cada competencia e indicador de la manera más beneficiosa.

Revisores del instrumento

El grupo de informantes estuvo conformado por cinco terapeutas con diferente nivel de experiencia profesional, tres mujeres y dos hombres. Sus edades oscilaban entre 22 y 61 años (M = 47; DE = 16.98) y su experiencia profesional iba desde recién graduados a profesionales con más de 30 años de experiencia (M = 22.6; DE = 17.47). Ellos fueron convocados para valorar la versión preliminar del instrumento. Los terapeutas con más de 30 años de experiencia participaron en la elaboración de las claves de corrección del protocolo mediante la resolución de los diferentes interrogantes que conformaban la versión final de la ECCBP.

Psicoterapeutas argentinos

En tercer lugar, para estudiar las propiedades psicométricas de la ECCBP, se utilizó un muestreo de bola de nieve compuesto por 534 psicoterapeutas de 19 provincias de Argentina: Buenos Aires, Tierra del Fuego, Mendoza, Jujuy, Salta, Santa Fe, Neuquén, Córdoba, Entre Ríos, Chubut, Tucumán, San Juan, San Luis, Misiones, La Rioja, Formosa, Santiago del Estero, Santa Cruz y Chaco. Los participantes debían cumplir dos condiciones: poseer título de grado de Psicólogo o licenciado en Psicología emitido por una universidad argentina, y llevar a cabo su práctica profesional en este territorio o tener la intención de hacerlo, en el caso de los recién graduados.

Para realizar el muestreo se contactó inicialmente a los colegios profesionales de las 19 provincias enumeradas, se les solicitó la nómina de sus afiliados o se les envió el instrumento digital con la consigna correspondiente para que pudieran difundirlo. Una vez que se comenzaron a recibir las respuestas, se contactó a cada profesional por correo electrónico, agradeciendo la participación y proponiendo que, si conocía otros colegas de su provincia que cumplieran las condiciones anteriormente enumeradas, les hiciera llegar la invitación a participar mediante el reenvío del mail. Si bien este tipo de muestreo dificulta la generalización de los resultados por su falta de representatividad, permitió llegar a individuos de difícil acceso por parte del equipo de investigación.

Los participantes fueron 82.2 % mujeres (n = 442) y 17.2 % hombres (n = 42) similar a la distribución informada en otros relevamientos en Argentina que estiman la prevalencia de 80 % de psicólogos mujeres y 20 % hombres (Klinar et al., 2019). Las edades oscilaban entre 21 y 70 años (M = 36; DE = 9.68), 58.6 % graduados de universidades públicas (n = 313) y 41.4 %, de universidades privadas (n = 221).

Por otra parte, los psicoterapeutas tenían diferentes niveles de experiencia profesional, desde recién graduados quienes al momento de la realización de la investigación no habían comenzado a ejercer, hasta profesionales con 48 años de práctica profesional (M = 7.94; DE = 8.66). Además, pertenecían a diferentes modelos teóricos tradicionales según la clasificación de Fernández-Álvarez (1994): 42.7 % psicoanalistas (n = 228), 23.6 % cognitivo-conductuales (n = 126), 17.8 %, integrativos (n = 95), 7.1 % sistémicos (n = 38), 6 % humanístico-existenciales (n = 32) y 2.8 % informaron pertenecer a otros modelos (n = 15).

Instrumentos

Se diseñó y elaboró un instrumento denominado Escala de Competencias Clínicas Básicas para Psicoterapeutas, con el propósito de evaluar las competencias clínica básicas: proceso diagnóstico y diseño, intervenciones y técnicas, vínculo terapéutico, rol profesional, variables contextuales y diversidad, manejo de entrevista, evaluación y finalización del proceso, así como los indicadores asociados: formación de base y actualización, desarrollo personal y trabajo sobre sí mismo, pertenencia a instituciones y red de profesionales, supervisión y experiencia personal y profesional resultantes de un relevamiento local (Crocamo, 2019; Crocamo y Benatuil, 2020). La primera versión estuvo compuesta por cinco casos clínicos y 144 ítems y su versión final, de tres casos clínicos y122 ítems, cuyos análisis de fiabilidad se detallan en el apartado Resultados.

Procedimiento

Fase 1. Elaboración del sistema de evaluación

En primer lugar, a partir de la revisión bibliográfica y la consulta a los expertos en metodología de la primera muestra, se analizó la modalidad más conveniente para evaluar tanto las competencias clínicas básicas como los indicadores asociados a su desarrollo. Se incorporaron diferentes formatos de evaluación con motivo de favorecer la valoración efectiva de las variables y otorgar mayor fiabilidad al instrumento, incluyendo medidas de autoinforme (Leigh et al., 2007; Mikulic, 2007).

Fase 2. Redacción de consignas e ítems

Una vez definido el sistema de evaluación, a partir de las definiciones conceptuales y operacionales de cada variable, confeccionadas por Crocamo y Benatuil (2020), se elaboraron los reactivos preliminares siguiendo las pautas convencionales para la redacción de ítems de prueba. Dicho brevemente, se contempló que los enunciados fueran congruentes con el objetivo de medición, que el lenguaje fuera apropiado a la población estudiada, que las oraciones fueran claras, que carecieran de ambigüedad de sentido, y que los ítems fueran lo más cortos posibles –en su mayoría, de menos de 20 vocablos– (Osterlind, 1990; Tornimbeni et al., 2004). En relación con las viñetas clínicas, se contempló que estuviesen derivadas de la literatura o experiencia clínica, que poseyeran adecuada gramática, sintaxis y ortografía, que estuviesen redactadas de la manera más breve posible, que siguieran una narrativa o progresión como si fuera una historia o un relato, que mantuvieran una estructura y estilo similar en todas las viñetas del estudio, que se asemejaran a personas reales –y no solo una personificación de síntomas y comportamientos–, y que evitaran detalles engañosos y contenido bizarro (Evans et al., 2015; Wallander, 2012).

Fase 3. Revisión de la versión piloto

Se llevó a cabo un procedimiento sistematizado para revisar y depurar la versión piloto siguiendo las indicaciones de Tornimbeni et al. (2004). Para ello, se entregó la ECCBP (versión piloto) a cinco psicoterapeutas con diferente nivel de experiencia profesional, para que juzgaran su composición a partir de los criterios: dificultad –si el escenario permitiría diferenciar a los sujetos de acuerdo a su nivel de competencia–, verosimilitud –si el escenario presentado se asemejaba a una situación clínica real–, suficiencia –si la información brindada sería suficiente para dar respuesta al interrogante–, y se solicitó que juzgaran la coherencia, la relación lógica del ítem con la competencia que se está midiendo, y la relevancia, la importancia del ítem y su necesidad de ser incluido, tanto de los casos clínicos como el resto de los ítems.

Por un lado, se presentó una escala tipo Likert de cinco puntos, cuyos extremos fueron Muy poco adecuado . Muy adecuado, para estudiar los criterios dificultad, verosimilitud, coherencia y relevancia. Seguidamente, se calculó el coeficiente V de Aiken, técnica para cuantificar la validez de contenido, a partir de la opinión y acuerdo de expertos sobre un material, cuya magnitud va desde .00 hasta 1.00; este último indicaría perfecto consenso entre expertos sobre el material de evaluación (Aiken, 2003). Los casos e ítems cuyos valores eran inferiores a .70 fueron eliminados del protocolo final. Debido a la complejidad del cálculo, se utilizó un software denominado Programa Visual Basic para la V de Aiken, desarrollado por Merino Soto y Livia Segovia (2009), y se ingresó: (a) la calificación promedio obtenida previamente para cada ítem seleccionado para el análisis; (b) la calificación mínima y máxima posible en la escala; y (c) el número de jueces intervinientes. Con estos datos, el programa calculó automáticamente el rango de valores de las calificaciones, el índice V de Aiken, y los intervalos de confianza; en este caso se escogió el 90 %, por ser uno de los niveles más usuales en este tipo de estimaciones (Merino Soto y Livia Segovia, 2009). Por otra parte, la evaluación del criterio suficiencia contó con una respuesta dicotómica (Sí-No), por lo que se calculó el porcentaje de consenso entre expertos y se consideraron adecuados aquellos ítems cuyo acuerdo superaba el 60 % tal como recomienda Herrera Rojas (1993).

Fase 4. Desarrollo del instrumento definitivo

Seguidamente, se solicitó a los revisores del instrumento con mayor experiencia profesional que completaran la versión depurada de la ECCBP con el objetivo de redactar las respuestas que mejor se ajustaran a la resolución de los interrogantes planteados. Los revisores pertenecían a diferentes modelos teóricos para obtener más de una contestación correcta, considerando el vocabulario específico de cada modelo. Cada ítem podría ser calificado como correcto/completo (2 puntos), correcto/parcialmente completo (1 punto) o incorrecto/incompleto (0 puntos).

Por último, con motivo de realizar los análisis de fiabilidad, la versión definitiva fue completada por 534 terapeutas, en formato electrónico (n = 396) y en papel (n = 138), quienes cumplían las dos condiciones mencionadas previamente: (a) poseer título de grado Licenciado en Psicología o Psicólogo emitido por una universidad argentina; y (b) llevar a cabo su práctica profesional en este territorio o tener la intención de hacerlo, en el caso de los recién graduados. En todos los casos, la participación fue anónima y voluntaria, y se dejó constancia de su conformidad para participar de la investigación. Se realizó el análisis de la consistencia interna de los ítems de las viñetas y se realizaron estudios de confiabilidad para cada escala de autopercepción de competencias mediante el cálculo del alfa de Cronbach.

Resultados

Los resultados se organizan de acuerdo con cada fase del procedimiento llevado a cabo: (1) elaboración del sistema de evaluación; (2) redacción de consignas e ítems; (3) revisión de la versión piloto; y (4) desarrollo del instrumento definitivo.

Fase 1. Elaboración del sistema de evaluación

Para evaluar las competencias del proceso diagnóstico y diseño, intervenciones y técnicas, se elaboraron breves descripciones de situaciones clínicas con alto grado de verosimilitud con la práctica profesional y diferentes interrogantes para ponderar cada competencia. Por otra parte, se acordó un formato de autoevaluación para evaluar el vínculo terapéutico, el rol profesional, las variables contextuales y la diversidad, el manejo de la entrevista, la evaluación y la finalización del proceso y el diseño, las intervenciones y técnicas y, por último, un cuestionario para evaluar los indicadores asociados al desarrollo de las competencias que permite obtener datos cualitativos del evaluado que puede ser utilizado en actividades de investigación, programas de formación y seguimiento educativo.

Fase 2. Redacción de consignas e ítems

En primer lugar, para la resolución de casos clínicos se elaboró la siguiente consigna: “A continuación, se presentan algunos casos clínicos, por favor resuelva los interrogantes tal como lo haría si fuera el profesional a cargo de las consultas” y se redactaron cinco viñetas preliminares a modo de ejemplo:

Julia tiene 27 años, es muy delgada y su dentadura tiene apariencia frágil, habla rápido e insulta mientras relata situaciones de la vida cotidiana. En la actualidad está en pareja, conviven junto a su familia porque ambos están desempleados. Su pareja es consumidor de cocaína y pelean diariamente con intensidad arrojándose objetos. Refiere dos eventos significativos en su vida: haber sido abusada por su tío en la infancia e internación prolongada de su hija por prematurez. Cree que estos eventos son causantes de su nerviosismo y falta de apetito.

Para cada situación clínica se presentaban 15 interrogantes, diez para evaluar la competencia proceso diagnóstico y cinco para diseño, intervenciones y técnicas (Tabla 1).

Para la autoevaluación de competencias se redactaron 63 ítems –versión piloto. A modo de ejemplo, para la evaluación de diseño, intervenciones y técnicas, se presentó la siguiente consigna: “Indique su nivel de competencia para...” y luego se completó con: “elaborar un plan de tratamiento”, “considerar recursos, potencialidades y fortalezas del paciente”, “tomar decisiones durante el curso de un proceso terapéutico”, “seleccionar las técnicas adecuadas”, “aplicar técnicas verbales”, “aplicar técnicas corporales” y “aplicar técnicas de imaginería” y formato de respuesta Likert con una escala de cinco puntos, desde 1 (Muy incompetente) hasta 5 (Muy competente). Los puntajes para cada una de las competencias se obtienen realizando la suma simple de las respuestas de sus ítems.

Se realizaron estudios de confiabilidad para cada escala cuyos valores son: vínculo terapéutico α = .833; rol profesional α = .715; variables contextuales y diversidad α = .853; manejo de entrevista α = .845; evaluación y finalización del proceso α = .845 y diseño, intervenciones y técnicas α = .797.

Por último, la ECCBP cuenta con un cuestionario que permite obtener datos cualitativos del evaluado que pueden ser utilizados en actividades de investigación, programas de formación y seguimiento educativo. Para ello, se elaboraron 34 ítems –versión piloto– con formato multiple choice, en algunos casos con respuesta múltiple, y en otros con opciones excluyentes, de acuerdo a lo pactado con los expertos en metodología en función de la conceptualización de cada indicador y atendiendo a lo que mejor se ajustara para la recolección y posterior análisis de los datos. La consigna del cuestionario era: “A continuación, encontrará una serie de preguntas relacionadas con el ejercicio de su profesión, seleccione la/s respuesta/s que mejor se ajuste/n a su situación profesional”. A modo de ejemplo para evaluar supervisión: “¿Supervisa su trabajo clínico?, ¿Con qué frecuencia?, ¿Qué modalidad emplea?, ¿Con qué objetivo emplea generalmente las supervisiones?”. Estas respuestas no se califican numéricamente, sino que permiten obtener datos descriptivos.

Fase 3. Revisión de la versión piloto

En primer lugar, en lo que respecta a los criterios de dificultad y verosimilitud en la resolución de casos, se excluyó el caso 5 y se realizaron ajustes de contenido para conservar el caso 4. Seguidamente, en lo concerniente al criterio de coherencia y relevancia, se descartaron los ítems mecanismos de defensa y mecanismos de afrontamiento –ya que los revisores del instrumento señalaron que no correspondería evaluarlo en todos los modelos teóricos–, y el ítem técnicas, porque se advirtió que cuantificar sus respuestas podría generar dificultades debido a la amplia variedad de intervenciones disponibles que pueden emplearse para tratar una misma situación clínica y la imposibilidad de valorizar cuáles serían las técnicas más adecuadas para emplear en una situación ficticia. Seguidamente, el análisis de la consistencia interna de los ítems de las viñetas arrojó niveles de confiabilidad, cuyos valores α oscilaban entre .715 y .853 en cada escala. Por último, atendiendo al criterio de suficiencia, se completó la descripción de la situación clínica correspondiente al caso 1 y se lo conservó para la versión final mientras que el caso 2 fue excluido del protocolo.

En simultáneo, atendiendo a los criterios de coherencia y relevancia, se eliminaron nueve ítems del formato autoevaluación, en las escalas vínculo terapéutico (un ítem), rol profesional (cuatro ítems) y manejo de entrevista (un ítem), y diez del cuestionario en las escalas formación de base y actualización (seis ítems), pertenencia a instituciones y red de profesionales (un ítem) y desarrollo personal y trabajo sobre sí mismo (tres ítems). Asimismo, se depuraron los ítems correspondientes a las escalas del cuestionario (Tabla 2).

Fase 4. Desarrollo del instrumento definitivo

A partir del relevamiento local de Crocamo (2019), se elaboró el sistema de evaluación y se redactaron las consignas de los ítems para siete competencias clínicas y cinco indicadores asociados. A continuación, se revisó la versión piloto y se eliminaron los casos clínicos e ítems que no cumplían los criterios establecidos. Finalmente, la ECCBP versión definitiva quedó conformada por 122 ítems en total; compuesto por tres viñetas clínicas y 15 interrogantes para cada caso, 55 ítems de autoevaluación de competencias divididos en seis escalas y 22 ítems bajo la modalidad de cuestionario. El material se presentó mediante formato papel o electrónico y se requirieron aproximadamente 45 minutos para completarlo en su totalidad (Tabla 3).

Discusión

Si bien existen múltiples definiciones de competencias en función de los elementos que la componen y el contexto de utilización, existe un gran acuerdo en que las competencias pueden ser evaluadas comparándolas con un estándar definido. Se han reportado diversos beneficios de la implementación de la evaluación por competencias, entre ellos: fomentar el aprendizaje, valorar su progreso, colaborar en el diseño y ajuste del currículum, determinar la eficacia de los programas de capacitación e identificar déficit y elaborar estrategias para remediarlos (APA, 2006; Elman y Forrest, 2007; Kaslow, 2004). Sin embargo, algunos de los desafíos que se presentan a la hora de diseñar instrumentos de evaluación es adecuarlos a las características de la población. Por eso, y a pesar de que existen algunos modelos internacionales que detallan competencias (Rodolfa et al., 2005), con motivo de maximizar el ajuste ecológico del instrumento, para la elaboración del contenido de la ECCBP, se tomó como referencia un estudio local realizado en los últimos años que detalla siete competencias clínicas básicas que deben poseer los psicoterapeutas y cinco indicadores asociados a su desarrollo (Crocamo y Benatuil, 2020). Asimismo, se tomó como referencia este relevamiento porque considera los factores comunes en psicoterapia y las posibles diferencias que se generarían entre modelos teóricos, puesto que en ese estudio, para determinar las competencias clínicas que deben poseer los terapeutas para su ejercicio profesional, fueron entrevistados terapeutas de diferentes modelos teóricos. Además, como afirman Goldfried y Wolfe (1998), existe alguna evidencia de que los terapeutas avanzados que representan diferentes modalidades terapéuticas se parecen más a otros terapeutas de otros modelos teóricos con el mismo nivel de formación.

Si bien se han construido diferentes instrumentos, se trata predominantemente de cuestionarios de autorreporte elaborados ad hoc para estudiantes de grado, la gran mayoría se limitan a evaluar competencias generales del estudiante universitario (Rodríguez Gómez et al., 2018); otros estudios se centran en los estudiantes de psicología (Puppeto, 2017; Trechera Herreros et al., 2015) y algunos de ellos comparan la autoevaluación que realiza el estudiante sobre el desarrollo de una competencia y la importancia que le otorga (Gimeno Santos y Gallego Matas, 2007; Laurito y Benatuil, 2017). A nivel global, son escasos los estudios empíricos que utilizan viñetas clínicas con interrogantes, a excepción de la línea de trabajo de Gonsalvez et al. (2016). En este sentido, es necesario destacar que lo que diferencia a la ECCBP es que ha sido específicamente diseñada para profesionales graduados con título de grado de psicología, orientada a la psicoterapia en particular, y que incluye, además de la autopercepción de competencia presente en la mayoría de los estudios, la resolución de casos clínicos y un cuestionario que permite recolectar, de manera sistematizada, información cualitativa y datos descriptivos de los profesionales que completen el instrumento.

A diferencia de otros instrumentos como el ENACT (Kohort et al., 2015), la ECCBP es un instrumento con mayor cantidad de ítems, 122 frente a 18. Si bien podría resultar extenso para el psicoterapeuta, este tipo de instrumentos permite la recolección de un gran caudal de información sobre competencias y datos sociodemográficos y profesionales en una sola toma. Si bien existen estudios sobre el perfil sociodemográfico de los terapeutas (Klinar et al., 2019), no se han encontrado estudios sistematizados que hayan considerado la evaluación de competencias mediante viñetas, su autopercepción y relevamiento de datos cualitativos en un mismo instrumento en Argentina. Por consiguiente, utilizando la ECCBP se podrían obtener datos de múltiples áreas en una misma toma; y, aunque se han realizado estudios de competencias, generalmente se han ceñido a un solo tipo: tómese de ejemplo el estudio de las competencias de intervención desarrollado por Barber et al. (2007).

Con motivo de asegurar que el instrumento refleje con fidelidad la práctica, se elaboraron diversas viñetas clínicas que recrean situaciones similares a la práctica profesional y, para reducir la subjetividad en el proceso de corrección, se consensuaron de antemano respuestas modelo (Elander et al., 2007; Pitts et al., 2001; Smith y Tillema, 2003). En esta instancia, para obtener mayor grado de representatividad y heterogeneidad de respuestas, las claves de respuestas fueron elaboradas por participantes que pertenecían a diferentes modelos teóricos tradicionales según la clasificación de Fernández-Álvarez (1994). Al igual que otros instrumentos similares como la V-MAT (Gonsalvez et al., 2016), en la ECCBP se presentan escenarios uniformes para todos los evaluados. La implementación de viñetas es una metodología segura, puesto que se trata de una situación ficticia en la que no se involucran pacientes y, a diferencia de otras metodologías de evaluación, no es un instrumento costoso, ya que no es necesario contar con actores o mobiliario específico para realizar una simulación, además de que se reducen los sesgos como el efecto halo (Evans et al., 2015; Gonsalvez et al., 2013; Zayyan, 2011).

La evaluación multimétodo tiene ventajas y desventajas. Primeramente, permite realizar una autoevaluación, que cada profesional puntúe el grado de adquisición de una competencia, habilidad o frecuencia de una actividad. Aunque la autoevaluación es importante para el desarrollo profesional, puede resultar parcial y poco confiable y, en algunos estudios, se concluye que este tipo de medidas no correlacionaría con el desempeño real (Ward et al., 2002). Sin embargo, se ha reportado que proporcionaría información importante sobre el desarrollo de la confianza y las áreas en las que un aprendiz percibe que tiene fortalezas y debilidades (Mathieson et al., 2009). Asimismo, estudios en constante revisión, realizados por la Society for Psychotherapy Research (SPR) en la sección de interés del desarrollo y entrenamiento de terapeutas (SPRISTAD), sugieren que existen diferencias en la percepción de los terapeutas principiantes y experimentados y que esos niveles de percepción se elevan a medida que se incrementan los años de práctica profesional (Messina et al., 2019; Orlinsky et al., 2015).

También es sabido que existe la deseabilidad social y que el intento de dar una buena imagen de sí y/o la elevada autovaloración profesional pueden distorsionar los resultados (Mikulic et al., 2015b). El uso del formato autorreporte, en algunos estudios, ha mostrado baja correlación con la observación de un evaluador externo y el riesgo que el sujeto seleccione respuestas para causar una impresión favorable; sin embargo, numerosos autores señalan como fundamental su inclusión para una adecuada evaluación de competencias (Castillo Rojas, 2012; De las Cuevas Castresana y González De Rivera y Revuelta, 1992; Ward et al., 2002). Es por ello que se decidió incorporar una técnica de heteroevaluación, compuesta por escenarios clínicos que son puntuados en base a criterios externos (profesionales expertos), lo cual tiene como uno de sus objetivos contrarrestar la posible distorsión de los resultados.

En virtud de dichas limitaciones, a pesar de la inclusión de las viñetas clínicas es posible emprender nuevos estudios utilizando instrumentos observacionales que podrían complementar los resultados de la ECCBP (Castillo Rojas, 2012). Además, la incorporación del estudio de la deseabilidad social resultaría de relevancia considerando los sesgos de respuesta producidos en las pruebas psicológicas, especialmente en las de autorreporte (Mikulic et al., 2015b). Por otra parte, también hay que considerar el efecto opuesto, la influencia del nivel de autoestima, autocrítica y perfeccionismo en los estudiantes de psicología que los podría conducir a subvalorar sus competencias (Arana et al., 2014; Helguera y Oros, 2018).

Posteriormente hay un tercer método –cuestionario– que se utilizó para describir las actividades y experiencias asociadas al desarrollo profesional (actividades de formación, supervisión, etcétera). Si bien este apartado se evalúa mediante el autorreporte, es un cuestionario estructurado que, partiendo de la base de que quienes participan lo hacen de manera voluntaria, anónima y sin recibir retribución a cambio, se espera que respondan con sinceridad y de manera fidedigna, de modo que se reduce el margen de las posibles respuestas distorsionadas. Además, el empleo del cuestionario de la ECCBP permitiría hacer estudios comparativos con la escala DPCCQ Development of Psychotherapists Common Core Questionnaire (Orlinsky et al., 1999) que ha sido traducida y adaptada en varios países de Latinoamérica. Tanto la DPCCQ como la ECCBP son instrumentos extensos debido a la complejidad del área de estudio: mientras que la primera abarca nueve dimensiones, la segunda evalúa trece variables, entre competencias e indicadores. Sin embargo, el tiempo para completarlo la ECCBP es de aproximadamente 45 minutos frente a una o dos horas que requiere la DPCCQ (Orlinsky et al., 1999).

Como toda técnica, tiene sus fortalezas y debilidades y es claramente perfectible, pero en su construcción se enfatizó la inclusión de terapeutas de distintos modelos teóricos y con diferentes niveles de formación desde recién graduados a expertos reconocidos a nivel nacional e internacional, además de contener distintos modos de operacionalización de los ítems.

En lo que respecta a los estudios de confiabilidad preliminares, algunos valores de α son elevados: vínculo terapéutico (.833), variables contextuales y diversidad (.853), manejo de entrevista (.845), evaluación y finalización del proceso (.845). Si bien esto podría interpretarse como consecuencia de cierta redundancia en las preguntas, se considera que la fortaleza de la ECCBP es obtener una amplia variedad de datos descriptivos por lo cual, en primera instancia, no se eliminaron más ítems luego del análisis de los expertos. Dado que excede los objetivos planteados para este trabajo, en estudios futuros se abordará con mayor detalle el comportamiento del instrumento, los análisis de fiabilidad de los ítems de cada parte de la ECCBP y será oportuno realizar una comparación con otros instrumentos de similares características. Por último, se podría profundizar el proceso de validación de las escalas realizando análisis factorial exploratorio para evaluar la convergencia y discriminación de los ítems de acuerdo a los constructos a evaluar y, posteriormente, análisis factorial confirmatorio para confirmar la estructura de los constructos teóricos, tal como realizaron otros autores (Ferrando y Anguiano-Carrasco, 2010; Trechera Herreros et al., 2015).

Si bien el objetivo de la escala es ponderar competencias clínicas comunes a todos los modelos teóricos, sería interesante poder determinar –mediante análisis factorial– si existen perfiles de respuesta propios de cada modelo (cognitivo, psicoanalítico, sistémico, integrativo, etcétera). Asimismo, sería interesante llevar a cabo estudios de correlación con otras escalas que le aporten validez convergente; a modo de ejemplo, el perfil de valoraciones de competencias propuesto por Gimeno Santos y Gallego Mata (2007).

Si bien se ha señalado que hay vinculación entre los niveles de competencia profesional y los resultados en la psicoterapia, mayor indagación es necesaria para evaluar la calidad del servicio que proporcionan los profesionales y su vinculación con los resultados de la psicoterapia (Webb et al., 2010). Por otra parte, habría que explorar la validez predictiva con algunas medidas de resultados o variables específicas tales como alianza terapéutica, personalidad y estilo personal del terapeuta (Delgadillo et al., 2020).

Conclusiones

Tal como se mencionó en el inicio, la gran mayoría de modelos y estudios de evaluación se han desarrollado en países anglosajones. La propuesta de valor de la ECCBP radica en ser un instrumento construido especialmente para la población local, transteórico y específico para la psicoterapia, que adicionalmente puede ser generalizable a otros contextos socioculturales semejantes. Al mismo tiempo, en virtud de la carencia de instrumentos de evaluación locales, la ECCBP podría constituirse en una herramienta valiosa, tanto para ser utilizada en actividades de investigación como en programas de formación y seguimiento educativo.

En próximos estudios se podrán describir las competencias clínicas básicas de psicoterapeutas pertenecientes a múltiples modelos teóricos y con diferente experiencia profesional residentes en diferentes provincias de Argentina. También permitirá obtener datos descriptivos acerca de la formación y actualización de los profesionales, sus experiencias personales y profesionales, la pertenencia a instituciones, las actividades que llevan a cabo para su desarrollo personal y trabajo sobre sí mismo, la concurrencia a supervisión y las características de este proceso.

Por último, su empleo permitirá evaluar si existen diferentes niveles de competencias clínicas básicas según la cantidad de años de experiencia profesional y profundizar el proceso de validación de las escalas para valorar si su aplicación tiene una capacidad predictiva que permita diferenciar a los psicoterapeutas en función de su nivel de competencia.

Referencias

Aiken, L. R. (2003). Test psicológicos y evaluación. Pearson Educación.

American Psychological Association. (2006). Final report of the APA task force on the assessment of competence in professional psychology.https://www.apa.org/ed/resources/competency-revised.pdf.

Arana, F. G., Galarregui, M. S., Miracco, M. C., Partarrieu, A. I., De Rosa, L., Lago, A. E., Traiber, L. I., Nusshold, P. T., Rutsztein, G. y Keegan, E. G. (2014). Perfeccionismo y desempeño académico en estudiantes universitarios de la Ciudad Autónoma de Buenos Aires. Acta Colombiana de Psicología, 17(1), 71-77. https://doi.org/10.14718/ACP.2014.17.1.8

Baldwin, S. A. e Imel, Z. E. (2013). Therapist effects: findings and methods. En M. Lambert (Ed.), Bergin and Garfield's Handbook of Psychotherapy and Behavior Change (pp. 258 - 296). Wiley.

Barber, J., Sharpless, B., Klostermann, S. y McCarthy, K. (2007). Assessing intervention competence and its relation to therapy outcome: a selected review derived from the outcome literature. Professional Psychology: Research and Practice,38(5), 493–500.https://doi.org/10.1037/0735-7028.38.5.493

Barlow, D. (2010). Negative effects from psychological treatments: a perspective. American Psychologist,65(1), 13-20. https://doi.org/10.1037/a0015643

Boisvert, C. M. y Faust, D. (2003). Leading researchers' consensus on psychotherapy research findings: Implications for the teaching and conduct of psychotherapy. Professional Psychology: Research and Practice, 34(5), 508-513. http://doi.org/10.1037/0735-7028.34.5.508

Castillo Rojas, F. S. (2012). Diseño de un instrumento de evaluación de competencias especializadas en psicoterapeutas constructivista-cognitivos [Tesis de Maestría]. Universidad de Chile http://repositorio.uchile.cl/bitstream/handle/2250/113353/cs39-castillof1150.pdf;sequence=1

Crawford, M. J., Thana, L., Farquharson, L., Palmer, L., Hancock, E., Bassett, P., Clarke, J. y Parry, G. D. (2016). Patient experience of negative effects of psychological treatment: Results of a national survey. British Journal of Psychiatry, 208(3), 260-265. https://doi.org/10.1192/bjp.bp.114.162628

Crocamo, L. N. (2019). Evaluación de competencias clínicas básicas en psicoterapeutas argentinos [Tesis de doctorado]. Universidad de Palermo, Buenos Aires, Argentina. https://dspace.palermo.edu/dspace/handle/10226/1277

Crocamo, L. N. y Benatuil, D. (2020). Relevamiento de competencias clínicas básicas para la psicoterapia según expertos argentinos. Psicodebate, Psicología Cultura y Sociedad, 20(2). https://doi.org/10.18682/pd.v20i2

De las Cuevas Catresana, C. y González De Rivera y Revuelta, J. L. (1992). Autoinformes y respuestas sesgadas. Anales de Psiquiatría, 8(9), 362-366. http://psicoter.es/_arts/92_A109_09.pdf

Delgadillo, J., Branson, A., Kellett, S., Myles-Hooton, P., Hardy, G. E. y Shafran, R. (2020) Therapist personality traits as predictors of psychological treatment outcomes, Psychotherapy Research, 30(7), 857-870. https://doi.org/10.1080/10503307.2020.1731927

Dolan, S. L., Valle Cabrera, R., Jackson, S. E. y Schuler, S. R. (2003). La gestión de los recursos humanos: preparando profesionales para el siglo XXI. McGraw Hill.

Elander, J., Towell, T. y Fox, P. (2007). Competence-based training and assessment by portfolio: The health psychology model. Psychology Learning and Teaching, 6(2), 73-79. https://doi.org/10.2304/plat.2007.6.2.73

Elman, N. S. y Forrest, L. (2007). Del deterioro de los alumnos a los problemas de competencia profesional: buscar una nueva terminología que facilite la acción efectiva. Psicología Profesional: Investigación y Práctica, 38(5), 501-509. http://doi.org/10.1037/0735-7028.38.5.501

Evans, S. C., Roberts, M. C., Keeley, J., Blossom, J. B., Amaro, C. M., García, A. M., Odar Stough, C., Canter, K. S., Robles, R. y Reed, G. M. (2015). Vignette methodologies for studying clinicians’ decision-making: validity, utility, and application in ICD-11 field studies. International Journal of Clinical and Health Psychology, 15(2), 160-170. http://doi.org/10.1016/j.ijchp.2014.12.001

Fernández-Álvarez, H. (1994). Fundamentos de un modelo integrativo en psicoterapia. Paidós.

Ferrando, P. J. y Anguiano-Carrasco, C. (2010). El análisis factorial como técnica de investigación en psicología. Papeles del Psicólogo, 31(1) 18-33. http://www.redalyc.org/pdf/778/77812441003.pdf

Fremer, J. J., Diamond, E. E., y Camara, W. J. (1989). Developing a code of fair testing practices in education. American Psychologist, 44(7), 1062–1067. https://doi.org/10.1037/0003-066X.44.7.1062

Gimeno Santos, M. y Gallego Matas, S. (2007). La autoevaluación de las competencias básicas del estudiante de Psicología. Revista de Psicodidáctica, 1(12), 7-28. https://ojs.ehu.eus/index.php/psicodidactica/article/view/207/203

Goldfried, M. R. y Wolfe, B. E. (1998). Toward a more clinically valid approach to therapy research. Journal of Consulting and Clinical Psychology, 66(1), 143–150. https://doi.org/10.1037/0022-006X.66.1.143

Gonsalvez, C. J., Bushnell, J., Blackman, R., Deane, F., Bliokas, V., Nicholson-Perry, K., Shires, A., Nasstasia, Y., Allan, C. y Knight, R. (2013). Assessment of psychology competencies in field placements: Standardized vignettes reduce rater bias. Training and Education in Professional Psychology, 7(2), 99–111. https://doi.org/10.1037/a0031617

Gonsalvez, C. J., Deane, F. P., Terry, J., Nasstasia, Y. y Shires, A. (2019). Innovations in competence assessment: Design and initial validation of the Vignette Matching Assessment Tool (VMAT). Training and Education in Professional Psychology. Advance online publication. https://doi.org/10.1037/tep0000302

Gonsalvez, C. J., Hamid, G., Savage, N. M. y Livni, D. (2017). The supervision evaluation and supervisory competence scale: psychometric validation. Australian Psychologist, 52(2), 94–103. https://doi.org/10.1111/ap.12269

Gonsalvez, C. J., Terry, J. A. y Deane, F. (2016). Using Standardised Vignettes to Assess Practicum Competencies in Psychology and Other Disciplines: Final Report. https://researchdirect.westernsydney.edu.au/islandora/object/uws:39027

Harden, R. M., Stevenson, M., Downie, W. W. y Wilson, G. M. (1975). Assessment of clinical competence using objective structured examination. British Medical Journal, 1, 447-451. https://doi.org/10.1136/bmj.1.5955.447

Hardy, G.E., Bishop-Edwards, L., Chambers, E., Connell, J., Dent-Brown, K., Kothari, G., O’Hara, R. y Parry, G.D. (2017). Risk factors for negative experiences during psychotherapy, Psychotherapy Research, 1-12. https://doi.org/10.1080/10503307.2017.1393575

Helguera, G. P. y Oros, L. B. (2018). Perfeccionismo y autoestima en estudiantes universitarios argentinos. Pensando Psicología, 14(23), 12. https://doi.org/10.16925/pe.v14i23.2266

Helmich, N. y Etchevers, M. (2019). Alianza terapéutica y características del terapeuta. Enciclopedia Argentina de Salud Mental. http://www.enciclopediasaludmental.org.ar/trabajo.php?idt=61&idtt=8

Herrera Rojas, A. (1993). La medición en psicología. Universidad de Bogotá.

Kaslow, N. J. (2004). Competencies in professional psychology. American Psychologist, 59, 774–781. https://doi.org/10.1037/0003-066X.59.8.774

International Association of Applied Psychology. (2016). Declaración Internacional de Competencias Fundamentales en Psicología Profesional. https://issuu.com/colpsic/docs/1_ipcp_-_versi__n_espa__ol

Kaslow, N., Grus, C. L., Campbell, L. F., Fouad, N., Hatcher, R. L. y Rodolfa, E. R. (2009). Competency assessment toolkit for professional psychology. Training and Education in Professional Psychology,4(3), 27-45. https://doi.org/10.1037/a0015833

Khan, M. U. y Aljarallah, B. M. (2011). Evaluation of modified essay questions (MEQ) and multiple choice questions (MCQ) as a tool for assessing the cognitive skills of Undergraduate Medical Students. International Journal of Health Sciences, 5(1), 39-43.

Klinar, D., Gago, P. y Alonso, M. M. (27-29 de noviembre de 2017). Distribución ocupacional de los/las psicólogas en la República Argentina- Relevamiento 2019. [Presentación de poster] XI Congreso Internacional de Investigación y Práctica Profesional en Psicología XXVI Jornadas de Investigación XV Encuentro de investigadores de Psicología del Mercosur. Buenos Aires, Argentina. https://www.aacademica.org/000-111/211

Kohrt, B. A., Jordans, M. J. D., Rai, S. Shrestha, P., Luitel, N. P., Ramaiya, M. K., Singla, D. R. y Patel, V. (2015). Therapist competence in global mental health: development of the Enhancing Assessment of Common Therapeutic factors (ENACT) rating scale. Behavior Research and Therapy,69, 11-21. .https://doi.org/10.1016/j.brat.2015.03.009

Laurito, M. J. y Benatuil, D. (2017). Distancia entre los niveles de importancia y logro de las competencias específicas en muestra de graduados de una carrera de psicología. Revista de Psicología, 13(25), 71-83. https://repositorio.uca.edu.ar/bitstream/123456789/6096/1/distancia-niveles-importancia-graduados.pdf

Leigh, I. W., Smith, I. L., Bebeau, M. J., Lichtenberg, J. W., Nelson, P. D., Portnoy, S., Rubin, N. J. y Kaslow, N. J. (2007). Competency assessment models. Professional Psychology: Research and Practice, 38(5), 463-473. http://doi.org/10.1037/0735-7028.38.5.463

Lilienfeld, S. O. (2007). Psychological treatments that cause harm. Perspectives on Psychological Science, 2(1), 53–70. https://doi.org/10.1111/j.1745-6916.2007.00029.x

Lopera Arbeláez, I. y Echeverri Álvarez, J. (2018). Libertad y desarrollo humano en las organizaciones. Interdisciplinaria, Revista de Psicología y Ciencias Afines, 35(2), 395–408. http://www.redalyc.org/articulo.oa?id=18058785011

Mathieson, F., Barnfield, T. y Beaumont, G. (2009). Are we as good as we think we are? Self-assessment versus other forms of assessment of competence in psychotherapy. The Cognitive Behavior Therapist, 2(1), 43-50. https://doi.org/10.1017/S1754470X08000081

Merino Soto, C. y Livia Segovia, J. (2009). Intervalos de confianza asimétricos para el índice la validez de contenido: Un programa Visual Basic para la V de Aiken. Anales de Psicología, 25(1), 169-171. https://revistas.um.es/analesps/article/view/71631

Messina, I., Gullo, S., Gelo, O., Giordano, C. y Salcuni, S. (2019). An overview of the Italian contribution to the international multisite SPRISTAD study on psychotherapy training. Research in Psychotherapy: Psychopathology, Process and Outcome, 22(3), 418. https://doi.org/10.4081/ripppo.2019.418

Mikulic, I. M. (2007). Construcción y Adaptación de Pruebas Psicológicas. Material publicado por Cátedra Teoría y técnicas de exploración y diagnóstico psicológico. Módulo. I. Facultad de Psicología. Universidad de Buenos Aires. https://comenio.files.wordpress.com/2007/08/construccion-y-adaptacion.pdf

Mikulic, I. M., Crespi, M. y Radusky, P. (2015a). Construcción y validación del instrumento de competencias socioemocionales para adultos (ICSE) Interdisciplinaria Revista de Psicología y Ciencias Afines, 32(2), 307-329. https://doi.org/10.16888/interd.2015.32.2.7

Mikulic, I. M., Crespi, M., Elmasian, M. y Fernández, G. L. (2015b, 25-28 de noviembre). Evaluación psicológica y deseabilidad social: adaptación de la escala de deseabilidad social de Marlowe-Crowne y del inventario balanceado de respuestas socialmente deseables. [Presentación de poster] VII Congreso Internacional de Investigación y Práctica Profesional en Psicología XXII Jornadas de Investigación XI Encuentro de Investigadores en Psicología del MERCOSUR. Buenos Aires, Argentina. https://www.aacademica.org/000-015/967

Nissen-Lie, H. A., Havik, O. E., Høglend, P. A., Monsen, J. T. y Rønnestad, M. H. (2013). The contribution of the quality of therapists’ personal lives to the development of the working alliance. Journal of Counseling Psychology, 60(4), 483–495. https://doi.org/10.1037/a0033643

Orlinsky, D. E., Strauss, B., Rønnestad, M. H., Hill, C. Castonguay, L., Willutzki, U., Hartman, A., Taubner, S. y Carlsson, J. (2015). A Collaborative Study of Development in Psychotherapy Trainees. Psychotherapy Bulletin, 50(4), 21-25. https://societyforpsychotherapy.org/a-collaborative-study-of-development-in-psychotherapy-trainees/

Orlinsky, D. et al. (1999). Development of psychotherapists: concepts, questions, and methods of a collaborative international study. Psychotherpy Research, 9(2), 127-153. https://doi.org/10.1080/10503309912331332651

Osterlind, S. J. (1990). Constructing test items: multiple-choice, constructed- response, performance, and other formats. Kluwer Academic Publishers.

Parry, G. D., Crawford, M. J. y Duggan, C. (2016). Iatrogenic harm from psychological therapies—time to move on. The British Journal of Psychiatry, 208(3), 210-212. http://doi.org/10.1192/bjp.bp.115.163618

Pitts, J., Coles, C. y Thomas, P. (2001). Enhancing reliability in portfolio assessment: 'shaping' the portfolio. Medical Teacher, 23(4), 351-356, https://doi.org/10.1080/01421590120057021

Puppetto, P. (2017). Autopercepción de alumnos avanzados de la carrera de psicología de la provincia de Mendoza sobre sus competencias clínicas. [Tesina de grado no publicada]. Pontificia Universidad Católica Argentina, Buenos Aires.

Rodolfa, E., Bent, R., Eisman, E., Nelson, P., Rehn, L. y Ritchie, P. (2005). A cube model for competency development: implications for psychology educators and regulators. Professional Psychology: Research and Practice, 36(4), 347-354. https://doi.org/10.1037/0735-7028.36.4.347

Rodríguez Gómez, G., Ibarra Saiz, M. S. y Cubero Ibáñez, J. (2018). Competencias básicas relacionadas con la evaluación. Un estudio sobre la percepción de los estudiantes universitarios. Educación XX1, 21(1), 181-208. https://doi.org/10.5944/educxx1.20184

Sánchez-Bahíllo, Á., Aragón-Alonso, A., Sánchez-Bahíllo, M. y Birtle, J. (2014). Therapist characteristics that predict the outcome of the outcome of multipatient psychotherapy: systematic review of empirical studies. Journal of Psychiatric Research, 53, 149-156. https://doi.org/10.1016/j.jpsychires.2014.01.016

Smith, K. y Tillema, H. (2003). Portfolios for professional development. A research Journey. Nova Science Publishers.

Tornimbeni, S., Pérez, E. y Olaz, F. (2004). Introducción a la psicometría. Paidós.

Trechera Herreros, J. L., Morales-Fernández, E. J. y Gómez Baya, D. (9-11 de julio de 2015). Propiedades psicométricas de una escala para evaluar competencias en alumnos del grado de psicología. Proceedings del XII Foro Internacional sobre Evaluación de la Calidad de la Investigación y la Educación Superior Sevilla, España.

Wallander, L. (2012). Measuring social workers' judgements: Why and how to use the factorial survey approach in the study of professional judgements. Journal of Social Work, 12(4), 364-384. https://doi.org/10.1177/1468017310387463

Ward, M., Gruppen, L. y Regehr, G. (2002). Measuring self-assessment: current state of the art. Advances in Health Sciences Education, 7(1), 63–80. https://doi.org/10.1023/A:1014585522084

Webb, C. A., Derubeis, R. J. y Barber, J. P. (2010). Therapist adherence/competence and treatment outcome: A meta-analytic review. Journal of Consulting and Clinical Psychology, 78(2), 200–211. https://doi.org/10.1037/a0018912

Zayyan, M. (2011). Objective structured clinical examination: the assessment of choice. Oman Medical Journal, 26(4), 219–222. https://doi.org/10.5001/omj.2011.55