EL TEST DE ASOCIACIONES IMPLÍCITAS (IMPLICIT ASSOCIATION TEST). UNA REVISIÓN METODOLÓGICA
The Implicit Association Test. A Methodological Review
EL TEST DE ASOCIACIONES IMPLÍCITAS (IMPLICIT ASSOCIATION TEST). UNA REVISIÓN METODOLÓGICA
Revista Iberoamericana de Diagnóstico y Evaluación - e Avaliação Psicológica, vol. 1, núm. 46, pp. 175-187, 2018
Associação Iberoamericana de Diagnóstico e Avaliação Psicológica
Recepción: 27 Octubre 2016
Aprobación: 06 Marzo 2017
Resumen: Los modelos de cognición social implícita han hecho importantes aportes metodológicos a la investigación psicológica. Sobre la base de estos enfoques se han desarrollado las llamadas medidas “indirectas”, cuyo ejemplo más representativo es el Test de Asociaciones Implícitas (IAT). Este trabajo se propone realizar una revisión del IAT atendiendo especialmente a las críticas recibidas en relación con su validez. Se analizan distintos problemas sobre su estructura interna, la naturaleza de los procesos subyacentes a las respuestas, y los posibles efectos contaminantes de otras variables. En cada caso, se realizan recomendaciones para su construcción y aplicación. Se espera que este trabajo incentive el uso adecuado del IAT en los países de habla hispana, donde el procedimiento se encuentra aún escasamente difundido.
Palabras clave: cognición social implícita, medidas indirectas, Test de Asociaciones Implícitas, validez.
Abstract: Implicit social cognition models gave relevant methodological inputs to psychological research. On the basis of these models the so called indirect measures have been developed, being the most representative of them the Implicit Association Test (IAT). The present paper is a revision of the research about the IAT, specially about the critics made of its validity. The paper analyzes different problems regarding its internal structure, the nature of the underlying processes, and the possible effects of confounding variables. Recommendations for the IAT construction and application are given. It is expected that this revision stimulate the correct use of the IAT in Spanish speaking countries where this procedure is scarcely spread.
Keywords: implicit social cognition, indirect measures, Implicit Association Test, validity.
Introducción
En las últimas décadas el área de la cognición social implícita ha hecho aportes fundamentales en el desarrollo de instrumentos psicológicos (Hofmann, Gawronski, Gschwendner, Le, & Schmitt, 2005). Estas innovaciones metodológicas aportaron información novedosa y ampliaron las posibilidades de estudio para muchos constructos de interés (e.g. actitudes, estereotipos, auto-concepto). Las nuevas medidas denominadas indirectas, a diferencia de los métodos directos convencionales, ofrecieron la oportunidad de evaluar contenidos mentales implícitos a través del rendimiento en tareas de tiempo de respuesta (Blair, Dasgupta, & Glaser, 2015; Tello, Bravo, & Martínez, 2010). Una de las particularidades de estos métodos es que no dependen de la introspección y limitan la posibilidad de que los participantes controlen sus respuestas (Nosek, Greenwald, & Banaji, 2007; Egloff, Schwerdtfeger, & Schmukle, 2005).
Aunque en la actualidad existen múltiples medidas indirectas, el Test de Asociación Implícita (IAT; Greenwald, McGhee, & Schwartz, 1998) es la prueba más reconocida (Bar-Anan & Nosek, 2014). El predominio del IAT en comparación con otras pruebas indirectas se evidencia en la cantidad de investigaciones que lo han empleado (Nosek, Howkins, & Frazier, 2011). Esta medida ha sido utilizada en muchas áreas de la disciplina, tales como psicología social, psicología de la personalidad, psicología clínica y psicología de la salud (Hofmann, et al., 2005). Por otra parte, aunque en sus orígenes se desarrolló exclusivamente para evaluar prejuicios raciales, posteriormente el IAT se utilizó para conocer los aspectos implícitos de otros fenómenos psicológicos.
Entre otras razones, la extensa aplicación del IAT podría deberse a sus ventajas relativas. En comparación con los métodos directos tradicionales se subraya su capacidad para controlar las estrategias de auto-presentación que llevan a la alteración deliberada de las respuestas (Greenwald et al., 1998). En relación a otras medidas indirectas, el IAT muestra niveles de confiabilidad superiores y mejores resultados asociados al tamaño del efecto (Blair et al., 2015; Nosek, Greenwald, & Banaji, 2005; Bar-Anan & Nosek, 2014).
A pesar de las virtudes previamente señaladas, el IAT ha sido objeto de críticas que, impulsadas en la popularidad del instrumento, alertan sobre posibles problemas de validez (Nosek et al., 2007; Rezaei, 2011). El presente trabajo tiene como objetivo realizar una revisión metodológica de las críticas que ha recibido el IAT. Primero, se describirán las características procedimentales del instrumento, la forma de calcular la puntuación que ofrece y la naturaleza de dicho resultado. Segundo, se abordarán aspectos relacionados con las propiedades psicométricas del IAT. Luego, se realizará una síntesis de las críticas que recibió el IAT, las soluciones que se han propuesto, y una serie de recomendaciones para quienes estén interesados en utilizarlo. Finalmente, se realizará una breve conclusión sobre el valor del instrumento en la actualidad y la importancia de producir más evidencias de validez.
Esperamos que esta revisión permita difundir el procedimiento entre los investigadores de habla hispana y favorecer el desarrollo de líneas de investigación en los países iberoamericanos. En esta región su uso es aún incipiente, aunque es posible encontrar algunas aplicaciones en distintos dominios, como son las actitudes (e.g. Ledesma, Tosi, Poó, Montes, & López, 2015), los prejuicios (e.g. Canales, Guerrero, Sierra, & Callejas, 2009), y el auto-concepto (e.g. Horcajo, Rubio, Aguado, Hernández, & Márquez, 2014). Se considera que existen muchos temas socialmente relevantes en la región latinoamericana que podrían verse enriquecidos a través de los datos ofrecidos por el IAT.
Procedimiento y resultado del IAT
Descripción del procedimiento
El IAT es una medida basada en tiempos de reacción que mide la fuerza de asociación entre conceptos. Por un lado, se encuentran dos categorías correspondientes al objeto, y por otro, dos categorías que representan los atributos, los cuales serán evaluativos o no dependiendo del constructo de interés. La tarea consiste en clasificar estímulos correspondientes a cuatro categorías a través de dos opciones de respuesta, en dos condiciones antagónicas llamadas bloque compatible e incompatible. El procedimiento comprende siete bloques que se pueden resumir en cinco pasos: (1) aprendizaje de las categorías del objeto (e.g. en el IAT original eran “flores” vs. “insectos”); (2) aprendizaje de las categorías de los atributos (e.g. “bueno” vs. “malo”); (3) bloque compatible (e.g. con una tecla de respuesta se clasifican estímulos de las categorías “flores y bueno”, y con la otra estímulos que representan “insectos y malo”); (4) aprendizaje de cambio de localización espacial con respecto a las categorías del objeto (e.g. si antes la categoría “flores” era clasificada desde el lado izquierdo y la categoría “insectos” desde el lado derecho, ahora serán invertidas); y (5) bloque incompatible (e.g. con una tecla de respuesta se clasifican estímulos de las categorías “flores y malo”, y con otra estímulos que representan “insectos y bueno”) (Nosek et al., 2005).
Los pasos 3 y 5 son cruciales, dado que el resultado final proviene de la diferencia en los tiempos de respuesta entre estos momentos. El IAT se apoya en la idea de que la tarea de clasificación debería ser más fácil y más rápida cuando dos conceptos emparejados en una misma respuesta se encuentran implícitamente asociados en la red semántica del participante. Por lo tanto, el IAT reflejaría una asociación cognitiva entre conceptos que operan de forma automática (Greenwald et al., 1998).
Efecto IAT: el algoritmo D
El resultado del IAT conocido como “efecto IAT”, se obtiene a través de un procedimiento de puntuación llamado “algoritmo D”. Cabe destacar que se han estudiado distintas opciones de puntuación, pero este cálculo presenta mejores resultados en relación a varios criterios psicométricos (e.g. consistencia interna) (Greenwald et al., 2003). Los pasos que sigue este algoritmo se pueden sintetizar de la siguiente manera: (1) las respuestas erróneas, las latencias menores a 300 ms y mayores a 10000 ms son eliminadas, y sustituidas por la media de las latencias correctas más 600 ms; (2) se calcula la media y desviación estándar de los bloques compatible (3 y 4) e incompatible (6 y 7) con las latencias sustituidas; (3) se calcula una única desviación estándar para los bloques compatibles y otra para los bloques incompatibles; (4) se calcula la diferencia del tiempo de respuesta del bloque 6 menos el tiempo de respuesta del bloque 3, y se realiza el mismo calculo entre el bloque 7 y 4; (5) cada diferencia es dividida por su desviación estándar; y (6) se obtienen dos puntajes D, pero se informa la puntuación de los bloques 4 y 7.
En síntesis, el “efecto IAT” surge de calcular la diferencia en los promedios de respuesta de dos condiciones distintas (bloque compatible e incompatible), y dividirlas por la desviación estándar de las latencias para ambas tareas de clasificación. Es por eso que el algoritmo D aplica una estandarización individual similar a la medida d del tamaño del efecto propuesta por Cohen (Teige-Mocigemba & Christoph Klauer, 2015; Nosek, et al., 2005).
El efecto IAT es “relativo”
El IAT ha sido criticado por ofrecer resultados relativos dado que no evalúa una única categoría, sino la fuerza de asociación entre distintos conceptos (Nosek, et al., 2005). Como se señaló previamente el efecto IAT se obtiene a partir de la diferencia en el desempeño del participante en dos tareas de clasificación distintas. En este sentido, el resultado surge de la comparación entre dos puntajes que indican la fuerza de asociación relativa entre conceptos. Para resolver esta limitación se han sugerido algunos intentos de solución (Nosek et al., 2007).
Uno de ellos consistió en la aplicación de métodos analíticos diseñados para medir asociaciones absolutas, los cuales utilizan solamente los tiempos de respuesta de aquellos ensayos correspondientes a una de las categorías del objeto. Sin embargo, estos métodos son limitados porque los datos de las respuestas a una categoría no son independientes de las respuestas dadas a la categoría opuesta. En segundo lugar, se propuso como solución contrastar la categoría que se busca estudiar de forma absoluta con otra categoría neutral que no genere una variabilidad significativa sobre la medición. No obstante, en este caso el problema principal radica en la seguridad de encontrar una categoría realmente neutra.
Una tercera forma de inferir asociaciones absolutas a través del IAT fue utilizar solamente tres categorías, una para el objeto de valoración y dos para los atributos. Esto implicaría usar una tecla de respuesta para dos categorías (e.g. “insectos y malo”) y asignar una sola categoría a la otra tecla (e.g. “bueno”). La dificultad con este tipo de solución se encuentra en las evidencias sobre la disminución de la validez interna del instrumento. Por último, la cuarta alternativa consistió en el desarrollo de nuevos métodos indirectos construidos para evaluar asociaciones absolutas. Actualmente, es posible advertir la existencia de varias medidas que intentan ofrecer resultados absolutos (e.g. SC-IAT, GNAT), pero la dificultad principal se encuentra en que, en general, presentan problemas psicométricos (Gawronski & Payne, 2010). Solamente una de las nuevas medidas, el BIAT, ha mostrado resultados de validez y confiabilidad similares al IAT (Bar-Anan & Nosek, 2014).
Críticas y evidencias internas de validez
Uno de los puntos de discusión relacionados con el IAT remite a los problemas asociados a su estructura interna, como son los estímulos seleccionados, el grado de confiabilidad, las posibilidades de manipular las respuestas, la estructura en bloques, y el orden de aplicación con los métodos directos. A continuación, se analizarán cada uno de estos puntos.
Estímulos utilizados en el IAT
Las investigaciones previas abordaron varios aspectos relacionados con los estímulos del IAT. En primer lugar, fueron señaladas algunas recomendaciones a considerar al momento de seleccionar los estímulos que representan las categorías del objeto (Nosek, et al., 2007). Una primera sugerencia implica definir claramente las categorías de pertenencia de los estímulos a incorporar, con el fin de que los participantes las identifiquen fácilmente y no las confundan con otras categorías de la tarea. En segundo lugar, los estímulos seleccionados deberían ser clasificados en función de aspectos relevantes para las categorías estudiadas y no a partir de rasgos que son irrelevantes para la misma. Es decir, las características de los estímulos deberían representar el concepto de interés.
Otra cuestión asociada a los estímulos del IAT que fue objeto de atención corresponde a la cantidad de estímulos mínimos que debería contener cada categoría. La evidencia indica que los efectos del IAT disminuyen su confiabilidad cuando se utiliza solo un estímulo por categoría. Por consiguiente, para obtener resultados consistentes se recomienda el uso de al menos cuatro estímulos por categoría (Nosek et al., 2005). También se ha planteado la posibilidad de construir el IAT utilizando estímulos de distintas modalidades (e.g. visuales, verbales) (Nosek et al., 2007). No obstante, algunas investigaciones muestran que los resultados del IAT varían de acuerdo al tipo de estímulo, lo que se conoce como efecto de modalidad, basado en la activación de valoraciones menos extremas cuando se utilizan imágenes (Carnevale, Fujita, Han, & Amit, 2014). Esto podría considerarse esperable en base a las diferencias en la naturaleza de las palabras e imágenes.
En un estudio reciente, Meissner y Rothermund (2015) propusieron una forma alternativa de entender las consecuencias del tipo de estímulo sobre las puntuaciones en el IAT. Los autores plantearon que el efecto de modalidad se produce debido a las diferencias en la clase de estímulos utilizados entre las categorías de los atributos (siempre se usan palabras) y las del objeto (varían entre palabras e imágenes). La presencia de actitudes más débiles en el caso de las imágenes podría explicarse a través del uso de diferentes modalidades de estímulo entre las categorías del objeto y las categorías de los atributos. Esto significa que las asociaciones más débiles en el IAT se deberían a la combinación de estímulos de distinta modalidad, no al uso de imágenes en sí mismas.
El IAT como medida de similitud
Otro aspecto de especial interés relacionado con los estímulos utilizados proviene de las similitudes entre las categorías incluidas dentro del IAT. Desde esta perspectiva, las personas no responderían al IAT solamente en base a sus asociaciones entre conceptos en la memoria semántica, sino en función de distintos tipos de similitud entre los estímulos (e.g. semejanzas perceptuales de forma) (De Houwer et al., 2009). Quienes sostienen esta hipótesis definen al IAT como una medida de similitud que evaluaría diferentes clases de semejanza entre los estímulos (De Houwer, Geldof, & De Bruycker, 2005).
La hipótesis sobre la influencia de la similitud concuerda con los efectos de saliencia o asimetría figura-fondo. Este efecto plantea que una persona responde más rápido cuando las categorías asignadas a la misma tecla son similares en cuanto a su saliencia (Rothermund & Wentura, 2004). El concepto de saliencia se refiere a la posibilidad de que las cuatro categorías del IAT sean agrupadas en función del grado en que sobresalen o se destacan. En este sentido, las categorías más salientes actuarán como figura, mientras que las menos salientes serán el fondo.
En el procedimiento del IAT la asimetría en la saliencia se produce durante el bloque compatible, pero la clasificación de los estímulos en función de su saliencia es imposible en el bloque incompatible. Por lo tanto, las diferencias en los tiempos de respuesta de cada bloque se deberían a dicha asimetría, con independencia de las asociaciones que inicialmente intenta medir el instrumento (Rothermund & Wentura, 2004). Así, la actividad de clasificación en el IAT se reduciría a una tarea de búsqueda visual.
Cabe destacar que, como afirman Rothermund y Wentura (2004), el efecto de asimetría figura-fondo constituye un fenómeno universal propio del funcionamiento psicológico, basado en el intento de organizar la información ambiental de forma dicotómica de acuerdo a distintas formas de saliencia. En todo caso, es importante ser cautelosos al momento de seleccionar los estímulos que serán parte del IAT, e identificar los potenciales orígenes de la asimetría figura-fondo (características perceptuales, valencia, y familiaridad). Esto propiciaría la medición de asociaciones cognitivas y reduciría la influencia de similitudes que no son relevantes.
Orden de presentación de los bloques
Un factor que ha sido estudiado desde los inicios del IAT comprende la influencia del orden de presentación de los bloques, de manera que cuando el participante completa primero el bloque compatible se incrementan las diferencias con el bloque incompatible (Greenwald et al., 1998). No obstante, el impacto del orden de los bloques ha sido reducido a través del aumento en la cantidad de ensayos en el paso cuatro de la tarea (de 20 a 40), donde se presentan de forma invertida las categorías del objeto de valoración (Nosek et al., 2005). Además, el procedimiento de contrabalanceo también limita la influencia de este efecto (Nosek et al., 2007). Por lo tanto, a pesar de reconocer la importancia del orden de presentación de los bloques, el incremento en el número de ensayos y el contrabalanceo son recomendaciones útiles para controlar sus efectos.
Orden de administración del IAT y las medidas directas
En general, el IAT es utilizado en combinación con métodos directos basados en técnicas de auto-informe. El uso complementario de estos instrumentos llevó a discutir sobre el orden de aplicación del IAT y las medidas directas, otro factor procedimental que también podría influir en los resultados.
Se podría sugerir que la realización de una actividad primero, activaría ciertas cogniciones y mejoraría su accesibilidad, lo cual afectaría en el desempeño de la segunda tarea. Pero, al contrario de lo que se cree, las investigaciones muestran que la presentación del IAT antes o después de una medida directa provoca efectos de nulos a muy bajos sobre los resultados (Hofmann, et al., 2005; Nosek, et al., 2005; Nosek, et al., 2007). De todos modos, en caso de que la influencia sea mínima, una manera de neutralizarla consiste en el contrabalanceo en el orden de presentación de las medidas directas y el IAT (Greenwald, Poehlman, Uhlmann, & Banaji, 2009).
Manipulación de la respuesta (Falsificación)
La posibilidad de que los participantes manipulen sus respuestas para lograr la puntuación que desean constituye otro factor que puede afectar la validez interna del IAT. Es posible suponer que dicha manipulación resulta más compleja cuando se trata de métodos indirectos, si se tiene en cuenta que éstos limitan las posibilidades de controlar la respuesta, y no aclaran qué miden ni cómo lo miden (Nosek et al., 2007). En correspondencia con dicha hipótesis la mayoría de los estudios señalan que las respuestas dadas en el IAT son menos manipulables que en los auto-informes (e.g. Egloff & Schmukle, 2002). Sin embargo, es importante subrayar que la experiencia repetida con el IAT puede incrementar las posibilidades de manipulación. Al mismo tiempo, se encuentran resultados similares cuando se enseña a los participantes la naturaleza del procedimiento. En síntesis, más allá de estos dos factores el IAT se ha mostrado resistente a la falsificación a través del control de las respuestas (Nosek, et al., 2007).
Confiabilidad del IAT
Uno de los motivos fundamentales para entender la aceptación del IAT corresponde a las evidencias de confiabilidad. A diferencia de otros métodos indirectos (e.g. Go/No-go Association Task), el IAT muestra niveles de consistencia interna que oscilan entre 0,70 y 0,90 (Nosek, et al., 2007). En los estudios realizados en países de habla hispana que analizan la consistencia interna del IAT se observan resultados similares que fluctúan entre 0,75 y 0,93 (Sánchez-Miranda, 2016; Horcajo et al., 2014; Sánchez & Vinzoneo, 2013; Sánchez, de la Garza González, & Isolde Hedlefs, 2016). Sin embargo, su debilidad principal se halla en la confiabilidad test-retest, puesto que se observan valores de 0,25 a 0,69 con una estimación promedio de 0,50, independientemente de la duración del intervalo entre cada momento (Lane et al., 2007). En la misma línea, Bar-Anan y Nosek (2014) analizaron las propiedades psicométricas de siete métodos indirectos, y encontraron que el IAT era superior en términos de consistencia interna (más allá del constructo evaluado), pero al igual que en la mayoría de los otros métodos su estabilidad test-retest era baja.
La explicación de esta discrepancia entre los resultados de consistencia interna y la confiabilidad test-retest se encontraría en los efectos del contexto sobre el puntaje final del instrumento. La estabilidad temporal del IAT dependería de cambios personales, situacionales y ambientales (Rezaei, 2011). Por lo tanto, el IAT se podría concebir como una medida de estado debido a su sensibilidad frente a los cambios en el constructo estudiado, o bien, como una medida de rasgo -no confiable- como consecuencia de su propia susceptibilidad a los cambios en las fuentes de varianza que no dependen del constructo evaluado (e.g. efectos de aprendizaje) (Gawronski & Payne, 2010).
No obstante, Nosek, et al. (2007) advierten que los promedios de estabilidad temporal de la medida se obtienen de una amplia variedad de dominios (e.g. actitudes, prejuicios raciales, personalidad) que podrían influir en las variaciones y, sin embargo, no son considerados. En todo caso, los problemas asociados a la confiabilidad del IAT suponen un desafío a superar a través del desarrollo de futuras investigaciones.
¿Qué atributo psicológico mide el IAT?
En sus inicios Greenwald et al. (1998) afirmaban que el IAT buscaba medir actitudes implícitas relativas basadas en evaluaciones automáticas, las cuales eran representadas como asociaciones en la memoria. Sin embargo, aún no está claro qué mide exactamente el IAT.
En general, se entiende que los métodos indirectos reflejan en sus resultados un atributo psicológico determinado por procesos automáticos que son menos controlados e intencionales, más autónomos, inconscientes y eficientes (De Houwer & Moors, 2007). Es interesante destacar que estos procesos no siempre ocurren simultáneamente y, por lo tanto, una medida puede ser “implícita” debido a la influencia de solo alguno de ellos (De Houwer, Teige-Mocigemba, Spruyt, & Moors, 2009). En relación al IAT se registran evidencias sobre la presencia de ciertos procesos automáticos. Principalmente, los estudios relacionados con la resistencia de la medida frente a las posibilidades de manipular las respuestas permitirían inferir que los efectos del IAT dependen de procesos menos controlados, menos intencionales y más autónomos (Steffens, 2004).Por otra parte, se sostiene que el IAT mide atributos psicológicos que dependen de procesos inconscientes. Ahora bien, un punto central es delimitar si los participantes son inconscientes de: (a) el estímulo que activa el atributo; (b) el origen del atributo; (c) el efecto del atributo sobre el desempeño en la tarea; o (d) el modo por el cual el atributo determina el desempeño en la tarea (De Houwer & Moors, 2007; Bargh, 1994). En primer lugar, los efectos del IAT no son inconscientes en el sentido indicado en el punto “a”, porque el procedimiento exige necesariamente que los participantes conozcan las categorías y los estímulos que van a clasificar. Ahora bien, en cuanto a los puntos “b”, “c” y “d” las evidencias son contradictorias (De Houwer et al., 2009).
Finalmente, se considera que el IAT evalúa atributos psicológicos basados en procesos automáticos más eficientes (es decir, se necesitan pocos recursos atencionales para realizar la tarea), lo cual se encontraría fundamentado por estudios previos que manipulan la carga mental a través de la realización de tareas duales (e.g. Schmitz, Teige, Voss, & Klauer, 2005).
En síntesis, todavía no está claro qué procesos automáticos participan en los efectos del IAT y, por ende, tampoco se sabe con precisión en qué sentido el IAT evalúa atributos psicológicos implícitos. Asimismo, la confusión sobre lo que mide el IAT es mayor si se consideran las investigaciones que muestran la influencia de otras fuentes de variación en sus resultados (De Houwer et al., 2009). En lo que sigue se comentan algunas de estas fuentes de variabilidad que son ajenas a las asociaciones implícitas que se intentan medir.
Conocimiento Extrapersonal
Algunos autores han sugerido que las variaciones observadas en los efectos del IAT son causadas por asociaciones extrapersonales (Olson & Fazio, 2004). Estos contenidos mentales tendrían su origen en supuestos compartidos dentro de una cultura que no necesariamente responden a evaluaciones personales (Gawronski & Payne, 2010). En consecuencia, el IAT evaluaría conocimientos sociales interiorizados que no representan la respuesta personal de un individuo. Para resolver esta dificultad Olson y Fazio (2004) desarrollaron una versión modificada del instrumento que logre retener contenidos implícitos de naturaleza personal. No obstante, la nueva medida fue fuertemente criticada, dado que suestructura no cumplía con las características necesarias para definirse como un método indirecto (Gawronski & Payne, 2010).
Además, a nivel conceptual y empírico se ha puesto en tela de juicio el valor de la diferencia entre las asociaciones personales y sociales (De Houwer, et al., 2009). Principalmente porque las asociaciones mentales tienen influencia sobre los pensamientos, sentimientos y acciones independientemente de si su origen es social o personal (Nosek & Hansen, 2008).
Habilidades cognitivas
Otra fuente de variabilidad en los efectos del IAT puede encontrarse en los atributos psicológicos asociados a las habilidades cognitivas (De Houwer, et al., 2009). Uno de ellos remite a un problema que afecta a cualquier medida basada en tiempos de respuesta: las diferencias individuales en la velocidad de respuesta, la cual además se encuentra asociada a la edad de los participantes (Nosek, et al., 2007). Se ha observado que el aumento de la edad disminuye el rendimiento de las habilidades cognitivas y, por ende, los efectos del IAT tienden a ser mayores. De todos modos, la influencia de estos factores depende de la forma de calcular los efectos del IAT. Cuando las diferencias entre los dos bloques del IAT son estandarizadas a través del algoritmo D se reduce significativamente la relación entre las habilidades cognitivas, la edad y el puntaje del IAT (Greendwald et al., 2003; De Houwer, et al., 2009).
En resumen, la evidencia actual indica que el IAT permite estudiar asociaciones implícitas en la memoria, aunque aún no se ha delimitado con precisión qué tipos de procesos automáticos consigue medir. Simultáneamente, se conocen otros atributos psicológicos (e.g. habilidades cognitivas) que también participan en los efectos del IAT. En este sentido, una interpretación apropiada de los resultados que arroja la medida implica considerar los problemas asociados a la delimitación de los atributos psicológicos que intervienen en la tarea.
Convergencia con medidas implícitas
Los estudios que analizan la convergencia entre el IAT y otros métodos indirectos muestran resultados sorprendentes. Lo esperable sería que estos métodos se encuentren relacionados, puesto que hipotéticamente miden constructos teóricos similares. Sin embargo, la literatura existente indica lo contrario. En general, las correlaciones entre los métodos indirectos son bajas (Gawronski & Payne, 2010). Cabe destacar que estos resultados no son exclusivos de las investigaciones anglosajonas. En España, Horcajo et al. (2014) encontraron que dos IATs se relacionaban entre sí, pero mostraban una correlación muy baja con una versión modificada del IAT que evaluaba una única categoría. También en México, Sánchez et al. (2016) observaron que el IAT no se asociaba a dos tareas de priming afectivo.
Para comprender estos resultados se han planteado una serie de factores capaces de influir en la consistencia entre las medidas. En primer lugar, con excepción del IAT la mayoría de las medidas indirectas muestran bajos niveles de confiabilidad (menores a 0,50), lo cual afecta directamente las correlaciones entre ellas (Nosek, et al., 2007). En efecto, en estudios que tienen en cuenta la confiabilidad de cada método las correlaciones tienden a aumentar a niveles de 0,53-0,77 (Cunningham, Preacher, & Banaji, 2001).
En segundo lugar, la consistencia entre medidas indirectas podría verse afectada por el grado de similitud metodológica entre cada medida (Payne et al., 2008). Por ejemplo, Bar-Anan y Nosek (2014) encontraron correlaciones de 0,41-0,51 entre cuatro medidas indirectas (IAT, BIAT, GNAT y ST-IAT) y, atribuyeron el grado de asociación a las semejanzas en los procedimientos de tales métodos.
Por último, las bajas correlaciones entre métodos indirectos se atribuyen a la heterogeneidad de los procesos psicológicos que contribuyen a los resultados de cada medida (Nosek et al., 2007). Como señalaron De Houwer et al. (2009) los procesos automáticos que participan en los atributos psicológicos evaluados por las medidas indirectas comprenden diversos aspectos (e.g. consciencia, eficiencia). Por lo tanto, los métodos indirectos serían “implícitos” en distintos sentidos, dado que los procesos automáticos que generan variaciones en sus resultados tendrían una influencia diferencial sobre cada medida.
Relación con medidas explícitas
La validez del IAT también ha sido estudiada en cuanto a su relación con las técnicas directas. Sobre la base de que los métodos directos e indirectos evalúan constructos teóricamente diferentes aunque relacionados, se esperarían correlaciones más bajas o nulas. En correspondencia con dicha suposición un meta-análisis mostró promedios de correlaciones bajas de .24 (Hofmann, et al., 2005). Sin embargo, en otro estudio se observó una consistencia entre medidas directas e indirectas más alta (r=0,37) (Nosek, 2005). Las diferencias en los resultados de estas investigaciones se han explicado a través de la presencia de variables que moderan la relación (Hofmann, et al., 2005). Un primer factor moderador es el tipo de dominio estudiado, dado que las correlaciones son mayores en el caso de las investigaciones sobre conductas de consumo o actitudes políticas, mientras que las mismas disminuyen cuando se trata de estudios sobre estereotipos o autoestima (Bar-Anan & Nosek, 2014).
En investigaciones latinoamericanas y españolas es posible advertir una situación similar en cuanto a la importancia del dominio abordado. Mientras que en un estudio sobre preferencias implícitas por candidatos presidenciales mexicanos se encontraron correlaciones altas (Sánchez & Vinzoneo, 2013), en investigaciones que analizaron prejuicios implícitos hacia distintos grupos (e.g. personas con sobrepeso, hombres homosexuales) se encontraron correlaciones nulas (Canales et al., 2009; Cárdenas & Barrientos, 2008; Sirlopú et al., 2012). Por su parte, existen otros estudios latinoamericanos sobre dominios menos estudiados (e.g. actitudes hacia conductas en el tránsito, relación entre riesgo y auto-concepto, y preferencia por la naturaleza), donde se observan correlaciones de bajas a moderadas (Ledesma et al., 2015; Horcajo et al., 2014; Olivos & Aragonés, 2013). En correspondencia con la literatura inglesa, estas variaciones en el efecto del dominio sobre la consistencia entre medidas podrían asociarse al grado de espontaneidad al momento de responder a las medidas directas.
Un segundo factor moderador se encontró en el ajuste estructural entre los métodos (Payne, Burkley, & Stokes, 2008). Hofmann, et al. (2005) analizaron un aspecto específico del ajuste estructural que se conoce como correspondencia conceptual (i.e. semejanza en el nivel de abstracción y de especificidad con el que se realiza la medición). Para esto se focalizaron particularmente en dos aspectos de dicha correspondencia: afectividad y dimensionalidad. Por un lado, se observaron correlaciones más altas entre el IAT y los métodos directos centrados en aspectos emocionales, comparado con aquellos que evaluaban componentes cognitivos. Por otro lado, las medidas directas “relativas” presentaron mayor grado de asociación con el IAT que los métodos directos “absolutos”. Esto significa que la falta de correspondencia conceptual entre las medidas reduce la consistencia implícita-explícita.
Asimismo, el ajuste estructural implica otras diferencias entre los métodos que van más allá de la correspondencia conceptual, como son el tipo de estímulo utilizado (e.g. oraciones que expresan ideas vs. palabras o imágenes), el nivel de abstracción de la respuesta (e.g. una opinión social vs. una clasificación), o la métrica para medir la respuesta (e.g. escala numérica vs. tiempos de respuesta). Como muestran los aportes de Payne et al. (2008) cuando el ajuste estructural de las medidas es mayor se observan correlaciones más altas entre ellas.
Las evidencias previamente comentadas han generado discusiones al momento de su interpretación, dado que mientras algunos consideran que la correlación implícita-explícita es un indicador de validez discriminante otros la concibenen términos de validez convergente (Gawronski & Payne, 2010). El problema gira en torno a la posibilidad de establecer si los métodos directos e indirectos evalúan distintos constructos que se encuentran relacionados (Nosek et al., 2007) o, por el contrario, si miden un solo constructo en el que intervienen distintos procesos (Hofmann et al., 2005). En todo caso, se trata de una cuestión aún no resuelta que refleja la necesidad de ser cautelosos en la interpretación de la convergencia implícita-explícita.
Capacidad predictiva del IAT
Existen varios antecedentes previos que reflejan la capacidad del IAT para predecir comportamientos futuros (Nosek, et al., 2007). No obstante, su validez predictiva varía en función del tema estudiado. En investigaciones que evalúan dominios socialmente sensibles (e.g. prejuicios) los resultados en el IAT constituyen un mejor predictor que los métodos directos. En cambio, cuando se abordan dominios que no se ven tan afectados por sesgos como la deseabilidad social (e.g. preferencias por marcas) los métodos directos y el IAT son capaces de anticipar conductas, aunque los primeros muestran mejores resultados (Greenwald et al., 2009; Domínguez, Salas, & Reyes-Lagunes, 2008). Además, el IAT y los métodos directos presentan validez incremental en la predicción del criterio medido. Esto significa que cada medida explica una parte de la varianza que la otra no y, en consecuencia, la predicción es mejorada cuando se aplican los dos tipos de métodos.
En el contexto iberoamericano se observan resultados semejantes. Por ejemplo, Horcajo et al. (2014) analizaron la posibilidad de predecir comportamientos de riesgo a través del IAT y varias medidas directas, y encontraron que solo el procedimiento indirecto se asociaba a dicha conducta. Por otro lado, Olivos y Aragonés (2013) observaron que el IAT se relacionaba a la frecuencia informada de comportamientos pro-ambientales, aunque las medidas directas mostraban relaciones más fuertes (Olivos & Aragonés, 2013). Como señalan Greenwald et al. (2009) la diferencia entre esta investigaciones podría deberse a la influencia del efecto de deseabilidad social sobre las medidas directas, el cual tiene mayor o menor peso de acuerdo al dominio.
En conclusión, las evidencias muestran que tanto el IAT como los métodos directos tienen la capacidad de predecir conductas. Sus diferencias radican en el grado de influencia que tiene el sesgo de deseabilidad social sobre el dominio que se intenta predecir. Sin embargo, la validez incremental que aportan los métodos directos y el IAT justifica la necesidad de utilizarlos de manera conjunta.
Síntesis de los problemas recorridos
Como forma de sintetizar los temas desarrollados a lo largo del trabajo en la Tabla 1 pueden observarse los principales problemas del IAT, así como también los caminos que han resultado pertinentes para solucionar cada dificultad. Asimismo, en la tabla se señalan algunas recomendaciones a tener en cuenta en caso de utilizar el instrumento.
Conclusión
En este trabajo se realizó una revisión metodológica basada en el conocimiento disponible sobre el IAT. Una primera conclusión es que, entre la diversidad de métodos indirectos desarrollados en la actualidad, la vitalidad de este procedimiento es indudable.
| Críticas y/o problemas del IAT | Soluciones | Recomendaciones |
| Efecto IAT “relativo” | La única solución con resultados positivos fue el desarrollo de nuevas medidas indirectas. | Se recomienda recurrir a otras medidas indirectas capaces de evaluar asociaciones “absolutas”. |
| Problemas asociados a los estímulos: -cantidad y calidad de los estímulos -efecto de modalidad y efecto de emparejamiento -es una medida de similitud | -En relación a la cantidad y calidad de estímulos existen evidencias concretas que permiten establecer recomendaciones. -Aún no existe consenso sobre la interpretación y solución de los efectos citados. -Es posible que se midan similitudes que no son pertinentes, pero esto no impide la evaluación de asociaciones cognitivas. | -Se sugiere seleccionar estímulos que representen adecuadamente las categorías evaluadas. -Al menos deberían utilizarse cuatro estímulos para cada categoría. |
| Estructura de bloques | Los estudios muestran que el incremento en la cantidad de ensayos en el paso cuatro, y el contrabalanceo de los bloques son dos procedimientos útiles para superar dicha dificultad. | Actualmente, el instrumento está conformado por una mayor cantidad de ensayos en el paso cuatro y, a su vez, realiza automáticamente un contrabalanceo en la presentación de los bloques. |
| Orden de administración del IAT y las medidas directas | La evidencia empírica muestra que los efectos son de bajos a nulos. | A pesar de las evidencias se sugiere, de forma preventiva, utilizar el procedimiento de contrabalanceo de las medidas. |
| Las respuesta dadas al IAT pueden manipularse | La evidencia empírica señala que los participantes presentan dificultades para controlar las respuestas al IAT. | Se sugiere tener en cuenta la cantidad de veces que la persona completó la tarea. La exposición repetida al IAT puede incrementar la probabilidad de manipular la respuesta. |
| Baja confiabilidad test-retest | Aunque se plantean diferentes interpretaciones, aún no existe una solución para este problema. | Se requieren nuevas investigaciones. |
| Confusiones asociadas al constructo psicológico que evalúa el IAT: -no evalúa procesos automáticos | -Algunos estudios muestran que el IAT evalúa procesos menos controlados, menos intencionales y más eficientes. No está claro si analiza procesos inconscientes. | Se requieren nuevas investigaciones. |
| Confusiones asociadas al constructo psicológico que evalúa el IAT: -evalúa asociaciones extrapersonales | La diferencia entre asociaciones personales y sociales no es pertinente a nivel teórico y empírico. | No se desprenden recomendaciones a partir de esta discusión. |
| Las habilidades cognitivas y la edad influyen en el resultado | El uso del puntaje D limita los efectos de estas variables. | El resultado final que ofrece la tarea debe basarse en el puntaje D |
| Baja correlación entre métodos indirectos | La correlación depende de varios factores: -baja confiabilidad de otras medidas indirectas -Ajuste estructural -Es posible que cada medida evalúe procesos automáticos distintos | Tener en cuenta la confiabilidad de las medidas al momento de analizar sus correlaciones, así como también su grado de ajuste estructural. |
| Bajas a moderadas correlaciones con métodos directos | Existen variables moderadoras: -tipo de dominio estudiado -Características de las medidas asociadas a la afectividad y dimensionalidad | Se sugiere tener en cuenta el dominio analizado y las similitudes estructurales entre las medidas. |
| Su validez predictiva depende del dominio estudiado | El grado de deseabilidad social del comportamiento analizado resulta determinante. | Se recomienda el uso combinado del IAT con los métodos directos. Cada uno ofrece información específica. Se recomienda incluir medidas de deseabilidad social. |
Su presencia preponderante y su popularidad dentro de los estudios sobre cognición social implícita no pueden atribuirse a factores arbitrarios. Como indican Bar-Anan & Nosek (2014) el IAT es la medida indirecta con mejorespropiedades psicométricas. No obstante, hemos identificado críticas pertinentes que señalan sus limitaciones. Algunas de ellas parecen superadas, de donde se desprenden recomendaciones al momento de utilizar el procedimiento. Otras aún no hallan solución y, por esta razón, precisan de mayor investigación.
Aún persisten ciertas discusiones, y no hay un acuerdo claro sobre el tipo de procesos automáticos que evalúa el IAT. Como se destacó a lo largo del trabajo, los efectos del IAT no solamente expresan asociaciones implícitas entre conceptos (De Houwer, et al., 2009). Este problema sugiere la necesidad de profundizar en el estudio de las diversas fuentes de variabilidad que influyen en los resultados del IAT. Otra crítica que merece mención es que el IAT ofrece resultados limitados en investigaciones que buscan conocer asociaciones absolutas. Aunque es un problema importante se trata de una limitación que depende de los objetivos del investigador. Quienes sostienen esta crítica señalan también que en ciertas investigaciones sería mejor obtener resultados “relativos” (e.g. situaciones que involucran decidir entre múltiples opciones conductuales, Jaccard & Blanton, 2007).
De esta revisión metodológica se derivan algunas implicaciones para los países latinoamericanos. Un punto importante es que la literatura en esta región, aunque es escasa, muestra coincidencias con los países anglosajones en cuanto al funcionamiento del IAT. En este sentido, parece lógico que las investigaciones utilicen aportes de los países de habla inglesa para fundamentar el uso del procedimiento. Por otra parte, algunas investigaciones transculturales muestran que la población latina se caracteriza por ofrecer respuestas socialmente más deseables, en comparación con otras poblaciones (del Carmen Domínguez Espinosa & Van De Vijver, 2014). Esta particularidad reforzaría la utilidad del IAT en nuestros países, como un procedimiento más robusto frente al sesgo de deseabilidad social.
Finalmente, es importante mencionar que este trabajo se ha limitado a ciertas cuestiones metodológicas del IAT, pensando sobre todo en contextos de investigación. No obstante, existen otros debates y cuestionamientos que surgen en ámbitos más aplicados, como la utilidad del IAT para fines de evaluación psicológica. En estos ámbitos se abren otras discusiones técnicas, aunque también debates de orden ético y legal sobre el alcance y uso de este tipo de medidas. Otros autores han aportado revisiones desde un punto de vista más aplicado. Por ejemplo, Biscarra, Conde, Cremonte, & Ledesma (2016) han realizado una revisión sobre el uso de medidas indirectas para evaluar cogniciones asociadas el consumo de alcohol, haciendo referencia directa a sus posibles usos prácticos y, especialmente, a la necesidad de incrementar la investigación sobre el desempeño de estos métodos en el ámbito clínico. Definitivamente, estos aspectos vinculados a la evaluación psicológica deberían ser objeto de más investigación y debate. En el caso particular del IAT, creemos que aún es prematura su aplicación para arribar a conclusiones o tomar decisiones que tengan consecuenciassobre las personas (Nosek et al., 2007; De Houwer et al., 2009).
Referencias
Bar-Anan, Y., & Nosek, B. A. (2014). A comparative investigation of seven implicit measures of social cognition. Behavior Research Methods, 46, 668-688. doi:0.3758/s13428-0130410-6
Bargh, J. A. (1994). The four horsemen of automaticity: Awareness, intention, efficiency, and control in social cognition. In R. S. Wyer & T. K. Srull (Eds.), Handbook of social cognition (vol. 1, pp. 1-40). Hillsdale, NJ: Erlbaum.
Biscarra, M. A., Conde, K., Cremonte, M., & Ledesma, R. (2016). Métodos indirectos para evaluar cogniciones implícitas hacia el alcohol: Una revisión conceptual. Health and Addictions/Salud y Drogas, 16(1), 5-18.
Blair, I. V., Dasgupta, N., & Glaser, J. (2015). Implicit attitudes. En M. E. Mikulincer, P. R. Shaver, J. F. Dovidio, & J. A. Simpson. Handbook of personality and social psychology, Volume 1: Attitudes and social cognition. (pp. 665-691). Washington, DC, US: American Psychological Association. doi:10.1037/14341-021
Canales, I. S., Guerrero, S., Sierra, P., & Callejas, C. (2009). Imagen corporal y prejuicios hacia la gordura en la infancia. International Journal of Developmental and Educational Psychology, 1, 97-108
Carnevale, J. J., Fujita, K., Han, H. A., & Amit, E. (2014). Immersion versus transcendence how pictures and words impact evaluative associations assessed by the Implicit Association Test. Social Psychological and Personality Science, 6, 92-100. doi:10.1177/1948550614546050
Cunningham, W. A., Preacher, K. J., & Banaji, M. R. (2001). Implicit attitude measures: Consistency, stability, and convergent validity. Psychological Science, 12, 163–170. doi:10.1111/1467-9280.00328
De Houwer, J., Geldof, T., & De Bruycker, E. (2005). The implicit association test as a general measure of similarity. Canadian Journal of Experimental Psychology/Revue canadienne de psychologie expérimentale, 59 (4), 228. doi:10.1037/h0087478
De Houwer, J., & Moors, A. (2007). How to define and examine the implicitness of implicit measures. In B. Wittenbrink & N. Schwartz (Eds.), Implicit measures of attitudes: Procedures and controversies (pp. 179-194). New York: Guilford Press.
De Houwer, J., Teige-Mocigemba, S., Spruyt, A., & Moors, A. (2009). Implicit measures: A normative analysis and review. Psychological bulletin, 135(3), 347. doi:10.1037/a0014211
del Carmen Domínguez Espinosa, A., & Van De Vijver, F. J. (2014). An indigenous social desirability scale. Measurement and Evaluation in Counseling and Development, 47(3), 199-214. doi:10.1177/0748175614522267
Domínguez, A., Salas, M. I., & Reyes-Lagunes, I. (2008). Validez concurrente de la escala de deseabilidad social de Domínguez utilizando la escala de deseabilidad social de Marlowe-Crowne. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 25(1), 125-139.
Egloff, B., & Schmukle, S. C. (2002). Predictive validity of an Implicit Association Test for measuring anxiety. Journal of Personality and Social Psychology, 83, 1441–1455. doi:10.1037/0022-3514.83.6.1441
Egloff, B., Schwerdtfeger, A., & Schmukle, S. C. (2005). Temporal stability of the Implicit Association Test – anxiety. Journal of Personality Assessment, 84(1), 82–88. doi:10.1207/s15327752jpa8401_14
Gawronski, B., & Payne, B. K. (Eds.). (2010). Handbook of implicit social cognition: Measurement, theory, and applications. New York: Guilford Press.
Greenwald, A. G., McGhee, D. E., & Schwartz, J. L. (1998). Measuring individual differences in implicit cognition: The implicit association test. Journal of personality and social psychology, 74(6), 1464. doi:10.1037/0022-3514.74.6.1464
Greenwald, A. G., Nosek, B. A., & Banaji, M. R. (2003). Understanding and using the Implicit Association Test: I. An improved scoring algorithm. Journal of Personality and Social Psychology, 85, 197–216. doi:10.1037/0022-3514.85.2.197
Greenwald, A. G., Poehlman, T. A., Uhlmann, E. L., & Banaji, M. R. (2009). Understanding and using the Implicit Association Test: III. Meta-analysis of predictive validity. Journal of personality and social psychology, 97(1), 17. doi:10.1037/a0015575
Hofmann, W., Gawronski, B., Gschwendner, T., Le, H., & Schmitt, M. (2005). A meta-analysis on the correlation between the Implicit Association Test and explicit self-report measures. Personality and Social Psychology Bulletin, 31(10), 1369-1385. doi:10.1177/0146167205275613
Horcajo, J., Rubio, V. J., Aguado, D., Hernández, J. M., & Márquez, M. O. (2014). Using the Implicit Association Test to assess risk propensity self-concept: Analysis of its predictive validity on a risk taking behaviour in a natural setting. European Journal of Personality, 28(5), 459-471. doi:10.1002/per.1925
Jaccard, J., & Blanton, H. (2007). A theory of implicit reasoned action: The role of implicit and explicit attitudes in the prediction of behavior. In I. Ajzen, D. Albarracin, and J. Hornik. Prediction and Change of Health behavior: Applying the Reasoned Action Approach. (pp. 69–91). Mahwah, New Jersey: Erlbaum.
Lane, K. A., Banaji, M. R., Nosek, B. A., & Greenwald, A. G. (2007). Understanding and using the Implicit Association Test: IV. What we know (so far). (Eds.), Implicit Measures of Attitudes. Guilford Press, New York, pp. 59-102.
Ledesma, R. D., Tosi, J., Poó, F. M., Montes, S. A., & López, S. S. (2015). Implicit attitudes and road safety behaviors. The helmet-use case. Accident Analysis & Prevention, 79, 190-197. doi:10.1016/j.aap.2015.03.030
Meissner, F., & Rothermund, K. (2015). A thousand words are worth more than a picture? The effects of stimulus modality on the implicit association test. Social Psychological and Personality Science, 6(7), 740-748. doi:10.1177/1948550615580381
Nosek, B. A., Greenwald, A. G., & Banaji, M. R. (2005). Understanding and using the Implicit Association Test: II. Method variables and construct validity. Personality and Social Psychology Bulletin, 31(2), 166-180. doi:10.1177/0146167204271418
Nosek, B. A., Greenwald, A. G., & Banaji, M. R. (2007). The Implicit Association Test at age 7: A methodological and conceptual review (Pp. 265–292). In J. A. Bargh (Ed.), Automatic processes in social thinking and behavior. New York: Psychology Press.
Nosek, B. A., & Hansen, J. J. (2008). The associations in our heads belong to us: Searching for attitudes and knowledge in implicit evaluation. Cognition and Emotion, 22, 553–594. doi:10.1080/02699930701438186
Nosek, B. A., Hawkins, C. B., & Frazier, R. S. (2011). Implicit social cognition: From measures to mechanisms. Trends in cognitive sciences, 15(4), 152-159. doi:10.1016/j.tics.2011.01.005
Olson, M. A., & Fazio, R. H. (2004). Reducing the influence of extrapersonal associations on the Implicit Association Test: Personalizing the IAT. Journal of Personality and Social Psychology, 86, 653–667. doi:10.1037/0022-3514.86.5.653
Payne, B. K., Burkley, M. A., & Stokes, M. B. (2008). Why do implicit and explicit attitude tests diverge? The role of structural fit. Journal of personality and social psychology, 94(1), 16. doi:10.1037/0022-3514.94.1.16
Rezaei, A. R. (2011). Validity and reliability of the IAT: Measuring gender and ethnic stereotypes. Computers in human behavior, 27(5), 1937-1941. doi:10.1016/j.chb.2011.04.018
Schmitz, F., Teige, S., Voss, A., & Klauer, K. C. (June, 2005). Working memory load in the IAT. Paper presented at the 5th workshop on implicit representations and personality, Berlin, Germany.
Rothermund, K., & Wentura, D. (2004). Underlying processes in the implicit association test: Dissociating salience from associations. Journal of Experimental Psychology: General, 133, 139. doi:10.1037/0096-3445.133.2.139
Steffens, M. (2004). Is the Implicit Association Test immune to faking? Experimental Psychology, 51, 165-179. doi:10.1027/1618-3169.51.3.165
Teige-Mocigemba, S. & Christoph Klauer, K. (2015). Implicit Association Test International Encyclopedia of the Social & Behavioral Sciences, 2nd edition, Volume 11.
Tello, F. P. H., Bravo, A. S., & Martínez, L. N. (2010). Análisis de la estructura de la Escala de Actitudes hacia la Inmigración en una muestra de estudiantes chilenos. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 1(29), 97-113.