Cognitive Emotional Regulation Questionnaire-18 en Universitarios: Evidencias de Validez Convergente y Discriminante

Cognitive Emotional Regulation Questionnaire-18 in College Students: Evidence of Convergent and Discriminant Validity

Sergio Dominguez-Lara
Universidad de San Martín de Porres. Instituto de Investigación de Psicología, Perú
César Merino-Soto
Universidad de San Martín de Porres, Instituto de Investigación de Psicología, Perú

Cognitive Emotional Regulation Questionnaire-18 en Universitarios: Evidencias de Validez Convergente y Discriminante

Revista Iberoamericana de Diagnóstico y Evaluación - e Avaliação Psicológica, vol. 2, núm. 47, pp. 171-184, 2018

Associação Iberoamericana de Diagnóstico e Avaliação Psicológica

Resumen: El Cognitive Emotional Regulation Questionnaire (CERQ) fue elaborado para evaluar las estrategias cognitivas de regulación emocional frente a eventos displacenteros. Recientemente fue desarrollada una versión breve (CERQ-18) en Perú y los resultados fueron favorables al evaluar su equivalencia factorial respecto al CERQ. El objetivo de este estudio fue analizar la relación del CERQ-18 con criterios externos e internos. En 286 estudiantes universitarios de edades entre 18 y 30 años, se hizo un análisis correlacional con medidas de depresión y ansiedad. Los resultados mostraron que el patrón correlacional del CERQ-18 y estas medidas fue teóricamente coherente, y además equivalente al del CERQcon dichas variables.La confiabilidad de las dimensiones del CERQ-18 fue adecuada, y la estimación del error de medición fue similar que enla versión extensa. Finalmente se realizó una comparación estadística entre coeficientes de confiabilidad de las distintas versiones breves halladas. Se discuten las implicancias de los resultados.

Palabras clave: regulación emocional, confiabilidad, validez, CERQ-18, universitarios.

Abstract: The Cognitive Emotional Regulation Questionnaire (CERQ) was developed to assess cognitive emotional regulation strategies against unpleasant events. It was recently developed a short version (CERQ-18) in Peru and the results were favorable to assess their factorial equivalence regard to CERQ. The aim of this study was to analyze the relationship of CERQ-18 with external and internal criteria. In 286 college students aged 18 to 30 years old, was used a correlational analysis with measures of depression and anxiety. The results showed that the correlation pattern CERQ-18 and these measures was theoretically coherent, and also equivalent to the CERQ with these variables. The reliability of the dimensions of CERQ-18 was adequate, and estimate of the measurement error was similar to the long version. Finally, was conducted a statistical comparison between reliability coefficients of different short versions found. The implications of the results are discussed.

Keywords: emotional regulation, reliability, validity, CERQ-18, college students.

Introducción

La regulación emocional se refiere a los procesos que influyen sobre las emociones de los individuos, es decir, cuándo las tienen, cómo las experimentan y cómo las expresan (Thompson, 1994), pudiendo incrementarlas, mantenerlas o disminuirlas, ya sea alterando factores que anteceden a la emoción o modificando un aspecto de la emoción en sí misma dependiendo de las metas del individuo (Gross, 1998; Gross & Thompson, 2007). Esto se refleja tanto en respuestas conductuales como en respuestas fisiológicas, las cuales se acompañan de pensamientos y sentimientos específicos (Koole, 2009), aunque el componente cognitivo juega un rol fundamental (Garnefski & Kraaij, 2007) en el afrontamiento funcional de los problemas (Dominguez-Lara & Medrano, 2016b; Medrano & Trógolo, 2014).

El Cognitive Emotional Regulation Questionarie (CERQ; Garnefski, Kraaij, & Spinhoven, 2002; Garnefski& Kraaij, 2007), fue diseñado para evaluar el componente cognitivo consciente de la regulación emocional (Domínguez-Sánchez, Lasa-Aristu, Amor, & Holgado-Tello, 2013; Jermann, Van der Linden, d’Acremont, & Zermatten, 2006) y es ampliamente usado a nivel mundial (Adbi et al, 2012; Domínguez-Sánchez et al, 2013; Dominguez-Lara & Medrano, 2016a; Garnefski et al, 2002; Garnefski & Kraaij, 2007; Jermann et al., 2006; Medrano Moretti, Ortiz, & Pereno, 2013; Perte & Miclea, 2008; Tuna & Bozo, 2012; Zhu et al., 2008).

El modelo en el cual se basa el test presenta varias estrategias diferenciadas: Rumiación (se refiere a pensar excesivamente sobre los sentimientos y pensamientos relacionados con el evento displacentero), Catastrofización (involucra tener pensamientos excesivos que enfatizan el evento experimentado), Autoculparse (se focaliza en pensamientos que atribuyen la causa del evento displacentero, y la consecuente emoción, a la propia persona), Culpar a Otros (se refiere a pensamientos que atribuyen la causa del evento displacenteroa otras personas), Poner en Perspectiva (consiste en disminuir y comparar la gravedad del evento con otros que se experimentaron anteriormente), Aceptación (consiste en tener pensamientos que acepten que el evento displacentero ocurrió), Focalización Positiva (consiste en tener pensamientos agradables y alegres, en lugar de focalizarse en el evento displacentero), Reinterpretación Positiva (involucra pensamientos que le dan un significado positivo al evento displacentero), y Refocalización en los Planes (pensar en los pasos que deben llevarse a cabo para llegar a una solución para el problema que aqueja a la persona) (Dominguez-Lara & Merino-Soto, 2015a). Cada uno de ellos presenta correlatos diferenciales con diversos aspectos psicológicos como ansiedad, depresión, bienestar, autoeficacia, entre otros (ver Dominguez-Lara & Medrano, 2016a).

Una versión parsimoniosa del CERQ (18 ítems; Garnefski & Kraaij, 2006b) fue elaborada pero diferentes estudios de validación (Cakmak, & Cevik, 2010; Dominguez-Lara & Merino-Soto, 2015a) hasta la fecha no han arrojado resultados consistentes entre sí, tanto en cuanto a la estructura de la nueva versión breve, como de evidencias de validez.

Tomando como base una reciente validación latinoamericana de esta versión (Dominguez-Lara, &Medrano, 2016a), se construyó una nueva forma breve (Dominguez-Lara & Merino-Soto, 2015a) tratando de superar las limitaciones metodológicas de los dos estudios preliminares de versiones breves (Cakmak & Cevik, 2010; Garnefski, & Kraaij, 2006b); una revisión de estas limitaciones puede encontrarse en Dominguez-Lara y Merino-Soto (2015a). La nueva versión breve procuró hacer un balance adecuado entre resultados empíricos previos y la racionalidad teórica de los ítems, y no tener como único respaldo los parámetros estadísticos hallados. Para ello, la selección de ítems consistió en aplicar criterios empíricos (ítems con cargas factoriales elevadas en los estudios precedentes usando metodología SEM) y teóricos (ítems cuyo contenido tuviera la mayor compatibilidad conceptual con la estrategia que evalúa) (Dominguez-Lara & Merino-Soto, 2015a). Si bien se obtuvieron evidencias favorables respecto a la estructura interna de esta nueva versión breve de 18 ítems a través de análisis SEM (CERQ-18), no se resolvió la obtención de evidencias de validez considerando criterios externos teóricamente relevantes ni la equivalencia con la versión completa (CERQ-36)a fin de obtener evidencias de validez convergente y discriminante. Estos métodos permitirán obtener un panorama más completala equivalencia (Merino, 2012) porque la evaluación de la validez no solo se concentra en la estructura interna sino también en la covariación equivalente con otras variables afines.

La construcción de una forma breve de un test trae desafíos metodológicos para validar su equivalencia frente al instrumento de origen (Smith, McCarthy, & Anderson, 2000), y estas mayormente atañen a la confiabilidad de sus puntajes y la conservación de la validez con otros constructos. Respecto a la confiabilidad, la reducción de los ítems en una forma breve tiende a disminuir la varianza del puntaje (Feldt & Brennan, 1989); desde la teoría clásica de los test, este efecto es predecible, especialmente si se usa como estimador el coeficiente a (Cronbach, 1951), pues su formulación incluye un parámetro directamente relacionado con el número de ítems.Manteniendo constante los otros factores que afectan a la confiabilidad, la reducción de la varianza y del número de ítems degrada en consecuencia la magnitud de a,aun cuando la covariación de los ítems sea alta. Sin ingresar a otro modelos de medición (por ejemplo, los derivados de la metodología de ecuaciones estructurales), un estimador relativamente sencillo pero eficiente, y poco afectado por el número de ítems puede la correlación inter-ítem promedio (rii; Clark & Watson, 1995; Simms & Watson, 2007).

Estrategias como las anteriormente señaladas tienen implicancias sobre la recopilación de evidencias de validez, considerando la relación con otros constructos en un marco de antecedentes de investigación que presenta el instrumento en estudio. Este proceso hace referencia a plantear una red conceptual de constructos psicológicos parecidos y distintos de forma tal que se forme una red de asociaciones cercanas y distales (Furr, 2011), y siendo un aspecto clave la red conceptual a la que pertenece el constructo estudiado, en el presente estudio se decidió incluir medidas de ansiedad y depresión debido a su recurrencia en los estudios del CERQ. Pero si bien en un trabajo anterior se analizó el CERQ-18 (Dominguez-Lara & Merino-Soto, 2015a), la obtención de evidencias de validez es un proceso continuo que no debe centrarse solamente en el estudio de la estructura interna como se aprecia en la mayoría de estudios instrumentales (Lyons-Thomas, Liu, & Zumbo, 2014); por el contrario, mientras más evidencias de validez puedan obtenerse, las inferencias realizadas a partir de sus puntajes tendrán mayor respaldo.

La validación de versiones breves de los tests es relevante dada la creciente demanda de mediciones breves en la práctica clínica, en la que es común el uso de autorreportes (Hain, Schermelleh-Engel, Freitag, Louwen, & Oddo, 2015). De este modo, será útil cuando no sea posible la administración del instrumento en su versión completa, o cuando la medición de los aspectos vinculados con las estrategias de regulación emocional se planifique en baterías de tests psicológicos. En vista del panorama presentado, los objetivos del presente trabajo fueron: a) estudiar la equivalencia empírica de la versión extensa del CERQ-36 y el CERQ-18 (Dominguez-Lara, & Merino-Soto, 2015a), considerando tanto criterios internos (correlaciones entre el CERQ-36 y CERQ18, y confiabilidad) para la validez convergente,como criterios externos (constructos teóricamente relevantes)para la validez discriminante; y b) analizar la confiabilidad de los puntajes de las subescalas del CERQ-18, así como su grado de similitud o diferencia otras versiones breves estudiadas en cuanto a su confiabilidad. Este trabajo forma parte de un proceso de validación mayor del CERQ-18 en estudiantes universitarios limeños comenzado en un manuscrito preliminar (Dominguez-Lara & Merino-Soto, 2015a).

Método

Participantes

La muestra de estudio fue de tipo intencional y estuvo conformada por 286 estudiantes (205 mujeres)de la carrera de psicología de una universidad privada ubicada en Lima Metropolitana (Perú) entre 2do y 8vo ciclo académico.La desproporción entre varones y mujeres representa la distribución en la población del género de los matriculados en los estudios de psicología en Perú, en universidades nacionales y privadas, en Lima y fuera de Lima. Los estudiantes fueron abordados en los salones de clases, y se les solicitó su colaboración en el estudio. Solo fueron evaluados aquellos que firmaron el consentimiento informado. Todos fueron peruanos de nacimiento, las edades oscilaron entre 18 y 30 años (M=22.01; DE=3.379), la mayoría fueron solteros (94.8%) y un 53.9% no trabajaban. El género de los participantes fue similar respecto a la edad (t(284)= .842; p>.05; d = .005). Los participantes predominantemente provienen de población de clase media, y de familias de nivel educativo universitario o técnico.

Instrumentos

Cognitive Emotional Regulation Questionarie-36 (CERQ-36; Garnefski, Kraaij, & Spinhoven, 2002). Consta de 36 ítems escalados en formato Likert con cinco opciones etiquetadas de respuesta, que va desde Casi nunca (1) hasta Casi siempre (5). Las instrucciones de respuesta enfatizan la frecuencia con que el examinado usa las conductas listadas. Evalúa nueve estrategias cognitivas (4 ítems en cada una). Su validez estructural evaluada previamente en Perú (Dominguez-Lara, & Medrano, 2016a) fue aceptable.La estimación de la confiabilidad promedio de los estudios preliminares fue: Rumiación (αpromedio = .734; Rango = .63 - .83), Catastrofización (αpromedio = .734; Rango = .680 - .850), Auto-culparse (αpromedio = .687; Rango = .580 - .780), Culpar a Otros (αpromedio = .781; Rango = .690 - .860), Poner en Perspectiva (αpromedio = .751; Rango = .630 - .830), Aceptación (αpromedio = .672; Rango = .580 - .770), Focalización Positiva (αpromedio = .820; Rango = .740 - .890), Reinterpretación Positiva (αpromedio = .803; Rango = .680 - .880), y Refocalización en los Planes. (αpromedio = .767; Rango = .610 - .900) .

Cognitive Emotional Regulation Questionarie-18 (CERQ-18; Dominguez-Lara & Merino-Soto, 2015a). La versión usada tiene como base la versión peruana del instrumento. Consta de 18 ítems (dos ítems en cada una) y evalúa las mismas estrategias que la versión completa (CERQ-36).

Patient Health Questionnarie-2 (PHQ-2; Kroenke, Spitzer, & Williams, 2003). Consta de dos ítems que exploran aspectos emocionales y cognitivos vinculados con la depresión (desánimo, desesperanza, displacer y desinterés en las cosas), escalados en formato tipo ordinal (Para nada, Varios días, Más de la mitad de los días, Casi todos los días), y la persona debe responder con qué frecuencia ha sentido molestia por dichos problemas (a=.617, IC 95%: .530, .691).Fue utilizada la versión adaptada al español de Perú (http://www.phqscreeners.com/select-screener/36).No fueron encontrados reportes de confiabilidad en estudios antecedentes.

GeneralizedAnxietyDisorderScale-2 (GAD-2; Kroenke, Spitzer, Williams, Monahan, & Lowe, 2007). Está conformado por dos ítems que evalúan conductas vinculadas con la expresión emocional y cognitiva de la ansiedad generalizada (sentimiento de estar nervioso y preocupación), escalados en formato tipo Likert (Para nada, Varios días, Más de la mitad de los días, Casi todos los días). El sujeto responde respecto a la frecuencia con que ha sentido molestia por dichos problemas (a=.684, IC 95%: .609, .747). Fue utilizada la versión adaptada al español de Perú(http://www.phqscreeners.com/select-screener/36). No fueron encontrados reportes de confiabilidad en estudios antecedentes.

Procedimiento

Se llevó a cabo una investigación de carácter instrumental (Montero & León, 2007), con el fin de evaluar las propiedades psicométricas del CERQ-18 en el contexto universitario limeño. Para ejecutar el estudio, se solicitó a las autoridades universitarias, y posteriormente a los docentes, el permiso correspondiente para realizar las evaluaciones en el horario habitual de clases. Una vez que los participantes brindaron su consentimiento informado se procedió a administrar los instrumentos. Los instrumentos fueron aplicados por psicólogos expertos en el manejo de tests psicológicos. Fueron evaluados de forma colectiva, en horarios de clase. La participación de cada estudiante fue voluntaria y con la opción de abandonar la evaluación si no deseaba seguir. La participación no fue recompensada académica ni económicamente. Este manuscrito forma parte de un proceso mayor de validación del CERQ-18.

Análisis de datos. Las evidencias de equivalencia entre el CERQ-36 y CERQ-18 fueron evaluadas usando criterios internos y externospara determinar las evidencias de validez convergente y discriminante. Respecto a los criterios internos, se correlacionó cada subescala correspondiente entre ambas versiones como una medida fundamental de validez; sin embargo, esta asociación se corrigió para atenuar el efecto de varianza correlacionada debido a elementos comunes (Levy, 1967; Bashaw & Anderson, 1967) y evitar obtener coeficientes de correlación espuriamente altos.

Por otro lado, para la obtención de evidencias de validez discriminante del CERQ-18 con criterios externos, en una submuestra de 232 personas se estimaron las correlaciones Pearson de ambas el CERQ-18 y el CERQ-36 con medidas de ansiedad y depresión (GAD-2 y PHQ-2, respectivamente). Si bien las estrategias de análisis correlacional implica usualmente correlaciones lineales, tales relaciones deben estar especificadas apriorísticamente como hipótesis (Zumbo & Chan, 2014), para lo cual el índice Dm es una buena aproximación (Dominguez-Lara, 2013; Taras & Kline, 2010), el cual es un indicador cuantitativo sumario de las correlaciones entre el constructo de interés y criterios relevantes. Índices Dm elevados aportarían evidencia para considerar la pertenencia de las subescalas del CERQ-18 a la red conceptual indicada. Mediante éste método, se estimó el grado de asociación entre el CERQ-18 y las medidas de ansiedad y depresión, y para ello se usó el módulo de Dominguez-Lara (2013).

Seguido de ello, para evaluar la equivalencia entre el CERQ-18 y CERQ-36, dichas correlaciones fueron comparadas estadísticamente usando el método de IC para la diferencia entre correlaciones dependientes con un elementos en común (Zou, 2007); el intervalo (nivel 95%) que incluya al cero indica que no se rechazará la hipótesis nula (Ho: rhi – rij = 0), es decir, se espera que no existan diferencias estadísticamente significativas entre las correlaciones de las subescalas de CERQ-18 y CERQ-36 con cada criterio externo. Adicionalmente, se usó el estimador q (Cohen, 1988; 1992) de magnitud de las diferencias para dos correlaciones (.10 ≤: trivial; >.10 : pequeño; >.30: moderado; >.50: grande).

Se calcularon los coeficientes apara cadasubescala, sea del CERQ-36 y del CERQ-18, incluyendo los intervalos de confianza para cada a(IC; Dominguez-Lara & Merino-Soto, 2015b). En segundo lugar, se compararon estadísticamente los coeficientes a correspondientes a los puntajes de las subescalas de ambas versiones, CERQ-36 y CERQ-18, mediante el método asintótico de la distribución F(Feldt, 1980, Feldt, Woodruff, & Salih, 1987) e implementado por el programa ALPHATEST (Lautenschlager & Meade, 2008). Dado que al ser una comparación entre coeficientes as dependientes, para los cálculos involucrados en la estimación de las diferencias se usó la correlación corregida por errores correlacionados (Levy, 1967).

Finalmente, se analizaron las diferencias entre los coeficientes a de las tres versiones breves disponibles del instrumento (Cakmak & Cevik, 2010; Dominguez-Lara & Merino-Soto, 2015a; Garnefski & Kraaij, 2006b) mediante de la comparación de alfas independientes (Feldt, Woodruff & Salih, 1987), realizando un análisis post hoc por pares (Snedecor & Cochran, 1989). Si bien las versiones no son equivalentes respecto al contenido de los ítems, es necesario compararlas a fin de explorar si la estimación del error de medición varía de una versión a otra, y detectar posibles fuentes de sesgo en la medición (Merino & Lautenschlager, 2003).

Resultados

Análisis descriptivo del CERQ-18

La asimetría y curtosis de cada subescaladel CERQ-18presentaron valores entre +1.3 y -1.3, los cuales aún se consideranque no exceden seriamente la falta de normalidad distribucional (Ferrando & Anguiano-Carrasco, 2010); esto se corroboró con el índice estandarizado de asimetría (SSI, Malgady, 2007), que indicó grados de asimetría adecuados (SSI < .25). No obstante, la normalidad univariada evaluada mediante la prueba de Jarque-Bera y Shapiro-Wilks, sugieren alejamiento de la normalidad.

Evidencias de equivalencia entre CERQ-36 y CERQ-18

Equivalencia del error de medición. Los resultados del análisis de la confiabilidad de los puntajes de ambas formas CERQ-36 y CERQ-18 (tabla 2) muestran que, salvo en el factor Focalización Positiva, no existen diferencias entre los coeficientes a, lo que indicaría el monto de varianza verdadera se mantiene constante de una versión a otra, excepto con el factor Focalización Positiva, es decir, la reducción de ítems no influye en dicho aspecto. Cabe resaltar que los coeficientes α hallados en el CERQ-18 presentan magnitudes por debajo de lo aceptable (α> .70; Merino-Soto, Navarro-Loli, & García, 2014).

Tabla 1
Estadísticos descriptivos para el CERQ18
M DE Min Máx g1 SSI g2 JB SW
Culpar a otros (F1) 3.979 1.6 2 10 .65 .127 .397 22.261 .907
Autoculparse (F2) 5.829 1.74 2 10 -.048 .008 -.432 2.38 .963
Aceptación (F3) 7.503 1.639 3 10 -.24 .045 -.383 4.548 .943
Rumiación (F4) 5.619 1.591 2 10 .1 .02 -.146 .736 .962
Catastrofización (F5) 4.713 1.61 2 10 .393 .076 .14 7.679 .95
Poner en perspectiva (F6) 6.79 1.569 2 10 -.373 .076 .33 8.03 .953
Reinterpretación positiva (F7) 7.605 1.585 3 10 -.305 .061 -.523 7.806 .943
Focalización en los planes (F8) 8.087 1.41 4 10 -.405 .102 -0.47 10.599 .923
Focalización positiva (F9) 6.871 1.612 2 10 -.411 .079 -.075 8.212 .951
Nota: n=286; M: Media; DE: Desviación estándar; Min: Puntaje más bajo; Máx: Puntaje más alto; g1: coeficiente de asimetría de Fisher; SSI: índice estandarizado de asimetría; g2: coeficiente de curtosis de Fisher; JB: Prueba de Jarque- Bera; SW: Prueba de Shapiro-Wilk

Tabla 2
Estimaciones y diferencias de fiabilidad en el CERQ36 y CERQ18
a rii
Estimación (IC 95%) Diferencias (c2, gl = 1)a CERQ36 CERQ18
CERQ36 CERQ18
Culpar a otros (F1) .688 (.622 - .745) .710 (.647 - .763) .3736 .355 .551
Autoculparse (F2) .574 (.491 - .647) .604 (.525 - .673) .2666 .250 .432
Aceptación (F3) .616 (.538 - .683) .578 (.495 - .650) 1.3407 .352 .407
Rumiación (F4) .661 (.590 - .722) .611 (.533 - .679) .9941 .327 .441
Catastrofización (F5) .720 (.659 - .722) .658 (.587 - .719) 2.3049 .392 .490
Poner en perspectiva (F6) .652 (.580 - .714) .564 (.479 - .638) 2.5999 322 .396
Reinterpretación positiva (F7) .711 (.648 - .764) .699 (.634 - .754) .1038 .381 .537
Focalización en los planes (F8) .608 (.529 - .676) .495 (.402 - .578) 2.7886 .278 .336
Focalización positiva (F9) .729 (.670 - .779) .583 (.501 - 655) 10.2527** .407 .412
Nota Corrección Levy – Bashaw& Anderson (ver texto). Todas las correlaciones son estadísticamente significativas (p< 0.01); rc: corregido por atenuación (Furr, 2011).

Del mismo modo, los rii presentan magnitudes adecuadas (.50 >rii>.20; Robinson, Shaver, & Wrightsma, 1991) para CERQ-18 en comparación con CERQ-36, aunque con diferentes grados de homogeneidad entre los ítems dentro de cada subescala.

Tabla 3
Correlación forma larga y corta del CERQ
r36-18 Diferencias (q) rc
Sin corregir (IC 95%) Corregidoa (IC 95%)
Culpar a otros (F1) .862 (.829, .889) .734 (.676, .783) .364 1.000
Autoculparse (F2) .867 (.835, .893) .596 (.516, .666) .634 1.000
Aceptación (F3) .902 (.878, .922) .598 (.518, .668) .793 1.000
Rumiación (F4) .851 (.816, .88) .622 (.545, .688) .532 .979
Catastrofización (F5) .86 (.826, .887) .665 (.595, .725) .492 .966
Poner en perspectiva (F6) .862 (.829, .889) .61 (.532, .678) .592 1.000
Reinterpretación positiva (F7) .879 (.85, .93) .697 (.632, .752) .51 .989
Focalización en los planes (F8) .8 (.754, .838) .511 (.42, .592) .535 .931
Focalización positiva (F9) .889 (.862, .911) .652 (.58, .714) .638 1.000
Nota Corrección Levy – Bashaw& Anderson (ver texto). Todas las correlaciones son estadísticamente significativas (p< 0.01); rc: corregido por atenuación (Furr, 2011).

Tabla 4
Correlación del CERQ36 y CERQ18 con criterios externos (GAD-2 y PHQ-2)
Ansiedad (GAD-2) Depresión (PHQ-2)
Dm CERQ 36 CERQ18 IC 95% Diferencias q . CERQ 36 CERQ 18 IC 95% Diferencias q
Culpar a otros (F1) .934 .230 .153 -.015, .169 .080 .273 .221** -.039, .143 .060
Autoculparse (F2) .902 .195 .097 -.017, .211 .100 .253 .154* -.014, .211 .103
Aceptación (F3) .902 -.003 .004 -.122, .109 .007 -.081 -0.057 -.139, .091 .024
Rumiación (F4) .900 .294 .325 -.137, .075 .034 .295 .328** -.139, .073 .037
Catastrofización (F5) .938 .335 .389 -.152, .043 .062 .348 .417** -.166, .027 .081
Poner en perspectiva (F6) .969 .122 .085 -.076, .150 .037 .016 -0.008 -.09, .138 .024
Reinterpretación positiva (F7) .807 -.110 -.162 -.047, .151 .053 -.285 -.310** -.07, .121 .027
Focalización en los planes (F8) .773 .018 -.093 -.017, .237 .110 -.084 -.218** .008, .258 .137
Focalización positiva (F9) .841 -.126 -.094 -.139, .075 .032 -.218 -.172** -.151, .059 .048
Nota *p<.05; **p<.01. Dm: Índice Dm; q: diferencia estandarizada entre correlaciones.

Equivalencia correlacional. Por otro lado, al examinar las correlaciones entre el CERQ-36 y CERQ-18 (Tabla 3), todas las no corregidas fueron mayores a.70, un valor recomendado como mínimamente aceptable (Petrides, Jackson, Furnham&Levine, 2003), entre versiones equivalente de un instrumento. Sin embargo, excepto en el puntaje de Culpar a otros, las correlaciones corregidas por espuriedad fueron todas debajo de .70, aunque el IC de las correlaciones corregidas generalmente incluyó el valor .70. La cuantificación de las diferencias entre las correlaciones estuvieron entre moderado (> .30) y grandes (> .50), y en conjunto señalan que el efecto de la reducción de los ítems no puede tomarse como trivial. No obstante, teniendo en consideración que las correlaciones mostradas podrían estar atenuadas por baja confiabilidad se realizó una corrección por atenuación a fin de estimar la verdadera correlación (Furr, 2011).

Evidencias de validez en relación con otras variables

Se aplicó el índice Dm (Taras & Kline, 2010) tomando como criterios las medidas de ansiedad (GAD-2) y depresión (PHQ-2), y planteando como hipótesis previa la magnitud y dirección de la correlación entre las subescalas del CERQ-36 y esas medidas. Los resultados indican índices Dm elevados, ya que las estrategias evaluadas con el CERQ-18mostraron correlaciones teóricamente esperadas con el GAD-2 y PHQ-2: las estrategias Culpar a otros, Autoculparse, Rumiación, y Catastrofización mostraron eelaciones positivas y estadísticamente significativas, y las estrategias Poner en perspectiva, Reinterpretación positiva, Focalización en los planes, y Focalización positiva evidenciaron relaciones negativas y estadísticamente significativas (Tabla 4). Por otro lado, se evaluó las diferencias entre las correlaciones del CERQ-18 y CERQ-36 con el GAD-2 y PHQ-2, encontrándose que casi la totalidad de estas no difieren significativamente entre sí, ya que el IC de las diferencias contiene el cero (Tabla 4).

Tabla 5
Diferencias de fiabilidad en CERQ18 según país
a Comparación Post-hoc (F)
Estimación (IC 95%) Diferencias c2(gl = 2) (p-valor) CERQ18Holanda-Turquía CERQ18Holanda-Perú CERQ18Perú-Turquía
CERQ18Holanda (n = 611) CERQ18Turquía (n = 317) CERQ18Perú (n = 286)
Culpar a otros (F1) .77 (.736- .800) .70 (.639 - .752) .710 (.647 - .763) 2.6201 (.2698) - - -
Autoculparse (F2) .68 (.635 - .720) .64 (.570 - .701) .604 (.525 - .673) 1.3889 (.4993) - - -
Aceptación (F3) .73 (.691 - .765) .69 (.628 - .744) .578 (.495 - .650) 6.2446 (.0441) - - -
Rumiación (F4) .79 (.758 - .818) .63 (.559 - .692) .611 (.533 - .679) 15.6285 (.0004) 1.762** 1.852** 1.051
Catastrofización (F5) .81 (.781 - .836) .68 (.616 - .735) .658 (.587 - .719) 13.7144 (.0011) 1.684** 1.800** 1.069
Poner en perspectiva (F6) .79 (.758 - .818) .63 (.559 - .692) .564 (.479 - .638) 19.5668 (<.0001) 1.762** 2.076** 1.178
Reinterpretación positiva (F7) .81 (.781 - .836) .74 (.647 - .763) .699 (.634 - .754) 7.0097 (.0301) - - -
Focalización en los planes (F8) .79 (.758 - .818) .68 (.686 - .786) .495 (.402 - .578) 24.0511 (<.0001) 1.524** 2.404** 1.578**
Focalización positiva (F9) .80 (.770 - .827) .68 (.616 - .735) .583 (.501 - 655) 17.9466 (<.0001) 1.600** 2.085** 1.303*
Nota *p< .01; **p< .001

Estas diferencias triviales entre las correlaciones también se verificaron con el coeficiente q.

Confiabilidady comparación de coeficientes α con otras versiones del CERQ-18

Finalmente, se exploraron las diferencias entre los coeficientes α de cada subescalade las tres versiones del CERQ-18: la holandesa,turca, y peruana (del presente estudio), mediante el método de comparación de αs independientes con comparaciones post hoc.En la prueba global de diferencia de coeficientes α, se aprecia que existen discrepancias entre los coeficientes de las subescalas Rumiación, Catastrofización, Poner en perspectiva, Focalización en los planes, y Focalización positiva entre los tres grupos. El análisis post hoc con ajuste el Bonferroni (Harris, 1985) puso en evidencia que en las subescalas Rumiación, Catastrofización, y Poner en perspectiva no existen diferencias entre los α de las muestras peruana y turca. No obstante, estas difieren con la muestra holandesa en cada una de las subescalas mencionadas. Por último, Focalización en los planes, y Focalización positiva, presentaron diferencias estadísticamente significativas entre los tres grupos estudiados (Tabla 5).

Discusión

El objetivo del presente estudio fue obtener evidencias de validez interna y externa del CERQ-18, así como de la confiabilidad de sus puntajes, en una muestra de universitarios limeños. Este trabajo representa un avance con respecto a los estudios anteriores de versiones breves del CERQ (Cakmak & Cevik, 2010; Dominguez-Lara & Merino-Soto, 2015a; Garnefski & Kraaij, 2006b) en cuanto a los hallazgos y a la metodología empleada, pues además de presentar una versión cuyos ítems fueron seleccionados siguiendo criterios teóricos y empíricos, fueron implementadas estrategias que evalúan su equivalencia empírica con la versión extensa, siendo este un aspecto que no se consideró en los estudios preliminares (Cakmak & Cevik, 2010; Garnefski & Kraaij, 2006b). Ambos tipos de evidencias presentan un respaldo más fuerte en lugar de únicamente reportar la validez interna entre las versiones (Smith et al., 2000).

En cuanto a la validez interna, se obtuvieron evidencias mediante la correlación entre cada subescala del CERQ-36 con su homólogo del CERQ-18. Estas correlaciones no corregidas fueron elevadas debido que el CERQ-36 incluye al CERQ-18; sin embargo, al corregir por espuriedad (Levy, 1967), los coeficientes obtenidos resultaron menores que los recomendados por la literatura (r>.70; Putnam, & Rothbart, 2006). Considerando el panorama anterior, sobre la baja magnitud de los coeficientes a y la poca especificidad de las instrucciones en relación a la situación desagradable evocada por los evaluados, las correlaciones podrían estar atenuadas por baja confiabilidad. Entonces, la corrección por atenuación (Furr, 2011) realizada da cuenta de una relación de elevada magnitud entre el CERQ-36 y el CERQ-18, lo que despejaría las dudas con respecto a la equivalencia empírica de ambas formas. Esto significa que los puntajes de ambas versiones son linealmente equivalentes y arrojan similares resultados en el escalamiento de los sujetos evaluados.

Por otro lado, un aspecto clave en la obtención de evidencias de validez discriminante del CERQ-18 fue el contraste con criterios externos, cuyas relacionesfueron especificadas apriorísticamente como hipótesis, con el objetivo de ser contrastada con los datos y demostrar así la precisión de esas relaciones (Dominguez-Lara, 2013; Furr, 2011; Taylor, 2013; Taras & Kline; 2010; Westen & Rosenthal, 2003; Zumbo & Chan, 2014). Hace seis décadas, Cronbach y Meehl (1955) indicaron que el objetivo de validación de un constructo es insertar una medida de un constructo en una red nomológica para establecer su relación con otras variables con las cuales debería, en teoría, estar asociado positivamente o negativamente

En base a los resultados obtenidos, se tiene queexiste una estrecha relación entre las subescalas del CERQ-18 y las medidas de ansiedad y depresión de forma conjunta evaluadas con el índice Dm. Los resultados indican que las diferencias no son estadísticamente significativas (el IC incluye el cero). Esto evidencia que cada subescala del CERQ-36 y CERQ-18 presentan la misma relación, al menos estadísticamente hablando, con las medidas de ansiedad y depresión. Entonces, se aportan evidencias de validez adicionales acerca de la equivalencia entre la forma breve y la forma extensa del CERQ dentro de la red conceptual de la cual forman parte las estrategias de regulación cognitiva de las emociones. En síntesis, independientemente y de forma conjunta con el CERQ-36, el CERQ-18 presenta evidencias aceptables de validez discriminante con relación a criterios externos, tal como se espera según la literatura previa (Domínguez-Sánchez et al., 2013; Garnefski, Kraaij, & Spinhoven., 2001; Garnefski & Kraaij, 2006a; Jermann et al., 2006; Kraaij, Garnefski, & Schroevers, 2009; Medrano et al., 2013; Omran, 2011; Perte & Miclea, 2008; Westermann, Boden, Gross, & Lincoln, 2013; Zhu et al., 2008), aunque sería útil el uso de medidas extensas (e.g., Abello-Luque, Cortes-Peña, García-Montaño, García-Roncallo, & Nieto-Betancourt, 2017) para consolidar tales conclusiones, ya que tanto el PHQ-2 como el GAD-2 son medidas de screening. Asimismo, esto ameritaría estudios posteriores sobre las estrategias de regulación cognitiva de las emociones en personas diagnosticadas con ansiedad o depresión y población clínicamente normal.

Respecto a la confiabilidad, los hallazgos indican que los coeficiente de ocho de las nueve subescalas del CERQ-18 no difieren significativamente respecto a las escalas del CERQ-36. Esto implica que al pasar de la versión extensa a la versión breve, la estimación del error de medición se mantiene constante. Este panorama se replica al explorar las correlaciones inter-item promedio (rii), que en apariencia no varían sustancialmente de una versión a otra, y por lo tanto el grado de varianza común inter-ítems no se afecta por el número de ítems (Clark, & Watson, 1995).

Los coeficientes a del CERQ-18 presentan magnitudes modestas (Merino-Soto et al., 2014), incluyendo los IC, aunque esto podría explicarse debido a que el coeficiente a está influenciado por el número de ítems y el tamaño muestral utilizado (Ponterotto & Charter, 2009). Ante ello, la correlación inter-ítem promedio presenta magnitudes que pueden brindar una aproximación a la homogeneidad de los ítems, complementando así las magnitudes del coeficiente α. Sin embargo, cabe precisar que dicha homogeneidad tuvo diferentes grados entre las dimensiones, siendo que aquellas vinculadas a la disfuncionalidad (e.g., rumiación) fueron más homogéneas que las relacionadas con la funcionalidad (e.g., reinterpretación positiva). Esto indicaría que las personas que utilizan de forma más frecuente el primer grupo mencionado tendrían un patrón consistente de respuestas negativas ante un evento displacentero, mientras que el segundo grupo sería más flexible en cuanto a sus respuestas.

Una de las fuentes de baja confiabilidad de las puntuaciones pudo ser al grado de generalidad brindado en las respuestas al CERQ. El instrumento en su forma original se basa en respuestas del individuo a situaciones problemáticas en general, mas no en situaciones específicas, es decir, la respuesta que brinda el evaluado a cada ítem podría hacer referencia a más de una situación problemática y contextual, lo que agregaría varianza irrelevante en la estimación de los coeficientes a. Un panorama diferente podría hallarse cuando las respuestas del CERQ se focalizan en situaciones problemáticas en particular; por ejemplo, en investigaciones sobre el uso de estrategias cognitivas de regulación emocional en infertilidad(Kraaij et al., 2009) o situaciones de vuelo (Kraaij, Garnefski, & van Gerwen, 2003), los coeficientes apresentan magnitudes superiores en comparación a los que resultan cuando se responde el CERQ sin especificar la situación. Por tal motivo, una estrategia para incrementar la confiabilidad de las puntuaciones sería considerar la especificidad situacional de las respuestas, es decir, considerar una evaluación por contexto (p.e., académico) en lugar de algo general, dado que es una tendencia creciente en diversos instrumentos de medición (e.g., Díaz et al., 2016).

Finalmente, dado el carácter estable de las estrategias de afrontamiento cognitivo, quedaría pendiente la incorporación del análisis de la confiabilidad de los puntajes por medio de su estabilidad temporal, dado que recabar evidencias de confiabilidad solo a través del coeficiente aes insuficiente debido a las limitaciones ya expuestas.

En cuanto a la comparación de coeficientes α entre grupos, podría inferirse que las diferencias observadas podrían estar influidas por los aspectos particulares de cada muestra estudiada (sexo, edad, etc.), considerando que fueron estudiados en países diferentes, donde la cosmovisión, ideología y valores que promueve cada cultura afectaría, al menos en parte, la manera en que las personas procesan los estímulos emocionales (Matsumoto, 2006). No obstante, sin una comparación más directa del rendimiento de cada grupo (e.g., comparación de medias latentes), este enunciado podría considerarse como una hipótesis de trabajo para futuras investigaciones. De este modo, este sería un primer acercamiento para plantear estudios de invarianza factorial del CERQ-18, ya que a la fecha solo se conoce un estudio de invarianza factorial del CERQ entre países, pero que involucra a la escala completa (Dominguez-Lara, & Medrano, 2016b).

Además de los resultados aquí expuestos, existe evidencia adicional un trabajo preliminar (Dominguez-Lara, & Merino-Soto, 2015a) a favor de la equivalencia estructural entre el CERQ-36 y el CERQ-18 en universitarios peruanos. Con todo, aún son necesarios otros estudios de validación para consolidar la herramienta. Por ejemplo, quedaría pendiente trabajar un sistema de evaluación del CERQ que esté centrado en alguna problemática en particular, como ya se ha visto en otras investigaciones (Kraaij et al., 2003, 2009), y el ámbito académico podría ser una buena opción. Del mismo modo, en vista de la evidencia preliminar acerca de la elevada covarianza entre factores (Dominguez-Lara & Merino-Soto, 2015a), podrían plantearse modelos jerárquicos a fin de evaluar la posibilidad de factores de la existencia de segundo orden junto a factores específicos evaluados en el presente estudio.

Sobre las limitaciones del estudio, estas pueden ser concentradas en la moderada generalización de los resultados, pues la muestra participante podría ser considerada homogénea respecto a la predominancia del estrato social (fuertemente, de clase media), distribución del sexo (esencialmente mujeres), edad (adultos jóvenes) y carrera (psicología). Sin embargo, esta homogeneidad permite ser un buen contexto para generalizar a este tipo de poblaciones en Perú, y la oportunidad de plantearse hipótesis con base empírica para poner a prueba los hallazgos de la presente investigación.

El estudio tiene implicancias prácticas a considerar. En primer lugar, contar con una versión breve y robusta del CERQ posibilitará realizar estudios que incluyan elementos explicativos en torno a las estrategias cognitivas de regulación emocional, teniendo en cuenta sus potenciales aplicaciones en los diferentes ámbitos de la psicología y su capacidad predictiva respecto a trastornos como la ansiedad o depresión (Dominguez-Lara, 2017). Del mismo modo, podrá aplicarse en procesos de evaluación y orientación al estudiante, identificar estudiantes con dificultades para regular emociones, así como para evaluar el impacto de intervenciones tendientes a entrenar las habilidades de regulación emociones en los planes de tutoría universitarios, sobre todo en lo que concierne a la ansiedad frente a las evaluaciones.

Asimismo, como una línea de investigación futura y una vez analizada la estabilidad temporal de las puntuaciones, podría implementarse en la evaluación de tratamientos de base cognitiva como medida pre y pos intervención. Por último, si bien se considera la utilidad de conocer cómo la persona regula las emociones negativas producto de eventos displacenteros, sería interesante conocer también cómo mantiene las emociones positivas cuando experimenta eventos placenteros. Esto brindaría una mayor amplitud al modelo ya que se lo asocia en mayor grado con psicopatología, y en menor con bienestar.

Referencias

Abdi, S., Taban, S., & Ghaemian, A., (2012). Cognitive emotion regulation questionnaire: Validity and reliability of the Persian translation of the CERQ (36-item). Procedia, Social and Behavioral Sciences, 32, 2-7.doi: 10.1016/j.sbspro.2012.01.001

Abello-Luque, D., Cortes-Peña, O., García-Montaño, E., García-Roncallo, P., & Nieto-Betancourt, L. (2017). Escala Multidimensional de Trastornos Afectivos, EMTA: Generación de Indicadores Psicométricos y Escalas Normativas de Uso Clínico. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 43(1), 187-198. doi: 10.21865/RIDEP43_187

Bashaw, W. L., & Anderson, H. E. (1967). A correction for replicated error in correlation coefficients. Psychometrika, 32, 435-441. doi: 10.1007/BF02289657

Cakmak, A., & Cevik, E. (2010). Cognitive emotion regulation questionnaire: Development of Turkish version of 18-item short form. African Journal of Business Management, 4(10), 2097-2102.

Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7, 309-319.doi: 10.1037/1040-3590.7.3.309

Cohen, J. (1992). A power primer. Psychological Bulletin, 112, 155–159.doi: 10.1037/0033-2909.112.1.155

Cohen, J. (1988). Statistical power analysis for the behavioral sciences (2nded.). Hillsdale, NJ: Erlbaum.

Cronbach, L. J. (1951). Coefficient alpha and the internal structure of tests. Psychometrika, 16, 297-334. doi: 10.1007/BF02310555

Cronbach, L. J., & Meehl, P. (1955). Construct validity in psychological tests. Psychological Bulletin, 52, 281-302. doi: 10.1037/h0040957

Díaz, C., Navarro, Y., Climent, J.A., Ortega, E. López-López, M. J., & Casado, J. (2016). Pérdida y afrontamiento en desempleados: Adaptación del Inventario Texas Revisado de Duelo a la Situación de Pérdida de Empleo. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 42(2), 111-124. doi: 10.21865/RIDEP42_111

Dominguez-Lara, S. (2017). Influencia de las estrategias cognitivas de regulación emocional sobre la ansiedad y depresión en universitarios: Análisis preliminar. Salud Uninorte.

Dominguez-Lara, S. (2013). Propuesta para el cálculo del Índice Dm para la validez de los ítemes. Interdisciplinaria, 30(2), 297-303.

Dominguez-Lara, S., & Medrano, L. (2016a). Propiedades psicométricas del Cognitive Emotional Regulation Questionnaire (CERQ) en estudiantes universitarios de Lima. Psychologia: Avances en la disciplina, 10(1), 53 – 67. doi: 10.21500/19002386.2466

Dominguez-Lara, S., & Medrano, L. (2016b). Invarianza factorial del CognitiveEmotionalRegulationQuestionarie (CERQ) en universitarios limeños y cordobeses. Universitas Psychologica. 15(1), 89-98.doi: 10.11144/Javeriana.upsy15-1.ifce

Dominguez-Lara, S., & Merino-Soto, C. (2015a). Una versión breve del CognitiveEmotionalRegulationQuestionnaire: Análisis estructural del CERQ-18 en estudiantes universitarios limeños. Revista Peruana de Psicología y Trabajo Social, 4(1), 25-36.

Dominguez-Lara, S., & Merino-Soto, C. (2015b). ¿Por qué es importante reportar los intervalos de confianza del coeficiente alfa de Cronbach? Revista Latinoamericana de Ciencias Sociales, niñez y Juventud, 13(2), 1326-1328.

Domínguez-Sánchez, F., Lasa-Aristu, A., Amor, P., & Holgado-Tello, F. (2013). Psychometric properties of the spanish version of the Cognitive Emotion Regulation Questionarie. Assessment, 20(2), 253-261. doi: 10.1177/1073191110397274

Feldt, L. S. (1980). A test of the hypothesis that Cronbach's alpha reliability coefficient is the same for two tests administered to the same sample.Psychometrika, 45, 99-105. doi: 10.1007/BF02293600

Feldt, L. S., & Brennan, R. L. (1989).Reliability. In: Linn, R.L. (Ed.), Educational measurement, 3rd ed. The American Council on Education, Macmillan, pp. 105-146.

Feldt, L. S., Woodruff, D. J., & Salih, F. A. (1987) Statistical inference for coefficient alpha. Applied Psychological Measurement, 11, 1, 93-103. doi: 10.1177/014662168701100107

Ferrando, P., & Anguiano-Carrasco, C. (2010). El análisis factorial como técnica de investigación en psicología. Papeles del psicólogo, 31(1), 18-33.

Furr, R. (2011). Scale construction and psychometrics for social and personality psychology. London: Sage.

Garnefsky, N., & Kraaij, V. (2006a). Relationship between cognitive emotion regulation strategies and depressive symptoms: A comparative study of five specific samples. Personality and Individual Differences, 40, 1659-1669.doi: 10.1016/j.paid.2005.12.009

Garnefski, N., & Kraaij, V. (2006b). Cognitive emotion regulation questionnaire-development of a short 18-item version (CERQ-short). Personality and Individual Differences, 41, 1045-1053. doi: 10.1016/j.paid.2006.04.010

Garnefsky, N., & Kraaij, V. (2007). The Cognitive Emotion Regulation Questionarie: Psychometric features and prospective relationships with depression and anxiety in adults. European Journal of Psychological Assessment, 23(3), 141-149. doi: 10.1027/1015-5759.23.3.141

Garnefsky, N., Kraaij, V., & Spinhoven, P. (2002). Manual for the use of Cognitive Emotion Regulation Questionnaire. Leiderdorp, the Netherlands: DATEC.

Gross, J. (1998). The emerging field of the emotion regulation: An integrative review. Review of General Psychology, 2(3), 271-299.doi: 10.1037/1089-2680.2.3.271

Gross, J., & Thompson, R. (2007). Emotion Regulation: Conceptual foundations. En J. Gross (Ed.), Handbook of emotion regulation (pp. 3-24). New York: Guilford Press.

Hain, S., Schermelleh-Engel, K., Freitag, C., Louwen, F., & Oddo, S (2016). Development of a Short Form of the Personality Styles and Disorder Inventory (PSDI-6). European Journal of Psychological Assessment, 32, 283-290.doi: 10.1027/1015-5759/a000260

Harris, R. J. (1985). A primer of multivariate statistics. (2nd ed.). New York: Academic Press.

Jermann, F., Van der Linden, M., d´Acremont, M., & Zermatten, A. (2006). Cognitive Emotion Regulation Questionarie (CERQ): Confirmatory factor analysis and psychometric properties of the french translation. European Journal of Psychological Assessment, 22(2), 126-131. doi: 10.1027/1015-5759.22.2.126

Koole, S. (2009). The psychology of the emotion regulation: An integrative review. Cognition and emotion, 23(1), 4-41.doi: 10.1080/02699930802619031

Kraaij, V., Garnefski, N., & van Gerwen, L. (2003). Cognitive coping and anxiety among people with fear of flying. En R. Bor& L. van Gerwen (Eds.), Psychological Perspectiveson Fear of Flying (pp. 89-99). Hampshire: Ashgate.

Kroenke, K., Spitzer, R., & Williams, J. (2003). The Patient Health Questionnaire-2: Validity of two-item depression screener. Medical Care, 41(11), 1284-1292. doi: 10.1097/01.MLR.0000093487.78664.3C

Kroenke, K., Spitzer, R., Williams, J., Monahan, P., & Lowe, B. (2007). Anxiety disorders in primary care: Prevalence, impairment, comorbidity, and detection. Annals of International Medicine, 146, 317-325.

Lautenschlager, G. J., & Meade, A. W. (2008). Alpha Test: A windows program for tests of hypotheses about coefficient alpha. Applied Psychological Measurement, 23, 502-503.doi: 10.1177/0146621607312307

Levy, P. (1967). The correction for spurious correlation in the evaluation of short-form tests.Journal of Clinical Psychology, 23, 84-86.doi: 10.1002/1097-4679(196701)23:1<84::ID-JCLP2270230123>3.0.CO;2-2

Lyons-Thomas, J., Liu, Y., & Zumbo, B. (2014). Validation Practices in the social, behavioral, and Health Sciences: A synthesis of synthesis. In: B. Zumbo, & E. Chan (Ed.), Validity andValidation in Social, Behavioral, and Health Sciences, Springer, pp. 313-319.

Malgady, R. (2007). How skew are psychological data? A standardized index of effect size.The Journal of General Psychology, 134(3), 355-359.doi: 10.3200/GENP.134.3.355-360

Matsumoto, D. (2006). Are cultures differences in emotion regulation mediated by personality traits? Journal of Cross-cultural Psychology, 37(4), 421-437. doi: : 10.1177/0022022106288478

Medrano, L., & Trógolo, M. (2014). Validación de la escala de dificultades en la regulación emocional en la población universitaria de Córdoba, Argentina. Universitas Psychologica, 13(4), 1345-1356. doi: 10.11144/Javeriana.UPSY13-4.vedr

Medrano, L., Moretti, L., Ortiz, A., & Pereno, G. (2013). Validación del Cuestionario de Regulación Emocional Cognitiva en Universitarios de Córdoba, Argentina. Psykhe, 22(1), 83-96.

Merino, C. (2012). Forma breve del SPSI-R: Análisis preliminar de su validez interna y confiabilidad. Terapia Psicologica, 30(2), 85-90.doi: 10.4067/S0718-48082012000200009

Merino, C., & Lautenschlager, G. (2003). Comparación estadística de la confiabilidad alfa de Cronbach: Aplicaciones en la medición educacional y psicológica. Revista de Psicología de la Universidad de Chile. 12(2); 127-136.

Merino-Soto, C., Navarro-Loli, J., & García, W. (2014). Revisión de la consistencia interna del Inventario de Inteligencia Emcional de Bar-On, EQ-I: YV. Revista Peruana de Psicología y Trabajo Social, 3(1), 141-154.

Montero, O. & León, I. (2007). A guide for naming research studies in Psychology. International Journal of Clinical and Health Psychology. 7(3), 847-862.

Perte, A., & Miclea, M. (2011). The standarization of the Cognitive Emotion Regulation Questionarie (CERQ) on romanian population. Cognition, Brain, Behavior. An Interdisciplinary Journal, 15(1), 111-130.

Petrides, K. V., Jackson, C. J., Furnham, A., & Levine, S. Z. (2003). Exploring issues of personality measurement and structure throughthe development of a short form of the Eysenck personality profiler. Journal of Personality Assessment, 81, 271-280.doi: 10.1207/S15327752JPA8103_10

Ponterotto, J. G., & Charter R. A. (2009). Statistical extensions of Ponterotto and Ruckdeschel’s (2007) reliability matriz for estimating the adecuacy of internal consistency coefficients. Perceptual and Motor Skills, 108, 878-886. doi: 10.2466/PMS.108.3.878-886

Robinson, J. P., Shaver P. R., & Wrightsman, L. S. (2001). Measures of personality and social psychological attitudes. San Diego, CA: Academic Press, Inc.

Simms, L. J., & Watson, D. (2007).The construct validation approach to personality scale construction. In R. Robins, C. Fraley, & R. Krueger (Eds.), Handbook of Research Methods in Personality Psychology. Guilford Press.

Smith, G., McCarthy, D. M., & Anderson, K. G. (2000).On the sins of short-form development. Psychological Assessment, 12(1), 102-111. doi: 10.1037/1040-3590.12.1.102

Snedecor, G. W., & Cochran, W. G. (1989), Statistical Methods, (8th Ed.), Iowa State University Press.

Taras, V., & Kline, T. (2010). Scale validation via quantifying item validity using the Dm Index. Psychological Reports, 107(2), 535-546.doi: 10.2466/03.PR0.107.5.535-546

Thompson, R. A. (1994). Emotion regulation: A theme in search of definition. Monographs of the society for research in child development, 59(2‐3), 25-52.

Tuna, E., & Bozo, O. (2012). The Cognitive Emotion Regulation Questionnaire: Factor structure and psychometric properties of the Turkish version. Journal of Psychopathology and Behavioral Assessment, 34, 564-570.doi: 10.1007/s10862-012-9303-8

Westen, D., & Rosenthal, R. (2003). Quantifying construct validity: Two simple measures. Journal of Personality and Social Psychology, 84(3), 608-618.doi: 10.1037/0022-3514.84.3.608

Zhu, X., Auerbach, R., Yao, S., Abela, J., Xiao, J., & Tong, X. (2008). Psychometric properties of the Cognitive Emotion Regulation Questionnaire: Chinese version. Cognition and Emotion, 22(2), 288-307.doi: 10.1080/02699930701369035

Zou, G. (2007). Toward using confidence intervals to compare correlations. Psychological Methods, 12(4), 399-413. doi: 10.1037/1082-989X.12.4.399

Zumbo, B., & Chan, E. (2014). Reflections on validation practices in the social, behavioral, and health sciences. In: B. Zumbo, & E. Chan (Ed.), Validity and validation in social, behavioral, and health sciences, Springer, pp. 313-319.

HTML generado a partir de XML-JATS4R por