Servicios
Descargas
Buscar
Idiomas
P. Completa
Análisis psicométrico de una medida ultra-breve para el engagement académico: UWES-3S
Dominguez-Lara, Sergio; Fernández-Arata, Manuel; Seperak-Viera, Rosa
Dominguez-Lara, Sergio; Fernández-Arata, Manuel; Seperak-Viera, Rosa
Análisis psicométrico de una medida ultra-breve para el engagement académico: UWES-3S
Psychometric analysis of an ultra-short measure for academic engagement: UWES-3S.
Revista Argentina de Ciencias del Comportamiento, vol. 13, núm. 1, pp. 25-37, 2021
Universidad Nacional de Córdoba
resúmenes
secciones
referencias
imágenes

Resumen: El objetivo fue analizar la equivalencia entre las versiones de 17 y 9 ítems de la Utrech Work Engagement Scale – Student (UWES-S) y la UWES-3S, desde un análisis interno (asociación entre versiones) y externo (asociaciones con medidas de agotamiento emocional, autoeficacia académica y sexo). La investigación fue cuantitativa e instrumental. Fueron evaluados 497 estudiantes universitarios (63.4% mujeres; Medad = 20.44; DEedad = 3.18) de diversas carreras profesionales de una universidad privada de Arequipa (región del sur del Perú). Los resultados muestran que la UWES-9S y la UWES-17S son invariantes entre hombres y mujeres. Asimismo, la asociación entre la UWES-3S y las versiones más extensas de la UWES fue elevada (rcorregida > .80). Por otro lado, las tres versiones presentaron asociaciones significativas con la medida de agotamiento emocional académico y autoeficacia académica (r > .20), así como con el sexo (d > .20), y la magnitud de cada asociación en la UWES-3S no se diferenció estadísticamente de las encontradas en las demás versiones. Además, los indicadores de confiabilidad fueron satisfactorios y similares (rij > .40). Se concluye que la UWES-3S es una versión equivalente a las versiones extensas en universitarios peruanos.

Palabras clave: engagement académico, UWES, validez, confiabilidad.

Abstract: The aim was to analyze the equivalence between the 17- and 9-items versions of the Utrech Work Engagement Scale - Student (UWES-S) and the UWES-3S, from an internal analysis (association between versions) and external (associations with exhaustion emotional, academic self-efficacy and sex). The research was quantitative and instrumental. Were evaluated 497 university students (63.4% women; Mage = 20.44; SDage = 3.18) from various professional careers of a private university in Arequipa (region of southern Peru). The results shows that the UWES-9S and UWES-17S are invariant across men and women. Likewise, the association between the UWES-3S and the more extensive versions of the UWES was high (rcorrected > .80). On the other hand, the three versions presented significant associations with emotional exhaustion and academic self-efficacy (r > .20), as well as sex (d > .20), and the magnitude of each association in the UWES-3S did not differ statistically from the found in the other versions. In addition, the reliability indicators were satisfactory and similar (rij > .40). Then, the UWES-3S is an equivalent version to the extensive versions in Peruvian university students.

Keywords: academic engagement, UWES, validity, reliability.

Carátula del artículo

Artículos Originales

Análisis psicométrico de una medida ultra-breve para el engagement académico: UWES-3S

Psychometric analysis of an ultra-short measure for academic engagement: UWES-3S.

Dominguez-Lara, Sergio
Universidad de San Martín de Porres, Perú
Fernández-Arata, Manuel
Universidad de San Martín de Porres, Perú
Seperak-Viera, Rosa
Universidad de San Martín de Porres, Perú
Revista Argentina de Ciencias del Comportamiento, vol. 13, núm. 1, pp. 25-37, 2021
Universidad Nacional de Córdoba

Recepción: 03 Abril 2020

Aprobación: 03 Junio 2020

Financiamiento
Fuente: Universidad de San Martín de Porres
Introducción
Engagement académico

La etapa universitaria es desafiante y la evidencia empírica disponible ha demostrado que existen algunos elementos que intervienen satisfactoriamente en el desarrollo profesional (Cavazos & Encinas, 2016), siendo uno de ellos el engagement académico (EA) definido como un estado de activación motivacional positivo hacia los estímulos académicos, como una forma fructífera y diligente del uso de recursos, capacidades y virtudes académicas (Hinrichs, Ortiz, & Pérez, 2016).

El EA ha sido analizado en sus tres dimensiones: la dedicación, que se refiere al entusiasmo, alegría y gran identificación que se manifiesta ante los retos académicos; el vigor que está orientado a los altos niveles de energía física y mental; y la absorción, que representa el grado de concentración, esmero y sensación de que el tiempo juega un papel importante en el cumplimiento de los objetivos académicos planteados (Schaufeli & Salanova, 2007).

El EA no es un concepto aislado, dado que distintos estudios reportan su asociación con otras variables psicológicas o sociodemográficas (Caballero, Hederich, & García, 2015; Medrano, Moretti, & Ortiz, 2015), aunque existen dos variables relevantes al ámbito académico que deben mencionarse: burnout académico y autoeficacia académica. El primero, por ser un constructo estrechamente ligado al EA, al punto de resultar conceptualmente dependientes entre sí (Leon, Halbesleben, & Paustian-Underdahl, 2015); y el segundo por ser considerado como el motor del engagement (Salanova, Bresó, & Schaufeli, 2005).

El burnout académico (BA) se ha considerado como el opuesto del EA en vista de su relación con la incompetencia personal y bajos niveles motivacionales ante los estímulos académicos (Schaufeli, Martinez, Marques–Pinto, Salanova, & Bakker, 2002; Schaufeli & De Witte, 2017). Precisamente, el engagement, general o académico, se caracteriza por la energía, el involucramiento y la eficacia, opuestos directos de las tres dimensiones del SB, en donde la energía se convierte en agotamiento, el involucramiento en cinismo y la eficacia en ineficacia (Maslach & Leiter, 1997).

El agotamiento emocional académico es considerado la dimensión central y más importante del BA, al punto de considerar a este último como un constructo unidimensional con base en el agotamiento emocional (Dominguez-Lara & Merino-Soto, 2019; Nikodijević, Labrović, & Đoković, 2012) en vista que el BA se caracteriza por una sobrecarga emocional a causa de las actividades realizadas, y esto se asocia inversamente con el EA (e.g., Lovakova, Agadullina, & Schaufeli, 2017). La situación antes mencionada se puede explicar desde la teoría de conservación de recursos (Hobfoll, 1989) y el modelo demandas-recursos laborales (DRL; Schaufeli & Bakker, 2010), ya que mientras el burnout es considerado como un estado en el que el individuo pierde recursos a través del tiempo llevándolo así a un afrontamiento poco adaptativo y con consecuencias negativas a nivel emocional, con el engagement el individuo es capaz de crear más recursos en su entorno inmediato redundando esto en emociones positivas (Bakker, Demerouti, & Sanz-Vergel, 2014). Esta dinámica también puede observarse en el ámbito académico dado que se ha encontrado que el BA y EA se asocian con la ansiedad y depresión de forma directa e inversa, respectivamente (Caballero, González, & Palacio, 2015).

También es importante la autoeficacia académica por la evidencia de su relación directa con el EA (Schaufeli & Salanova, 2007), así como por la importancia que tiene en el logro de objetivos académicos y su rol en el ámbito universitario (Moreta-Herrera, Lara-Salazar, Camacho-Bonilla, & Sánchez-Guevera, 2019). Estas variables se comportan de manera dinámica cuando se unen, puesto que la autoeficacia académica se ha conceptualizado por investigadores como el motor del EA, es decir que, el éxito del pasado aumentaría las creencias positivas sobre el potencial para el desempeño académico y por consiguiente incrementaría el EA y el posible éxito en el futuro; sin embargo, el fracaso académico del pasado, las bajas expectativas y valoraciones sobre el potencial académico originarían un gran agotamiento personal (García-Renedo, Llorens, Cifré, & Salanova, 2006; Medrano et al., 2015; Salanova et al., 2005).

Por otro lado, ciertas variables sociodemográficas, como el sexo se han relacionado con el EA en vista que se reporta que las mujeres presentan mayores puntuaciones en ese constructo (e.g., Martínez & Salanova, 2003; Parada & Pérez, 2014). Al desglosar los factores que constituyen el EA, se puede rescatar que la mujer posee mayores variables de compromiso y esfuerzo en la vida universitaria, comportamientos que pueden explicarse como el resultado de la permanente brecha ideológica que evidencia la dificultad que tienen las mujeres para acceder y terminar sus estudios académicos (Fuentes & Sánchez, 2010; Sánchez-Herrero, Sánchez-López, & Dresch, 2009), y pese a que los reportes universitarios acreditan que las mujeres tienen mayores probabilidades de culminar sus estudios universitarios (58%), a diferencia de los varones, ellas optan más por carreras en el ámbito de la educación o la salud, y son minoritarias en las ingenierías o los estudios de ciencias (Organización para la Cooperación y el Desarrollo Económicos, 2015). De otro lado, si bien existe evidencia de que la medida del EA realizada con la UWES-S es equivalente entre hombres y mujeres de otros contextos (Carmona-Halty, Schaufeli, & Salanova, 2019; Serrano, Andreu, Murgui, & Martínez, 2019), no existe evidencia en Perú y el estudio de su invarianza factorial fue una recomendación de un trabajo realizado con universitarios peruanos (Dominguez-Lara, Sánchez-Villena, & Fernández-Arata, 2020) dado que es un procedimiento que podría acercar más a una medición libre de sesgos (Pendergast, von der Embse, Kilgus, & Eklund, 2017).

Medición ultra-breve del engagement académico: la UWES-3

El EA se evalúa generalmente con la Utrech Work Engagement Scale – Student (UWES-S; Schaufeli et al., 2002) que tiene dos versiones conocidas, de 17 (UWES-17S) y nueve ítems (UWES-9S; Schaufeli, Bakker, & Salanova, 2006). Diversos estudios reportan una estructura multidimensional (e.g., Carmona-Halty et al., 2019; Meng & Jin, 2017), aunque ha recibido críticas respecto a los procedimientos empleados originalmente para la construcción de la escala (ver Mills, Culbertson, & Fullagar, 2012). Adicionalmente, frecuentemente no se aborda de forma metodológica el problema de las elevadas correlaciones interfactoriales observadas en algunos trabajos de corte psicométrico, excepto en los estudios llevados a cabo en España (Serrano et al., 2019) y Perú (Dominguez-Lara et al., 2020) donde se concluye que la alta asociación entre dimensiones es explicada en mayor medida por la presencia de un factor de orden superior. Esta situación suscita controversias en cuanto a la estructura del constructo, llevando en algunos casos a postular modelos alternativos centrados en dos de sus dimensiones (vigor y dedicación; Schaufeli & Salanova, 2011) o indicar que la estructura unidimensional es la correcta (Kulikowski, 2017).

En este orden de ideas, recientemente fue propuesta la UWES-3 para el ámbito laboral (Schaufeli, Shimazu, Hakanen, Salanova, & De Witte, 2019), permitiendo evaluar el engagement con tres ítems que fueron elegidos como marcadores teóricos de cada una de las dimensiones originales. El estudio de la equivalencia entre la UWES-9 y la UWES-3 fue desarrollado con trabajadores adultos de cinco países (Finlandia, Japón, Holanda, Bélgica, y España) y esta versión más breve reporta una confiabilidad equivalente a la UWES-9, además de una elevada correlación con esta (Schaufeli et al., 2019). Asimismo, se analizó la correlación entre las dos versiones con diversas variables psicológicas (e.g., burnout) y demográficas (e.g., sexo), reportando equivalencia entre estas asociaciones. No obstante, en todos los análisis correlacionales no se tomó en consideración que la UWES-9 y la UWES-3 comparten elementos, lo que eleva de forma espuria las correlaciones entre versiones, siendo imperativo realizar una corrección (Levy, 1967). Además, las correlaciones con los criterios externos fueron comparadas directamente y de forma descriptiva, dejando de lado una situación similar a la anterior: son correlaciones con elementos comunes y necesitan un análisis específico (Zou, 2007). Por último, no se valoró la equivalencia con la versión original más extensa (UWES-17).

El presente estudio

En ese sentido, el estudio tuvo como objetivo analizar la equivalencia entre las dos versiones extensas de la UWES-S (17 y 9 ítems) con la UWES-3S, tanto a nivel interno como externo. En cuanto a lo interno, mediante la asociación entre las versiones extensas y la UWES-3; y con relación a lo externo, evaluando la correlación entre cada versión y otros constructos (e.g., autoeficacia académica), y luego analizar si esas correlaciones son estadísticamente similares (Schaufeli et al., 2019).

El presente estudio se justifica en vista que contar con medidas que permitan evaluar mejor los aspectos positivos y negativos del EA contribuyen al desarrollo de intervenciones que faciliten y promuevan el EA, lo cual es un buen punto de partida para lograr el bienestar, y la medición apropiada del constructo es igualmente un buen punto de partida para enfocar las intervenciones individuales y grupales de manera eficaz, considerando que las personas con altos niveles de EA realizan activamente una tarea, son capaces de cambiar el entorno, de modificar su diseño y contenido, eligen tareas negociando contenidos y asignando significado a sus tareas, lo cual le permite adaptar sus trabajos a sus conocimientos personales, habilidades y a sus preferencias y necesidades (Bakker, Albrecht, & Leiter, 2011). Por el contrario, un inadecuado desarrollo del EA puede predisponer al estudiante al SB y al fracaso académico porque los estudiantes que dudan de sus capacidades y consideran el estudio como una valla muy alta poseerán creencias negativas de autoeficacia académica (Martínez & Marques, 2005), que son un elemento clave porque implica la percepción de las propias fortalezas para enfrentar las dificultades académicas.

Desde un punto de vista práctico, contar con una escala ultra-breve y unidimensional permitiría una valoración rápida y eficiente del EA y así se podrían plantear y estudiar modelos explicativos del mismo ya que al contar con versiones breves de determinados instrumentos es posible evaluar más constructos con escalas de pocos ítems dentro del mismo protocolo de evaluación. Asimismo, como todas las versiones breves, permiten afrontar satisfactoriamente las restricciones de tiempo inherentes a toda organización con horarios establecidos como las empresas o universidades, y al no generar aburrimiento o respuestas aleatorias en los encuestados, contribuye a la validez interna de la investigación.

Método
Diseño

El presente tiene un diseño instrumental (Ato, López, & Benavente, 2013) orientado al estudio de las propiedades psicométricas de la UWES-3S.

Participantes

Se contó con una muestra intencional de 497 estudiantes universitarios de diversas carreras profesionales (administración: 13.08%; arquitectura: 7.65%; derecho: 20.32%; ingenierías: 16.10%; odontología: 24.35%; psicología: 15.69%; otras: 2.8%) de una universidad privada de Arequipa (región del sur del Perú), en su mayoría mujeres (63.4%), con 20.44 años en promedio (DE = 3.18; 91.8% entre 17 y 25 años), predominantemente solteros (94.8%) y poco más de la cuarta parte (27.4%) trabajaba.

Instrumentos

Utrech Work Engagement Scale – Student (UWES-S; Schaufeli & Bakker, 2003). Se trata de un instrumento que evalúa el EA de forma multidimensional (dedicación, vigor y absorción). Está constituido por 17 ítems con siete opciones que van desde Nunca (0) hasta Siempre (6). De esta versión se extrajeron nueve ítems que configuran la UWES-9S (Schaufeli et al., 2006), la cual presenta evidencias psicométricas de universitarios peruanos que apuntan a una estructura unidimensional (Dominguez-Lara et al., 2020).

Utrech Work Engagement Scale – 3 (UWES-3; Schaufeli et al., 2019). Es una versión ultra-breve que evalúa el engagement de forma unidimensional con tres ítems que fueron elegidos con criterios teóricos. Para el presente estudio fueron seleccionados los ítems equivalentes del UWES en la versión académica (1: Mis tareas como estudiante me hacen sentir lleno de energía; 5: Estoy entusiasmado con mi carrera; 11: Estoy inmerso en mis estudios; Schaufeli & Bakker, 2003).

Escala de Cansancio Emocional (ECE; Fontana, 2011). Es una escala que evalúa de forma unidimensional el agotamiento emocional académico. Está estructurada con 10 ítems en formato de respuesta graduada de cinco opciones (desde raras veces [1] hasta siempre [5]). Se utilizó una versión adaptada a Perú (Dominguez-Lara, Fernández-Arata, Manrique-Millones, Alarcón-Parco, & Díaz-Peñaloza, 2018) y en el presente estudio presenta indicadores aceptables de confiabilidad (α = .888; IC95% .868 - .905).

Escala de Autoeficacia Percibida Específica de Situaciones Académicas (EAPESA; Palenzuela, 1983). Esta escala mide unidimensionalmente la autoeficacia académica por medio de nueve ítems escalados en formato Likert de cuatro opciones de respuesta (desde Nunca [1] hasta Siempre [4]). Fue usada la versión adaptada a Perú (Dominguez-Lara, 2016) y fueron hallados indicadores aceptables de confiabilidad con los datos del presente trabajo (α = .918; IC95% .903 - .931)

Procedimiento metodológico

El reporte fue desarrollado dentro de un proyecto de investigación aprobado por la universidad de los autores, y se ejecutó en el marco de la declaración de Helsinki (Asociación Médica Mundial, 1964) y del código de ética del Colegio de Psicólogos del Perú (2017). Posteriormente, previa coordinación y consentimiento informado de los estudiantes, se procedió a administrar el instrumento en diversas escuelas profesionales, en horarios de clase.

En cuanto al análisis estadístico, se llevó a cabo un análisis descriptivo para valorar la aproximación a la normalidad univariada (asimetría y curtosis), y multivariada con el coeficiente G2 de Mardia (< 70).

Para comenzar, fueron analizadas las evidencias de validez de la estructura interna de la UWES-17S y UWES-9S en hombres y mujeres, y dada la evidencia encontrada en un estudio preliminar desarrollado en Perú (Dominguez-Lara et al., 2020) se partió del supuesto de que ambas versiones, de 17 y nueve ítems, presentan un factor general (FG) de EA que explica la mayor parte de la varianza de los ítems y son medidas esencialmente unidimensionales.

En esta línea de argumentación, se implementaron análisis bifactor (Rodriguez, Reise, & Haviland, 2016) desde el modelamiento exploratorio de ecuaciones estructurales (Bifactor-ESEM). Este análisis se realizó en el marco del método de estimación por Mínimos Cuadrados Ponderados por Media y Varianza Ajustada (WLSMV, por sus siglas en inglés), tomando como base la matriz de correlaciones policóricas entre los ítems. El ajuste de los modelos se valoró según la magnitud del CFI (> .90; McDonald & Ho, 2002), si el límite superior del intervalo de confianza del RMSEA es menor que .10 (West, Taylor, & Wu, 2012), y si el WRMR es menor que la unidad (DiStefano, Liu, Jiang, & Shi, 2018). Los análisis se realizaron con el software Mplus versión 7.0 (Muthén & Muthén, 1998-2015).

Del mismo modo, se evaluó la fortaleza de las dimensiones específicas (dedicación, vigor y absorción) en presencia del FG de EA. En este punto se consideró el cálculo del omega jerárquico general (ωh) y el omega jerárquico por cada dimensión (ωhs), donde si este último es mayor que .30 y la varianza común explicada (ECV) es menor que .50, significa que los factores específicos son interpretables (Gignac, & Kretzschmar, 2017).

Los procedimientos se realizaron de forma independiente con la UWES-17S y la UWES-9S, en hombres y mujeres, y luego se ejecutó un análisis de invarianza de medición también en ambas versiones (Pendergast et al., 2017). Se evaluó la invarianza configural, métrica y fuerte. Un grado de invarianza aceptable se relaciona con determinada variación en la magnitud del CFI (ΔCFI > -.01) y RMSEA (ΔRMSEA ≤ .015) (Chen, 2007) así como del χ2 (Asparouhov & Muthén, 2006).

Luego de ello, se analizaron las evidencias de equivalencia entre la UWES-17S, UWES-9S y UWES-3S con la muestra completa haciendo uso de análisis correlacionales. En primer lugar, se asoció cada par de versiones (e.g., UWES-17S con UWES-3S) pero al contener elementos comunes la correlación se corrigió (Levy, 1967).

En segundo lugar, la equivalencia de la asociación de las tres versiones con una medida de agotamiento emocional académico y autoeficacia académica fue analizada mediante dos enfoques basados en la comparación estadística de cada par de correlaciones (e.g., UWES-17S con AE y UWES-3S con AE). El primer enfoque consiste en un método que estima el intervalo de confianza (IC) para la diferencia entre correlaciones dependientes, es decir, que tienen elementos en común (Zou, 2007), siendo en este caso el elemento común la medida de agotamiento emocional académico o de autoeficacia académica. Entonces, si el IC incluye al cero es un indicador de que no existen diferencias entre las correlaciones; y el segundo enfoque hace uso de la . (Cohen, 1992) que estima la magnitud de las diferencias para dos correlaciones, siendo triviales aquellos indicadores menores que .10.

En tercer lugar, la equivalencia de las diferencias de EA (evaluado con la UWES-17S, UWES-9S y UWES-3S) según el sexo fue analizada mediante la d (Cohen, 1992), posteriormente transformada a un coeficiente de correlación (r) para compararlo con la q.

Para finalizar, en cuanto a la confiabilidad, el coeficiente α fue estimado con sus IC, esperando magnitudes mayores que .60 (ver Ponterotto & Charter, 2009). Complementariamente, fue utilizada la correlación inter-ítem promedio (rij), que no depende del número de ítems (rij> .40; Clark & Watson, 1995) y la fórmula de Spearman-Brown (SB) para predecir el coeficiente α de la UWES-3S si su extensión se hace similar a la de la UWES-17S y UWES-9S. La evaluación de la equivalencia entre versiones fue realizada en base a la comparación descriptiva de los IC de los rij de cada versión y la cercanía de la predicción de la fórmula de SB.

Resultados
Análisis descriptivo

En todos los ítems predominan las respuestas a las opciones más elevadas, evidenciando además indicadores adecuados de asimetría y curtosis (Tabla 1). En cuanto a la normalidad multivariada, la UWES-17S muestra indicadores desfavorables en ambos grupos (G2hombres = 92.172; G2mujeres = 121.399), mientras que la UWES-9S se desempeña mejor a ese nivel (G2hombres = 38.202; G2mujeres = 54.001).

Tabla 1
Análisis descriptivo de los ítems de la UWES

Nota M: Media; DE: Desviación estándar; g1: asimetría; g2: curtosis; D: Distribución.

Evidencias de validez de la estructura interna de la UWES-17S y UWES-9S en hombres y mujeres

En cuanto al análisis bifactor-ESEM llevado a cabo con cada grupo, el ajuste fue favorable en hombres (UWES-17S: CFI17 = .986; RMSEA17 = .067, IC90% = .049, .085; WRMR17 = .414; UWES-9S: CFI. = 1.000; RMSEA. = .000, IC90% = .000, .092; WRMR. = .125) y mujeres (UWES-17S: CFI17 = .979; RMSEA17 = .074, IC90% = .062, .086; WRMR17 = .538; UWES-9S: CFI. = 1.000; RMSEA. = .000, IC90% = .000, .051; WRMR. = .098), destacando la versión de nueve ítems con mejores estadísticas. Asimismo, en todos los casos las magnitudes del ωh, ωhs y ECV indican que el FG de EA recibe suficiente respaldo y que las dimensiones específicas no serían interpretables (Tabla 2).

Tabla 2
Índices estadísticos de modelos bifactor en hombres y mujeres

Nota FG: Factor general de engagement académico; VI: Vigor; DE: Dedicación; ABS: Absorción; ωh: Omega jerárquico; ωhs: Omega jerárquico por dimensión; ECV: Varianza común explicada.

Por otro lado, en cuanto a la invarianza de medición, ambas versiones (17 y 9 ítems) son prácticamente equivalentes entre hombres y mujeres en vista de la magnitud de sus índices de ajuste, así como su variabilidad entre modelos anidados (Tabla 2).

Tabla 3
Invarianza de medición del modelamiento bifactor-ESEM de la UWES-17S y UWES-9S

Nota CFI: Índice de ajuste comparativo; RMSEA: Error cuadrático medio de aproximación; WRMR = Raíz cuadrática media residual ponderada; χ2 = estadístico chi-cuadrado.

Evidencias de equivalencia entre la UWES-17S, UWES-9S y UWES-3S

La asociación entre las diversas versiones de la UWES fue elevada, y luego de corregir las correlaciones estas se mantuvieron en gran magnitud (> .80), llegando a compartir más del 65% de varianza (Tabla 4). Del mismo modo, las tres versiones presentaron asociaciones significativas con la medida de agotamiento emocional académico y autoeficacia académica; y la magnitud de cada correlación no se diferenció estadísticamente entre las tres versiones ya que los IC de la diferencia de correlaciones incluye el cero, y el . es menor que .10, lo que representa una diferencia insignificante (Tabla 4). Por último, se hallaron diferencias pequeñas y significativas entre hombres y mujeres (d ≈ .20) a favor del segundo grupo, las cuales fueron equivalentes en las tres versiones (q < .10).

Confiabilidad

Los coeficientes de confiabilidad de las versiones extensas fueron elevados (> .90), y aunque el de la versión de tres ítems fue aceptable para una medida breve (> .65), al calcular la rij como medida de consistencia interna para las tres versiones, las magnitudes podrían considerarse equivalentes (Tabla 5). Del mismo modo, la magnitud del coeficiente α estimada con la fórmula de Spearman-Brown es aceptable y muy cercana a las versiones extensas, lo que permite reafirmar su equivalencia.

Discusión

El objetivo central del manuscrito fue determinar si la UWES-3S es viable como medida ultra-breve del EA, encontrando que es equivalente a las versiones más extensas en lo que concierne a estructura, asociación con otras variables y confiabilidad, además de que algunos análisis preliminares y complementarios otorgaron información importante.

Por ejemplo, un punto interesante derivado del análisis estructural fue que el UWES-9S presenta mayores credenciales psicométricas que la UWES-17S. Otro aspecto fue la ausencia de diferenciación entre dimensiones lo que llevó a confirmar que la estructura unidimensional observada anteriormente en muestras peruanas (Dominguez-Lara et al., 2020) es la mejor opción explicativa, al menos con esta muestra de estudio. De forma similar, el análisis de invarianza entre hombres y mujeres indicó que, en esencia, el constructo tiene el mismo significado en ambos grupos tal como fue hallado en otros trabajos (Carmona-Halty et al., 2019; Serrano et al., 2019), incluyendo las diferencias, aunque pequeñas, a favor de las mujeres (e.g., Parada & Pérez, 2014).

Tabla 4
Equivalencia empírica entre UWES-17S, UWES-9S y UWES-3S

Nota ECE: Escala de Agotamiento Emocional Académico; EAPESA: Escala de Autoeficacia Percibida Específica de Situaciones Académicas; encima de la diagonal: correlación entre versiones; debajo de la diagonal: correlación corregida; r: coeficiente de correlación; d: d de Cohen; q: q de Cohen.

Estos resultados reafirman lo planteado en la sección introductoria en la medida que resaltan que las mujeres presentan mayor EA pese a las circunstancias adversas que existen con relación al acceso a la educación (Guadalupe, León, Rodríguez, & Vargas, 2017).

Tabla 5
Estimación de la confiabilidad: UWES-17S, UWES-9S y UWES-3S

Nota α: coeficiente alfa; rij: correlación inter-ítem promedio.

Finalmente, resalta la asociación inversa con el agotamiento emocional académico y directa con la autoeficacia académica que replica lo reportado por la literatura (e.g., Lovakova et al., 2017; Salanova et al., 2005; Schaufeli & Salanova, 2007), lo que indicaría que los estudiantes que evidencian mayor grado de EA experimentan en menor grado sobrecarga emocional, serían capaces de crear más recursos para un afronte adaptativo de las demandas académicas, y experimentarían mayor confianza en las actividades que realizan para lograr su objetivos a futuro. De este modo, se obtuvo evidencias favorables de validez por la relación con variables teóricamente relevantes, y además se infiere que en la muestra de estudio el EA también es un agente generador de recursos personales en el ámbito académico (Alarcón, 2011).

En cuanto a la equivalencia entre las tres versiones, resalta el alto grado de varianza compartida entre estas, lo que permitiría hacer inferencias similares independientemente de la versión usada porque las asociaciones observadas con los criterios externos (agotamiento emocional académico, autoeficacia académica, y sexo) no difieren estadísticamente. Por otro lado, con respecto a la confiabilidad, si bien se aprecia una reducción del α cuando se hacen uso de versiones más breves (Saucier, 1994), esta situación es predecible porque este coeficiente depende del número de ítems (Raykov, 2012). En otras palabras, siempre el coeficiente α de la versión más corta será menor, por lo que la implementación de métodos alternativos, como la correlación inter-ítem promedio o la fórmula de predicción de Spearman-Brown, fue útil y esclarecedora para valorar el verdadero grado de interacción de los ítems y valorar así de forma más precisa la consistencia interna de la UWES-3S.

Las implicaciones prácticas de contar con una versión ultra-breve de la UWES-S son diversas, aunque es necesario mencionar que cuando son analizadas las versiones cortas de determinada escala es natural sospechar que la reducción de ítems podría impactar su calidad psicométrica (Kruyen, Emons, & Sijtsma, 2013). No obstante, según los resultados encontrados a nivel de estructura interna, asociación con variables y confiabilidad, no existe una pérdida de calidad psicométrica. Por tales motivos, la UWES-3S podría usarse en encuestas estudiantiles de largo alcance (e.g., Rammstead & Beierlein, 2014) y para propósitos de investigación (Ziegler, Kemper, & Kruyen 2014).

Pese a las bondades mostradas, las versiones breves son objeto de controversia. Por ejemplo, es posible que se evalúe de forma estrecha un constructo de naturaleza amplia, reduciendo la amplitud de contenido (Ziegler et al., 2014), pero los estudios revisados de la UWES-S presentan información (e.g, elevadas correlaciones interfactoriales) que sugiere que una estructura unidimensional posee mayor respaldo que una multidimensional.

En cuanto a las fortalezas del presente trabajo, contar con estudiantes de múltiples áreas del conocimiento permite diversificar la muestra, reduciendo el sesgo de aplicación cuando la muestra se enfoca solo en estudiantes de psicología o en grupos que conozcan a profundidad sobre aquello que se está evaluando. Otro aspecto a resaltar es el análisis de invarianza de medición de forma preliminar a la realización de un procedimiento comparativo, así como el uso de métodos estadísticos específicos para datos como los que se abordaron en el presente reporte (e.g., correlaciones con elementos comunes). De este modo pudo controlarse el sesgo de medición asociado al sexo, y aunque la medición fue equivalente, es un aspecto que debe evaluarse.

En cuanto a las recomendaciones, para futuros trabajos es conveniente replicar los procedimientos y valorar el desempeño de la UWES-3S de forma independiente, es decir, analizar solo los tres ítems, y aunque no es factible hacer un análisis factorial por motivos de infraidentificación del modelo (grados de libertad cero), existen estrategias, bajo el enfoque analítico-factorial, que podrían ser tomadas en cuenta para tal fin (ver Merino-Soto, Dominguez-Lara, & Fernández-Arata, 2017).

Material suplementario
Información adicional

Citar este artículo como: Dominguez-Lara, S., Fernández-Arata, M., & Seperak-Viera, R. (2021). Análisis psicométrico de una medida ultra-breve para el engagement académico: UWES-3S. Revista Argentina de Ciencias del Comportamiento, 13(1), 25-37.

Agradecimientos

El manuscrito ha recibido financiamiento parcial por la Universidad de San Martín de Porres.

Los autores no presentan conflictos de interés con respecto a la publicación del manuscrito.

Referencias
Alarcón, G. M. (2011). A meta-analysis of burnout with job demands, resources, and attitudes. Journal of Vocational Behavior, 79(2), 549-562. doi: 10.1016/j.jvb.2011.03.007
Asociación Médica Mundial (1964). Declaración de Helsinki. Recuperado de: http://www.conamed.gob.mx/prof_salud/pdf/helsinki.pdf
Asparouhov, T., & Muthén, B. (2006). Robust chi square difference testing with mean and adjusted test statistics. Recuperado de: https://www.statmodel.com/download/webnotes/webnote10.pdf
Ato, M., López, J., & Benavente, A. (2013). Un sistema de clasificación de los diseños de investigación en psicología. Anales de Psicología, 29(3), 1038-1059. doi: 10.6018/analesps.29.3.178511
Bakker, A. B., Albrecht, S. L., & Leiter, P. (2011). Key questions regarding work engagement. European Journal of Work and Organizational Psychology, 20(1), 4-28. doi: 10.1080/1359432X.2010.485352
Bakker, A. B., Demerouti, E., & Sanz-Vergel, A. I. (2014). Burnout and Work Engagement: The JD–R Approach. Annual Review of Organizational Psychology and Organizational Behavior, 1(1), 389–411. doi: 10.1146/annurev-orgpsych-031413-091235
Caballero, C. C., González, O., & Palacio, J. (2015). Relación del burnout y el engagement con depresión, ansiedad y rendimiento académico en estudiantes universitarios. Salud Uninorte, 31(1), 59-69. doi: 10.14482/sun.31.1.5085
Caballero, C. C., Hederich, C., & García, A. (2015). Relación entre burnout y engagement académicos con variables sociodemográficas y académicas. Psicología desde el Caribe, 32(2), 254-267. doi: 10.14482/psdc.32.2.5742
Cavazos, J., & Encinas, F. (2016). Influencia del engagement académico en la lealtad de estudiantes de posgrado: un abordaje a través de un modelo de ecuaciones estructurales. Estudios Gerenciales, 32(140), 228–238. doi: 10.1016/j.estger.2016.07.001
Carmona-Halty, M. A., Schaufeli, W. B., & Salanova, M. (2019). The Utrecht Work Engagement Scale for Students (UWES–9S): Factorial Validity, Reliability, and Measurement Invariance in a Chilean Sample of Undergraduate University Students. Frontiers in Psychology, 10, 1017. doi: 10.3389/fpsyg.2019.01017
Chen, F. F. (2007). Sensitivity of goodness of fit indexes to lack of measurement invariance. Structural Equation Modeling, 14(3), 464-504. doi: 10.1080/10705510701301834
Clark, L. A., & Watson, D. (1995). Constructing validity: Basic issues in objective scale development. Psychological Assessment, 7(3), 309-319. doi: 10.1037/1040-3590.7.3.309
Cohen, J. (1992). A power primer. Psychological Bulletin, 112(1), 155–159. doi: 10.1037//0033-2909.112.1.155
Colegio de Psicólogos del Perú (2017). Código de ética y deontología. Recuperado de: https://www.cpsp.pe/documentos/marco_legal/codigo_de_etica_y_deontologia.pdf
DiStefano, C., Liu, J., Jiang, N., & Shi, D. (2018). Examination of the weighted root mean square residual: Evidence for trustworthiness? Structural Equation Modeling: A Multidisciplinary Journal, 25(3), 453-466. doi: 10.1080/10705511.2017.1390394
Dominguez-Lara, S. (2016). Valores normativos de una escala de autoeficacia académica en estudiantes universitarios de Lima. Interacciones, 2(2), 91-98. doi: 10.24016/2016.v2n2.31
Dominguez-Lara, S., & Merino-Soto, C. (2019). Medición con ítem único del agotamiento emocional académico en estudiantes universitarios peruanos: evidencias de validez y confiabilidad. Revista Iberoamericana de Diagnóstico y Evaluación – e Avaliação Psicológica, 50(1), 45-56. doi: 10.21865/RIDEP50.1.04
Dominguez-Lara, S., Sánchez-Villena, A., & Fernández-Arata, M. (2020). Psychometric properties of the UWES-9S in Peruvian college students. Acta Colombiana de Psicología, 23(2), 7-23. doi: 10.14718/ACP.2020.23.2.2.
Dominguez-Lara, S., Fernández-Arata, M., Manrique-Millones, D., Alarcón-Parco, D., & Díaz-Peñaloza, M. (2018). Datos normativos de una escala de agotamiento emocional académico en estudiantes universitarios de psicología de Lima (Perú). Educación Médica, 19(3), 246-255. doi: 10.1016/j.edumed.2017.09.002
Fontana, S. (2011). Estudio preliminar de las propiedades psicométricas de la escala de desgaste emocional para estudiantes universitarios. Revista Argentina de Ciencias del Comportamiento, 3(2), 44-48. doi: 10.32348/1852.4206.v3.n2.5227
Fuentes, F., & Sánchez, S. (2010). Análisis del perfil emprendedor: una perspectiva de género. Estudios de Economía Aplicada, 28(3), 1-28.
García-Renedo, M., Llorens, S., Cifré, E., & Salanova, M. (2006). Antecedentes afectivos de la autoeficacia docente: un modelo de relaciones estructurales. Revista de Educación, 339, 387-400.
Gignac, G. E., & Kretzschmar, A. (2017). Evaluating dimensional distinctness with correlated-factor models: Limitations and suggestions. Intelligence, 62, 138 - 147. doi: 10.1016/j.intell.2017.04.001
Guadalupe, C., León, J., Rodríguez, J. S., & Vargas, S. (2017). Estado de la Educación en el Perú. Análisis y perspectivas de la educación básica. Lima: GRADE.
Hinrichs, C., Ortíz, L., & Pérez, C. (2016). Relación entre el bienestar académico de estudiantes de kinesiología de una universidad tradicional de Chile y su percepción del ambiente educacional. Formación Universitaria, 9(1), 109-116. doi: 10.4067/S0718-50062016000100012
Hobfoll, S. (1989). Conservation of resources: A new attempt at conceptualizing stress. American Psychologist, 44(3), 513–524. doi: 10.1037/0003-066X.44.3.513
Kruyen, P. M., Emons, W. H. M., & Sijtsma K. (2013). On the shortcoming of shortened tests: a literature review. International Journal of Testing, 13(3), 223-248. doi: 10.1080/15305058.2012.703734
Kulikowski, K. (2017). Do we all agree on how to measure work engagement? Factorial validity of Utrecht Work Engagement Scale as a standard measurement tool – a literature review. International Journal of Occupational Medicine and Environmental Health, 30(2), 161–175. doi: 10.13075/ijomeh.1896.00947
Leon, M. R., Halbesleben, J. R. B., & Paustian-Underdahl, S. C. (2015). A dialectical perspective on burnout and engagement. Burnout Research, 2(2-3), 87–96. doi: 10.1016/j.burn.2015.06.002
Levy, P. (1967). The correction for spurious correlation in the evaluation of short-form tests. Journal of Clinical Psychology, 23(1), 84-86. doi: 10.1002/1097-4679(196701)23:1<84::aid-jclp2270230123>3.0.co;2-2
Lovakova, A. V., Agadullina, E. R., & Schaufeli, W. B. (2017). Psychometric properties of the Russian version of the Utrecht Work Engagement Scale (UWES-9). Psychology in Russia: State of the Art, 10(1), 145-162. doi: 10.11621/pir.2017.0111
Martínez, I., & Marques, A. (2005). Burnout en estudiantes universitarios de España y Portugal y su relación con variables académicas. Aletheia, 21, 21-30.
Martínez, I., & Salanova, M. (2003). Niveles de burnout y engagement en estudiantes universitarios. Relación con el desempeño y desarrollo profesional. Revista de educación, 330(1), 331-384.
Maslach, C., & Leiter, M. P. (1997). The truth about burnout. San Francisco, CA: Jossey-Bass.
McDonald, R. P., & Ho, M.-H. R. (2002). Principles and practice in reporting structural equation analyses. Psychological Methods, 7(1), 64–82. doi: 10.1037/1082-989X.7.1.64
Medrano, L. A., Moretti, L., & Ortiz, A. (2015). Medición del engagement académico en estudiantes universitarios. Revista Iberoamericana de Diagnóstico y Evaluación-e Avaliação Psicológica, 2(40), 114-124.
Meng, L., & Jin, Y. (2017). A confirmatory factor analysis of the Utrecht Work Engagement Scale for students in a Chinese sample. Nurse Education Today, 49, 129-134. doi: 10.1016/j.nedt.2016.11.017
Merino-Soto, C., Dominguez-Lara, S., & Fernández-Arata, M. (2017). Validación inicial de una Escala Breve de Satisfacción con los Estudios (EBSE) en estudiantes universitarios de Lima. Educación Médica, 18(1), 74-77. doi: 10.1016/j.edumed.2016.06.016
Mills, M. J., Culbertson, S. S., & Fullagar, C. J. (2012). Conceptualizing and measuring engagement: An analysis of the Utrecht Work Engagement Scale. Journal of Happiness Studies, 13(3), 519-545. doi: 10.1007/s10902-011-9277-3
Moreta-Herrera, R., Lara-Salazar, M., Camacho-Bonilla, P., & Sánchez-Guevera, S. (2019). Análisis factorial, fiabilidad y validez de la escala de autoeficacia general (EAG) en estudiantes ecuatorianos. Psychology, Society, & Education, 11(2), 193-204. doi: 10.25115/psye.v10i1.2024
Muthén, L. K., & Muthén, B. O. (1998-2015). Mplus User’s guide (7th ed.). Los Angeles, CA: Muthén & Muthén.
Nikodijević, A., Labrović, J. A., & Đoković, A. (2012). Academic Burnout Among Students at Faculty of Organizational Sciences. Education Management, 64, 565–570. doi: 10.7595/management.fon.2012.0019
Organización para la Cooperación y el Desarrollo Económicos, OCDE. (2015). Education at a glance interim report: Update of employment and educational attainment indicators. OCDE: París. Recuperado de: www.oecd.org/edu/EAG-Interim-report.pdf.
Palenzuela, D. (1983). Construcción y validación de una escala de autoeficacia percibida específica de situaciones académicas. Análisis y Modificación de Conducta, 9(21), 185-219. doi: 10.33776/amc.v9i21.1649
Parada, M., & Pérez, C. (2014). Relación del engagement académico con características académicas y socioafectivas en estudiantes de Odontología. Educación Médica Superior, 28(2), 199-215.
Pendergast, L. L., von der Embse, N., Kilgus, S. P., & Eklund, K. R. (2017). Measurement equivalence: A non-technical primer on categorical multi-group confirmatory factor analysis in school psychology. Journal of School Psychology, 60, 65-82. doi: 10.1016/j.jsp.2016.11.002
Ponterotto, J. G., & Charter R. A. (2009). Statistical extensions of Ponterotto and Ruckdeschel´s (2007) reliability matriz for estimating the adequacy of internal consistency coefficients. Perceptual and Motor Skills, 108(3), 878–886. doi: 10.2466/PMS.108.3.878-886
Rammstead, B., & Beierlein, C. (2014). Can’t we make it any shorter? Journal of Individual Differences, 35(4), 212–220. doi: 10.1027/1614-0001/a000141
Raykov, T. (2012). Evaluation of latent construct correlations in the presence of missing data: a note on a latent variable modelling approach. The British Journal of Mathematical and Statistical Psychology, 65(1), 19–31. doi: 10.1348/000711010X498162
Rodriguez, A., Reise, S. P., & Haviland, M. G. (2016). Applying bifactor statistical indices in the evaluation of psychological measures. Journal of Personality Assessment, 98(3), 223-237. doi: 10.1080/00223891.2015.1089249
Salanova, M., Bresó, E., & Schaufeli, W. B. (2005). Hacia un modelo espiral de las creencias de eficacia en el estudio del burnout y del engagement. Ansiedad y Estrés, 11(2-3), 215-231.
Sánchez-Herrero, S., Sánchez-López, M., & Dresch, V. (2009). Hombres y trabajo doméstico: variables demográficas, salud y satisfacción. Anales de Psicología, 25(2), 299-307.
Saucier, G. (1994). Mini-markers: A brief version of Goldberg´s unipolar Big-Five markers. Journal of Personality Assessment, 63(3), 506-516. doi: 10.1207/s15327752jpa6303_8
Schaufeli, W., & Bakker, A. B. (2003). UWES Utrecht Work Engagement Scale. Utrecht: Utrecht University. Recuperado de: https://www.wilmarschaufeli.nl/publications/Schaufeli/Test%20Manuals/Test_manual_UWES_Espanol.pdf
Schaufeli, W. B., & Bakker, A. (2010). Defining a measuring work engagement: Bringing clarity to the concept. En A. B. Bakker & M. P. Leiter (Eds.), Work engagement: A handbook of essential theory and research (pp. 10-24). New York: Psychology Press.
Schaufeli, W. B., & De Witte, H. (2017). Work Engagement in Contrast to Burnout: Real or Redundant? Burnout Research, 5, 1-2. doi: 10.1016/j.burn.2017.06.001
Schaufeli, W. B., & Salanova, M. (2007). Efficacy or inefficacy, that’s the question: Burnout and engagement, and their relationships with efficacy beliefs. Anxiety, Coping & Stress, 20(2),177-196. doi: 10.1080/10615800701217878
Schaufeli, W. B., & Salanova, M. (2011). Work engagement: On how to better catch a slippery concept. European Journal of Work and Organizational Psychology, 20(1), 39-46. doi: 10.1080/1359432X.2010.515981
Schaufeli, W. B., Bakker, A. B., & Salanova, M. (2006). The measurement of work engagement with a short questionnaire: a cross–national study. Educational and Psychological Measurement, 66(4), 701–716. doi: 10.1177/0013164405282471
Schaufeli, W. B., Martinez, I. M., Marques–Pinto, A., Salanova, M., & Bakker, A. (2002). Burn out and engagement in university students: a cross–national study. Journal of Cross-Cultural Psychology, 33(5), 464–481. doi: 10.1177/0022022102033005003
Schaufeli, W. B., Shimazu, A., Hakanen, J., Salanova, M., & De Witte, H. (2019). An ultra-short measure for work engagement: The UWES-3 validation across five countries. European Journal of Psychological Assessment, 35(4), 577–591. doi: 10.1027/1015-5759/a000430
Serrano, C., Andreu, Y., Murgui, S., & Martínez, P. (2019). Psychometric properties of Spanish version student Utrecht Work Engagement Scale (UWES–S–9) in high-school students. The Spanish Journal of Psychology, 22, e21. doi: 10.1017/sjp.2019.25.
West, S. G., Taylor, A. B., & Wu, W. (2012). Model fit and model selection in structural equation modeling. En R. H. Hoyle (Ed.), Handbook of Structural Equation Modeling (pp. 209–231). New York, NY: Guilford.
Ziegler, M., Kemper, C. J., & Kruyen, P. (2014). Short-scales- Five misunderstandings and ways to overcome them. Journal of Individual Differences, 35(4), 185–189. doi: 10.1027/1614-0001/a000148
Zou, G. (2007). Toward using confidence intervals to compare correlations. Psychological Methods, 12(4), 399-413. doi: 10.1037/1082-989X.12.4.399
Notas
Notas de autor

sdominguezmpcs@gmail.com

Tabla 1
Análisis descriptivo de los ítems de la UWES

Nota M: Media; DE: Desviación estándar; g1: asimetría; g2: curtosis; D: Distribución.
Tabla 2
Índices estadísticos de modelos bifactor en hombres y mujeres

Nota FG: Factor general de engagement académico; VI: Vigor; DE: Dedicación; ABS: Absorción; ωh: Omega jerárquico; ωhs: Omega jerárquico por dimensión; ECV: Varianza común explicada.
Tabla 3
Invarianza de medición del modelamiento bifactor-ESEM de la UWES-17S y UWES-9S

Nota CFI: Índice de ajuste comparativo; RMSEA: Error cuadrático medio de aproximación; WRMR = Raíz cuadrática media residual ponderada; χ2 = estadístico chi-cuadrado.
Tabla 4
Equivalencia empírica entre UWES-17S, UWES-9S y UWES-3S

Nota ECE: Escala de Agotamiento Emocional Académico; EAPESA: Escala de Autoeficacia Percibida Específica de Situaciones Académicas; encima de la diagonal: correlación entre versiones; debajo de la diagonal: correlación corregida; r: coeficiente de correlación; d: d de Cohen; q: q de Cohen.
Tabla 5
Estimación de la confiabilidad: UWES-17S, UWES-9S y UWES-3S

Nota α: coeficiente alfa; rij: correlación inter-ítem promedio.
Buscar:
Contexto
Descargar
Todas
Imágenes
Visor de artículos científicos generados a partir de XML-JATS4R por Redalyc