Participaron en el estudio 435 estudiantes universitarios de licenciatura (82.1%) y posgrado (17.9%) de la Ciudad de México, con una media de edad de 22.30 ± 3.33 años (rango de 18 a 30 años); 48.7% hombres y 51.3% mujeres.

Se empleó un diseño de comparación de dos grupos no aleatorios; 52.0% de los participantes formaron parte del grupo de aplicación impresa y 48.0%, del de aplicación electrónica. No hubo diferencias estadísticamente significativas en la edad de los participantes de ambos grupos, t(433) = 1.574, p = .116, ni en la proporción de hombres y mujeres, χ²(1) = .068, p = .794.

Cuestionario de Optimismo, de Pedrosa, Celis-Atenas, Suárez-Álvarez, García-Cueto y Muñiz (2015). Mide la tendencia personal estable de evaluar positivamente los posibles eventos futuros. Su único factor con nueve reactivos explica el 42.43% de la varianza total, con un índice de consistencia interna α de Cronbach de .84.

Cuestionario de Gratitud, de McCullough, Emmons y Tsang (2002). Evalúa el reconocimiento de los actos bondadosos de las personas y la manifestación de agradecimiento. Está conformado por seis reactivos integrados en un factor. El análisis factorial confirmatorio probó su ajuste unidimensional (CFI = .95, SRMR = .04); se reportó un coeficiente alfa de .82. La versión en español quedó integrada por siete reactivos, ya que uno de ellos se dividió en virtud de que contenía dos ideas diferentes.

Escala de Bienestar Subjetivo (EBS-8), de Calleja y Mason (2020). Mide el bienestar subjetivo, definido como la satisfacción con la propia vida y la presencia de estados afectivos positivos. Consta de un factor con ocho reactivos, que explica el 78.73% de la varianza. Los índices de ajuste del análisis factorial confirmatorio resultaron satisfactorios (GFI = .980, NFI = .992; CFI = .998; RMSEA = .041). La confiabilidad de las puntuaciones fue estimada mediante el método de consistencia interna, observándose un coeficiente α de Cronbach de .971.

Los reactivos de las tres escalas fueron integrados de forma aleatoria en una batería, que se elaboró tanto en formato impreso como en versión electrónica. Las opciones de respuesta fueron: Muy en desacuerdo (0), En desacuerdo (1), Ni en acuerdo ni en desacuerdo (2), De acuerdo (3), Muy de acuerdo (4), Bastante de acuerdo (5) y Totalmente de acuerdo (6). Se realizaron pruebas piloto de ambas versiones con participantes cuyas características eran similares a los de los integrantes de la muestra; se efectuó un laboratorio cognitivo para cada versión. Esta metodología cualitativa, que permite estudiar el proceso mental que las personas utilizan cuando resuelven una tarea, ha sido empleada exitosamente en el desarrollo y adaptación de instrumentos de medición (Zucker, Sassman, & Case, 2004). En los laboratorios cognitivos se exploró la comprensión, interpretación y pertinencia de cada uno de los reactivos y de las opciones de respuesta, así como la estructura de la batería. Se detectaron errores en la redacción de tres de los 24 reactivos; la secuencia y el formato de respuesta no presentaron problemas. Los constructos medidos resultaron de interés y fueron pertinentes para los integrantes de la muestra.

Los instrumentos impresos fueron aplicados a estudiantes universitarios en sus propios salones de clase o en el campus de la institución a la que asistían; en el primer caso, en forma grupal y en el segundo, de manera individual. Después de presentarse, los aplicadores explicaban los objetivos del estudio y los invitaba a participar en él de manera voluntaria; se hacía énfasis en que sus respuestas serían tratadas de forma anónima y confidencial; finalmente, se solicitaba su consentimiento informado. Las aplicaciones electrónicas fueron respondidas en las plataformas Google Forms y E-Survey Creator, y en los formularios de Adobe Acrobat IX. La difusión se efectuó a través de las redes sociales Facebook y Twitter de los autores, o por invitación directa vía correo electrónico a sus contactos. Se explicaba brevemente el propósito de la investigación y los criterios de inclusión de la muestra: estudiantes universitarios de licenciatura o posgrado, hombres y mujeres, de 18 a 30 años de edad. Se les solicitaba participar en el estudio y difundirlo entre sus contactos; se señalaba su carácter completamente anónimo y voluntario; finalmente, se incluía el link de la batería.

Se analizaron las propiedades psicométricas de los tres instrumentos por medio de aplicación (impreso y electrónico). Se efectuaron los siguientes análisis estadísticos: frecuencia de valores perdidos, medias y desviaciones estándar y pruebas . para muestras independientes. La confiabilidad de los puntajes de los instrumentos se obtuvo mediante índices de consistencia interna (α de Cronbach) y de confiabilidad ordinal o compuesta ω, para la que Raykov y Shrout (2002) sugieren un índice mínimo de 0.70. Con el propósito de probar la igualdad de los coeficientes alfa obtenidos para los puntajes de los instrumentos en el formato impreso y en el electrónico, se aplicó el estadístico W de Feldt (1969) para dos muestras independientes. Para confirmar la estructura factorial y determinar el porcentaje de varianza media extraída (AVE) por el factor, se efectuaron análisis factoriales confirmatorios (AFC) con el método de máxima verosimilitud (Schermelleh-Engel, Moosbrugger, & Müller, 2003); para determinar el ajuste del modelo propuesto, se analizaron los siguientes índices (Hu & Bentler, 1999): prueba de bondad de ajuste χ²; cociente χ²/gl (CMIN/DF) cuyo valor <3 indica un ajuste adecuado, así como el índice comparativo CFI y el de error RMSEA, que muestran un buen ajuste si su valor es > .95 y < .08, respectivamente. Se calculó la varianza media extraída a partir de las . obtenidas en análisis factoriales confirmatorios, cuyo valor, recomendado por Fornell y Larcker (1981), debe estar por encima de .50. Se efectuaron AFC multi-grupo para probar la invarianza de medición por medios de aplicación (Vandenberg & Lance, 2000). Se probaron cuatro tipos de invarianza: de configuración (no variabilidad de la estructura factorial entre los grupos, mientras se calculan libremente las cargas factoriales, los interceptos y los residuales), métrica (restricción de la estructura factorial y las cargas factoriales), escalar (restricción, además de los dos anteriores, de los interceptos) y estricta (restricción de los residuales, además de los tres índices anteriores). Para evaluar las diferencias entre los modelos, se utilizaron como índices los cambios en CFI y en RMSEA; se apoya una fuerte invarianza cuando el ΔCFI es ≤ 0.01, el ΔRMSEA es ≤ 0.015 y el Δχ₂ resulta con p > .05 (Cheung & Rensvold, 2002). Se utilizaron los programas SPSS y AMOS, ambos versión 22, para llevar a cabo los procedimientos estadísticos.

Este trabajo forma parte de la línea de investigación “Mejores prácticas en la medición de constructos psicosociales y de la salud”, de la Facultad de Psicología de la Universidad Nacional Autónoma de México. El estudio se ha realizado considerando los principios éticos de la Declaración de Helsinki (World Medical Association, 2013).

No se encontraron diferencias estadística-mente significativas entre las medias de la aplicación impresa y la electrónica en ninguna de las escalas aplicadas. Los valores de la d de Cohen y del tamaño del efecto (r) resultaron mínimos, indicando que el medio de aplicación prácticamente no tiene efecto sobre los puntajes obtenidos en las escalas (tabla 1).

Tabla 1
Media (desviación estándar) para los dos medios de aplicación, prueba estadística de las diferencias entre ellos, d de Cohen y tamaño del efecto.

Nota. Media teórica = 3; rango = 1 a 7.

La tabla 2 muestra los índices de consistencia interna total (α de Cronbach) y los de confiabilidad ordinal o compuesta obtenidos para los instrumentos aplicados en formato impreso y electrónico. Para las tres escalas, los índices fueron altos; los valores de la confiabilidad compuesta ω estuvieron por encima del límite mínimo establecido de .70. Las diferencias de los índices alfa entre ambos formatos, al probarlas con la prueba W de Feldt, resultaron estadísticamente no significativas.

Tabla 2
Índices de consistencia interna (α de Cronbach) y confiabilidad ordinal o compuesta ω de los dos medios de aplicación para cada uno de los instrumentos; prueba de diferencias entre los coeficientes alfa y significancia.

Los AFC ratificaron las soluciones unifactoriales para las tres escalas, con índices de ajuste por arriba de los criterios de corte (descritos en la sección de Análisis de los datos), los cuales se muestran en los modelos de línea base de la tabla 3. En todos los casos, la varianza media extraída resultó > .60 y fue similar en las aplicaciones electrónicas e impresas; en las escalas de Optimismo y Bienestar subjetivo fueron ligeramente más altas en las versiones impresas (.631 y .726, respectivamente) que en las electrónicas (.620 y .690, respectivamente), en tanto que, en la escala de Gratitud, el valor fue levemente más alto en el formato electrónico (.632) que en el impreso (.607).

Se efectuaron AFC multi-grupo para probar los modelos de invarianza (tabla 3). Inicialmente, se probó la invarianza de configuración, línea base o libre (M1), que proponía que las escalas tendrían una estructura unifactorial en ambos medios de aplicación y se permitió que las cargas factoriales, los interceptos y las varianzas de error se estimaran libremente. Los resultados apoyaron el buen ajuste de los reactivos de cada escala a la unidimensionalidad. A continuación, se probaron los modelos de invarianza métrica (M2), en los que se restringieron las cargas factoriales para que fueran iguales entre la aplicación impresa y la electrónica. Los índices mostraron que los modelos ajustaron bien y, cuando se compararon con los del M1, los incrementos fueron menores a los criterios establecidos: el ΔCFI fue ≤ 0.01, el ΔRMSEA resultó ≤ 0.015, y Δχ² fue no significativo (p < .05). La prueba de los modelos de invarianza escalar (M3), en los que los interceptos, además de las cargas factoriales, se restringieron para que fueran iguales entre ambas aplicaciones, mostraron un buen ajuste. Al compararlos con los del M2, no se presentaron cambios significativos en CFI y RMSEA, ni en χ². Finalmente, los modelos de invarianza estricta (M4), en los que se restringieron, además de las cargas factoriales y los interceptos, las varianzas de error, también ajustaron correctamente y, comparados con los del M3, los incrementos en los índices no resultaron significativos, excepto en Δχ² de la Escala de Bienestar subjetivo [Δχ²= 33.412 (15), p = .004]. En conjunto, los datos indicaron que cuando los elementos de la estructura factorial se mantuvieron invariantes en función de los medios de aplicación, los índices de ajuste fueron predominantemente comparables, por lo que la medición del optimismo, la gratitud y el bienestar subjetivo no varía cuando los instrumentos se aplican en formato impreso y digital. Por tanto, los puntajes son comparables entre ambos medios de aplicación.

Tabla 3
Índices de ajuste para la prueba de los modelos de invarianza de las escalas de Optimismo, Gratitud y Bienestar subjetivo, por medio de aplicación (impreso o electrónico)

Nota. λ = Cargas factoriales; τ = Interceptos; θ = Varianzas de error; CFI = Índice de Ajuste Comparativo; RMSEA = Raíz del Error Cuadrático Medio.

En las aplicaciones de papel y lápiz, el porcentaje de valores perdidos fue de 5.16, considerando la batería completa de 24 reactivos. El porcentaje de no respuestas fue mayor en las escalas de Gratitud (1.27%, con 7 reactivos) y Bienestar subjetivo (1.25%, con 8 reactivos) que en la de Optimismo (0.63%, con 9 reactivos). En las aplicaciones electrónicas no se presentaron valores perdidos, puesto que se requería contestar cada reactivo para poder continuar con el siguiente.

Los resultados de este estudio muestran que tanto los instrumentos electrónicos como los de papel pueden aportar resultados igualmente confiables y válidos; no obstante, la aplicación electrónica evita los datos perdidos, situación muy ventajosa en la investigación.

Una limitación del presente estudio es que se realizó sólo con estudiantes universitarios, cuyo uso frecuente de las TIC pudo haber influido en los resultados obtenidos, por lo que será necesario efectuar estudios semejantes con muestras de población abierta, de diferentes edades, niveles educativos y ocupaciones. Puesto que aquí se aplicaron escalas unidimensionales, cortas, de sólo tres constructos, se sugiere llevar a cabo estudios con instrumentos más largos, multidimensionales y que evalúen variables diversas. Así también, sería necesario preguntar a los participantes su preferencia respecto de los dos medios de aplicación y la posibilidad de que se expresen con confianza, así como evaluar los tiempos de respuesta. En el presente estudio no se evaluó la tasa de respuesta; en virtud de que la baja participación, en particular en las aplicaciones electrónicas, puede implicar sesgos y disminuir la posibilidad de generalizar los resultados, se sugiere medirla en futuros estudios y determinar su posible asociación con otras variables. Finalmente, habrá que considerar que los elementos psicométricos estudiados aquí son solo un aspecto del extraordinariamente complejo proceso de la medición del comportamiento humano.

Enviar correspondencia a: Calleja, N. E-mail: ncalleja@unam.mx