Análisis de validez de constructo y confiabilidad de un instrumento para evaluar la formación en sostenibilidad en educación superior

Analysis of the construct validity and reliability of an instrument used to evaluate sustainability training in higher education

Martín Gerardo Martínez Valdés^a mmartinezvaldes@yahoo.com

Universidad Tecnológica del Usumacinta, México

Luis Gibrán Juárez Hernández^b luisgibrancife@gmail.com

Centro Universitario cife, México

La evolución educativa exige un desarrollo constante de habilidades, es por eso que el término de formación sostenible, emerge en la educación, como la generación de aprendizajes que permite al estudiante responder a los retos de una sociedad dinámica en sus diferentes ámbitos (político, social, cultural, tecnológico, económico, ecológico) y se considera como eje vertebral de transformación profesional (Barraza, 2002; Gómez-Collado, 2017; Juárez-Hernández et al., 2019; Sinakou et al., 2018; Vilches y Gil, 2012). Este concepto denota la obtención de capacidades para responder con responsabilidad, sabiduría, colaboración, respeto ciudadano, utilización de los recursos de forma eficiente y promoción del desarrollo para una sociedad justa, al unificar ecosistemas, gobiernos, empresas, familias e individuos (De la Rosa, Giménez y De la Calle, 2019; KPMG, 2018; Murga-Menoyo, 2017; Zarta, 2018).

En este sentido, las instituciones de educación superior son el espacio de conocimiento, investigación y docencia que forman la responsabilidad social y generan acciones hacia la sostenibilidad. La formación de competencias de los recursos humanos debe influir en la promoción de estrategias globales, incluyendo aspectos ambientales, geopolíticos, energéticos y socioeconómicos, para integrar a las organizaciones con la comunidad y promover el desarrollo social (Fuentes, 2017; KPMG, 2018; Pintado-García, Saldaña-Durán y Messina-Fernández, 2016). Asimismo, es fundamental la posibilidad de establecer vínculos dinámicos con visión a largo plazo para contribuir al cuidado de la naturaleza, educar y organizar a la sociedad para lograr un trabajo colaborativo con sentido crítico que atienda las demandas de la población más necesitada (Juárez-Hernández et al., 2019; Tobón et al., 2015).

Diversas propuestas han referido que la formación en sostenibilidad debe incorporar aspectos como la gestión institucional, formación académica, investigación, vinculación con la colectividad, gestión de recursos, conciencia sobre el cambio climático y conocimiento sobre educación ambiental (Cecadesu, 2016; Durán, Varela y Fortoul, 2015; González-Ordóñez, 2016; Sáenz, 2017; Torres y Calderón, 2015). Estos aportes enfatizan que se requiere analizar las acciones de atención hacia la sociedad, la factibilidad de proyectos, la integración universitaria, así como la necesidad de instrumentos que permitan medir su impacto.

A partir de la revisión de estas propuestas, Martínez-Valdés y Juárez-Hernández (2019) diseñaron un instrumento denominado “Evaluación para la Formación en Sostenibilidad en la Educación Superior”, el cual está compuesto de cuatro dimensiones (Apropiación de conocimientos, Relación universitaria, Educación universitaria e Impacto socioeconómico). Estas dimensiones son consideradas relevantes, debido a que monitorean la aplicación de la sostenibilidad en los planes de estudio universitarios y la influencia en el aprendizaje de acuerdo con una visión de colaboración social (Martínez-Valdés y Veytia-Buchel, 2018; Medina et al., 2017; Montilla, 2018; Murga-Menoyo, 2017; Quintero et al., 2018; Sánchez-Grande y Pérez, 2018). Esto hace que la formación integral del estudiante permita conducirse de manera responsable, comprometida y asociada a la solución de problemas (Azcárate, Navarrete y García, 2012), además de ser los alumnos, un motivo para promover una educación vivencial de calidad y resolver situaciones con aspecto socioformativo (Tobón et al., 2015).

Un aspecto para destacar de este instrumento es que fue sujeto a un proceso de validación en términos de facie y contenido, con lo cual se verificó la pertenencia, pertinencia y relevancia de ítems y dimensiones al constructo objetivo, así como lo relacionado a la comprensión de éstos (Haynes, Richard y Kubany, 1995; Koller, Levenson y Glück, 2017; Mendoza y Garza, 2009). Si bien, la validez de contenido es una propiedad psicométrica relevante, se requiere demostrar que la estructura del instrumento (dimensiones e ítems) reproduce realmente la del constructo planteado (Lagunes, 2017; Mavrou, 2015; Pérez-Gil, Chacón y Moreno, 2000). Esta propiedad es indicada como validez de constructo y es considerada como el concepto unificador que integra las consideraciones de validez de contenido y de criterio en un marco común para probar hipótesis acerca de relaciones teóricas relevantes (Messick, 1980, p. 1015).

Por lo anterior, el objetivo del presente fue continuar con el análisis de las propiedades psicométricas del instrumento para evaluar la formación en sostenibilidad en estudiantes de educación superior (Martínez-Valdés y Juárez-Hernández, 2019). Específicamente se realizó el análisis de las propiedades de validez de constructo y de confiabilidad del instrumento. A este respecto, como se indicó, el instrumento mostró que poseía validez de contenido, por lo que al ser esta propiedad un componente fundamental en la validez de constructo (Haynes et al., 1995), se espera la correspondencia del modelo teórico (Apropiación de conocimientos, Relación universitaria, Educación universitaria e Impacto socioeconómico), representación de éstas y de los ítems que integran el instrumento.

El análisis de adecuación de los datos para ser analizados mediante el afe fue satisfactorio, y se obtuvo una determinante de la matriz de correlaciones cercana a cero (0.0000009). Por su parte, las pruebas Kaiser-Meyer-Olkin (KMO: 0.905) y esfericidad de Bartlett (X²: 5614.025; gl: 351; p<0.0001) denotaron la pertinencia de los datos. Propiamente, el análisis indicó que seis factores presentaron un autovalor superior a uno y que, en conjunto, explican más del 59% de la varianza. El análisis de la matriz factorial denotó la representación de todos los ítems con una carga significativa, sin embargo, cuatro ítems (6, 10, 15 y 27) presentaron complejidad factorial. Por lo anterior, la matriz se rotó y se observó la clarificación de las cargas factoriales (tabla 2), lo que reveló cambios en el orden de los ítems acorde a su pertenencia y correlación, así como la generación de dos dimensiones nuevas.

Conforme a estos resultados, se verificó la representación de las dimensiones propuestas (Apropiación de conocimientos, Relación universitaria, Educación universitaria e Impacto socioeconómico), y la representación de todos los ítems (tabla 2). Si bien existió correspondencia con el modelo teórico, es importante señalar que emergen dos dimensiones adicionales (factor 5 y 6), las cuales fueron denominadas como “Aplicación e Impacto social de la sostenibilidad” y “Evaluación de la sostenibilidad universitaria” respectivamente. La dimensión “Aplicación e Impacto social de la sostenibilidad” (factor 5) se constituyó de cuatro ítems (2, 15, 20 y 27), que proceden de las dimensiones de Apropiación de conocimientos, Relación universitaria, Educación universitaria e Impacto socioeconómico, que integran la importancia de considerar los efectos, el desarrollo, formación de capacidades y relaciones hacia lo sostenible (tabla 2). Por su parte, la dimensión “Evaluación de la sostenibilidad universitaria” (factor 6) se conformó de tres ítems (9, 10 y 11) los cuales pertenecían a la dimensión de Relación universitaria y promueven las relaciones de atención hacia el exterior de la universidad (tabla 2).

Respecto a las dimensiones iniciales, se especifica que la dimensión “Educación universitaria” (factor 1) conservó cuatro ítems (17, 18, 19 y 21) y en ésta se suscriben aspectos inherentes a los programas de estudio, el énfasis de sostenibilidad en el salón de clases y propuestas de atención y preparación de los temas. La dimensión “Relación Universitaria” (factor 2) conservó tres ítems (12, 13, 14) y se adicionaron dos (8, 16) que pertenecían a la dimensión de “Apropiación de conocimientos” y “Educación universitaria”. Es importante señalar que en esta dimensión se incluyen aspectos de acciones hacia el exterior, proyectos ambientales, instalaciones adecuadas, nuevos temas de atención (tabla 2).

Para la dimensión “Vinculación e impacto socioeconómico” (factor 3) se mantuvieron tres ítems (24, 25, 26) y se anexaron dos de la dimensión “Educación universitaria” (22, 23), los cuales hacen referencia al establecimiento de propuestas de educación transversal y si los docentes cuentan con esquemas de aplicación de líneas de investigación. En la dimensión “Apropiación de conocimiento” (factor 4), se conservaron los seis ítems propuestos (1, 3, 4, 5, 6 y 7) (tabla 2). Este conjunto de ítems, abordan la preocupación y cuidado por el ambiente y sostenibilidad, conocimiento de los objetivos sostenibles y participación en eventos de este tipo de forma activa. Finalmente, la confiabilidad general del instrumento fue óptima (Alfa de Cronbach: 0.903; IC 95%: 0.890$\textcolor{red}{}\pm$ 0.915), mientras que para los factores se obtuvieron valores óptimos/aceptables (tabla 2).

Tabla 2.
Representación de los resultados del análisis factorial exploratorio (factor, ítems que se suscriben dentro del factor y carga factorial) y valor de confiabilidad para cada factor

Fuente: elaboración con base en los resultados de campo. Nota: *Se refiere a la pertenencia del ítem a la dimensión propuesta por Martínez-Valdés y Juárez-Hernández (2019).

La aplicación de la encuesta de satisfacción reveló que la percepción sobre la satisfacción con el instrumento, comprensión de instrucciones, comprensión de ítems y relevancia de éstos fue de excelente grado (tabla 3). Se destaca que el tiempo promedio para responder al instrumento central fue de 5.93 minutos ($\textcolor{red}{}\pm$ 3.12 minutos).

Tabla 3.
Resultados de la encuesta de satisfacción

Fuente: elaboración propia con base a CIFE, 2018.

El análisis de las propiedades psicométricas de un instrumento es esencial, debido a la determinación de la calidad en su medición (Carvajal et al., 2011). Como se mencionó, si bien, el análisis inicial de validez de facie y contenido del instrumento “Evaluación para la Formación en Sostenibilidad en la Educación Superior” (Martínez-Valdés y Juárez-Hernández, 2019) permitió asegurar que las dimensiones e ítems que lo integran son relevantes, pertinentes y representativos del constructo a evaluar (Haynes et al., 1995; Koller et al., 2017), se requiere demostrar que posee validez de constructo, la cual es considerada como principal análisis, debido a que representa un juicio evaluativo integral del grado en que la evidencia empírica y fundamentos teóricos, apoyan la idoneidad y adecuación de las inferencias y acciones basadas en resultados de las pruebas (Messick, 1980, p. 1015, 1986, p. 1023; Pérez-Gil et al., 2000, p. 443).

De manera específica, los resultados del análisis de validez de constructo mediante el análisis factorial revelaron la representación de las cuatro dimensiones del modelo teórico inicial (Apropiación de conocimientos, Relación universitaria, Educación universitaria e Impacto socioeconómico), cada una de ellas representada por un factor (1, 2, 3, 4), y la representación del total de ítems, lo cual se traduce en que el instrumento y su estructura reproducen el constructo planteado (Mavrou, 2015; Lagunes, 2017). A partir de estos resultados, se hace énfasis en la importancia de la fase de validación de contenido del instrumento como lo refiere Haynes et al. (1995), es un componente fundamental de la validez de constructo porque provee evidencia respecto al grado en el que los elementos de un instrumento de evaluación son relevantes y pertinentes del constructo objetivo (p. 245).

Con respecto a la propuesta inicial, es importante destacar que emergen dos dimensiones adicionales, éstas se denominaron “Aplicación e Impacto social de la sostenibilidad” (factor 5) y “Evaluación de la sostenibilidad universitaria”(factor 6) como resultado de la aplicación de una reestructuración del instrumento mediante el análisis factorial exploratorio, es decir, de la estructura inicial, se presentan cambios acordes a los resultados de las cargas factoriales que delimitan nuevas categorías de análisis con reacomodo de ítems. Estas dimensiones se conformaron por ítems que se suscribían en las dimensiones Apropiación de conocimientos, Relación universitaria, y Educación universitaria. Específicamente, la dimensión Aplicación e impacto social de la sostenibilidad (factor 5), se constituyó de cuatro ítems de dimensiones distintas (Apropiación de conocimientos, Relación universitaria, Educación universitaria e Impacto socioeconómico). Este conjunto de ítems, abordan aspectos en común, referentes a la consideración y aplicación del ser, los efectos de las actuaciones, el tema, formas de pensar y aplicación de proyectos en los sectores que permitan visualizar propuestas de mejora, sobre todo, generar conciencia de los distintos actores universitarios y en la aplicación e impacto social de la sostenibilidad (Cisneros y Mendoza, 2018; Juárez-Hernández et al., 2019; Tobón et al., 2015). Para la dimensión “Evaluación de la sostenibilidad universitaria” (factor 6), se anexaron tres ítems de Relación universitaria. La conjunción de estos ítems en esta dimensión se debe a que evalúan de manera conjunta la existencia de un documento que organiza el proceso y la necesidad de una unidad de atención y desarrollo de proyectos de carácter local, con la participación de investigadores de las instituciones (Gonzalo et al., 2017; Torres y Calderón, 2015).

Referente al resto de las dimensiones, se precisa que para la dimensión “Educación universitaria” (factor 1) se conservaron 50% de los ítems propuestos. Estos ítems, específicamente, abordan aspectos de la inclusión del tema de sostenibilidad en el programa de estudios, su énfasis de aplicación en las aulas, la generación de propuestas de atención y si los docentes están capacitados para su desarrollo. La dimensión de “Relación universitaria” (factor 2) se integró de ítems propuestos inicialmente a esta dimensión (12, 13, 14) y se sumaron ítems de la dimensión “Apropiación de conocimientos” (ítem 8), así como de la dimensión “Educación universitaria” (ítem 16), los cuales abordan la implementación de los planes con líneas de acción específicas, si las instalaciones reúnen los criterios de operación y si existe una política ambiental para el tema. Estos aspectos son importantes por destacar la importancia de diseñar programas de educación ambiental que contribuyen a la sensibilización de la población universitaria y permiten considerar la eficiencia en la toma de decisiones estratégicas (Acosta, 2017; Flores et al., 2016; González-Ordoñez, 2016).

La dimensión “Vinculación e impacto socioeconómico” (factor 3) se conformó con dos ítems de “Educación universitaria”, que corresponde a la transversalidad de los temas en la educación, y si el cuerpo docente se integra en las líneas de investigación, así como tres elementos de la dimensión de “Impacto Socioeconómico” que denotan la aplicación de saberes al sector social, los vínculos institucionales y si existen proyectos sostenibles que impactan en una realidad. Acorde a estos elementos, esta dimensión se orienta a la atención prioritaria hacia la población y su injerencia en las relaciones de producción. En el caso de la dimensión de “Apropiación de conocimientos” (factor 4), mantuvo 75 % de los ítems originales (1, 3, 4, 5, 6, 7), estos corresponden al conocimiento de las condiciones ambientales de su localidad y al término sostenible, su preocupación y contribución como integrante de la comunidad universitaria al cuidado del ambiente, y si se conocen los objetivos que denotan la parte humana hacia este tema y sus efectos hacia los distintos sectores.

A partir de estos resultados, el instrumento “Evaluación para la Formación en Sostenibilidad en la Educación Superior” detalla que las dimensiones y la estructura obtenida son pertinentes y coherentes; esto es consistente con los objetivos funcionales del análisis factorial exploratorio, que busca encontrar la estructura subyacente de los datos, lo que permite un planteamiento probable con nuevas categorías y es considerada como una metodología que aporta validez a los modelos de aplicación para definir significancia entre relaciones de factores de evaluación, permitiendo reinterpretar las variables para que exista relevancia, pertinencia, coherencia y calidad del instrumento, agrupando ítems y excluyendo los que requieren modificaciones sustanciales o quedan fuera de dimensiones estimadas (Olivares et al., 2018; Perales, 2018; Reyes, Vera y Bautista, 2018; Tourón et al., 2018).

Con relación al análisis de confiabilidad, se obtuvo un valor óptimo global, así como valores que oscilan entre óptimos y aceptables (Corral, 2009; García y Vélez, 2018; Juárez-Hernández, 2018; Taber, 2018) para cada dimensión. Estos resultados denotan la precisión del instrumento, correlación entre ítems y representación del concepto abordado (Celina y Campo, 2005; Haynes et al., 1995; Welch y Comer 1988). Es importante señalar que, de acuerdo con el tamaño de muestra, el valor obtenido para cada uno de los coeficientes calculados se considera como estable (Charter, 1999, 2003), lo anterior se observa en los valores inferiores del intervalo de confianza, que, para todos los casos, es igual o mayor a lo referido como aceptable (0.70) (Corral, 2009; García y Vélez, 2018; Juárez-Hernández, 2018).

Otro aspecto analizado del instrumento es la adecuación a la población objetivo, de este análisis se obtuvo una excelente percepción sobre el grado de comprensión de instrucciones e ítems y un excelente grado de satisfacción con el instrumento, lo cual es similar a los obtenidos para el grupo piloto. La importancia de analizar el grado de compresión de instrucciones e ítems es necesaria, ya que su incomprensión podría afectar las propiedades psicométricas del instrumento y su funcionalidad (Corral, 2009; Haynes et al., 1995; Koller et al., 2017; O´Donnell et al., 2011).

A través del análisis de las propiedades psicométricas del instrumento “Evaluación para la Formación en Sostenibilidad en la Educación Superior” realizado así como con el que le antecede (Validez de contenido), se concluye que el instrumento y los elementos que lo integran son pertinentes y relevantes al constructo objetivo y que su estructura reproduce el constructo planteado. A partir de estos lineamientos, el instrumento fungirá como herramienta que permitirá la obtención de elementos para monitorear, analizar y proponer alternativas de integración de la sostenibilidad en las universidades.

La formación en sostenibilidad es un aspecto relevante para todos los niveles educativos, sin embargo, el instrumento aquí presentado integra elementos exclusivos y específicos para instituciones de educación superior. Por lo anterior, es necesario el desarrollo del instrumento para otros niveles educativos (educación básica y educación media-superior), y el análisis de sus propiedades psicométricas.