HTML

ePub

PDF

Introducción

Malas especificaciones y su evaluación

En el contexto del modelamiento de ecuaciones estructurales, una mala especificación (ME) hace referencia a dos situaciones concretas: cuando uno o más parámetros (es decir, carga factorial, correlación interfactorial, coeficientes de influencia, etc.) se especifican en el modelo pero sus valores poblacionales son cero (condición conocida como sobre-parametrización); o cuando algunos de estos parámetros son fijados a cero, pero sus valores poblacionales realmente son diferentes de cero, lo que se conoce también como infra-parametrización (Hu & Bentler, 1998).

Para aclarar este punto, se tomará como ejemplo uno de los parámetros importantes en establecer un modelo de medición: la especificación del ítem en un factor específico en el contexto del análisis factorial confirmatorio (AFC), o el coeficiente de influencia de A sobre B, en el caso de un análisis de regresión estructural. El primer caso (sobre-parametrización) aparece cuando se especifica que un ítem es influido por un factor, cuando realmente este factor no explica alguna varianza sustancial del ítem; o, en el caso de la regresión, cuando se especifica que la influencia de A sobre B es susceptible de ser modelada cuando, en realidad, no existe la evidencia suficiente para especificar ese parámetro.

El segundo caso, infra-parametrización, parece ser el más frecuente en AFC y otros modelos estructurales, que ocurre al especificar, por ejemplo, que un ítem es influido significativamente por su factor hipotetizado, pero también recibe influencia directa y significativa de otros factores. A este problema se le denomina carga cruzada¸ y está vinculado con la complejidad factorial. Es decir, en este caso particular, la influencia de un factor adicional sobre el ítem no está siendo modelada o especificada en el modelo, y por lo tanto es un parámetro que está ausente o falta introducir. La mala especificación también incluye los errores correlacionados que normalmente están presentes, pero que no se modelan, y podrían incrementar espuriamente los indicadores de confiabilidad de los factores (Dominguez-Lara, 2016a; Merino-Soto, 2015). Esto tiende a ser una limitación del AFC, en que a priori se establece que las correlaciones entre los errores tienen magnitud cero (Sörbom, 1989), pero en realidad son diferentes de cero. Del mismo modo, los coeficientes de influencia en modelos de regresión estructural (conocidos como coeficientes beta) podrían estar sujetos a infra-parametrización cuando existen relaciones reales entre variables, pero no han sido especificados.

Aunque la infra-parametrización puede ser realista debido que es habitual encontrar algún grado la complejidad factorial en la mayoría de instrumentos (Ferrando & Lorenzo-Seva, 2014), es necesario analizar si esa omisión es lo suficientemente grande para decidir que el modelo es inaceptable. Esto es crítico sobre todo en los modelos oblicuos (factores correlacionados), donde existe gran parte de complejidad no modelada y errores correlacionados (Murray & Johnson, 2013), aun cuando los factores correlacionados también reflejan la varianza compartida de los ítems con otros factores.

Índices de modificación

Dado lo anterior, se necesita analizar los modelos estructurales considerando, además de los índices de ajuste, algunos indicadores adicionales (Dominguez-Lara, 2016b). En tal sentido, los Índices de Modificación (IM; Sörbom, 1989) informan sobre aquellas especificaciones adicionales que deben realizarse (o qué parámetros deben liberarse) para mejorar el ajuste del modelo, es decir, reducir la cantidad de ME. Dado que los índices de modificación se orientan en mayor grado a sugerir la adición de parámetros, estaría más vinculado a la infra-parametrización. Estas modificaciones estimadas también ayudan a mejorar la comprensión de la estructura y la interpretación de las puntuaciones del instrumento. El índice de modificación se operacionaliza como el cambio en el estadístico χ², y específicamente, su decremento, luego de agregar una nueva especificación o parámetro. Usualmente, aplicar los cambios con base en los índices de modificación produce mejoras estadísticamente significativas en el modelo que varían en magnitud, pero emerge el problema que estas re-especificaciones pueden ser teóricamente no relevantes. Este problema requiere una medida que respalde la re-especificación no solo desde un ángulo de significancia estadística, sino desde su significancia práctica o magnitud estimada del cambio. A esta situación se agrega el predominio de un análisis centrado en los índices de ajuste de los modelos de medición evaluados, en detrimento de otras fuentes de información más relevantes, aunque no las únicas, como los índices de modificación. De esta manera, al no analizar ni reportar las ME podría asumirse que el modelo: 1) es óptimo, y 2) no posee más parámetros que puedan ser evaluados.

Método

Enfoque Saris, Satorra y van der Veld

En este panorama, Saris, Satorra, y van der Veld (2009) propusieron un método (método SSV) que aporta información para decidir sobre la importancia práctica de las ME encontradas obtenidas con los índices de modificación, dado que las valoraciones basadas en los índices de ajuste tradicionales del modelo podrían estar afectadas por otros factores, como el tamaño muestral. Esto podría llevar a rechazar modelos con ME irrelevantes con muestras grandes, y conservar modelos con ME relevantes con muestras pequeñas (Schmitt, 2011).

Este método consiste en una valoración conjunta de los índices de modificación, el cambio esperado en el parámetro (EPC), el tamaño mínimo esperado de la mala especificación (δ), y la sensibilidad para detectar cambios potencialmente significativos en los parámetros (poder estadístico). En otras palabras, se busca conocer el poder del índice de modificación para detectar ME relevantes. El lector puede ampliar la información técnica de este procedimiento en otras fuentes bibliográficas (Saris et al., 2009; van der Veld & Saris, 2011). El método tiene la ventaja de aportar información formal sobre las potenciales ME, reduciendo la decisión basada en la intuición sobre si las re-especificaciones sugeridas por los índices de modificación (e.g., errores correlacionados) son relevantes o no, y da soporte para tomar decisiones sobre la interpretación final del modelo estudiado (Perry, Nicholls, Clough, & Crust, 2015; Schmitt, 2011). Sin embargo, hasta la fecha el método SSV no aparece referido en estudios empíricos e instrumentales provenientes de países de habla hispana. Un posible motivo es su poca difusión y la ausencia de un programa informático que brinde esos indicadores. En el siguiente párrafo se describe la herramienta informática para implementarlo.

Programa

Existen algunas extensiones informáticas como el JRule para utilizarse con el output de LISREL (van der Veld, Saris, & Satorra, 2008), Mplus (Oberski, 2009), o incluso en el entorno R (Pornprasertmanit, 2015) pero requieren del output de estos programas para poder ejecutarlos; y dada la compatibilidad exclusiva de JRule con LISREL o Mplus, una modificación manual del output de cada especificación sugerida sería laborioso; y en el caso de R, es necesario un manejo en lo concerniente al lenguaje de programación. Para aplicar el método independientemente del programa de análisis SEM, el presente manuscrito presenta el programa SSV-SPSS, creado como una sintaxis para SPSS(R). El usuario requiere especificar apriorísticamente el índice de modificación y el EPC observados, así como el cambio mínimo esperado del parámetro evaluado (δ;D en la sintaxis), del poder estadístico (POWERMIN en la sintaxis) y del EPC (EPCMIN en la sintaxis); por último, el nivel de error Tipo I máximo (significancia estadística o α) mediante la elección del χ².

El programa reporta el índice de modificación y EPC ingresados, y los resultados relevantes del método SSV: el límite inferior y superior del EPC, el parámetro no central (NCP), el poder estadístico alcanzado, la ratio EPC/D (van der Veld et al., 2008) y la decisión sobre la ME. La sintaxis es de acceso libre y puede solicitado comunicándose con los autores del presente manuscrito.

Resultados

Ejemplo de aplicación

Para ejemplificar el método SSV fue utilizada una base de datos correspondiente a un proyecto de investigación ya concluido, en el cual fueron evaluados 230 estudiantes universitarios (70.6% Mujeres; M_edad = 20.89) con la versión validada para Perú del Inventario de Depresión Estado – Rasgo (Dominguez-Lara, 2016c; Sotelo et al., 2012); además de otros instrumentos. La sección utilizada (Rasgo) evalúa de forma diferenciada dos constructos (Dominguez-Lara & Merino-Soto, 2018), Eutimia o afecto positivo (ítems 1, 3, 4, 5, y 10) y Distimia o afecto negativo (ítems 2, 6, 7, 8 y 9).

Para el presente análisis, fue utilizada la estrategia analítica escogida en un estudio previo (Dominguez-Lara, 2016c) con el programa EQS 6.2 (Bentler & Wu, 2012). El modelo de dos factores oblicuos mostró un ajuste óptimo (CFI = .998; RMSEA [IC90%] = .017 [.000, .052]; SRMR = .061) y correlación interfactorial moderada (ϕ = -.534), lo que podría sugerir algunas cargas cruzadas importantes (Graham, Guthrie, & Thompson, 2003) y, potencialmente, algunas ME. Para efectos de exposición del método, la Figura 1 presenta el extracto de un output del programa EQS 6.2 con relación al análisis de los índices de modificación:

En la Figura 1 se puede observar que agregar el parámetro que indique la influencia de Distimia (F2) sobre el ítem 3 (originalmente de Eutimia) produciría un índice de modificación (e.g., cambio en el χ²) de 10.542, lo que significa que mejoraría el ajuste. Si bien esto podría resultar teóricamente coherente, es necesario analizar hasta qué punto se trata de una ME estadísticamente relevante. Para ello, se emplea el método SSV con la siguiente información: IM = 10.542 y EPC = .216 (y así, para los 10 índices de modificación observados).

Se especifica un δ = .40 correspondiente para cargas factoriales estandarizadas, así como un POWERMIN de .75 y un EPCMIN de .20 (Figura 2). Con respecto al parámetro δ, Saris et al. (2009) sugieren que podría fijarse a .40, que es el monto mínimo recomendado para cargas factoriales estandarizadas, .10 para coeficientes β o correlaciones, o .05 para medias e interceptos. En el caso de que δ = .40, podría interpretarse de la siguiente manera: es posible que una carga cruzada con valor mínimo de .40 sea considerada una ME relevante. De igual modo, un poder estadístico alto sería ≥ .75 (Saris et al., 2009).

Los resultados de la sintaxis (Figura 3) indican que, por ejemplo, para la modificación sugerida inicialmente (que el ítem 3 [de Eutimia] también sea influido por Distimia) fue hallado un intervalo de confianza estadísticamente significativo para el EPC (IC95% .086, .35), un NCP de 36.152, y un poder estadístico de 1.000.

Saris et al. (2009) brindan algunas pautas para la valoración conjunta de los indicadores. Por ejemplo, existen dos condiciones para que una ME sea considerada relevante (M, significa mala especificación en la sintaxis). La primera es cuando el índice de modificación es estadísticamente significativo (p < .05), está asociado a un bajo poder estadístico (< .75) y el ratio EPC/δ es ≥ 1. La segunda es cuando el índice de modificación es estadísticamente significativo (p < .05), está asociado a un alto poder estadístico (> .75), y presenta un EPC grande (|EPC| > .20). De igual forma que con el δ, el monto mínimo del EPC considerado como grande puede estar sujeto a condiciones diversas y depender del parámetro estudiado. Por el contrario, cuando el índice de modificación no es estadísticamente significativo y se asocia a un alto poder estadístico, la ME no es relevante (nM, en la sintaxis). Finalmente, si el índice de modificación no es estadísticamente significativo y está asociado a un bajo poder estadístico, o con cualquier combinación no compatible con los estándares previos, la información que provee no suficiente para concluir si la ME es relevante o no (i [inconclusive], en la sintaxis). Estas reglas de decisión fueron incluidas en la sintaxis. En esta situación, Saris et al. (2009) siguieren evaluar el tamaño del EPC. Como toda guía, esto debe ser analizado bajo la luz de la teoría que sustenta el instrumento de evaluación, y las potenciales consecuencias de su uso.

De acuerdo con lo revisado, en el ejemplo presentado solo la primera ME analizada resulta relevante, porque su MI es significativo (p < .001), su |EPC| > .20 y se asocia a un alto poder estadístico (Figura 3). Esto indicaría que el ítem 3 (Me siento realizado) estaría siendo influido negativamente (por la correlación interfactorial) y significativamente por Distimia por lo que su re-especificación, con un adecuado sustento teórico, posiblemente ayude a comprender mejor el modelo.

Discusión

Comentarios Finales

Algunas observaciones son necesarias para comprender este procedimiento desde una mirada pragmática. Primero, para la detección de un índice de modificación estadísticamente significativo, usualmente se establece el error Tipo I en α = .05 (χ² = 3.84), pero el usuario puede modificarlo a α = .10 (χ2 = 2.706) según el diseño de investigación utilizado. El usuario debe saber que para hacer coherentes estos cambios a priori con el intervalo de confianza para el EPC, el nivel de confianza de este intervalo también se modificará de manera consistente. En segundo lugar, el usuario debería guiar su decisión usando también la ratio EPC/δ, que fue introducido como una medida de magnitud del efecto, en que si es igual o mayor a 1.0, la magnitud de la mala especificación puede considerarse relevante (van der Veld et al., 2008). ¿Qué tan grande debe ser esta ratio para ser considerada relevante? Esta es una pregunta que se resuelve en el contexto de los otros parámetros estimados, pero es un método que ayuda al juicio del investigador, y complementa el resultado de la hipótesis nula derivada del MI basado en el χ².

En tercer lugar, mientras que el MI y el EPC son rutinariamente obtenidos en los softwares que se utilice (p.e., AMOS, EQS, Mplus, etc.), la aplicación del procedimiento requiere el juicio del usuario para establecer el valor de . y del poder estadístico. Con respecto al parámetro δ, si bien las recomendaciones Saris et al. (2009) resultan útiles, debe reconocerse que aún faltan estudios que brinden información sobre el comportamiento de δ en diferentes condiciones analíticas (Schmitt, 2011), como el tamaño muestral, el grado de normalidad multivariada de los datos, entre otros. El usuario puede modificar este valor teniendo como argumento liberal la detección de modificaciones cuantitativamente leves pero que son valoradas sustancialmente (δ < .40), o ser conservador y detectar únicamente CEP grandes (δ > .40). Ejemplos de las decisiones alrededor de estos cambios aparecen en Cieciuch, Davidov, Oberski y Algesheimer (2015). Normalmente, la declaración del δ y del poder estadístico deben ser establecidos a priori. Dentro de un marco exploratorio debidamente justificado, el usuario puede hacer un análisis de sensibilidad aplicando variaciones en δ. Por último, toda inclusión de parámetros basados en el método presentado debe tener un adecuado sustento teórico, a fin de garantizar su interpretación de forma adecuada.

Este método se basa en una lógica sencilla, pero poderosa: si un modelo es malo, se debe evitar concluir que es bueno (MacCallum, Browne, & Sugawara, 1996).

Referencias

Bentler, P. M., & Wu, E. J. C. (2012). EQS 6.2 for windows [Programa estadístico]. Encino, CA: Multivariate Software, Inc.

Cieciuch, J., Davidov, E., Oberski, D. L., & Algesheimer, R. (2015). Testing for measurement invariance by detecting local misspecification and an illustration across online and paper-and-pencil samples. European Political Science, 14(4), 521-538. doi: 10.1057/eps.2015.64

Dominguez-Lara, S. (2016a). Errores correlacionados y estimación de la fiabilidad en estudios de validación: comentarios al trabajo validación de la escala ehealth literacy (eheals) en población universitaria española. Revista Española de Salud Pública, 90(9), e1-e2.

Dominguez-Lara, S. (2016b). Evaluación de modelos estructurales, más allá de los índices de ajuste. Enfermería Intensiva, 27(2), 84-85. doi: 10.1016/j.enfi.2016.03.003

Dominguez-Lara, S. (2016c). Análisis estructural del Inventario de Depresión Estado – Rasgo en pacientes con diagnóstico de depresión de Lima. Revista del Hospital Psiquiátrico de la Habana, 13(1).

Dominguez-Lara, S., & Merino-Soto, C. (2018). Efectos de método en el Inventario de Depresión Estado-Rasgo (IDER): un análisis SEM. Avances en Psicología Latinoamericana, 36(2), 253-267. doi: 10.12804/revistas.urosario.edu.co/apl/a.4151

Ferrando, P., & Lorenzo-Seva, U. (2014). El análisis factorial exploratorio de los ítems: algunas consideraciones adicionales. Anales de Psicología, 30(3), 1170-1175. doi: 10.6018/analesps.30.3.199991

Graham, J., Guthrie, A., & Thompson, B. (2003). Consequences of not interpreting structure coefficients in published CFA research: A reminder. Structural Equation Modeling, 10(1), 142-153. doi: 10.1207/S15328007SEM1001_7

Hu, L., & Bentler, P. M. (1998). Fit indices in covariance structure modeling: Sensitivity to underparameterized model specification. Psychological Methods, 3(4), 424-453. doi: 10.1037/1082-989X.3.4.424

MacCallum, R. C., Browne, M. W., & Sugawara, H. M. (1996). Power analysis and determination of sample size for covariance structure modeling. Psychological Methods, 1(2), 130–149. doi: 10.1037//1082-989X.1.2.130

Merino-Soto, C. (2015). Re-análisis de la confiabilidad del Cuestionario de autoeficacia profesional (AU-10), en Maffei et al. (2012). Pensamiento Psicológico, 13(1), 137-138.

Murray, A. L., & Johnson, W. (2013). The limitations of model fit in comparing the bi-factor versus high-order models of human cognitive ability structure. Intelligence, 41(5), 407-422. doi: 10.1016/j.intell.2013.06.004

Oberski, D. (2009). Jrule for Mplus version 0.91 [computer software]. doi: 10.5281/zenodo.10657

Perry, J. L., Nicholls, A. R., Clough, P. J., & Crust, L. (2015). Assessing model fit: Caveats and recommendations for confirmatory factor analysis and exploratory structural equation modeling. Measurement in Physical Education and Exercise Science, 19(1), 12-21. doi: 10.1080/1091367X.2014.952370

Pornprasertmanit, S. (2015). Modification indices and their power approach for model fit evaluation. Recuperado de: https://www.rdocumentation.org/packages/semTools/versions/0.5-0/topics/miPowerFit

Saris, W. E., Satorra, A., & van der Veld, W. M. (2009). Testing structural equation modeling or detection of misspecifications? Structural Equation Modeling, 16(4), 561-582. doi: 10.1080/10705510903203433

Schmitt, T. (2011). Current methodological considerations in exploratory and confirmatory factor analysis. Journal of Psychoeducational Assessment, 29(4), 304-321. doi: 10.1177/0734282911406653

Sörbom, D. (1989). Model modification. Psychometrika, 54(3), 371-384. doi: 10.1007/BF02294623

Sotelo, L., Sotelo, N., Dominguez, S., Cueto, E., Alarcón, D., Poma, I., Padilla, O., & Barboza, M. (2012). Propiedades Psicométricas del Inventario de Depresión Estado-Rasgo (IDER) en una muestra de Adultos de Lima Metropolitana. Avances en Psicología, 20(2), 59-68.

van der Veld, W., & Saris, W. E. (2011). Causes of generalized social trust: An innovative cross-national evaluation. En E. Davidov, P. Schmidt, & J. Billiet (Eds.), Cross-cultural analysis: Methods and applications (pp. 207-247). New York: Routledge.

van der Veld, W., Saris, W. E., & Satorra, A. (2008). Jrule 2.0, User guide. Documento no publicado.

Notas de autor

Enviar correspondencia a: Dominguez-Lara, S. E-mail: sdominguezmpcs@gmail.com, sdominguezl@usmp.pe

Información adicional

Citar este artículo como: Dominguez-Lara, S., & Merino-Soto, C. (2018). Evaluación de las malas especificaciones en modelos de ecuaciones estructurales. Revista Argentina de Ciencias del Comportamiento, 10(2), 19-24

Enlace alternativo

https://revistas.unc.edu.ar/index.php/racc/article/view/19595/pdf (pdf)

IR