Propiedades Psicométricas del Kidscreen-52 en Estudiantes Mexicanos de 11 a 16 Años de Edad

Psychometric Properties of the Kidscreen-52 in Mexican Students Aged 11 to 16 Years-Old

La calidad de vida (CV) es un concepto reciente el cual ha tomado mayor relevancia a nivel global, debido a la naturaleza de sus componentes objetivos y subjetivos, que le proporcionan a este constructo, un carácter multidimensional. Aunque en sus orígenes era una dimensión estrictamente económica en donde las posesiones materiales jugaban un aspecto relevante, paulatinamente se han ido incorporando otras disciplinas, enriqueciendo el constructo hasta llegar a la que se conoce como Calidad de Vida Relacionada con la Salud (CVRS) (Arita, Romano, & García, 2005).

La etapa de la adolescencia requiere de una particular atención y se han abordado esferas de conocimiento que afectan la CVRS, como el acoso escolar, el uso de substancias adictivas, tanto legales como ilegales, autolesiones, embarazos tempranos y aquellas variables que impactan en general en su calidad de vida. De esta manera se han construido instrumentos genéricos y específicos para evaluar distintos componentes de este grupo poblacional (Solans et al., 2007).

Debemos reconocer que la gran mayoría de instrumentos de CVRS, se han diseñado en Europa o en Norteamérica (Solans et al., 2007), y responden directamente a sus necesidades, pero diversos investigadores, han realizado procesos de estandarización en distintos países, (e.g., Carvajal, Centeno, Watson, Martínez, & Sanz Rubiales, 2011; Huerta, Romo, & Tayabas, 2017), lo que surge como una alternativa cuando no se cuenta con las tecnologías suficientes para crear los propios.

Entre los principales instrumentos utilizados se destaca el KIDSCREEN-52 (Ravens-Sieberer, 2006), el cual fue elaborado en colaboración de 13 países con la finalidad de evaluar CV en la población infantil y adolescente de la Unión Europea, promoviendo un instrumento genérico, multicultural, adecuado a los requerimientos de ésta comunidad.

La adaptación transcultural de este instrumento ha sido realizada en Latinoamérica, partiendo de las versiones española o portuguesa, en Argentina, Brasil, Chile y México (Berra et al., 2009; Guedes & Guedes, 2011; Hidalgo-Rasmussen, Rajmil, & Montaño-Espinoza, 2014; Sepúlveda et al., 2013). Estas publicaciones hacen una comparación de sus resultados obtenidos con los europeos.

Sin embargo, es necesario actualizar los procedimientos de valoración y despejar las dudas que sean necesarias, para tener instrumentos cada vez mejor adaptados a los problemas actuales. Por ejemplo, en diversos artículos en donde se presenta el desempeño psicométrico de los instrumentos, y de acuerdo con el modelo de la Teoría Clásica de los Tests (TCT), cuando se aborda el aspecto de la confiabilidad, suele utilizarse el Coeficiente Alfa de Cronbach (Dunn, Baguley, & Brunsden, 2014), que se basa en el supuesto de que el total de la varianza corresponde a la sumatoria de la puntuación verdadera de la variable evaluada, a la cual debemos agregar cierta cantidad del error de medición (EM).

Sin embargo, los comentarios del creador de este indicador, señalan que su procedimiento para evaluar la consistencia interna, sólo aplican si se cuenta con una sola dimensión y si las respuestas a los reactivos utilizados en la prueba, son con escala tipo Likert, además de medir variables cognoscitivas de carácter nominal, que finalmente pueden ser transformadas en una escala binaria (Cronbach & Shavelson, 2004).

Por estas razones, es necesario identificar medidas de fiabilidad apegadas a modelos con mayor probabilidad de ajustarse a los datos obtenidos a las variables psicológicas. El coeficiente Omega (Zwick & McDonald, 2006), es el que ha mostrado un mejor desempeño, pues resulta ser una medida más sensible de consistencia interna, por lo que existe un menor riesgo de sobre o subestimación de la fiabilidad de una escala (Viladrich, Angulo-Brunet, & Doval, 2017), en el caso de tener instrumentos de medición integrados con más de un factor.

Debido a que el cálculo de la confiabilidad con el omega de McDonald (2006) no depende ni del tamaño de la muestra ni del número de reactivos, no se ve influenciado por estos factores, ya que depende únicamente de las cargas factoriales de los ítems.

Más allá de la confiabilidad, el uso de TCT puede resultar muy limitado en otros aspectos en relación a la validez, ya que se deben considerar factores como quiénes evalúan, los sujetos evaluados, las condiciones de aplicación, y el error aleatorio, entre otras condiciones (Anastasi & Urbina, 1998).

Por ello, el uso de metodologías provenientes de la Teoría de la Respuesta al Ítem (TRI), así como los modelos de Rasch (1961), son ampliamente recomendadas para cubrir algunas de las limitaciones que la TCT presentan. Pese al gran soporte teórico de la TRI, la practicidad de los métodos de la TCT la siguen colocando como la más ampliamente utilizada en el análisis psicométrico hoy en día.

Otro punto importante a nivel de análisis psicométrico es el uso de Análisis Factorial Confirmatorio (AFC), que, pese a ser ampliamente utilizado en la actualidad, la complejidad del mismo y los constantes avances en las metodologías utilizadas para su estimación y evaluación, posibilitan el uso inadecuado o impreciso del mismo (Oliver, et al., 2015); ante el uso de AFC, es imperativo describir y justificar los métodos de estimación de parámetros utilizados, así como los criterios seleccionados para evaluar la bondad del ajuste del modelo. Además, la puesta a prueba de la invarianza del modelo factorial a través de los grupos dentro de la muestra resulta un paso igualmente necesario (Zhu et al., 2019). Este último punto es importante ya que, al ser el KidScren-52 (KS-52) un instrumento dirigido a un rango amplio de edades, donde la calidad de vida puede ser percibida de manera distinta en los niños y los adolescentes (Michel et al., 2009), la invarianza de la prueba no puede ser dada por hecho, ni en grupos de edades ni por sexo, especialmente si se desean hacer comparaciones entre dichos grupos (Tompke & Ferro, 2019).

Precisamente, la gran mayoría de los estudios existentes que evalúan al KS-52 a nivel psicométrico (Baydur et al., 2016; Berra et al., 2009; Guedes & Guedes, 2011; Hidalgo-Rasmussen, Rajmil, & Montaño-Espinoza, 2014; Sepúlveda et al., 2013), incluyendo el estudio original del grupo KIDSCREEN (Ravens-Sieberer, 2006; Ravens-Sieberer et al., 2008), presentan limitaciones en la extensión y profundidad de los análisis realizados. Todos estos estudios presentan como medida de fiabilidad el Alfa de Cronbach, y al tratarse de un instrumento multifactorial, la probabilidad de sobreestimar o subestimar el puntaje de fiabilidad, es alta.

De igual forma, el uso de modelos de Rasch se presenta únicamente en el estudio original del grupo KIDSCREEN y en el realizado en Argentina y Chile (Berra al., 2009; Sepúlveda et al., 2013). En relación al AFC, el estudio original utiliza el método de máxima verosimilitud para la estimación de parámetros, el cual puede presentar un sesgo importante dado el tipo el tipo de respuesta ordinal del instrumento. Por otro lado, tanto el estudio de Hidalgo Rasmussen et al. (2014), como el elaborado en Argentina (Berra et al., 2009) y en Chile (Sepulveda et al., 2013), no reportan el método de estimación de parámetros utilizado. Finalmente, en cuanto a análisis de invarianza, ninguno de los artículos citados lo presenta.

Pese a que existen ya estudios que señalan la importancia de ampliar el rango de herramientas psicométricas utilizadas para el análisis del KS-52, y que ellos mismos muestran el uso de modelos TRI (Titman, Lancaster, & Colver, 2016) o de análisis de invarianza (e.g., Zhu et al., 2019), ninguno de estos esfuerzos se ha realizado en la versión mexicana del KS-52, siendo que el estudio de Hidalgo-Rasmussen et al. (2014), presenta únicamente el proceso de adaptación, confiabilidad mediante alfa de Cronbach y un AFC que no especifica el tipo de método para la estimación de parámetros.

Por ello, el propósito del presente estudio fue evaluar las propiedades psicométricas del KS- 52 en adolescentes escolarizados en San Luis Potosí, mediante análisis estadísticos más adecuados para el tipo de instrumento, en donde se incluyen modelos politómicos de Rasch; AFC con criterios específicos y adecuados para el tipo de instrumento y muestra; análisis de invarianza, así como su confiabilidad mediante el coeficiente de Omega. Con todo lo anterior, se contrastaron los resultados entre este estudio y el original del grupo KIDSCREEN (Ravens-Sieberer, 2006), así como el realizado por Hidalgo-Rasmussen et al. (2014), el cual está validad en población mexicana. ´Se destacan las diferencias principales de acuerdo al tipo de análisis.

Participantes

Se contó con la participación de 2,257 estudiantes de los cuales 1,034 eran hombres y 1,223 mujeres de entre 11 y 16 años (. = 13.7, DT=1.36), todos ellos estudiantes de siete secundarias públicas en la periferia de la ciudad de San Luis Potosí. El 52.2% de la muestra estuvo conformada por estudiantes de primer nivel, el 34.12% de segundo y el 13.7% eran alumnos de tercero. Cada participante, contó con una autorización previa de sus padres y de ellos mismos mediante consentimiento informado.

Instrumentos

El KS-52, es un instrumento de tamizaje que califica a la CVRS en una escala de 1 a 100 puntos mediante una escala Likert de 5 opciones de respuesta desde Nunca a Siempre. El instrumento consta de diez dimensiones, las cuales se muestran en la Tabla 2. Una mayor puntuación señala una mejor CV, existen diversas adaptaciones transculturales, la que se utilizó en el presente documento fue la estandarizada para población mexicana (Hidalgo-Rasmussen et al., 2014).

Procedimiento

Se seleccionaron escuelas públicas de la zona periférica a la ciudad de San Luis Potosí, se aplicó el instrumento por grupos previa firma de un consentimiento informado por parte de los padres de los alumnos. Un grupo de alumnos de la licenciatura en Psicología, de los tres últimos semestres, quienes habían recibido una capacitación previa, en grupos de 4, llevaron a cabo la aplicación de manera escrita con papel y lápiz, supervisaron las dudas de los alumnos, en sus propios salones de clase y se insistió en no dejar preguntas sin contestar, por ello prácticamente no tuvimos falta de respuestas.

Análisis de datos

Validez de estructura interna

Para evaluar el ajuste del modelo propuesto por el grupo KIDSCREEN y respaldado por Hidalgo Rasmussen (2014), se inició, de acuerdo con las recomendaciones de Titman et al., (2016), evaluando de manera gráfica el ajuste entre la correlación entre ítems esperada por el modelo y las obtenidas, visualizando estas últimas gráficamente con una correlación de matrices o correlograma, se utilizó la función corrgrams del paquete corrplot (Wei, 2010) en R; este gráfico muestra el nivel de correlación a través del color, las correlaciones positivas se muestran en azul y las negativas en rojo; a mayor correlación, mayor la intensidad del color. De igual forma, aquellas correlaciones no significativas (.>.05), se muestran con una X. De acuerdo con el modelo factorial esperado de 10 dimensiones, se esperaría que las correlaciones se muestren en forma de bloques para cada dimensión.

Posteriormente, se evaluó la unidimensionalidad de cada una de las 10 dimensiones utilizando el Modelo de Créditos Parciales con la función pcm del paquete eRm en R (Mair et al., 2020), que es uno de los modelos politómicos de Rasch; específicamente, se evaluaron los estadísticos de ajuste de la media cuadrada INFIT y OUTFIT. Ambos estadísticos tienen un valor esperado de 1, y, siguiendo la recomendación de Smith (1995), se tomó como valores aceptables un rango entre 0.7 a 1, debido al tamaño de la muestra.

Después, utilizando el mismo modelo factorial de 10 dimensiones propuesto por el grupo KIDSCREEN (Ravens-Sieberer, 2006), se procedió a generar el análisis factorial confirmatorio, utilizando la función cfa del paquete psych en R (Revelle, 2018). Debido a que el KS-52 evalúa mediante una escala tipo Likert de carácter ordinal, y a que la distribución de la muestra no cumple con los supuestos de normalidad, la estimación de los parámetros de los tres modelos se llevó a cabo con el método de mínimos cuadrados ponderados diagonalmente (DWLS), que, de acuerdo con Li (2016), presenta estimaciones menos sesgadas y precisas que un método de máxima verosimilitud, especialmente dado que el tamaño de la muestra es grande.

La evaluación del ajuste del análisis factorial confirmatorio, se realizó tomando como principales indicadores de la bondad del ajuste: CFI para el que el punto de corte debe ser mayor a .90 para considerarlo apropiado y mayor a .95 para considerarlo un excelente ajuste. Además, se consideró el índice RMSEA (Root Mean Square Error of Approximation), para el que valores más cercanos a 0 representa un buen ajuste y parsimonioso; se recomienda <.08 para considerarlo adecuado y <.6 para considerarlo un excelente ajuste. Ambos puntos de corte se basaron en la propuesta de Hu y Bentler, (1999).

Análisis de comparación entre grupos

Por último, se evaluó la invarianza de la medida mediante el paquete sem en R. La invarianza se evaluó en cuanto al sexo y a la edad, dividiendo el análisis en 3 grupos de edades: 11-12 (n=366), 13-14 (n=1267), 15-16 años (n=544). Cabe destacar que se tuvieron valores perdidos en cuanto a la variable edad, por lo que la cantidad total de sujetos tomada en cuenta para este análisis fue de 2177. De acuerdo con Chen (2007), ∆CFI ≥0.010, junto con ∆RMSEA ≥0.015, indicarían que el instrumento no es invariante. Se tomó como línea base la equivalencia conFigural. Posteriormente se contrastó la equivalencia conFigural de dicho modelo con la invarianza métrica, escalar y estricta. En todos los análisis se volvió a utilizar el método de DWLS, todo a través de la función measurementInvariance del paquete lavaan (Rossel, 2019).

Análisis de consistencia interna

La medición de la fiabilidad se obtuvo mediante el coeficiente alfa de Cronbach, y se agregó su intervalo de confianza (Dunn, Baguley, & Brunsden, 2014), se agregó además el cálculo del coeficiente Omega. Para obtenerlo, se utilizó la función omegaFromSem del paquete psych en R (Revelle, 2018), la cual toma el modelo factorial confirmatorio propuesto, para obtener la confiabilidad por factor.

Comparativa con estudio original

Finalmente, se presenta una comparativa con las medidas equiparables entre los resultados de este estudio y los obtenidos en el estudio original de Ravens-Sieberer, (2006). Se presentan el tamaño de la muestra, la media y desviación estándar, el efecto piso, definido como el porcentaje de sujetos que obtuvieron el puntaje mínimo posible dentro de cada dimensión, y el efecto techo, que es el porcentaje de sujetos con el puntaje máximo posible en cada dimensión. De igual forma, se presenta el INFIT del modelo de créditos parciales por dimensión.

Software utilizado

Todos los análisis de los datos recolectados se llevaron a cabo mediante el software estadístico R en su versión 3.6.1, utilizando los siguientes paquetes: psych (Revelle, 2018), car (Fox et al., 2019), lavaan, (Rossel, 2019), eRm (Mair et al., 2020), corrplot (Wei, 2010) y agricolae (Mendiburu, 2019). La base de datos utilizada para los análisis ha sido publicada para su libre acceso (Galán Cuevas & Díaz García, 2020).

En la Figura 1 se presenta el gráfico de correlaciones entre los ítems. Se puede observar que en la mayoría de los casos los bloques de cada dimensión se muestran de forma correcta. Sin embargo, los ítems de la dimensión de bienestar físico presentan correlaciones bajas entre ellos, en especial el reactivo 1 que no presenta relación con los demás de la dimensión (r<0.1 en todos los casos) y únicamente se relaciona moderadamente con algunos de la dimensión de estado de ánimo (r>0.2 en todos los casos), de igual forma, los reactivos de bienestar psicológico, estado de ánimo y autopercepción presentan correlaciones significativas entre sí (r>0.3 en todos los casos).

Figura 1
Gráfico de correlaciones entre ítems del KIDSCREEN52

En cuanto a los resultados del modelo de Rasch, los podemos observar en la Tabla 1 en la primera sección. La mayoría de los ítems presentan un buen ajuste tanto en INFIT como en OUTFIT. Destaca nuevamente el ítem 1 de bienestar físico con valores demasiado elevados (INFIT=1.27, OUTFIT=1.32). Los mismos problemas aparecen para los reactivos 1 (INFIT=1.16, OUTFIT=1.21) y 5 (INFIT=1.18, OUTFIT=1.18) de estado de ánimo y el 1 de autopercepción (OUTFIT=1.032).

Tabla 1
Resultados de Modelo de Rasch y AFC por ítem

En relación con el AFC, el modelo de 10 dimensiones presenta un ajuste adecuado, más no excelente, con un CFI=0.947 y un RMSEA=0.063.

Sin embargo, se puede observar en las estimaciones estándares de cada ítem, las cargas se observan más bajas en los mismos ítems que presentaron dificultades en el análisis de componentes principales.

Tabla 2
Invarianza de medición del KIDSCREEN52 por género y por edad

Tabla 3
Comparación entre los resultados del KS-52 en Europa y los encontrados en México

Finalmente, el análisis de invarianza, tanto por sexo como por grupos de edades, puede observarse en la Tabla 2. Todos los puntajes de ∆CFI y de ∆RMSEA estuvieron dentro del rango esperado, por lo que el modelo se sostiene a través de los grupos por sexo y edades, aunque cabe destacar que, por edades, ∆CFI estuvo por encima del límite establecido.

En la Tabla 3, se muestran la comparación de los valores obtenidos entre las dimensiones del KS-52, entre la versión europea y la nuestra. En cuanto al efecto piso, se pueden observar únicamente 3 valores por encima de la unidad, estado de ánimo =1.37, aceptación social =2.65, pero se destaca el ambiente escolar =8.01. Por otro lado, el efecto techo o cielo muestra diferencias notorias en la aceptación social y el ambiente escolar.

La confiabilidad de las dimensiones mediante alfa de Cronbach mostró una variabilidad desde 0.617 hasta 0.905. Se señala que en todos los casos la . fue <0.05. Las dimensiones de Estado de Ánimo y Emociones y Relación con Padres, fueron las dimensiones de mayor puntaje. Las calificaciones fueron generalmente superiores para cada dimensión con el coeficiente Omega, tal y como se observa en la Tabla 4.

Tabla 4
Confiabilidad del KS52 en una muestra de adolescentes entre 11 y 16 años

Los resultados presentados en este estudio, en término general, se asemejan a los resultados del grupo Kidscreen (Ravens-Sieberer et al., 2008) y a los de Berra et al., (2013), pues el modelo factorial se ajusta de buena forma y las dimensiones presentan buena consistencia interna y un ajuste aceptable desde el Modelo de Crédito Parcial (Abal, Lozzia, Auné, & Attorresi, 2017). Sin embargo, las dificultades observadas en reactivos como el primero de Bienestar Físico o los pertenecientes a la dimensión de Autopercepción, abren la posibilidad a interrogar la pertinencia de adaptaciones más específicas de reactivos que pudieran comportarse de manera distinta de acuerdo a la población y la comprensión de la misma respecto a las palabras y expresiones utilizadas en cada reactivo. En ese sentido se han hecho grandes esfuerzos por promover el uso de la etnopsicometria que toma en cuenta de manera más profunda las variables culturales y contextuales al momento de diseñar instrumentos o adaptarlos a distintas poblaciones (Martínez, Aragón, Loving, & Ruíz, 2013).

Por un lado, a través de lo visto en relación al efecto piso y techo (en particular de dimensiones como Bienestar Psicológico, Ambiente Escolar o Aceptación Social), es evidente que las diferencias culturales existen, por lo que también es de esperarse que existan diferencias culturales al momento de otorgar significados a las palabras utilizadas en los reactivos. Una de esas posibles diferencias sería una gran conexión semántica entre el sentir físico y el sentir emocional, por lo observado en la relación entre dimensiones como Bienestar Físico, Bienestar Psicológico, Autopercepción y Estado de Ánimo, tanto a nivel de correlaciones, pero sobre todo en estructura factorial, pues aunque la dimensión de Autopercepción hace referencia a percepciones corporales y físicas, muchos de sus reactivos correlacionan más con los pertenecientes a la dimensión de Estado de Ánimo o la de Bienestar Psicológico.

Para puntualizar en estas diferencias, es importante antes tomar en cuenta las limitaciones del presentes estudio, entre las que se destacan el tamaño y la selección de la muestra, pues al tratarse de un muestro por conveniencia, existió una desproporción entre variables como la edad (al contar con una muestra exclusivamente de nivel secundaria, la gran mayoría oscilaba entre 12 y 15 años), muy diferente de lo presentado con los dos estudios con los que se compara el presente reporte, pues en ellos el rango y la distribuciones de edad son más uniformes y cuenta con una muestra amplia tanto de niños como adolescentes.

Este último punto permite interrogar también si los resultados obtenidos aquí se deben a que, pese a que el instrumento está diseñado para poblaciones de entre 8 y 18 años, existen diferencias significativas entre los grupos de edad que comprenden este rango, siendo que en nivel secundaria existe una mayor asociación entre el sentir físico y el sentir emocional, particularmente en la muestra aquí presentada y con esta redacción y traducción de los reactivos. Particularmente, podemos observar que los resultados del análisis de invarianza por edad parecen apoyar dicha hipótesis, puesto que, en cuanto a la invarianza métrica, el elevado ∆CFI indica mayor variabilidad que en la comparativa entre sexos. De cualquier forma, es importante tomar con cautela dichos resultados, especialmente dada la desproporción existente entre la cantidad de sujetos en cada grupo de edad. Sería recomendable ejecutar mayores análisis con muestras más amplias y en ellos analizar la invarianza del instrumento, para poder contrastar dicha hipótesis.

La importancia de utilizar procedimientos psicométricos actualizados y adecuados para los datos con los que se cuenta, queda de manifiesto en el presente trabajo, pese a que en la consistencia interna se obtuvieron resultados muy similares con ambos coeficientes, la especificidad y pertinencia de los análisis realizados en AFC junto con análisis de invarianza y el modelo de Rasch, permitió encontrar estas discrepancias dentro de los modelos utilizados, lo que a su vez posibilita levantar los cuestionamientos ya señalados. Un claro ejemplo de ello es que, pese a que en este estudio, al igual que en lo encontrado en estudios previos, el AFC presentó un adecuado ajuste del modelo, el uso de análisis de invarianza, de análisis gráfico de las correlaciones y de modelos politómicos de Rasch, permitió detectar las deficiencias e inconsistencias de los reactivos 1 de bienestar físico, 1 y 5 de estado de ánimo y el 1 de autopercepción, que no son evidentes a simple vista cuando simplemente se presentan los índices de bondad de ajuste de un modelo confirmatorio. Detectar estas inconsistencias puede permitir cuestionar la pertinencia de cambiar la redacción de dichos reactivos para reducir su ambigüedad y diferenciar claramente aquellos referentes al sentir físico y aquellos al sentir emocional.

Con todo esto, podemos concluir que, pese a que no existen instrumentos psicométricos perfectos y a que es normal encontrar este tipo de disminución de desempeño psicométrico al momento de traducir y adaptar instrumentos a otras poblaciones, especialmente al aumentar el rigor metodológico con que se realizan los análisis, tal como ocurre con el presente estudio, en el que, aunque con un desempeño menor que el estudio original, sigue presentado propiedades suficientes como para recomendar su uso en la población mexicana. Sin embargo, tomar en cuenta de manera más profunda las variables demográficas de la población objetivo al momento de diseñar o adaptar instrumentos, así como la inclusión de análisis pertinentes y con sustento teórico y metodológico, permitiría una mayor especificidad en la medición de variables, y por tanto un mejor desempeño psicométrico y una mejor y más contextualizada interpretación de los resultados.

Se sugiere se considere la creación de una comisión iberoamericana de aplicación del KS-52, que permita dar el seguimiento correspondiente, en los países en donde no se ha aplicado, proporcionando el apoyo necesario para mantener la calidad en la aplicación de este instrumento.

Sin lugar a dudas, en el futuro cercano, todos los procedimientos se harán en formatos electrónicos, lo que facilitará la posibilidad de realizar censos sobre la calidad de vida, promoviendo las comunicaciones entre los coordinadores de proyectos, a fin de intercambiar experiencias y promover proyectos internacionales.