Evidencias de confiabilidad y validez de los instrumentos utilizados para medir la carga de trabajo mental: una revisión integrativa de la literatura

Evidence of validity and precision of the instruments used to measure mental workload: an integrative review of the literature

Karen Rayany Rodio-Trevisan karenrtpsico@gmail.com

Universidade Federal de Santa Catarina, Brasil

Roberto Moraes Cruz

Universidade Federal de Santa Catarina, Brasil

Cyntia Nunes

Universidade Federal de Santa Catarina, Brasil

Daniela Ornellas Ariño

Universidade Federal de Santa Catarina, Brasil

Patricia Dalagasperina

Universidade Federal de Santa Catarina, Brasil

Rafaela Luiza Trevisan

Universidade Federal de Santa Catarina, Brasil

Doris Cecilia Molina Albarracín

Universidade Federal de Santa Catarina, Brasil

El área académica y profesional enfocada en la salud ocupacional y satisfacción en el trabajo ha abierto espacio para discusiones a nivel internacional sobre modelos teóricos e instrumentos de medida de la carga mental del trabajo (CMT) en los últimos años. Aunque existe un número importante de publicaciones sobre el tema, no existe consenso con relación a las definiciones teóricas de este constructo ( Associação Brasileira de Psicologia Organizacional e do Trabalho [SBPOT], 2020; Frutuoso & Cruz, 2005; Galy, 2020; Nasirizad Moghadam et al., 2021; Peruzzini et al., 2019; Ródio-Trevisan et al., 2023; Rostami et al., 2021; Shan et al., 2021).

Es posible partir del entendimiento de que la carga mental del trabajo (CMT) es el esfuerzo requerido para realizar actividades laborales, compuesto por la capacidad de respuesta, el grado de exigencia del desempeño y las condiciones de trabajo, afectada por variables individuales, ambientales y ocupacionales, antecedentes o concurrentes de ella ( Frutuoso & Cruz, 2005; Ródio- Trevisan, 2020; Rubio-Valdehita et al., 2017). Puede verse alterado por condiciones, exigencias, presiones y ritmos de trabajo, uso de tecnologías, grado de insalubridad, apoyo externo, motivaciones, experiencias de vida y profesionales del trabajador. Medir la carga mental de trabajo implica asignar un valor al esfuerzo mental requerido para realizar tareas. Un modelo conceptual es presentado en la Figura 1.

Figura 1
Modelo conceptual de la carga mental de trabajo
Fuente: Ródio-Trevisan et al. (2023).

Tal modelo ( Figura 1) incorpora la analogía de la CMT como un sistema de búsqueda de equilibrio entre (a) exigencias y condiciones del trabajo (Variables ambientales y ocupacionales) y (b) recursos mentales (variables personales), propuesta por Frutuoso y Cruz (2005) Además de eso acentúa el papel de los factores de riesgo y de protección relacionados a exposición de los trabajadores al ambiente de trabajo. Desequilibrio o baja capacidad de control en la CMT acentúan la manifestación de fatiga mental, baja productividad, problemas de salud, desmotivación, desinterés y frustración ( Rodio-Trevisan et al., 2023).

Se considera por tanto, que el conocimiento de la CMT y la medición de este constructo a través de instrumentos con evidencia de robusta confiabilidad y validez, ayuda en la producción de indicadores y parámetros sobre la calidad de los esfuerzos realizados en situaciones específicas de trabajo, en la prevención de errores, fatiga, riesgo de accidentes y problemas de salud, además de contribuir a la toma de decisiones sobre el mejor aprovechamiento de los esfuerzos, calidad del desempeño, eficiencia en el trabajo y comportamiento seguro ( Charles & Nixon, 2019; Ferrer & Dalmau, 2004; Van Hoffen et al., 2016; Young et al., 2015).

La medición de la CMT es esencial para mejorar la interacción entre el sistema humano y el uso de tecnologías, con el objetivo de aumentar la seguridad de los trabajadores y la confiabilidad de los sistemas de producción ( Rostami et al., 2021). Por lo tanto, definir, medir y evaluar la carga mental, para comprender su papel en el conjunto de factores humanos en el trabajo, es un desafío relevante para la producción científica actual ( Young et al., 2015).

El carácter multidimensional del constructo conlleva pluralidad metodológica en su medición. Existen tres categorías de métodos para medir este constructo: evaluación subjetiva, medición fisiológica y medidas basadas en el rendimiento ( Ceballos-Vásquez et al., 2016; Frutuoso & Cruz, 2005).

La medición subjetiva se refiere al uso de escalas autorreferenciales respecto de la percepción del esfuerzo mental que requiere una actividad. Existen escalas de medición subjetiva con modelos unidimensionales diseñados para medir la carga mental global y modelos multidimensionales que enfatizan los diferentes componentes de la carga mental. Las mediciones fisiológicas se basan en el entendimiento de que las variaciones en la carga mental pueden reflejarse en parámetros fisiológicos, aunque no existe consenso sobre qué parámetros deben monitorearse, siendo los más estudiados la variabilidad de la frecuencia cardíaca, la conductancia de la piel, la frecuencia respiratoria y el seguimiento de los movimientos oculares asociados con carga de trabajo mental. Los métodos basados ​​en el rendimiento suponen que el aprendizaje se ve afectado cuando se trabaja con una capacidad de procesamiento cognitivo y mnemotécnico sobrecargado, es decir, un rendimiento reducido puede atribuirse a una mayor carga mental global. ( Ceballos Vásquez et al., 2014; Frutuoso & Cruz, 2005). Este estudio se centra en el análisis de la medición subjetiva de carga mental de trabajo, a partir de las principales contribuciones teóricas y metodológicas identificadas en esta área ( Frutuoso & Cruz, 2005; Horat et al., 2016). Así, el objetivo de este estudio fue identificar evidencias de confiabilidad y validez de los instrumentos utilizados internacionalmente para medir la carga mental de trabajo, a través de una revisión de la literatura en el período comprendido entre 2012 y 2021.

Para alcanzar este objetivo y así mismo, la relevancia internacional de este estudio, ofreciendo un aporte significativo a la ciencia psicológica y psicométrica dedicada a la medición de la carga de trabajo mental, los autores toman como referencia la visión contemporánea de validez recomendada en los Standards for Educational and Psychological Testing ( AERA, APA, NCME, 2014).

Revisión integrativa de la literatura, que permitió la inclusión de estudios experimentales y no experimentales, con el fin de ampliar la investigación de estudios sobre el fenómeno analizado ( Whittemore & Knafl, 2005). Las bases de datos Scopus, Web Of Science, PubMed y PsycNet y en el Portal de la BVS, que recopila datos de MedLine y LILACS (Literatura Latinoamericana y del Caribe en Ciencias de la Salud). Los descriptores utilizados para realizar la búsqueda fueron: "mental workload" OR "cognitive workload" AND "assessment OR psychometric" y sus respectivas variantes para portugués y español, con el fin de contemplar el carácter internacional pretendido en el estudio. Se localizaron artículos publicados entre 2012 y 2021.

Los criterios adoptados para la inclusión de artículos, considerando el objetivo propuesto, fueron: a) artículos de revisión y empíricos; y b) estudios para medir la carga de trabajo mental por medio de instrumentos psicométricos. El proceso de selección se realizó como se muestra en la Figura 2, siguiendo las normas del protocolo PRISMA 2020, elementos de informe preferidos para revisiones sistemáticas y metaanálisis ( Page et al., 2021). Se utilizó el software de gestión EndNote® para recopilar referencias y eliminar duplicados. Después de la exclusión de los artículos, con base en los criterios mencionados y lectura de los títulos y resúmenes, se leyeron íntegramente 287 artículos y, de estos, 145 fueron elegidos para revisión. Se elaboró ​​una matriz de análisis en una hoja de cálculo de Excel para recolectar información de cada estudio: (1) el instrumento, (2) las dimensiones y (3) las propiedades psicométricas (confiabilidad y validez). Todo el proceso de selección de artículos, así como la extracción de datos, fue realizado de forma independiente por dos investigadores, y las diferencias fueron resueltas con la ayuda de un tercero.

Los criterios utilizados para recopilar la información sobre las propiedades psicométricas se elaboraron de acuerdo con los parámetros internacionales de la AERA (Asociación Americana de Investigación Educativa), APA ( Asociación Americana de Psicología) y NCME (Consejo Nacional de Medición en Educación) (2014), como se muestra en la Tabla 1.

Tabla 1
Propiedades Psicométricas y Criterios para la Evaluación de Instrumentos de Medición de Carga Mental de Trabajo

La lectura completa de los artículos seleccionados permitió explorar y compilar las evidencias de confiabilidad y validez identificadas en el uso de instrumentos para medir la carga mental de trabajo, entre 2012 y 2021. De las 27 directrices PRISMA 2020, 18 fueron cumplidas y 4 adaptadas, y otras cinco específicas, utilizadas para metaanálisis, no fueron realizadas, según el objetivo de la revisión ( Galvão et al., 2015).

En las búsquedas realizadas se encontraron 2.544 artículos. De estos, 644 fueron eliminados mecánicamente por tratarse de artículos duplicados. Considerando los criterios de inclusión y exclusión, 287 artículos fueron analizados en su totalidad, como se muestra en la Figura 2.

Figura 2
Diagrama de flujo del cribado realizado en la búsqueda sistemática, según modelo PRISMA 2020.
Nota: Datos de la encuesta (2022). Leyenda: A= Artículos sin instrumentos psicométricos; B= Los instrumentos utilizados no miden la carga de trabajo mental.

Se identificaron 16 instrumentos utilizados para evaluar la CMT, de acuerdo con los criterios metodológicos adoptados. Dichos instrumentos tienen diferentes dimensiones y han sido utilizados por varios estudios ( Tabla 2).

Tabla 2
Instrumentos para la Evaluación de la Carga Mental de Trabajo

El instrumento más utilizado, identificado en 117 artículos de esta revisión, fue el NASA-TLX (Nasa Task Load Index), además de 6 adaptaciones de este para su uso con públicos específicos. Inicialmente llamado NASA-Ames, este instrumento estaba originalmente compuesto por nueve dimensiones, que reflejaban diferentes escalas, lo que se consideraba poco práctico para su uso en simulaciones o en un entorno operativo. Así, se excluyeron las subescalas consideradas irrelevantes o redundantes con respecto a las cargas de trabajo y, en 1987, se desarrolló una adaptación del instrumento, que pasó a conocerse como NASA-TLX ( Abich et al., 2017; Alberdi et al., 2018; Ceballos-Vásquez et al., 2016). Desde 2001 cuando fue traducido y adaptado para Brasil por el Laboratorio de Factor Humano, de la Universidad Federal de Santa Catarina, ha sido utilizado en estudios de maestría y doctorado, con diferentes objetivos y grupos ocupacionales ( Laurie-Rose et al., 2017; Laurie-Rose et al., 2014).

También se destacan los instrumentos SWAT (n=16), RMSE (n=7), ESCAM, CarMen-Q y WP utilizados en tres estudios cada uno. El SWAT fue desarrollado para medir CMT en actividades ocupacionales específicas, basado en la técnica de medición conjunta, es decir, que la carga mental de una actividad está determinada por tres factores o dimensiones: el tiempo de ejecución, el esfuerzo mental empleado y el estrés percibido ( Young et al., 2015). La escala RMSE tiene su modelo teórico basado en el constructo de esfuerzo mental, definido por la asignación voluntaria de recursos para responder a las demandas de la tarea, es decir, parte del constructo de carga de trabajo mental ( Alberdi et al., 2018; Teh et al., 2014; Young et al., 2015). Es un instrumento psicométrico compuesto por una sola pregunta en la que el encuestado indica en línea continua su nivel de esfuerzo cognitivo ( Wilbanks & McMullan, 2018).

La ESCAM se denomina escala multidimensional que evalúa la carga mental percibida en el trabajo. Se basa en una evaluación global de las tareas realizadas, incluyen factores relacionados con las características de las tareas (realizadas temporalmente) y las condiciones de trabajo y los efectos nocivos de las cargas, específicamente síntomas de fatiga mental ( Ceballos-Vásquez et al., 2014; Ceballos-Vásquez et al., 2016). El CarMen-Q es un instrumento de opción múltiple de 29 ítems desarrollado para la población española, que engloba cuestiones relacionadas con el procesamiento de informaciones complejas, tales como dificultades en la interpretación de la información, toma de decisiones complejas; demandas temporales como el ritmo de trabajo, interrupciones y posibilidades de tomar descansos; además de las demandas emocionales relacionadas con las consecuencias para la salud del trabajador ( Rodríguez-López et al., 2021; Rubio-Valdehita et al., 2017).

Similar a la propuesta unidimensional de la RSME, el WP se aplica después de la ejecución de una actividad, donde se invita a los encuestados a indicar si la tarea requirió algún esfuerzo, que va desde ninguno hasta el máximo. Fundamentado en la teoría de los recursos de atención múltiple. Los encuestados son vistos como personas con diferentes capacidades o recursos ( Digiesi et al., 2020; Longo, 2018). Los demás instrumentos se utilizaron cada uno en un estudio y sus detalles se pueden ver en la Tabla 2.

En cada artículo seleccionado, se buscó información sobre evidencia de validez basado en el contenido, en la estructura interna (indicadores de confiabilidad incluidos) y en medidas externas. Entre los 145 artículos analizados, 20 de ellos presentaron alguna información sobre las propiedades psicométricas de los instrumentos utilizados o revisados, haciendo referencia a estudios que indicaron validez y/o confiabilidad del instrumento ( Tabla 3), y otros 19 estudios investigaron algunas de las propiedades psicométricas de los instrumentos utilizados ( Tabla 4).

Tabla 3
Criterios psicométricos de los instrumentos de carga mental de trabajo referenciados con base en otros estudios

En otros 19 estudios encontrados, se realizaron parcial o totalmente análisis de las propiedades psicométricas del instrumento utilizado, con base en los criterios establecidos en el método, los estudios fueron categorizados en la Tabla 4.

Tabla 4
Criterios psicométricos de los instrumentos de carga mental de trabajo

El levantamiento de estudios sobre las propiedades psicométricas de los instrumentos indica diversidad en términos de características generales, calidad, fuerza de sus propiedades psicométricas y los dominios de carga de trabajo mental medidos por ellos. La evaluación de las propiedades psicométricas del instrumento utilizado en una investigación es esencial para presentar inferencias válidas y confiables sobre el constructo, en este caso la carga mental de trabajo. Los hallazgos de esta investigación indican que tal evaluación no se ha realizado como regla en los últimos 10 años, ya que solo 20 artículos, de los 145 analizados, realizaron algún análisis estadístico propio y otros 19 referenciaron estudios previos.

El objetivo del presente artículo fue analizar las propiedades psicométricas de los instrumentos utilizados internacionalmente en los estudios para medir carga mental de trabajo. El concepto de carga de trabajo mental surge del interés por medir el esfuerzo mental que realizan las personas cuando son estimuladas para responder a tareas derivadas del proceso de trabajo ( Charles & Nixon, 2019; Young et al., 2015). Los estudios sobre la medición de carga mental de trabajo reflejan el debate sobre el potencial para investigar la capacidad humana para realizar actividades ocupacionales, lo que ciertamente incluye la necesidad de avances en la calidad del proceso de medición, ya sea en la calidad de la instrumentación o en la asociación. con marcadores biológicos y de funcionamiento cerebral.

Los estudios revisados ​​indican que la evaluación de la carga mental de trabajo se realiza en base a diferentes modelos conceptuales, introducidos principalmente a partir de la década de 1980 ( Alberdi et al., 2018; Abich et al., 2017). Con cerca de 40 años de desarrollo, el concepto de carga mental es multidimensional, no tiene una definición consensuada por todos los teóricos del área y hoy no es seriamente cuestionado, ya que el 80,6% (n=117) de ellos revisaron estudios utilizan el mismo (NASA-TLX), aunque consideran importante medir la carga mental de trabajo debido a las condiciones actuales en dos entornos de trabajo ( Braarud, 2021; Young et al., 2015; Monfort et al., 2017).

Es importante resaltar que la validez de contenido de un instrumento psicométrico es comúnmente verificada durante la etapa de construcción del instrumento, lo que hace algo aceptable que no sea replicado en cada estudio donde se utiliza la herramienta. En cuanto al NASA-TLX, se sabe que su validez de contenido fue investigada originalmente por Hart y Staveland (1988), pero no fue posible confirmar que los autores de los 117 artículos que hicieron uso de tal instrumento se dedicaron a verificar tal índice de validez, considerando que esta referencia se ubicó en sólo tres estudios. La validez interna y externa del instrumento se demostró mediante análisis factorial confirmatorio y exploratorio, así como en la búsqueda de validez divergente y convergente con otros instrumentos existentes.

En la literatura se encontraron argumentos de que los resultados obtenidos con la aplicación de NASA-TLX, y algunos de sus derivados, representan medidas válidas y confiables para demandas de tareas y no demandas de trabajo, por lo que es claro que, aun siendo este un método ampliamente utilizado, puede presentar problemas para medir la carga de trabajo mental ( Ba & Zhan, 2011; Bridger & Brasher, 2011). Para Bridger y Brasher (2011), la eliminación de ítems referentes a demandas físicas y rendimiento mejoró la confiabilidad interna del test NASA-TLX, dicho dato refuerza la importancia de evaluar la evidencia de validez y confiabilidad cuando un estudio propone el uso de instrumentos psicométricos. Todos los estudios revisados ​​que indicaron los valores de confiabilidad para los instrumentos utilizados tienen resultados suficientes para afirmar que dichos instrumentos son precisos ( Tabla 4), pero no se puede decir lo mismo de los estudios en los que los valores referentes al análisis estadístico de confiabilidad no fueron proporcionados, lo que se puede observar, en estudios donde la confiabilidad de los instrumentos no fue mencionada.

Desde un punto de vista psicológico, las características de la carga mental se sitúan en la psicología cognitiva y la psicología del trabajo, en términos de asignación de recursos atencionales, cognitivos y respuestas a demandas típicas de ocupaciones y sistemas de trabajo ( Van Hoffen et al., 2016). Es decir, la carga de trabajo mental forma parte de un marco denominado carga de trabajo, una estructura teórica que incluye demandas y respuestas físicas, fisiológicas y psicológicas relacionadas con el desempeño de la persona en contextos y tareas específicas. La complejidad de atributos asociados a esta estructura teórica, así como el desarrollo de estudios empíricos en busca de evidencias de validez y confiabilidad de instrumentos de medición de cargas mentales, impone la necesidad de producir instrumentos de referencia en este campo.

Los estudios sobre la medición de la carga de trabajo mental revelaron problemas de validez de los instrumentos. Evidenciaron el uso de información sobre las propiedades psicométricas de los instrumentos, que parten de conceptos y procedimientos estadísticos que no siempre son consistentes con la verificación interna, estructura del constructo de carga mental o criterios externos en la búsqueda de otros procedimientos de validación, a menudo centrándose solo en indicadores de confiabilidad. Ciertamente, debido a malentendidos sobre el uso de datos primarios, las diferencias conceptuales empleadas, las diferentes metodologías y procedimientos estadísticos, los estudios de metaanálisis tienden a ser un desafío. Un aspecto crítico, por ejemplo, es la búsqueda de la validez de contenido sin explorar los fundamentos teóricos del constructo o sin utilizar puntuaciones de medida de carga con criterios estadísticos claros o estudios experimentales específicos.

Además de los puntos mencionados, también se observa ausencia o escasa referencia a procedimientos psicométricos realizados para la adaptación y uso de los instrumentos en contextos distintos al país de origen. Esta omisión de prácticas sobre procesos de adaptación transcultural y la búsqueda de nuevas evidencias de validez limita la interpretabilidad y generalización de los resultados en nuevos contextos culturales internacionales.

Este estudio reveló que los 16 instrumentos de evaluación de la carga mental identificados tienen diversidad en términos de características generales y calidad teórica, calidad de propiedades psicométricas y los dominios de CMT medidos por ellos. La evaluación de las propiedades psicométricas del instrumento es esencial para presentar inferencias válidas y confiables sobre el constructo. Sin embargo, los hallazgos de esta investigación indican que tal evaluación no se ha realizado como regla en todos los estudios, ya que solo 20 artículos, de los 145 analizados, realizaron algún análisis estadístico de los respectivos propósitos de los estudios.

Esta revisión tiene varios aspectos relevantes: los términos de búsqueda fueron exhaustivos y los idiomas seleccionados permitieron localizar publicaciones de diferentes contextos; dos investigadores extrajeron los datos de forma independiente utilizando un formulario estructurado para garantizar una representación precisa de los estudios y resolver las discrepancias de forma sistemática. Como limitaciones, no incluyó investigaciones no publicadas, como las publicadas en tesis y disertaciones, publicaciones en actas de congresos o investigaciones publicadas en su forma no comercial, como informes gubernamentales. Además, no exploró algunos de los desafíos teóricos y metodológicos que impregnan décadas de discusión en torno al constructo carga mental, presente en diversos campos disciplinarios, así como los problemas que involucran la evaluación de cargas mentales en entornos virtuales, mediaciones tecnológicas avanzadas y asociado a variables fisiológicas. Estos son aspectos que sin duda servirán de horizonte para nuevas publicaciones en este campo.