Introduction

El estudio y la evaluación sobre el desarrollo cognitivo en niños ha sido una pieza clave para detectar a tiempo si presenta alguna dificultad en la adquisición de las habilidades cognitivas. Esto permite intervenciones específicas, logrando así, la disminución de dichos problemas a nivel cognitivo (Brydges et al., 2018). Para ello se requiere una serie de herramientas de detección como los instrumentos neuropsicológicos diseñados para la población infantil, los cuales permiten analizar de forma detallada las características de cada proceso cognitivo; no obstante, algunos de ellos se caracterizan por ser largos en el tiempo de aplicación y en el número de actividades cognitivas, todo lo cual, agota a los niños por tener la variable atencional que está mediada por un factor motivacional. Es por ello, que se hace necesario contar con una herramienta inicial como los tamizajes, (Lind et al., 2020). El fin de esta herramienta, es poder realizar un rastreo y predicción sobre el desarrollo de los procesos cognitivos, para detectar si el proceso se está desarrollando de la manera adecuada o si presenta dificultades. Si estas son detectadas, el neuropsicólogo podrá evaluar a profunidad los procesos que no vienen desarrollándose de manera adecuada y logrará seleccionar un protocolo de evaluación neuropsicológica posterior más preciso, siendo así más específico en la identificación de las dificultades cognitivas; un fin adicional, es disminuir los tiempos de aplicación de pruebas neuropsicológicas que están interferidos por los tiempos atencionales y la motivación del niño. El concepto de tamizaje o rastreo cognitivo es definido como un instrumento breve, de fácil aplicación y de corta duración; su principal utilidad consiste en discriminar entre una ejecución normal y una ejecución con dificultades, no cumple la función diagnóstica, pero sí ofrece una aproximación desde las funciones neuropsicológicas o de los precursores de estas (Educational Testing Service, 2014).

Al realizar una revisión detallada sobre la importancia de los instrumentos de evaluación breve como los tamizajes, Romo-Pardo et al. (2012), mencionan que son de gran valor por cuanto permiten tener toda la información del proceso de desarrollo desde las primeras fases de la niñez. Adicionalmente, tienen una característica predictiva significativa, tal como lo afirman dichos autores en el análisis sistemático y comparativo de pruebas de tamizaje de neurodesarrollo global para niños menores de 5 años de edad en Estados Unidos y Latinoamérica, en las que demostraron el alto grado de sensibilidad de las siguientes pruebas: Battelle Developmental Inventory Screening (segunda edición) (0.93 y 0,88) y PRUNAPE VPP (0,94) Y VPN (0.97), concluyendo que son instrumentos apropiados para detectar cambios neurocognitivos.

Otro aspecto importante frente a las pruebas de tamizaje, es el poder contar con diseños originales que obedezcan a una estructura metodológica clara. Sobre ello, Getz (2011) menciona que muchas de las pruebas existentes provienen de otros países y son adaptadas, olvidando la identidad y rasgos culturales característicos de la población, por consiguiente, sobresale la necesidad no solo de adaptar pruebas sino también, de construirlas de acuerdo a los estándares de la población objeto de estudio.

La estructura de este tipo de instrumentos, se desarrolla según el diseño centrado en la evidencia de Mislevy & Haertel (2006); Mislevy, Steinberg y Almond, (1999). Las etapas de diseño aseguran que los ítems representen el constructo en la medida esperada, modelo que resulta útil para desarrollar nuevas formas de evaluación basadas en simulaciones o juegos, donde los ítems son actividades puntuales y no las preguntas redactadas habituales en los instrumentos tradicionales. Como primer paso, se resalta la importancia de contar con una base conceptual sólida, que permita categorizar los dominios de conocimiento y posteriormente las habilidades específicas que dan evidencia del dominio establecido, nombrado por niveles de logro bajo los cuales se evaluará. Cada ítem o actividad responderá a la guía previamente descrita.

Al hablar de las características de los ítems o juegos (actividades), estos permiten evaluar los procesos cognitivos y una de las maneras de poder llevar a cabo la evaluación de dichos procesos, es por medio de las herramientas digitales ya que gozan del atractivo visual que da cuenta de estímulos llamativos, versátiles e interactivos, que generan impacto y motivación en sus usuarios. De acuerdo con lo anterior, el interés de investigadores por la creación de este tipo de herramientas es cada vez mayor, por ejemplo, en México se diseñó un videojuego como herramienta de rastreo neuropsicológico que puede dar indicadores de rendimiento en atención y funciones ejecutivas; Rossetti et al. (2017) se trazaron como objetivo transferir a un videojuego, algunas de las características principales de las pruebas neuropsicológicas estandarizadas, como el Neuropsi. Es así como crearon la aplicación Towi, la cual se desarrolla en torno a eventos relacionados en el que el sujeto debe resolver diferentes tareas. A través de un análisis factorial, se agruparon las medidas de Towi en cinco grupos (planificación, atención sostenida, atención selectiva, autocontrol y memoria) indicando que la plataforma de juego tiene potencial como una herramienta de detección neuropsicológica.

Otro ejemplo de desarrollo digital para la valoración de procesos cognitivos en niños, es la validación de un juego móvil para la evaluación del control cognitivo entre niños y adolescentes en Corea. Este estudio tuvo como objetivo evaluar el control cognitivo a través de la gamificación con la aplicación CoCon, y comparó los resultados con los desempeños en las pruebas neuropsicológicas tradicionales para niños y adolescentes; la muestra de este estudio estuvo conformada por 100 participantes (edad media = 11.75 años, varió de 9 a 16 años, DE = 1,40 años. Como resultado, los desempeños obtenidos con el juego fueron medidas confiables y válidas del control cognitivo en niños y adolescentes (Song et al., 2020). En conclusión, los hallazgos actuales sugieren que los juegos móviles que utilizan tecnología avanzada y estrategias psicológicas sofisticadas pueden servir como una plataforma nueva y ampliada para la administración de evaluaciones cognitivas.

Igual de relevante es el diseño y desarrollo de una prueba de tamizaje digital para niños planteado por Howard & Melhuish (2016) en Australia, que incluye actividades atractivas y animadas para medir procesos tales como: función ejecutiva (memoria de trabajo fonológica y visoespacial, inhibición y flexibilidad), lenguaje (tareas de vocabulario) así como escalas a cuidadores frente al comportamiento social y autorregulación en niños de 3 a 5 años. En el estudio, aplicado a 1.764 niños de preescolar y educación temprana primaria en cuatro estados de Australia, alcanzaron indicadores de confiabilidad, validez convergente y datos normativos. Como resultado, obtuvieron avances tanto metodológicos como prácticos, y específicamente correlaciones significativas que les permitieron validar el constructo que se tenía como objetivo medir.

En cuanto a las investigaciones realizadas en Colombia frente al desarrollo de pruebas de tamizaje cognitivo en niños en formato digital, o relacionadas con el tema, se destacan principalmente tres. La primera de ellas es el Tamizaje neuropsicológico en niños y adolescentes a través de un Aplicativo en Tecnologías de la Información y la Comunicación (Alarcón & Utria, 2016) donde se evalúan procesos, tales como: como atención, memoria, lenguaje, gnosias auditivas y visuales.

A partir de los puntajes de validación se determinó que, 28 ítems se conservaron, 3 requirieron modificaciones y 0 fueron eliminados.

La segunda investigación implementada en formato digital se realiza desde el campo de la intervención neuropsicológica en atención para niños de 8 a 10 años (Chavarro et al., 2016). El proceso de validación de contenido, determinó que la mayoría de los ejercicios son adecuados y a su vez, se concluyó que de los 70 ejercicios evaluados el 43% se conservó; el 53% se modificó con base en las recomendaciones de los jueces; y finalmente el 4% no cumplió con el criterio de validez y por ello, los ejercicios debieron ser reestructurados completamente. Lo anterior, indica que en general los ejercicios son válidos para intervenir los diferentes tipos de atención para lo cual fueron diseñados.

El tercer estudio encontrado, también pertenece al campo de intervención infantil, se trata del software para la estimulación de habilidades de comprensión emocional y social en niños con trastorno del espectro autista de alto nivel de funcionamiento entre los 4 y 8 años. El programa está conformado por tres dimensiones: reconocimiento emocional, comprensión emocional y comprensión de creencias. Los datos fueron analizados mediante la fórmula de coeficiente de razón de validez de contenido y los resultados muestran que se valida sin modificaciones el 99,06% de los ítems; y el 0,04% de los ítems se conserva con modificaciones (Suárez-Pico et al., 2019).

Los beneficios de este tipo de herramientas son diversos, algunos se relacionan con el impacto en innovación, reducir el costo de la evaluación neuropsicológica y aumentar la accesibilidad a los servicios de neuropsicología, particularmente en las poblaciones rurales y de bajos ingresos. Los programas digitales permiten capturar la variabilidad del funcionamiento neuropsicológico de una persona a largo tiempo y hay una mejor validez ecológica. Adicionalmente, permite a los evaluadores una recogida automatizada de datos cognitivos relevantes por medio de sensores como el registro del tiempo, cantidad de respuestas correctas o incorrectas, etc. (Cook et al., 2018).

Sin embargo, el campo de la neuropsicología digital está en pleno desarrollo, así, la evaluación de la cognición y comportamiento utilizando herramientas digitales, incluye tanto computadores, portátiles o dispositivos móviles, sin embargo, no se trata del reemplazo de las pruebas de lápiz y papel por una pantalla de computadora y la captura de respuestas electrónicas, se trata de promover una forma nueva de conceptualizar la medición neuropsicológica, que permite abarcar los desafíos de la evaluación digital, así como las oportunidades de creación de estas a partir de metodologías científicas (Germine et al., 2019).

Teniendo en cuenta lo anterior, uno de los métodos para calificar el diseño de un cuestionario es por medio del modelo de Ebel y Frisbie (1991), que permite validar y determinar los porcentajes de cada uno de los reactivos, los cuales se deben clasificar siguiendo dos tipos de juicios básicos: el primero depende del juicio de nivel de dificultad y el segundo es el nivel de relevancia o importancia. El primero depende de las siguientes etiquetas: fácil, medio, difícil. En cuanto al segundo juicio depende de la relevancia denominada como esencial, importante, aceptable y cuestionable.

Dentro de este modelo, una de las primeras tareas de los jueces consiste en clasificar los ítems según el nivel de complejidad. Es importante brindar a los jueces una tabla que indique la dificultad de cada uno de los reactivos, ya que estos ayudarán a los jueces a realizar los juicios de dificultad. La segunda tarea, se enfoca en determinar el nivel de relevancia que tiene el ítem calificándolo por medio de porcentajes. En cada uno de los ítems calificados, el juez tiene la oportunidad de realizar sus comentarios. Se debe tener en cuenta que el desarrollador de la prueba puede determinar qué otras categorías adicionales debe medir y evaluar el juez experto (Livingston & Zieky, 1982).

A partir de lo mencionado anteriormente, el obtener información de un perfil cognitivo en la infancia es relativo ya que será cambiante con respecto a su edad y maduración cerebral (Albuja, 2013), por esto la precisión y el estudio de instrumentos específicos en neuropsicología infantil cobra relevancia, debido a que los constructos a medir implican procesos dinámicos, puesto que el cerebro se encuentra aún en desarrollo, a diferencia del estudio neuropsicológico del adulto, para quien la mayoría de procesos se encuentran ya adquiridos y madurados completamente, debido a esto el campo de la evaluación neuropsicológica en niños cuenta con diversos instrumentos que suelen ser extensos.

De acuerdo con este contexto, surgió el interés por diseñar un instrumento de tamizaje para niños entre 6 a 7 años, a través del rastreo del rendimiento en habilidades cognitivas como la atención, la memoria, el lenguaje, las habilidades visoconstruccionales y las funciones ejecutivas. Desde los fundamentos teóricos de las neurociencias y otras disciplinas afines, se tiene conocimiento que a partir de los 6 años, los niños cuentan con un proceso de maduración cerebral importante y cuyos procesos son susceptibles a la medición; adicionalmente, se permiten identificar elementos del desarrollo del niño, hasta incluso visualizar en conjunto cómo será el proceso de consolidación en las habilidades académicas (De Souza & Fumagalli, 2013). La propuesta de formato computarizado aportará a la motivación del niño al enfrentarse a un instrumento dinámico, interactivo y ágil, de igual modo, dicho formato brindará versatilidad y optimización de recursos, reduciendo el uso de papel, aumentando la probabilidad de acceso a toda la comunidad profesional y permitiendo la facilitación en la obtención de resultados.

Cabe resaltar que entre los 3 y 6 años, los niños se vuelven más competentes en lo que concierne al conocimiento, inteligencia, lenguaje y aprendizaje. Aprenden a utilizar símbolos y son capaces de manejar conceptos como edad, tiempo y espacio, en forma más eficiente. De este modo, la destreza creciente en el lenguaje y las ideas, ayudan al niño a formar su propia opinión del mundo (Jernigan & Tallal, 1990). El desarrollo del cerebro y la plasticidad no tiene solo que ver con lo genéticamente predeterminado, sino también con la interacción del niño con el medio que lo rodea, lo cual influirá en las posteriores fases del desarrollo (Ardila & Rosselli, 2007).

Teniendo en cuenta lo anterior, es importante mencionar cómo se da la maduración a nivel cognitivo entre las edades de 6 a 7 años, principalmente en la atención, memoria, lenguaje, habilidad visoconstructiva y funciones ejecutivas, las cuales se tiene en cuenta para la construcción del instrumento de tamizaje del presente estudio.

Frente al proceso atencional entre los 6 a los 12 años se fortalecen los circuitos atencionales de manera más especializada. Según Tipper et al. (1989), en esta etapa se potencializa en conjunto la habilidad en velocidad de procesamiento, que influye positivamente en la elaboración y ejecución de las tareas atencionales (Wolf & Pfeiffer, 2014).

Respecto a la memoria y su desarrollo en la etapa escolar, que comprende las edades de 6 a los 14 años, su capacidad se ve ligada estrechamente a la atención selectiva y memoria de trabajo. Este proceso se puede evidenciar en la organización de imágenes mentales, donde los niños requieren la capacidad de sostener varias tareas a la vez y logran finalizarlas con éxito, convirtiéndose en una oportunidad de aprendizaje más efectiva, siempre y cuando sea motivante y atractiva (Miller, 1990).

En lo atinente al lenguaje, su desarrollo se encuentra relacionado directamente con las dimensiones físicas, psicológicas y sociales del niño, al existir algún tipo de interrupción o alteración en este proceso, se afecta directamente la maduración en todos los ejes. Es importante tener en cuenta que la ausencia del lenguaje antes de los 5 años es un mal pronóstico para el desarrollo integral del niño. Una vez el niño puede analizar, pensar, reflexionar sobre la forma, el contenido o el uso del lenguaje en contextos comunicativos, podrá ir desarrollando efectivamente su proceso de lectura y escritura. Este desarrollo que inicia desde los 3 años cuando su lenguaje expresivo y comprensivo da sus primeros inicios, es adquirida hasta los 7 años aproximadamente (Onnis, 2017).

En cuanto a las habilidades visoconstruccionales a partir del primer año, el niño es progresivamente más hábil para realizar actos motores con una sola mano. Hacia los tres años se observa claramente esta asimetría manual para tareas construccionales y gráficas, fallando en su precisión, puesto que, hacia esta edad, los niños aún no comprenden las partes de un patrón visual y fallan al organizarlas dentro de un todo; el análisis espacial que permite entender cada parte y su relación para conformar una figura se alcanza exitosamente entre los 6 y 7 años (Melhuish & Barnes, 2012). Lo anterior se favorece en la medida que la lateralización se empieza a definir, así, se ha pensado que las funciones espaciales sencillas pueden ser asumidas por cualquiera de los hemisferios cerebrales, pero las funciones espaciales complejas requieren un adecuado funcionamiento del hemisferio derecho, específicamente su sistema dorsal (Rosselli et al., 2010).

En el desarrollo de las funciones ejecutivas, solo hasta los 6 años se observa mayor madurez de inhibición motora y control de impulsos, justo cuando el proceso de lenguaje también ha alcanzado un grado de desarrollo madurativo significativo. Por lo anterior el desarrollo y apropiación de los procesos ejecutivos de la inhibición, autocontrol, memoria de trabajo y autorregulación por medio de su mediación verbal, permiten la adquisición de nuevas habilidades ejecutivas como la planificación, logro que, a su vez, posibilita la apropiación de nuevos comportamientos Bausela (2010). Así, la ejecución continua de estas cinco habilidades permite la solución de problemas sencillos hacia los seis años.

Según lo expuesto, el presente estudio se orientó por la siguiente pregunta de investigación ¿Cuál es la validez de contenido de una prueba de tamizaje neuropsicológico, diseñado y programado en dispositivos Android para niños entre 6 a 7 años? Como objetivo general, establecer la validez de contenido de una prueba de tamizaje neuropsicológico digital en atención, memoria, lenguaje, habilidad visoconstructiva y funciones ejecutivas, diseñado y programado en dispositivo Android para niños entre 6 a 7 años.

Dentro de este objetivo se tuvo el propósito de alcanzar el diseño de tareas digitales que permitieran evaluar los procesos cognitivos de atención, memoria, lenguaje, habilidad visoconstructiva y funciones ejecutivas; a su vez, lograr el desarrollo del tamizaje digital para dispositivo Android, de acuerdo con el alcance determinado por el equipo de trabajo, y por supuesto validar el contenido del instrumento de tamizaje neuropsicológico digital diseñado para niños entre 6 a 7 años a través de jueces expertos teóricos.

Método

Diseño

La presente investigación de enfoque empírico analítico, corresponde a un tipo de estudio cuantitativo instrumental que consiste en el desarrollo, adaptación de pruebas o estudio de las propiedades psicométricas. Este tipo de estudio busca diseñar medidas cuantitativas, como instrumento para obtener datos de referencia ante determinado constructo (Montero & León, 2007).

Participantes

El proceso de validación contó con la participación de 9 jueces expertos en neuropsicología infantil, los cuales se encargaron de calificar cuantitativamente los criterios de validez de contenido de cada ítem y su respectivo proceso, tales como: atención, memoria, lenguaje, habilidad visoconstructiva y funciones ejecutivas.

Instrumentos

Formato de calificación del instrumento para los jueces: archivo en Excel donde se encontraban los 149 ítems con la especificación del proceso que cada uno mide y aclarando si el ítem era ensayo o instrucción. Asimismo, el espacio para calificar la pertinencia (si el ejercicio permite medir el componente y tipo de proceso para el cual fue diseñado), suficiencia (si los ejercicios propuestos resultan suficientes para evaluar los procesos de atención, memoria, lenguaje, habilidades visoconstructivas y funciones ejecutivas en niños de 6 a 7 años), relevancia (si el contenido temático del ejercicio es importante dentro del tamizaje) y redacción (si la construcción gramatical de la instrucción que conforma el ejercicio, es lógica y coherente).

Estos criterios fueron evaluados mediante una escala de calificaciones tipo Likert con cuatro (4) opciones de respuesta que van de 1 a 4, según los siguientes criterios:

1. El ítem no cumple con el criterio evaluado, debe ser reformulado.

2. El ítem requiere modificaciones en relación con el criterio evaluado.

3. El ítem mide adecuadamente el criterio evaluado.

4. El ítem cumple de manera satisfactoria con el criterio eval

Procedimiento

Fase I. Estructura de la prueba. De acuerdo a la revisión exhaustiva de tamizajes neuropsicológicos digitales y no digitales para niños, así como de las teorías de neurodesarrollo que exponen cómo se va dando el perfil cognitivo normal, se categorizaron los dominios de conocimiento y posteriormente las habilidades específicas que dan evidencia del dominio establecido, cumpliendo así el diseño centrado en la evidencia de Mislevy et al. (1999) y Mislevy & Haertel (2006). El resultado fue una guía en la que se propusieron las categorías (proceso, componente, subcomponente); una a tres tareas por subcomponente, de tal forma que los jueces vieran varios estilos (hablando de la estructura para la validación); y un número de ítems que varía por tarea, especificando que una tarea incluye uno o más ítems (ver tabla 1).

Fase II. Diseño de actividades y entrega del instrumento a los jueces para calificación. En esta etapa se creó cada ítem, buscando ilustrar adecuadamente y bajo características ecológicas o cercanas la cotidianidad de la población infantil. Posteriormente, se hace el respectivo desarrollo por parte de los ingenieros en formato digital tipo Android. En su primera versión, la herramienta está implementada para esta plataforma, debido a la cantidad de opciones de bajo costo que este sistema brinda al momento del desarrollo y distribución, tanto en hardware como en software, comparado con el sistema de desarrollo Apple. Una vez terminado el prototipo en sistemas Android, se puede contemplar la adaptación de la herramienta para dispositivos con sistema operativo iOS, todo lo anterior, bajo la orientación del equipo de ingeniería. Este proceso se acompañó de reuniones de revisión y ajustes que permitieron llegar a un producto final.

Posteriormente, se envió el instrumento vía correo electrónico a los jueces que aceptaron participar en la evaluación de contenido, quienes utilizaron los formatos de calificación y recibieron previamente las instrucciones para evaluar cada ítem y poder descargar el tamizaje.

Fase III. Análisis de la validez de contenido. Una vez obtenidas las respuestas y formatos de cada juez, se pasó a analizar el indicador de cada ítem en cuanto a pertinencia, suficiencia, relevancia y redacción, basado en la Razón de Validez de Contenido (CVR) de Lawshe (1975), adaptada por Tristán-López (2008); la anterior interpretación permitió definir los ítems aprobados sin modificación, con modificación y cuales se debían descartar.

Consideraciones éticas

La investigación se encuentra articulada con lo establecido en la Resolución 8430 de 1993 del Ministerio de Salud. De acuerdo a ella, se considera que esta investigación es de riesgo mínimo, particularmente porque no contempló la participación de personas, ya que el estudio consistió en la creación de un instrumento (Ministerio de Salud de la República de Colombia, 1993).

De esta manera, el presente trabajo se orientó por los lineamientos referentes a la construcción de instrumentos citados en el Código Deontológico y Bioético que reglamenta el ejercicio de la Psicología en Colombia a través de la Ley 1090 del 2006 (Ministerio de la Protección Social, 2006) y en particular, se tuvieron en cuenta los siguientes artículos: Art. 46, 47 y 48, en los que se especifican los alcances y restricciones de los instrumentos en construcción.

Resultados

Diseño y construcción

Este instrumento de tamizaje lo compone un conjunto de tareas digitales breves, diseñadas para la medición de los siguientes procesos cognitivos en niños de 6 a 7 años: atención, memoria, lenguaje, habilidad visoconstructiva y funciones ejecutivas. Esta herramienta permite un rastreo del rendimiento de estas habilidades y orienta al profesional para desarrollar un protocolo de evaluación más específico para el niño (Ver figura 1); para su validación, el instrumento contiene 149 ítems en total y para contar con la característica de un instrumento corto (tamizaje), se buscó dejar una tarea por subcomponente de cada proceso cognitivo; posterior al análisis de la validez de contenido y en la conformación del tamizaje final, se propuso dejar 19 ítems (ver Tabla 1). Se aclara que cada tarea, incluye uno o varios ítems y específicamente para la etapa de validación, se pasaron varios ítems opcionales por subcomponente, buscando que los jueces observaran varios estilos. Algunas tareas, también cuentan con niveles de complejidad: Bajo, Medio y Alto.

El instrumento no da retroalimentación de la ejecución del niño, solo evalúa el registro de las tareas realizadas. La aplicación va otorgando la calificación a nivel interno y al finalizar arroja un total de ejecución por procesos, y de manera general, por medio de gráficas, permite la visualización del rendimiento del niño durante toda la prueba. Actualmente, se está desarrollando el prototipo de este componente.

La forma de aplicación del tamizaje se diseñó para ser guiada por un profesional en neuropsicología, tanto para la lectura de las instrucciones, las cuales tienen referente visual y auditivo, ya que al ser el evaluador quien lea cada una de ellas, minimizará barreras como la falta de alfabetización en algunos niños; y como para orientar hacia una correcta continuidad entre las tareas. Asimismo, su criterio cobra importancia para calificar como correcto o incorrecto y de forma inmediata la respuesta del niño, a través de la manipulación de unos botones disponibles en el aplicativo, principalmente en las tareas que impliquen una respuesta verbal por parte del niño (el evaluador le dará clic a un color u otro, dependiendo de la respuesta, este color se irá cambiando aleatoriamente de tal forma que el niño, no reciba retroalimentación directa, ni afecte su desempeño, ni tenga una interpretación certera del significado de los mismos). Finalmente, el análisis y concepto definitivo será dado por este profesional, quien emitirá la conclusión del tamizaje después de unificar la información del aplicativo, antecedentes, motivo de consulta y sus observaciones clínicas durante la aplicación.

Validez de contenido del instrumento

Los datos primordiales para analizar la validez de contenido se trabajaron de la siguiente manera: si los jueces consideraban cada ítem como esencial o no, debían calificar en un rango entre 3.0 y 4.0; si el ejercicio era útil pero no esencial, debían otorgar calificaciones entre 2.0 y 2.9; y finalmente, calificar entre 1.0 y 1.9 si el ejercicio no era necesario. Para ilustrar lo anterior, se presenta un ejemplo del manejo de los datos en la tabla 2.

Posteriormente, con el propósito de determinar la validez de contenido de la prueba, se utilizó la modificación del modelo de Lawshe (1975) adaptado por Tristán-López (2008), en el cual se planteó, a partir de un nuevo cálculo de los valores mínimos de aceptación para los ítems en general, el análisis de concordancia entre los jueces para determinar un tipo de validez de contenido. Los datos se analizaron de la siguiente manera: número de jueces que tienen acuerdo en que el ítem es esencial y el número total de jueces. Esta fórmula permite una interpretación de los acuerdos entre jueces con relación a la validez de contenido realista en la cual el nuevo CVR para conservar el ejercicio en la prueba con 9 jueces expertos es de 0.63 (ver tabla 2).

En los resultados obtenidos al aplicar la fórmula de validez de contenido anteriormente explicada, se estableció que, de los 149 ítems, 81 fueron aprobados sin necesidad de modificaciones, lo cual equivale al 55% de la totalidad de ítems del tamizaje; 62 ítems se conservan con modificaciones, equivalente al 41% sobre el total; y 6 ítems no alcanzaron el criterio de validez, equivalente al 4% y se tomará la decisión de si se eliminan o reemplazan. Se puede concluir que se cuenta con 143 ítems correspondiente al 96% para conformar el tamizaje, logrando cumplir así los objetivos del presente trabajo. Se resalta el valioso aporte de los nueve jueces expertos de los cuales se tomarán la mayoría de las sugerencias y según criterios de las personas líderes en el diseño del tamizaje, se elegirán los mejores ítems para conformar las tareas para cada proceso. A continuación, se describen los resultados con sus correspondientes gráficas por proceso y componente.

Para la atención visual (sostenida y selectiva), de los 17 ítems enviados a validación, 6 ítems se conservan sin ninguna modificación, y 11 ítems se conservan con modificación. Las recomendaciones tomadas para las modificaciones van relacionadas con el criterio de suficiencia, los jueces sugieren aumentar el número de ítems en este proceso, aumentar la duración en tiempo de los ejercicios para que se pueda evaluar la atención visual sostenida e incluir una retroalimentación si se ha seleccionado el estímulo correcto. Frente a la calificación promedio por criterio de la evaluación por jueces, la redacción fue el criterio mejor valorado y la suficiencia el más bajo.

En atención auditiva (sostenida y selectiva), de los 13 ítems enviados para validación, 7 ítems se conservan sin modificaciones, 6 ítems se conservan con modificaciones. Las observaciones realizadas por los jueces estuvieron relacionadas con el criterio de suficiencia, especialmente, sugieren que se adicione la explicación de quién es el responsable del uso de los botones de respuestas, si el niño o el terapeuta y deben ir con un mensaje de aviso en el aplicativo y en un manual de instrucciones. Esta explicación no se dejó clara para los jueces lo que incidió en los porcentajes. En la calificación promedio por criterios, el puntaje más alto se obtiene en relevancia y la menor puntuación se obtiene en el criterio de redacción.

En memoria auditiva, los ítems seleccionados para la validación por jueces fueron 9, de los cuales 3 se conservan sin modificaciones, los otros 3 se conservan con modificaciones y 3 ítems se eliminan. Las sugerencias de los jueces se centraron en la redacción y suficiencia, refiriéndola a la explicación del uso de los botones de calificación, los cuales no son claros, es decir, si van dirigidos al evaluador o al niño. Este aspecto necesita de una instrucción y debe ir acompañado de una explicación dentro del manual para el evaluador. Esta falta de aclaración fue el único motivo para la baja calificación de los ítems donde aparecían los botones, dando como resultado una baja calificación; no obstante, al realizar una aclaración pertinente del uso de estos, se evitara la eliminación de los ítems. En la calificación de los criterios dados por los jueces, se observa que la puntuación más baja se obtuvo en suficiencia y la más alta en pertinencia.

En memoria auditiva-recobro, el aplicativo tiene un solo ítem y los resultados de la validación por parte de los jueces arrojan que este debe tener modificaciones relacionadas con la suficiencia, requiriendo aclaración y ajuste al uso de los botones de calificación; es necesario explicar para quienes van dirigidos los botones.

Las puntuaciones obtenidas en memoria visualcodificación revelan que de los 20 ítems, 10 se conservan sin modificaciones, los otros 10 ítems se mantienen con modificaciones. Las recomendaciones van dirigidas a la redacción y a la pertinencia, enfocadas a la mejora de la redacción en las instrucciones. El promedio más bajo de los criterios de calificación por parte de los jueces corresponde con redacción y pertinencia y la puntuación alta se encuentra en relevancia. En cuanto a la memoria visual-recobro, de los 4 ejercicios enviados para la validación de contenido el 100% requieren modificación (ver gráfica 6), pero aun así se mantienen. Las recomendaciones van enfocadas a que se debe mejorar la claridad en las instrucciones, referente al uso y especificación de los botones de calificación y al uso de instrucciones verbales.

Con relación al componente del lenguaje comprensivo (que incluye aspectos como seguimiento de instrucciones, comprensión de textos), fue uno de los procesos con mejor calificación en cada criterio, pertinencia, suficiencia, relevancia y redacción. De los 18 ítems enviados, se conservan 17 sin modificación, y solo un ejercicio se conserva con modificaciones. El principal comentario de este único ítem está relacionado con la pertinencia, ya que corresponde a dos de las preguntas comprensivas acerca de un texto.

En la calificación promedio por criterios, se establece que todos los criterios tienen una calificación alta. A nivel de lenguaje expresivo, todos los ítems se conservan sin modificación al igual que la lectura y escritura.

En el proceso de habilidades visoconstruccionales, de los 16 ítems, todos se conservan con modificaciones, representando el 100% de los ítems de este proceso. Las principales modificaciones están referidas al subcomponente práxico y relacionadas con el criterio de suficiencia, donde los evaluadores sugieren usar elementos que no sean tridimensionales, así como ajustar la herramienta tecnológica para que el cubo que el niño debe mover se ajuste a la cuadricula del aplicativo y este la reconozca como válida; asimismo, se sugieren ajustes en la redacción de las instrucciones, aclarando entre otras cosas si el niño es quien lee, o el evaluador le da la instrucción, y la sugerencia de que la instrucción sea visual y verbal. En la calificación promedio por cada criterio, se estableció que el de mayor puntuación fue relevancia, y la menor en redacción. Por otro lado, en el subcomponente espacial, las recomendaciones de los jueces hacen referencia a la pertinencia de los ejercicios, revisar si efectivamente miden el proceso visoconstruccional que se espera medir; revisar la claridad de las instrucciones y sugieren incluir ítems de ensayo o retroalimentación del ejercicio. En cuanto a la calificación promedio por cada criterio, se puede afirmar que estuvo similar la puntuación entre los cuatro criterios, siendo baja la de redacción y alta la relevancia.

En cuanto al análisis de validación del proceso de funciones ejecutivas, teniendo en cuenta todos los subcomponentes (control inhibitorio, memoria de trabajo y flexibilidad cognitiva), se concluye que, de 28 ítems presentados, 20 se conservan sin modificar, 5 se conservan con modificaciones, y 3 se eliminan. Las sugerencias de modificaciones están relacionadas con definir si se mide lo que se debe medir (pertinencia) y la redacción de la instrucción. En cuanto a la calificación promedio entre criterios, la de mayor valoración fue relevancia y la de menor valoración fue redacción.

Discusión y conclusión

Frente a los resultados encontrados en esta investigación se cuenta con la validez de contenido con un nivel de 96% de aprobación de los ítems, al contar con 143 ítems aprobados, 62 de ellos con modificaciones, contando así con un número de ítems importante y suficiente para conformar el tamizaje. Estos resultados permiten ajustar los ítems que componen el tamizaje digital según las recomendaciones sugeridas por los jueces expertos y continuar con la segunda fase que consiste en el pilotaje del instrumento.

Los ítems propuestos en el tamizaje digital evalúan procesos cognitivos específicos, y tras el proceso de validación se ha identificado que los ejercicios planteados para cada uno no alcanzan a ser netamente puros en el ámbito cognitivo, esto significa que requieren de la interacción con otras funciones cognitivas y la teoría así lo confirma, mostrando por ejemplo, que en el proceso cognitivo de atención a la edad de 6 a 7 años, estos van mediados por la atención sostenida, atención selectiva, velocidad de procesamiento y parte del control inhibitorio (Booth et al., 2003), con la particularidad que procesos como la atención selectiva y control inhibitorio siguen en consolidación frente a su desarrollo.

Durante la validación de contenido llevada a cabo por nueve jueces expertos, se pudo evidenciar la diversidad de recomendaciones en cuanto a los criterios de evaluación, frente a la pertinencia, suficiencia, relevancia y redacción. Puntualmente, parte del porcentaje de calificación otorgada por los jueces al componente de la atención, esto es, a los ítems que evalúan la atención auditiva selectiva, está de acuerdo con la pertinencia del ejercicio, pero se evidencia una segunda postura que manifiesta que los ejercicios de esta función están estrechamente ligados con la atención auditiva dividida; estos argumentos se revisarán al detalle ya que pueden estar mediados por la falta de precisión en la instrucción.

En cuanto a la función relacionada con la memoria, se evidencia que está ligada a otras funciones como la atención selectiva y la memoria de trabajo (Miller, 1990). Referente a las habilidades visocontruccionales, ellas están relacionadas con la memoria, atención visual selectiva y funciones ejecutivas específicamente para ejercicios que requieran planeación motriz (McIntosh & Schenk, 2009), lo que coincide con la calificación de los ítems del tamizaje relacionados con tareas visiocontruccionales. Según la evaluación de los jueces, se refiere que la tarea puede llegar a evaluar otras funciones cognitivas como la planeación o el razonamiento perceptual, lo que se articula con el sustento teórico mencionado anteriormente donde las tareas “no son puras”.

Frente a estos resultados, a nivel metodológico se puede resaltar la estructura del tamizaje basado en el modelo centrado en la evidencia (Mislevy & Haertel, 2006), ya que otorgó claridad y facilidad para el diseño y el análisis por componentes, siendo un aporte significativo, pues este tipo de modelo se ha aplicado con mayor frecuencia para pruebas de conocimientos y no para este tipo de mediciones de procesos neuropsicológicos. En cuanto a la estructura de la prueba, se evidencia que los criterios de redacción cuentan con un promedio total de 3,42 indicando que es necesario realizar ajustes frente a la aclaración de la instrucción del ejercicio; así como también, la creación de un manual que oriente el desarrollo de la prueba y tenga claridad frente al uso de los botones de calificación para el evaluador; y finalmente, se hace indispensable la creación de un manual para toda la prueba.

Se considera importante el equilibrio alcanzado entre la construcción de los ítems del tamizaje, tal cual como lo plantea Mislevy y Haertel (2006), según la postura teórica frente a la necesidad de hacer ejercicios dinámicos, cortos, atractivos y ecológicos para la evaluación infantil. En los comentarios de los jueces, se resalta que los ítems son interesantes, novedosos, creativos y adecuados para la edad propuesta en el presente trabajo. Esto coincide con las puntuaciones totales obtenidas en los criterios de evaluación por jueces donde la puntuación más alta fue en relevancia con un promedio total de 3,89. Al revisar los estudios que se citan en el marco teórico referente a herramientas digitales de evaluación breves tales como el videojuego Towi de Rossetti et al. (2017) y la caja de herramientas Early Years Toolbox (EYT) de Howard & Melhuish (2016), se encuentra que también lograron cubrir este equilibrio en sus estudios al conseguir actividades atractivas, que mantuvieran la motivación, obtener resultados en poco tiempo, medidas sensibles, específicas al nivel de desarrollo y tecnológicamente dinámicas.

Las principales limitaciones encontradas en este estudio se relacionan con la dificultad para compartir la herramienta a los jueces, ya que al estar diseñada para plataformas Android, limitaba a quienes no tenían dispositivos con esta característica, siendo necesario contar con otras versiones de la plataforma que tengan un mayor alcance. Al ser digital, hay presencia de errores no sistemáticos al correr la aplicación, por ejemplo, algunos jueces no lograron ver por completo los ítems requiriendo así más tiempo y algún dispositivo para completar la calificación. Frente a los instructivos enviados a los jueces, no se contó con un manual específico del rol del evaluador y el modo de calificación, específicamente, en el uso de botones que aparecían en algunos ítems, así, estos se consideran como una herramienta para calificar los ítems que no eran susceptibles de programar automáticamente en la aplicación. Esto generó interrogantes a los jueces frente a la aparición frecuente de los mismos, influyendo directamente en la calificación de suficiencia y redacción del tamizaje.

Al ser un diseño instrumental psicométrico, no se cuenta con una línea de comparación con algún estudio de idénticas características con el que se pueda hacer un análisis de contraste; dentro de la indagación realizada, se concluye que hay mayores estudios desarrollados de forma digital en el exterior (Australia y México). En Colombia, el interés por el diseño de herramientas de evaluación de forma digital está en desarrollo, lo cual se observa tanto en la revisión de trabajos como en la creación de instrumentos como el tamizaje neuropsicológico en niños y adolescentes (Alarcón & Utria, 2016) donde se evalúan procesos como atención, memoria, lenguaje y gnosias; otro trabajo a relacionar pero a nivel de tratamiento es el software para la estimulación de habilidades de comprensión emocional y social en niños con trastorno del espectro autista de alto nivel de funcionamiento entre los 4 y 8 años (Bonnelo et al., 2018). De los anteriores, se coincide con altos niveles de validez de contenido, pero en cuanto a forma, cantidad de procesos, finalidad y estructura, se observan diferencias importantes con el presente estudio.

Los pasos que se seguirán frente al presente estudio están relacionados con la ejecución de una formula adicional para cuantificar los criterios de pertinencia, suficiencia, relevancia y redacción, por medio del coeficiente V de Aiken (1985), como complemento al índice de validez de contenido por jueces. Posteriormente, se hará la conformación del tamizaje final con los ajustes definitivos. Luego, seguirá el pilotaje en la población infantil, el establecimiento de criterios de validez, confiabilidad, generación de baremos y construcción de datos normativos. Todo lo anterior permitirá que este proyecto trascienda y genere la utilidad esperada en el ámbito de la evaluación neuropsicológica infantil.

Referencias

Aiken, L. R. (1980). Content Validity and Reliability of Single Items or Questionnaires. Educational and Psychological Measurement, 40(4), 955-959. https://doi.org/10.1177/001316448004000419

Alarcón, O. & Utria, O. (2016). Diseño y validación de un protocolo de tamizaje neuropsicológico en niños y adolescentes a través de un aplicativo en tecnologías de la información y la comunicación (Tesis de maestría, Universidad San Buenaventura). Biblioteca Digital Universidad de San Buenaventura

Albuja, S. (2013). Elaboración de una batería de evaluación neuropsicológica infantil breve (Tesis de maestría, Universidad Central del Ecuador). Repositorio digital de la Universidad Central del Ecuador. http://www.dspace.uce.edu.ec/handle/25000/2436

Ardila, A. & Rosselli, M. (2007). Neuropsicología clínica. Editorial El Manual Moderno

Bausela, E. (2010). Revisión: Función ejecutiva y desarrollo en la etapa preescolar. Boletín de pediatría de Madrid, 50, 272-276. https://www.sccalp.org/documents/0000/1674/BolPediatr2010_50_272-276.pdf

Booth, J.R., Burman, D.D., Meyer, J.R., Lei, Z., Trommer, B.L., Davenport, N.D. & Mesulam, M.M. (2003). Neural development of selective attention and response inhibition. NeuroImage, 20(2), 737-751. https://doi.org/10.1016/S1053-8119(03)00404-X

Brydges, C. R., Landes, J.K., Reid, C. L., Campbell, C., French, N. & Anderson, M. (2018).Cognitive outcomes in children and adolescents born very preterm: a meta-analysis. Developmental Medicine and Child Neurology, 60(5), 452-468. https://doi.org/10.1111/dmcn.13685

Chavarro, D., Grisales, E. & Utria, O. (2016). Diseño y Validación de Contenido de un Aplicativo Tecnológico de Intervención Neuropsicológica en Atención para Niños de 8 a 10 Años (Tesis de maestría, Universidad San Buenaventura). Biblioteca Digital Universidad San Buenaventura. http://biblioteca.usbbog.edu.co:8080/Biblioteca/BDigital/82321.pdf

Cook, D. J., Schmitter-Edgecombe, M., Jonsson, L. & Morant, A. V. (2018). Technology-Enabled Assesment of Functional Health. IEEE Reviews in Biomedical Engineering, 12, 319-332. https://doi.org/10.1109/RBME.2018.2851500

De Souza, R. & Fumagalli, J. (2013). Perfil Neuropsicológico no Neupsilin-Inf de Crianças com Dificuldades de Leitura. Psico, 44(2), 204-214. https://revistaseletronicas.pucrs.br/ojs/index.php/revistapsico/article/view/11453

Educational Testing Service. (2014). ETS Standards for quality and fairness. Listening, Learning, Leading. https://www.ets.org/s/about/pdf/standards.pdf

Ebel, R. L. & Frisbie, D. (1991). Essentials of Educational Measurement. Prentice Hall Inc. https://ebookppsunp.files.wordpress.com/2016/06/robert_l-ebel_david_a-_frisbie_essentials_of_edbookfi-org.pdf

Jernigan, T. & Tallal, P. (1990). Late childhood changes in brain morphology observable with MRI. Developmental Medicine and Child Neurology 32, 379-385. https://doi.org/10.1111/j.1469-8749.1990.tb16956.x

Germine, L., Reinecke, K. & Chaytor, N. S. (2019). Digital neuropsychologist: Challenges and opportunities at the intersection of science and sofware. Clinical neuropsychologist, 33(2), 271-286. https://doi.org/10.1080/13854046.2018.1535662

Getz, G. (2011). Neuropsychological Screening Examination. En J. Kreutzer, J. Deluca & B. Caplan (eds.), Encyclopedia of Clinical Neuropsychology (pp. 14-25). Springer Science

Howard, S. & Melhuish, E. (2016). An Early Years Toolbox for Assessing Early Executive Function, Languaje, Self-Regulation, and Social Development: Validity, Reliability, and Preliminary Norms. Journal of psychoeducational Assesment. 1- 21. Recuperado de https://doi.org/10.1177/0734282916633009

Lawshe, C. H. (1975). A quantitative approach to content validity. Personnel psychology, 28(4), 563-575. https://doi.org/10.1111/j.1744-6570.1975.tb01393.x

Lind, A., Nyman, A., Lehtonen, L. & Haataja, L. (2020). Predictive value of psychological assessment at five years of age in the long - term follow-up of very preterm children. Child Neuropsychology, 26(3), 312-32. https://doi.org/10.1080/09297049.2019.1674267

Livingston, S. & Zieky, M. (1982). Passing scores. A manual for setting standards of performance on educational and occupational tests. Educational Testing Service. https://www.ets.org/Media/Research/pdf/passing_scores.pdf

Melhuish, E., & Barnes, J. (2012). Preschool programs for the general population. Encyclopedia on early childhood development. Montreal, Quebec, Canada: Centre of Excellence for Early Childhood Development and Strategic Knowledge Cluster on Early Child Development. Retrieved from http://www.child-encyclopedia.com/Pages/PDF/Melhuish-BarnesANGxp1.pdf

McIntosh, R.D. & Schenk, T. (2009). Two visual streams for perception and action: current trends. Neuropsychologia, 47(6), 1391-6. https://doi.org/10.1016/j.neuropsychologia.2009.02.009

Miller, G. (1990). The Assessment of clinical Clinical Skills/ Competence/ Performance. Academic Medicine, 65, 63-67. http://winbev.pbworks.com/f/Assessment.pdf

Mislevy, R. J. & Haertel, G. (2006). Implications of evidence-centered design for educational testing. Educational Measurement: Issues and practice, 25, 6-20. https://doi.org/10.1111/j.1745-3992.2006.00075.x

Mislevy, R., Steinberg L. & Almond, R. (1999). Evidence-centered assessment desing. ETS

Montero, I. & León, O. (2007). A guide for naming research studies in psychology. International Journal of Clinical and Health Psychology, 3, 847-862. https://www.redalyc.org/pdf/337/33770318.pdf

Onnis, L. (2017). Caregiver Communication to the Child as Moderator and Mediator of Genes for Language. Behavioural Brain Research, 325, 197–202. https://doi.org/10.1016/j.bbr.2017.02.003

Ministerio de la Protección Social. (2006, 6 de septiembre). Ley 1090. Por la cual se reglamenta el ejercicio de la profesión de Psicología, se dicta el Código Deontológico y Bioético y otras disposiciones. Diario Oficial 46.383. https://www.ascofapsi.org.co/observatorio/documentos/ley-1090-reglamentacion-psicologo/

Ministerio de Salud de la República de Colombia. (1993, 4 de octubre). Resolución 8430. Por la cual se establecen las normas científicas, técnicas y administrativas para la investigación en salud. https://www.minsalud.gov.co/Normatividad_Nuevo/RESOLUCION%208430%20DE%201993.pdf#search=resolucion%20008430

Romo-Pardo, B., Liendo-Vallejos, S., Vargas-López, G., Rizzoli-Córdoba, A. & Buenrostro-Marquez, G. (2012). Pruebas de tamizaje de neurodesarrollo global para niños menores de 5 años de edad validas en Estados Unidos y Latinoamérica: revisón sistemática y análisis comparativo. Boletin Medico del Hospital Infantil de Mexico, 69(6), 450-462. http://www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S1665-11462012000600006

Rosselli, M., Matute, E. & Ardila A. (2010). Neuropsicología del desarrollo infantil. Editorial Manual Moderno

Rossetti, M., Gomez-Tello, M., Victoria, G. & Apiquian, R. (2017). A video game for the neuropsychological screening of children. Entertainment Computing, 20, 1-9. https://doi.org/10.1016/j.entcom.2017.02.002

Suárez-Pico, P., Bonelo, G. & Utria, O. (2019). Diseño de un software para estimulación del componente socio-emocional en niños con trastorno del espectro autista. Psychologia, 13, 1, 111, 124. https://doi.org/10.21500/19002386.4080

Song H., Yi, D.J. & Park, H.J. (2020). Validation of a mobile game-based assessment of cognitive control among children and adolescents. PLoS OME 15(3), e0230498. https://doi.org/10.1371/journal.pone.0230498

Tristán-Lopez, A. (2008). Modificación al modelo de Lawshe para el dictamen cuantitativo de la validez de contenido de un instrumento objetivo. Avances en Medicion, (6), 37-48. https://www.humanas.unal.edu.co/lab_psicometria/application/files/9716/0463/3548/VOL_6._Articulo4_Indice_de_validez_de_contenido_37-48.pdf

Tipper, S.P., Bourque, T.A, Anderson, S.H. & Brehaut, J.C. (1989). Mechanisms of attention: a developmental study. Journal of Experimental Child Psychology, 48(3), 353-78. https://doi.org/10.1016/0022-0965(89)90047-7

Wolf, K. & Pfeiffer, T. (2014) The development of attentional resolution. Cognitive Development, 29, 62-80. https://doi.org/10.1016/j.cogdev.2013.09.004