En los últimos años, las Tecnologías de la Información y la Comunicación (TIC, en adelante) han supuesto una revolución en todos los ámbitos sociales, especialmente en la manera de comunicarse e informarse (Lores Gómez et al., 2019). Los dispositivos móviles basados en Internet han transformado la forma que tienen las personas de aprender. Aunque los sistemas educativos han ido fomentando la inclusión de la innovación tecnológica en todas las etapas, aún no han integrado el potencial que la tecnología tiene en este campo (Hea et al., 2020; Larionova et al., 2018) y en la actualidad deben afrontar el desafío que supone utilizar las TIC para desarrollar en los estudiantes los conocimientos, habilidades y actitudes necesarias para acceder a la información, como fuente de aprendizaje, en un mundo globalizado (Alvarado Martínez, 2020). La tecnología está integrada en la vida del alumnado y es imprescindible, dentro y fuera de las aulas (Valverde Crespo et al., 2018). Por ello, su competencia digital es una de las capacidades más importantes y demandadas en las sociedades de todo el mundo. Y su evaluación es clave para orientar las políticas y los programas de desarrollo de la misma.

Este trabajo presenta el análisis psicométrico de una prueba para evaluar la competencia digital de estudiantes de Educación Obligatoria (ECODIES).

Evaluación de la competencia digital

La competencia se refiere a un saber hacer complejo que agrupa un conjunto de conocimientos, habilidades y actitudes, complementadas entre sí, que permiten un ejercicio profesional responsable y eficiente al aportar un saber (conocimientos), un saber hacer (habilidades) y un saber estar (actitudes) en cada actuación (Armengol et al., 2011). Por medio de ellas, las personas desarrollan capacidades amplias, que les permiten aprender y desaprender a lo largo de su vida, sabiendo adaptarse a situaciones cambiantes (Martínez et al., 2012).

En el contexto europeo, la competencia digital es una de las ocho competencias clave para el aprendizaje permanente y se define como:

El uso seguro, crítico y responsable de las tecnologías digitales para el aprendizaje, en el trabajo y para la participación en la sociedad, así como la interacción con estas. Incluye la alfabetización en información y datos, la comunicación y colaboración, la alfabetización mediática, la creación de contenidos digitales (incluida la programación), la seguridad (incluido el bienestar digital y las competencias relacionadas con la ciberseguridad), asuntos relacionados con la propiedad intelectual, la resolución de problemas y el pensamiento crítico (Unión Europea, 2018, p. 9).

La evaluación de una competencia supone determinar los logros y lo que ha de mejorar una persona en relación con ella, teniendo en cuenta criterios e indicadores, de acuerdo con su desempeño en la realización de actividades y resolución de problemas, considerando el saber, el saber hacer y el saber ser (Tobón et al., 2010).

Para que la evaluación por competencias sea un proceso con calidad, es necesario tener en cuenta una serie de criterios (Valverde Berrocoso et al., 2012):

· Autenticidad. Las actividades de evaluación deben hacer posible que el alumnado demuestre el mismo tipo de competencias que necesitaría poner en práctica en un supuesto de realidad.

· Complejidad cognitiva. Los conocimientos, habilidades y actitudes que se evalúan deben corresponderse con los conocimientos, habilidades y actitudes exigidas.

· Imparcialidad. Todas las actividades deben ajustarse al nivel educativo del alumnado, además de enmarcarse en el contexto cultural de los mismos.

· Significatividad. La evaluación deberá permitir a los estudiantes implicarse en la resolución de actividades, tareas o problemas significativos que ofrezcan experiencias educativas de interés.

· Interpretación directa. Los investigadores serán capaces de analizar y explicar, con claridad, los resultados de la evaluación.

· Consecuencias educativas. Los resultados deberán ser utilizados como orientación y guía del aprendizaje.

En la evaluación de la competencia digital, es necesario diferenciar entre dos tipos de procesos evaluativos, de acuerdo con el instrumento utilizado: (a) los que valoran la apreciación que los sujetos tienen de sí mismos en relación con diferentes aspectos de la competencia digital (véase, por ejemplo: Agudo et al., 2020; Basantes-Andrade et al., 2020; Bonnes et al., 2020;Cabezas-González & Casillas-Martín, 2018; Hea et al., 2020); (b) los que se centran en realizar evaluaciones, propiamente dichas, del nivel de competencia digital (véase, por ejemplo: García-Valcárcel et al., 2019; García-Valcárcel et al, 2020; Frailon et al., 2013). En el primero de los casos, que es el método más utilizado, la evaluación se convierte en un proceso de medida de autovaloración, basado en la percepción. Esta manera de evaluar presenta un serio sesgo: el aspecto subjetivo de las respuestas de los participantes, lo que no permite establecer conclusiones demasiado fiables, más allá de lo que los evaluados dicen saber o saber hacer (González-Segura et al., 2018). En el segundo, se trata de un proceso de medida directa, de realización y observación, por medio de la ejecución de tareas, actividades o resolución de problemas. Es una forma más adecuada y fiable de medir la competencia digital porque

evaluar competencias requiere enfocarse en la acción y valorar el desempeño del estudiante durante el proceso de la resolución de situaciones específicas en diversos contextos… Para decidir si un estudiante ha desarrollado cierta competencia, es necesario evaluar su desempeño, idealmente cuando éste se enfrenta a una problemática en la que se requiera movilizar dicha competencia. (González-Segura et al., 2018, pp. 2-3).

Marco de referencia para la evaluación de la competencia digital

La evaluación de la competencia digital es un tema de creciente interés en el ámbito de la investigación educativa. Desde hace años, han ido surgiendo diferentes modelos de estándares e indicadores para el desarrollo y la evaluación de esta competencia en el ámbito tanto docente como discente: modelo TPACK (Mishra & Koehler, 2006), modelo Krumsvik (Krumsvik, 2011), DigCompEdu (Punie, 2017), Standards for Students, a Practical Guide for Learning with Technology (ISTE, 2016), entre otros. En este trabajo se ha seguido el Marco Europeo de Competencia Digital (DigComp).

La Comisión Europea publicó en agosto de 2013 el Marco para el Desarrollo y la Comprensión de la Competencia Digital en Europa (DigComp 1.0) (Ferrari, 2013). Este modelo estructuraba las dimensiones de la competencia digital en cinco áreas, tres niveles y tres ámbitos. En junio de 2016, fue actualizado por el Marco Europeo para la Competencia Digital de los Ciudadanos (DigComp 2.0) (Vuorikari et al., 2016). Se mantenía la misma estructura del modelo anterior y se actualizaban las denominaciones, los conceptos y descriptores de la competencia digital. Este Marco de DigComp 2.0, fue actualizado en el año 2017. Surge DigComp 2.1. (Carretero et al., 2017). El principal cambio se dio en los niveles de dificultad que pasaron de tres a ocho, siguiendo la taxonomía de Bloom e inspirados en la estructura y el vocabulario del Marco Europeo de Calificaciones (EQF, por sus siglas en inglés) (figura 1). Este Marco cuenta con un total de 21 competencias digitales recogidas en la tabla 1.

Figura 1
Estructura de las dimensiones de la competencia digital DigComp 2.1

Método

A continuación, se explica el proceso seguido para obtener los resultados alcanzados en el análisis psicométrico de una prueba para evaluar la competencia digital de estudiantes de Educación Obligatoria.

Objetivos

El objetivo general es el de validar una prueba para evaluar la competencia digital de estudiantes de Educación Obligatoria (ECODIES), teniendo como base el Marco para el Desarrollo y la Comprensión de la Competencia Digital en Europa (DigComp). Este instrumento fue diseñado para la evaluación de conocimientos, capacidades y actitudes.

Este objetivo general se concreta en los siguientes objetivos específicos:

1. 1. Identificar el nivel de competencia digital del alumnado de Educación Secundaria en cada una de las áreas.
2. 2. Determinar la fiabilidad y validez del instrumento diseñado para medir el nivel de competencia digital.
3. 3. Verificar el índice de dificultad/facilidad de la prueba en cada una de las áreas competenciales y ámbitos.
4. 4. Efectuar un análisis factorial exploratorio y de factores principales para validar los constructos, la consistencia interna y conocer el número de factores que subyacen en cada una de las pruebas de las diferentes áreas competenciales.

Muestra

Se utilizó un tipo de muestreo aleatorio estratificado (Otzen & Manterola, 2017) con un total de 816 estudiantes de 12-14 años, siendo 771 los que respondieron a la prueba completa. Estos alumnos pertenecen a 23 centros educativos de la Comunidad Autónoma de Castilla y León (España). Es una muestra equilibrada en cuanto al género y en menor medida en relación con la etapa educativa, predominando los alumnos del último curso de Educación Primaria (tabla 2).

Características de la prueba y procedimiento de la recogida de datos

Para el diseño de la prueba, los investigadores siguieron el modelo DigComp 1.0 (Ferrari, 2013). Fueron planteados indicadores para las cinco áreas competenciales sobre las que versa la competencia digital (A1. Información, A2. Comunicación, A3. Creación de contenidos, A4. Seguridad, A5. Resolución de Problemas) y fueron adaptados a la población objeto de estudio, organizados en tres niveles de dificultad (básico, intermedio y avanzado) y tres ámbitos de desarrollo (conocimientos, habilidades y actitudes). Estos indicadores pueden consultarse en el Modelo de indicadores para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DigComp (INCODIES) (García-Valcárcel et al., 2019). Para la validación del contenido del modelo se siguió el método de jueces expertos. En cada área competencial se contó con un total de 18-20 expertos en el diseño de indicadores de evaluación, en competencia digital y profesionales en ejercicio pertenecientes a diferentes ámbitos educativos (Educación Obligatoria, Universidad, Gestión educativa). Éstos evaluaron la importancia, pertinencia y claridad de los indicadores por medio de un cuestionario online con una escala tipo Likert de 4 grados (4-mucha, 3-bastante, 2-poca, 1-ninguna).

A partir de este modelo de indicadores y teniendo en cuenta los criterios para la elaboración y aplicación de instrumentos de recogida de información (McMillan & Schumacher, 2010) se procedió a elaborar un banco de preguntas para cada una de las cinco áreas. Esta batería de ítems se depuró, en primer lugar, por medio de una revisión de expertos e investigadores. Esta revisión dio lugar a la primera versión de la prueba de evaluación, aplicada a una muestra piloto de 288 estudiantes de Educación Obligatoria. Con esta información se calcularon los niveles de dificultad de las preguntas de conocimiento y capacidad, así como la fiabilidad de los ítems de actitud. A partir de estos resultados se procedió a elaborar la versión definitiva de la prueba para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DIGCOMP (ECODIES. (disponible en https://gredos.usal.es/handle/10366/139397) cuya estructura de ítems se presenta en la tabla 3.

El bloque referido a las actitudes fue valorado con una escala Likert de cinco puntos (1-Muy en descuerdo, 2-En desacuerdo, 3-Indiferente, 4-De acuerdo, 5-Muy de acuerdo), estando compuesta cada una de las áreas por seis enunciados. La escala final está conformada por un total de 30 ítems (disponible en https://gredos.usal.es/handle/10366/139397).

La aplicación de la prueba se realizó de manera online a través de una plataforma web diseñada ad hoc (https://www.ECODIES.es/) con el propósito de facilitar las respuestas de los escolares. En todo momento se contó con el permiso de las autoridades de la Administración educativa y del Comité ético de la Universidad de Salamanca.

Para proceder al desarrollo de la evaluación fueron enviadas, a los centros educativos seleccionados, solicitudes de participación para el alumnado de 6º de Educación Primaria y/o 1º de Educación Secundaria Obligatoria. Todos colaboraron voluntariamente y se encargaron de obtener los permisos de las familias y de los niños (con protocolos preparados por los investigadores) y de aplicar la prueba en el horario lectivo.

Análisis de los datos

Se realizaron diferentes análisis:

1. 1. Descriptivo básico de cada una de las áreas, en los ámbitos de conocimiento, capacidad y actitud, para obtener una visión general del instrumento y realizar un estudio global de la prueba completa.
2. 2. Análisis Factorial Exploratorio (AFE) para validar los constructos, la consistencia interna y poder conocer el número de factores que subyacían en las pruebas de cada una de las áreas.
3. 3. Análisis de factores principales con el método de rotación Varimax.
4. 4. Verificación del índice de dificultad/facilidad a partir del número de aciertos (%) tanto en cada una de las áreas y competencias como en los diferentes ámbitos (conocimiento, capacidad y actitud).
5. 5. Estudio de fiabilidad de la prueba mediante los estadísticos de Alpha de Cronbach, Alpha ordinal y Theta de Armor, estos dos últimos debidos a la naturaleza dicotómica de la prueba.

Las herramientas utilizadas para los análisis fueron el programa estadístico SPSS v24 y el software Corrector 1.2 desarrollado por el profesor Gaviria del Dpto. de Métodos de Investigación de la Universidad Complutense de Madrid. Este software actúa como un complemento de MS-Excel y permite analizar pruebas objetivas y escalas tipo Likert, aportando información de cada ítem y del conjunto del instrumento. También se empleó la hoja Excel (Domínguez Lara, 2018) que parte de una matriz de correlaciones tetracóricas para los análisis de fiabilidad relacionados con ítems dicotómicos.

Resultados

A continuación, se presentan los principales resultados obtenidos de acuerdo con los análisis de los datos planteados.

Estadísticos descriptivos básicos

Los estadísticos descriptivos que se presentan permiten apreciar los valores obtenidos a partir de las puntuaciones finales de la prueba en cada una de las cinco áreas que la componen, halladas como suma de la puntuación en la prueba de conocimiento-capacidad (tabla 4). Para calcular las medias se creó una variable como suma de los ámbitos de conocimiento y capacidad para cada área competencial. En cada una de ellas la respuesta correcta se categorizó como 1 y las otras tres incorrectas como 0. Las puntuaciones finales obtenidas son la suma de los aciertos en cada uno de los ítems que componen cada una de las diferentes áreas.

Con respecto a los ítems de actitud, cada respuesta se categorizó en una escala de cinco puntos: totalmente en desacuerdo (1), en desacuerdo (2), indiferente (3), de acuerdo (4) y totalmente de acuerdo (5). Para calcular la puntuación final se sumó la valoración de los seis ítems de actitud, siendo el rango de puntuación de 0-30. Las puntuaciones obtenidas en las escalas de actitudes se presentan de forma independiente en la tabla 5.

Las puntuaciones medias en cada una de las áreas oscilan entre X_A1=5.32 y X_A2=9.66. Así, los estudiantes tienen mayores conocimientos y capacidades sobre Comunicación digital (X_A2=9.66) y sobre Seguridad (X_A4=9.29), seguido de Creación de contenidos (X_A3=6.42) y Resolución de problemas (X_A5=6.50). La puntuación más baja se da en el área de Información (X_A1=5.32). La puntuación media en la prueba final es de X_ECODIES=37.14 sobre un máximo de 78 puntos. Si se emplea una escala de 10 puntos, que es la más utilizada académicamente para valorar al alumnado, el de Educación Obligatoria obtienen una puntuación cercana al aprobado (4.8).

En algunas áreas como la 1, 3 y 5 (tabla 4) se obtiene una asimetría positiva (>0), lo que significa que la curva se desplaza del centro a la derecha de la media. Respecto a la curtosis, dichos valores presentan puntuaciones inferiores a 3 y en todos los casos negativas, por lo que pueden considerarse distribuciones platicúrticas. Estos valores por debajo de 0 también indican que los datos están muy dispersos, no existiendo unanimidad en las respuestas.

La escala de actitudes en cada una de las cinco áreas presenta los siguientes datos estadísticos (tabla 5).

Los estudiantes manifiestan una actitud muy positiva en las cinco áreas que componen la competencia digital. Las puntuaciones medias oscilan entre X_A1=24.80, que es la menor puntuación, y las máximas puntuaciones X_A4=26.04 y X_A2=26.02, sobre un máximo de 30 puntos. Por ello, tienen mejores actitudes en el área de Seguridad (X_A4=26.04) y Comunicación(X_A2=26.02), seguido de Creación de contenidos (X_A3=25.21) y Resolución de problemas (X_A5=25.08). La puntuación más baja se da en el área de Información (X_A1=24.80).

En todas las áreas de la escala, como se observa en la tabla 5, presentan una asimetría negativa (<0). Respecto a la curtosis, todas las áreas muestran puntuaciones superiores a 3 y en todos los casos positivas, por lo que pueden considerarse de distribuciones leptocúrticas.

Si se hace un análisis de la prueba completa, centrando la atención en los ámbitos de la competencia (conocimiento, capacidad y actitud), en líneas generales las actitudes son mucho más positivas (X_AC=4.24) que las puntuaciones obtenidas en los ámbitos de conocimiento y capacidad.

En todas las áreas, se calculó la puntuación global tomando como referencia una escala de 0-10 puntos. Así, en el área 1, la puntuación global en los ámbitos de conocimiento y capacidad es de 4.40, situándose próxima al punto medio y alcanzando un nivel alto en las actitudes (8.26). En el área 2, la puntuación global en las áreas de conocimiento y capacidad es de 6.22, situándose por encima del punto medio y alcanzando un nivel muy alto las actitudes (8.68). En el área 3, la puntuación global en conocimiento y capacidad es de 4.01, situándose por debajo del punto medio y alcanzando un nivel muy alto en las actitudes (8.40). En el área 4, la puntuación global en los aspectos de conocimiento y capacidad es de 5.80, situándose por encima al punto medio y alcanzando las actitudes un nivel muy alto (8.80). En el área 5, la puntuación global en conocimiento y capacidad es de 4.06, se sitúa por debajo del punto medio y las actitudes alcanzan un nivel muy alto (8.36).

Teniendo en cuenta estos datos, el alumnado de Educación Obligatoria posee un nivel medio de competencia digital en las áreas 2 y 4 (Comunicación y Seguridad), y un nivel bajo en las áreas 1, 3 y 5 (Información, Creación de contenidos y Resolución de problemas).

En general, son muy pequeñas, casi imperceptibles, las diferencias encontradas entre las puntuaciones obtenidas en el ámbito de conocimiento y el de capacidad. La desviación típica del total de la prueba pone de manifiesto la variabilidad que se atribuye a la misma, siendo capaz de diferenciar entre los distintos niveles de competencia de los sujetos (tabla 6).

Índices de dificultad/facilidad de los ítems de conocimiento y capacidad

Estos índices se expresan como % de acierto en los ámbitos de conocimiento y capacidad de las áreas competenciales (tablas 7 y 8). Los datos generales arrojan una tasa promedio del 47% en los 78 ítems, confirmándose empíricamente una dificultad moderada del instrumento ya anticipada por los expertos. En relación con los ítems que evalúan capacidades, los aciertos constituyen un 48.4% y los que evalúan conocimientos un 45.7% (en ambos una dificultad media). No se aprecian prácticamente diferencias entre estos ámbitos competenciales, excepto si se centra la atención en el porcentaje de aciertos en función de las distintas áreas, que es mayor, lo que se traduce en mejor nivel en la competencia, como ya se indicaba en el apartado anterior, en las áreas de Seguridad y Comunicación (54.8% y 53.6% respectivamente); y menor en la de Creación de contenidos (38.7%).

Se puede afirmar que el nivel de dificultad de las pruebas de las 5 áreas es moderado (41%-60% aciertos) y que la mayor dificultad (15%-40%) se da en el área 3 (Creación de contenidos).

Teniendo en cuenta los porcentajes de acierto, ECODIES es una prueba equilibrada (tabla 8) porque la dificultad de las preguntas es similar, tanto en las de conocimiento como en las de capacidad. En las cinco áreas predominan los ítems de nivel intermedio o moderado (40%-60%), siendo estos los que mejor discriminan, y son pocos los que se sitúan en las categorías extremas (muy fácil-muy difícil).

En las tablas 9 y 10 se presentan las estructuras de cada una de las pruebas de las diferentes áreas competenciales. Un total de 78 ítems divididos en básicos o fáciles (+60% de aciertos), intermedios o moderados (entre 40% y 60% de aciertos) y avanzados o difíciles (menos de 40% de aciertos).

Fiabilidad y validez de la prueba

Para comprobar la fiabilidad, tanto de la prueba completa como de las pruebas de acuerdo con los ámbitos de conocimiento, capacidad y actitud, se calcularon el índice α de Cronbach y el α_ordinal o modelo de factor común, como medidas de consistencia interna (Welch & Comer, 1998), además del coeficiente Theta de Armor (modelo de componentes principales). Estos últimos se consideran más apropiados para escalas de menos de cinco categorías o ítems dicotómicos, como el caso que nos ocupa. Para los análisis de la escala de actitud tipo Likert, compuesta por 6 ítems, con opciones de respuesta de 1 a 5; la puntuación de los ítems se recodificó, asignando 1 (positiva) para las alternativas 4 y 5, y 0 (no positiva) para 1, 2 y 3. El α_ordinal y Theta de Armor se calcularon en base a las correlaciones tetracóricas y los pesos factoriales rotados, siguiendo las indicaciones y la hoja Excel de Domínguez-Lara (2018).

En la tabla 11 se presentan los datos obtenidos diferenciados por cada una de las cinco áreas competenciales. Los índices α de Cronbach de las diferentes áreas y de los distintos ámbitos, se consideran poco aceptables (<0.70). Esto puede ser debido a que este estadístico presupone el carácter continuo de las variables y es considerado inadecuado para escalas con menos de cinco categorías. Teniendo en cuenta las apreciaciones de algunos autores (Zumbo et al., 2007; Oliden & Zumbo, 2008) en relación con la aplicación de este índice, al tratarse una escala dicotómica se utilizó el Índice de Atenuación (IA) para comparar el α de Cronbach con el ._Ordinal. (tabla 15). Los valores obtenidos son satisfactorios en casi todos los casos (>0.70), a excepción de las áreas 1 y 3 en el ámbito de conocimiento y capacidad que, aunque con índices muy próximos a 0.70, no alcanzan esta puntuación mínima para ser considerados aceptables, siendo insuficientes para garantizar la fiabilidad de las escalas (Morales et al., 2003).

Sería necesario revisar los ítems de las pruebas con índices inferiores a 0.70 para modificar o cambiar las preguntas que se consideren necesarias, de tal manera que permitan aumentar la fiabilidad de algunas de las áreas competenciales estudiadas.

Respecto a la validez, se tuvieron en cuenta tanto la validez de contenido como la estructural. Para la primera, los integrantes del equipo de investigación, desde su rol de expertos, analizaron la relevancia y la claridad de los ítems con respecto a los presupuestos teóricos (modelo conceptual DigComp) y su relación con las dimensiones identificadas. Todos los ítems se elaboraron partiendo del modelo de indicadores, se ajustaron a las edades de los sujetos de referencia y se sometieron a juicio de expertos, a través de grupos de discusión, hasta llegar a la formulación final en un proceso de reformulación de los enunciados y respuestas de los ítems. En relación con la validez estructural, se realizó un Análisis Factorial (AF) de componentes principales para las diferentes áreas (tabla 12), tomando como variables los ámbitos de conocimiento, capacidad y la escala de actitudes. La idoneidad del análisis se evaluó previamente a través del test de Kaiser-Meyer-Olkin (KMO) y de la prueba de esfericidad de Bartlett para la totalidad del instrumento del ámbito de conocimiento y capacidad (tabla 12). Este análisis de las condiciones previas para llevar a cabo el análisis factorial (AF) proporcionó un valor KMO superior a 0.50 (índice bajo, aunque aceptable) en todos los casos, por lo que puede considerarse una muestra adecuada (Kaiser, 1974). Por otro lado, el índice de esfericidad de Barlett es altamente significativo en todos los casos (p<0.001), lo que refleja que los datos se correlacionan positivamente y se establece una relación lineal entre las variables¸ indicado además que probablemente eran factorizables. En la escala de actitudes, también considerada como una muestra adecuada, el índice KMO es superior a 0.50 y el índice obtenido de esfericidad de Barlett es altamente significativo (p<0.001). Por lo tanto, estos resultados revelan que la aplicación del análisis factorial es apropiada.

Este análisis previo permitió realizar un análisis factorial (AF), mediante el estudio de componentes principales, con el método de rotación Varimax con normalización Kaiser, tomando como variables los ámbitos de conocimiento y capacidad de cada una de las áreas competenciales y los ítems de la escala de actitudes. Se efectuó el análisis independiente para cada una de las áreas (tabla 13). La técnica empleada fue la multivariante con el propósito de simplificar, en el menor número de elementos posible, un grupo de variables interrelacionadas en un conjunto de factores independientes, comprobando la correlación entre variables para realizar una reducción de los datos simplificando la estructura (Casillas-Martín et al., 2018).

El área competencial que mayor peso tenía en la prueba de conocimientos y capacidad era la de Información, y la que menor la de Resolución de problemas. En el ámbito actitudinal los resultados fueron muy similares (tabla 14).

En el análisis de componentes principales se calcularon los valores $\lambda$ para cada uno de ellos, conservando los factores cuyo valor es de $\lambda$ ≥ 1. Los ámbitos de conocimiento y capacidad en las cinco áreas explicaron más del 50% de la varianza (51.68%-68.66%) y el ámbito de actitud comprendió desde 48.32% hasta el 31.34%.

Tras realizar un análisis factorial exploratorio (AFE), forzando el número de factores a dos (factor 1: ámbito actitudinal, factor 2: ámbito de conocimiento y capacidad), se consiguió alcanzar la bidimensionalidad con un 100% de varianza explicada y se confirmó, en este sentido, la validez de la prueba.

También se comprobó que la asimetría de cada uno de los ítems tomaba valores comprendidos entre -1 y +1, lo que legitimó la realización del análisis. Mediante el estudio de componentes principales se hallaron los valores $\lambda$ para cada uno ellos, reteniendo los factores cuyo valor es de $\lambda$ ≥ 1. En la matriz de componentes (tabla 15) se aprecia, de forma clara, la saturación de los ítems de actitudes en el primer factor y de los de conocimientos y capacidades en el segundo.

La mayoría de los ítems de las diferentes subáreas analizadas adquieren el peso suficiente, con valores >0.40 o muy próximos, lo que permitió ubicarlos en el mismo factor en el que fueron establecidos, tanto por los investigadores como por el comité de expertos que validó el contenido de la prueba. Los correspondientes al ámbito de actitud presentan una importante carga o valores altos a la hora de interpretar el factor, lo que llevó a considerarlos como determinantes para el mismo. Caben destacar dos valores consideraros bajos en los que se pueden interpretar que dos subáreas tienen un peso bajo (<0.40) dentro del factor [área 3 de Creación de contenidos, la subárea Derechos de autor y licencias ($\lambda$=0.232); área 5, Resolución de problemas, la subárea: Innovar y utilizar la tecnología de forma creativa ($\lambda$=0.184)].

Discusión y conclusiones

La evaluación de la competencia digital, en el ámbito de la educación, continúa siendo un tema de gran interés para la comunidad científica, existiendo numerosa investigación al respecto (Casillas-Martín et al., 2020; He et al., 2020; Moreno Rodríguez et al., 2018; Nowak, 2019; Pérez-Rodríguez et al., 2019; Terry et al., 2019; Torres-Hernández et al., 2019; Xu et al., 2019, entre otras). La investigación en esta línea puede aportar información muy valiosa para guiar las políticas educativas de desarrollo de la competencia digital y de integración de las TIC en los sistemas educativos de los países.

Para que esta información sea útil, las investigaciones deberán de contar con instrumentos de recogida de información válidos y fiables (Casillas-Martín et al., 2018), lo que permitirá descubrir las lagunas de los estudiantes y conocer de forma fiable su competencia digital.

Los análisis estadísticos realizados sobre la prueba ECODIES confirman que se trata de un instrumento fiable y válido. La amplia muestra a la que se aplicó permitió obtener datos suficientes para conocer las características psicotécnicas de la misma en su conjunto.

Se ha podido constatar que se trata de un instrumento muy extenso, que requiere un tiempo considerable para ser aplicado en su totalidad a la población de referencia. Esto es debido a que aporta información sobre las 21 competencias recogidas en el modelo DigComp.

Su nivel de dificultad/facilidad en los ámbitos de conocimiento y de capacidad fue medio/moderado, tanto para la prueba general como para cada una de las áreas. El ámbito actitudinal alcanzó una valoración muy positiva (X_AC=4.24), lo que permite afirmar que los estudiantes evaluados tienen una actitud muy buena hacia el aprendizaje y el uso adecuado de las TIC.

La puntuación media en la prueba final es de X_ECODIES=37.14 sobre un máximo de 78 puntos, lo que equivale, en una escala de 0-10 puntos, a una puntuación muy cercana al aprobado (4.8). La prueba podría ser aplicada a estudiantes de niveles superiores para analizar las diferencias entre distintas poblaciones, así como su evolución en esta competencia a lo largo de la escolaridad.

La utilización del α_ordinal evidencia que las pruebas por separado (conocimiento, capacidad y actitud) y la prueba completa tienen una fiabilidad entre satisfactoria y muy satisfactoria, aunque se deberán revisar las pruebas de aquellas áreas (1 y 3 en el ámbito de conocimiento y capacidad) en las que los índices de fiabilidad fueron más bajos.

En relación con la validez, se trata de una prueba válida que responde a todas las competencias propuestas en el modelo DigComp. Los resultados del análisis factorial (AF) manifiestan la existencia de dos factores claramente diferenciados (1: conocimiento y capacidad, 2: actitud).

En definitiva, la prueba ECODIES presenta unas buenas propiedades psicométricas que permiten calificarla como un instrumento fiable y válido para medir la competencia digital.

Son muchos los instrumentos que se pueden encontrar en la literatura científica con el objeto de evaluar esta competencia en los estudiantes. La mayoría de ellos, presentan algunos límites como: (a) se basan en la autovaloración de los sujetos evaluados y, aunque válidos y fiables, los resultados y la conclusiones a las que se pueden llegar presentan sesgos, ya que están basadas en el aspecto subjetivo de las respuestas de los participantes, lo que no permite establecer conclusiones que vayan más allá de lo que los evaluados quieran manifestar; (b) sólo evalúan algunas dimensiones de la competencia digital; (c) falta de estudios psicométricos de los instrumentos (González-Segura et al., 2018; Valverde Berrocoso et al., 2012).

La principal aportación de este trabajo es el análisis de una prueba para evaluar la competencia digital de estudiantes de Educación Obligatoria (ECODIES). Un instrumento original y novedoso, que permite medir la competencia digital en todas sus dimensiones, de manera directa, mediante la reflexión sobre situaciones reales y la resolución de problemas. Esta prueba se pone al servicio de toda la comunidad científica y educativa (https://gredos.usal.es/handle/10366/139397) que quiera utilizarla para llevar a cabo un proceso de evaluación de la competencia digital del alumnado.

Declaraciones sobre datos abiertos, ética y conflicto de intereses

Se puede acceder a los datos de esta investigación si contacta con los autores. Los datos son propiedad de la Universidad de Salamanca y se darán a conocer con el permiso de la institución.

En este estudio los participantes fueron voluntarios y sus datos son anónimos y confidenciales. No hay conflicto de intereses potencial.

Agradecimientos

Artículo realizado en el marco del proyecto de investigación I+D denominado "Evaluación de las competencias digitales de los estudiantes de Educación Obligatoria y estudio de la incidencia de variables socio-familiares", desarrollado por el Grupo de Investigación-Innovación en Tecnología Educativa de la Universidad de Salamanca (GITE-USAL) y financiado por el Ministerio de Economía y Competitividad dentro del Programa Estatal de Fomento de la Investigación Científica y Técnica de Excelencia del gobierno de España (EVADISO, EDU2015-67975-C3-3-P, MINECO/FEDER).

Referencias

Agudo, A.A., García, E.G., & Martínez Heredia, N. (2020). Desafíos para una ciudadanía inclusiva: Competencia digital entre adultos mayores y jóvenes. Comunicacao Midia e Consumo, 17(48), 11-33. https://doi.org/10.18568/cmc.v17i48.2247

Alvarado Martínez, E. (2020). La formación tecno-pedagógica de los profesores universitarios de lengua extranjera. Revista Lengua y Cultura, 1(2), 58-63. https://doi.org/10.29057/lc.v1i2.5423

Armengol, C., Castro, D., Jariot, M., Massot, M., & Sala, J. (2011). El prácticum en el Espacio Europeo de Educación Superior (EEES): mapa de competencias del profesional de la educación. Revista de Educación, 354, 71-98. http://www.univnova.org/documentos/492.pdf

Basantes-Andrade, A.V., Cabezas-González, M., & Casillas-Martín, S. (2020). Digital Competences Relationship with Gender and Generation of University Professors. IJASEIT, International Journal on Advanced Science, Engineering and Information Technology, 10(1), 205-211. https://doi.org/10.1857/ijaseit.10.1.10806

Bonnes, C., Leiser, C., Schmidt‐Hertha, B., Rott, K.J., & Hochholdinger, S. (2020). The relationship between trainers’ media‐didactical competence and media‐didactical self‐efficacy, attitudes and use of digital media in training. International Journal of Training and Development, 24(1), 74-88. https://doi.org/10.1111/ijtd.12171

Cabezas, M., & Casillas, S. (2018). Social Educators: A Study of Digital Competence from a Gender Differences Perspective. Croatian Journal of Education-Hrvatski Casopis za Odgoj i obrazovanje, 20(1), 11-42. https://doi.org/10.15516/cje.v20i1.2632

Carretero, S., Vuorikari, R., & Punie, Y. (2017). DigComp 2.1. The digital competence framework for citizens. Publications Office of the European Union. https://doi.org/10.2760/38842

Casillas-Martín, S., Cabezas-González, M., & García-Peñalvo, F.J. (2020). Digital competence of early childhood education teachers: attitude, knowledge and use of ICT. European Journal of Teacher Education, 43(2), 210-223. https://doi.org/10.1080/02619768.2019.1681393

Casillas-Martín, S., Cabezas-González, M., Sanches-Ferreira, M., & Teixeira Diogo, F. L. (2018). Psychometric Study of a Questionnaire to Measure the Digital Competence of University Students (CODIEU). Education in the Knowledge Society, 19(3), 69-81. https://doi.org/10.14201/eks20181936981

Domínguez-Lara, S. (2018). Fiabilidad y alfa ordinal. Actas Urológicas Españolas, 42(2), 140-141. https://doi.org/10.1016/j.acuro.2017.07.002

Ferrari, A. (2013). DigComp: A framework for developing and understanding digital competence in Europe. Publications Office of the European Union. https://doi.org/10.2788/52966

Frailon, J., Schulz, W., Friedman, T., Ainley, J., & Gebhardt, E. (2013). International Computer and Information Literacy Study. Amsterdam: IEA Secretariat. https://doi.org/10.15478/uuid:b9cdd888-6665-4e9f-a21e-61569845ed5b

García-Valcárcel, A., Hernández, A., Basilotta, V., Cabezas-González, M., Casillas-Martín, S., González Rodero, L., Iglesias, A., Martín del Pozo, M., Mena Marcos, J.J., & Salvador Blanco, L. (2019). Modelo de indicadores para evaluar la competencia digital de los estudiantes tomando como referencia el modelo DigComp (INCODIES) [Universidad de Salamanca]. Repositorio Institucional GREDOS. https://gredos.usal.es/handle/10366/139409

García-Valcárcel, A., Casillas-Martín, S., & Basilotta, V. (2020). Validation of an Indicator Model (INCODIES) for Assessing Student Digital Competence in Basic Education. Journal of New Approaches in Educational Research, 9(1), 110-125. https://doi.org/10.7821/naer.2020.1.459

García-Valcárcel, A., Salvador Blanco, L., Casillas-Martín, S., & Basilotta, V. (2019). Evaluación de las competencias digitales sobre seguridad de los estudiantes de Educación Básica. Revista de Educación a Distancia, 19(61), 1-34. https://doi.org/10.6018/red/61/05

González-Segura, C.M., García-García, M., Menéndez-Domínguez, V.H. (2018). Análisis de la evaluación de competencias y su aplicación en un Sistema de Gestión del Aprendizaje. Un caso de estudio. RED. Revista de Educación a Distancia, 58(3), 1-20. http://dx.doi.org/10.6018/red/58/3

He, T., Huang, Q., Yu, X., & Li, S. (2020). Exploring students’ digital informal learning: the roles of digital competence and DTPB factors. Behaviour & Information Technology, published online, 1-11. https://doi.org/10.1080/0144929X.2020.1752800

Hea, T., Huanga, Q., Yub, X., & Li, S. (2020): Exploring students’ digital informal learning: the roles of digital competence and DTPB factors. Behaviour & Information Technology, published online. https://doi.org/10.1080/0144929X.2020.1752800

ISTE (2016). ISTE Standards for Students. A Practical Guide for Learning with Technology. Stanstebook.

Kaiser, H. F. (1974). An index of factorial simplicity. Psychometrika, 39, 32-36. https://doi.org/10.1007/BF02291575

Krumsvik, R. J. (2011). Digital competence in Norwegian teacher education and schools. Högre Utbildning, 1(1), 39-51. https://www.researchgate.net/publication/305360830_Digital_competence_in_the_Norwegian_teacher_education_and_school

Larionova, V., Brown, K., Bystrova, T., & Sinitsyn, E. (2018). Russian perspectives of online learning technologies in higher education: An empirical study of a MOOC. Research in Comparative and International Education, 13(1), 70-91. https://doi.org/10.1177/1745499918763420

Lores Gómez, B., Sánchez Thevenet, P., & García Bellido, M.R. (2019). La formación de la competencia digital en los docentes. Profesorado, Revista de Currículum y formación del profesorado, 24(4), 234-260. https://doi.org/10.30827/profesorado.v23i4.11720

Martínez, A., Cegarra, J.G., & Rubio, J.A. (2012). Aprendizaje basado en competencias: Una propuesta para la autoevaluación del docente. Profesorado, Revista de currículum y formación del profesorado, 16(2), 373-386. http://www.ugr.es/~recfpro/rev162COL5.pdf

McMillan, J.H., & Schumacher, S. (2010). Investigación educativa. Pearson Addison Wesley.

Mishra, P., & Koehler, M. (2006). Technological Pedagogical Content Knowledge: A Framework for Teacher Knowledge. State University. https://doi.org/10.1111/j.1467-9620.2006.00684.x

Moreno Rodríguez, M.D., Gabarda Méndez, V., & Rodríguez Martín, A.M. (2018). Alfabetización informacional y competencia digital en estudiantes de magisterio. Profesorado, Revista de currículum y formación del profesorado, 22(3), 253-270. http://dx.doi.org/10.30827/profesorado.v22i3.8001

Morales, P.; Urosa, B., & Blanco, A. (2003). Construcción de escalas de actitud tipo Likert: una guía práctica. Cuadernos de Estadística.

Nowak, B.M. (2019). The development of digital competence of students of teacher training studies-Polish cases. International Journal of Higher Education, 8(6), 262-266. https://doi.org/10.5430/ijhe.v8n6p262

Oliden, P. E., & Zumbo, B. D. (2008). Coeficientes de fiabilidad para escalas de respuesta categórica ordenada. Psicothema, 20(4), 896‐901. http://www.psicothema.com/psicothema.asp?id=3572

Otzen, T., & Manterola, C. (2017). Técnicas de Muestreo sobre una Población a Estudio. International Journal of Morphology, 35(1), 227-232. http://dx.doi.org/10.4067/S0717-95022017000100037

Pérez-Rodríguez, A., Delgado-Ponce, A., Marín-Mateos, P., & Romero-Rodríguez, L.M. (2019). Media Competence in Spanish Secondary School Students. Assessing Instrumental and Critical Thinking Skills in Digital Contexts. Educational Sciences: Theory and Practice, 19(3), 33-48. https://doi.org/10.12738/estp.2019.3.003

Punie, Y. (2017). European Framework for the Digital Competence of Educators (DigCompEdu). Publications Office of the European Union. https://doi.org/10.2760/159770

Terry, J., Davies, A., Williams, C., Tait, S., Condon, L. (2019). Improving the digital literacy competence of nursing and midwifery students: A qualitative study of the experiences of NICE student champions. Nurse Education in Practice, 34, 192-198. https://doi.org/10.1016/j.nepr.2018.11.016

Tobón, S., Pimienta, J.H., & García Fraile, J.A. (2010). Secuencias didácticas: Aprendizaje y evaluación de competencias. Pearson Educación.

Torres-Hernández, M., Pessoa, T., & Gallego-Arrufat, M.J. (2019). Intervención y evaluación con tecnologías de la competencia en seguridad digital. Digital Education Review, 35, 111-129. https://revistes.ub.edu/index.php/der/article/view/27399/pdf

Unión Europea (2018, 22 de mayo). Recomendación C 189 Relativa a las Competencias Clave Para el Aprendizaje Permanente. Diario Oficial de la Unión Europea, 4 de junio de 2018.

Valverde Berrocoso, J., Revuelta Domínguez, F.I., & Fernández Sánchez, M.R. (2012). Modelos de evaluación por competencias a través de un sistema de gestión de aprendizaje. Experiencias en la formación inicial del profesorado. Revista Iberoamericana de Educación, 60, 51-62. https://doi.org/10.35362/rie600443

Valverde Crespo, D., De Pro Bueno, A., & González Sánchez, J. (2018). La competencia informacional-digital en la enseñanza y aprendizaje de las ciencias en la educación secundaria obligatoria actual: una revisión teórica. Revista Eureka sobre Enseñanza y Divulgación de las Ciencias, 15(2). 1-15. https://doi.org/10.25267/Rev_Eureka_ensen_divulg_cienc.2018.v15.i2.2105

Vuorikari, R., Punie, Y., Carretero, S, & Van den Brande, L. (2016). DigComp 2.0: The Digital Competence Framework for Citizens. Update Phase 1: The Conceptual Reference Model. Publication Office of the European Union. https://doi.org/10.2791/11517

Welch, S., & Comer, J. (1998). Quantitative methods for public administration: Techniques and applications. Brooks/Cole.

Xu, S., Yang, H. H., MacLeod, J., & Zhu, S. (2019). Social media competence and digital citizenship among college students. Convergence, 25(4), 735-752. https://doi.org/10.1177/1354856517751390

Zumbo, B. D., Gadermann, A. M., & Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for Likert rating scales. Journal of modern applied statistical methods, 6(1), 20-29. https://doi.org/10.22237/jmasm/1177992180

Notas de autor

mcabezasgo@usal.es

Información adicional

Cómo referenciar este artículo: Casillas-Martín, S., Cabezas-González, M., & García-Valcárcel, A. (2020). Análisis psicométrico de una prueba para evaluar la competencia digital de estudiantes de Educación Obligatoria. RELIEVE, 26(2), art. 2. http://doi.org/10.7203/relieve.26.2.17611

Enlace alternativo

https://ojs.uv.es/index.php/RELIEVE/article/view/17611/16658 (pdf)