Reportes de investigación
Literacidad evaluativa. Un diagnóstico en docentes de educación básica de México
Assessment literacy. A diagnostic in basic education teachers in Mexico
Literacidad evaluativa. Un diagnóstico en docentes de educación básica de México
IE Revista de Investigación Educativa de la REDIECH, vol. 14, e1645, 2023
Red de Investigadores Educativos Chihuahua A. C.

Received: 06 September 2022
Accepted: 26 June 2023
Published: 17 August 2023
Resumen: Los docentes requieren de una sólida formación en evaluación para realizar esta actividad en el aula. En este estudio se aplicó un instrumento para conocer mediante el auto-reporte el nivel de conocimientos y habilidades de los docentes de educación básica referidos a la evaluación, identificar si existen diferencias entre las dimensiones evaluadas y analizar si existen diferencias en función de los años de experiencia, capacitación recibida, edad, formación académica, condiciones económicas y nivel educativo que atienden, así como identificar variables predictoras de la literacidad evaluativa. Los resultados indican que el nivel de literacidad de los docentes está por encima de la media, la evaluación formativa y el uso de la evaluación mostraron mejores resultados y las diferencias estadísticamente significativas se relacionan con los años de experiencia, las horas de capacitación, las condiciones económicas y la edad de los docentes. La capacitación, las condiciones económicas y la edad fueron las variables predictoras. Se puede concluir que la formación de los docentes es un aspecto fundamental. Se recomienda realizar estudios cualitativos que complementen la visión de este tema.
Palabras clave: Educación básica, evaluación del aprendizaje, evaluación formativa, evaluación en el aula, literacidad, profesores.
Keywords: Basic education, classroom assessment, formative assessment, learning assessment, literacy, teachers
Introducción
Uno de los puntos más críticos del trabajo docente es la evaluación del desempeño de los alumnos, y diversos autores han documentado la necesidad de que reciban una formación que les permita enfrentar en el aula esta actividad (Adamson, 2020; Coombe et al., 2020; Coombs et al., 2021; Gudiño, 2015; Mertler, 2009; Qotboddin et al., 2020). La tarea de evaluar a los alumnos demanda del maestro conocimientos y habilidades de evaluación, así como de la asignatura que imparte y de la normatividad vigente al respecto. Lo anterior, como señalan Looney et al. (2018), representa una interacción entre conocimiento y práctica, en la cual los docentes ponen en primer plano sus creencias sobre evaluación para dar forma a su práctica en el aula.
Evaluar a los docentes con respecto a este tema contribuye a sustentar la toma de decisiones para mejorar las prácticas evaluativas en el aula, por eso es importante recabar información al respecto, porque hay decisiones trascendentes que se toman en la escuela, basadas en el desempeño de los estudiantes, la solidez de estas decisiones depende de la información que las sustenta, y la preparación que tiene el docente en aspectos de evaluación le permite identificar la solidez de dicha información (Stiggins, 1991).
Esta capacidad que tiene el docente para evaluar en el aula fue nombrada por Stiggins (1991) “literacidad evaluativa”. La literacidad evaluativa tiene varias definiciones, en las que se hace referencia de manera general a los conocimientos y habilidades que poseen los docentes relacionados con la evaluación (Brookhart, 2011; Chappuis et al., 2016; Coombe et al., 2020; Huang y He, 2016; Muhammad et al., 2020). Lo anterior implica que el docente tiene la capacidad para obtener información confiable del aprendizaje de sus alumnos, mediante procesos de evaluación de alta calidad, sabe cómo implementar dichos procesos y utilizar los resultados para la mejora del aprendizaje (Stiggins, 2017). Por lo tanto, se puede establecer que la literacidad evaluativa es la capacidad de los profesores para adquirir por diferentes medios información relacionada con la práctica de evaluación, analizarla, valorar su pertinencia, utilizarla para la mejora de su práctica y saber comunicar a diferentes audiencias los resultados de sus evaluaciones.
Una práctica sólida de evaluación en los docentes, de acuerdo con Chappuis et al. (2016), tiene características como el uso de procesos de evaluación alineados a los objetivos de aprendizaje, el uso de métodos pertinentes, utilizar tareas que atienden estándares de calidad, utilizar los resultados no solo para otorgar calificación sino para retroalimentar a los estudiantes durante el proceso y, de ser posible, involucrarlos en el proceso de evaluación.
En el contexto internacional se han elaborado, aplicado y adaptado diversos instrumentos para obtener información referida a los conocimientos y habilidades de los docentes sobre la evaluación en el aula. Algunos de ellos son de tipo prueba de conocimientos (DeLuca et al., 2016; Hailaya et al., 2014; Iqbal et al., 2020; Mertler y Campbell, 2005; Plake et al., 1993; Tagele y Bedilu, 2015; Yamtim y Wongwanich, 2014), otros son escalas que se basan en lo que el docente reporta sobre el tema (Alkharusi et al., 2014; Daniel y King, 1998; Liu, 2008; Nikmard y Mohamadi, 2020; Zhang y Burry-Stock, 1997). Medir la literacidad evaluativa es importante porque esta es determinante para la calidad de la educación que imparten los docentes (Akayuure, 2021).
En el caso de México, como señalan Arce-Ferrer et al. (2001), se carece de estudios centrados en la literacidad evaluativa de los docentes. En su investigación estos autores presentan resultados sobre la práctica docente y la familiaridad de las prácticas de evaluación desde la perspectiva de maestros, consejeros y administradores educativos. Otro referente es el trabajo de Morán et al. (2015), quienes investigaron la evaluación, entre otras competencias docentes, en maestros de secundaria utilizando un cuestionario basado en una escala Likert. Por su parte, Ramón et al. (2017) indagaron sobre la evaluación formativa, entre otras competencias docentes, recopilando información de alumnos y profesores de bachillerato. En un estudio más reciente, Pérez y López (2022b) realizaron un análisis documental para determinar cuáles son las prácticas de evaluación que sustentan la calificación asignada por los docentes a los alumnos y en su revisión encontraron que estas prácticas se caracterizan por estar alejadas de lo establecido en los programas oficiales de estudio y la calificación asignada a los alumnos se sustenta en una mezcla de factores cognitivos y no cognitivos.
El plan y programas de estudio vigentes de la educación básica en México establece que el docente ha de utilizar una evaluación formativa (SEP, 2017). Por lo anterior, es necesario contar con información referida a la literacidad evaluativa de los profesores, ya que constantemente se hace uso de los resultados de estos procesos para la toma de decisiones (Arce-Ferrer et al., 2001). Es necesario conocer si los docentes de este nivel educativo tienen los conocimientos y habilidades para realizar una evaluación en el aula apegándose a este enfoque.
A partir de lo anterior, el presente estudio tiene los siguientes propósitos: 1) evaluar el nivel de literacidad evaluativa de los docentes de educación básica, 2) identificar si existen diferencias entre las cuatro dimensiones evaluadas con el instrumento, 3) analizar si existen diferencias entre los docentes en función de sus años de experiencia frente a grupo, horas de capacitación recibida, edad, formación académica, condiciones económicas y nivel educativo que atienden (preescolar, primaria y secundaria) y 4) identificar si existen variables predictoras del nivel de literacidad evaluativa de los docentes.
Metodología
Tipo de estudio
Se realizó un estudio de tipo descriptivo, exploratorio y transversal a una muestra intencional, el cual resulta adecuado para la exploración de un fenómeno a partir de participantes a los que se tiene fácil acceso.
Participantes
Participaron 318 maestros frente a grupo de educación básica de México. El 66% fueron mujeres y el 34% hombres, con una edad promedio de 44.7 años (DS = 10.02 años). El 46.8% posee estudios de licenciatura completa, el 30.1% de maestría completa, 9.7% maestría incompleta y 3.1% formación técnica. El 57.2% de maestros trabaja en secundarias técnicas, el 24.5% en primaria, el 11.6% en secundaria general y el 6.6% en preescolar. El tipo de muestreo fue no probabilístico y los docentes fueron invitados a participar por correo electrónico. El criterio de inclusión fue que al momento de contestar el instrumento fuesen profesores adscritos a un centro educativo, con estudiantes asignados. Contestaron el instrumento en línea a través de un formulario de Google Forms.
Instrumento
Se utilizó un instrumento para evaluar la literacidad evaluativa en docentes de educación básica, elaborado y validado en un estudio anterior (Pérez y López, 2022). La primera parte es una escala tipo Likert con la cual el docente autoevalúa sus conocimientos y habilidades referidos a la evaluación. Esta sección del instrumento consta de 40 ítems agrupados en cuatro factores: 1) conocimiento y uso de evaluaciones estandarizadas, 2) asignación y uso de calificaciones, 3) uso de la evaluación y 4) evaluación formativa. Se tienen evidencias de la validez de contenido y de constructo del instrumento: alfa de Cronbach = 0.97, confiabilidad compuesta igual a 0.95 y valores de bondad de ajuste adecuados (X2/df = 2.12; CFI = 0.915; TLI = RMSEA = 0.06). Para su calificación se utilizó una escala con la cual el docente estima sus conocimientos y habilidades referidos a cada tarea descrita en los ítems. El nivel de la escala va de 1, “muy bajo”, hasta 5, “muy alto”.
En la segunda parte del instrumento se recopilaron datos sociodemográficos de los participantes tales como edad, sexo, grado de estudio, años de experiencia docente, nivel económico y capacitación recibida, mediante el Cuestionario de Factores Sociodemográficos elaborado por el Centro Universitario CIFE (2015).
Análisis de datos
Para dar respuesta a los propósitos del estudio se utilizaron los paquetes estadísticos SPSS v.21 y JASP v.0.14.1, de acuerdo con las siguientes fases:
• Fase 1. Estimación de la normalidad de los datos. Esta se realizó para cada una de las variables con la prueba de Kolmogórov-Smirnov, en la cual los valores p > 0.05 indican una distribución normal, mientras que p > 0.05 indica que no existe una distribución normal de los datos.
• Fase 2. Determinación del nivel de literacidad evaluativa en los docentes. Se realizó una descripción del nivel de literacidad evaluativa de los docentes con base en la media y desviación típica, luego se comparó con la media teórica para determinar si los valores observados se aproximan a los valores teóricamente esperados. El análisis se realizó con la prueba de Wilcoxon, en la cual un p valor < 0.05 indica que existen diferencias estadísticamente significativas (Ramírez y Polack, 2019).
• Fase 3. Comparación del nivel de literacidad evaluativa entre subgrupos de docentes. Se establecieron diferencias entre los docentes en función de su nivel de literacidad evaluativa, considerando criterios como lugar de adscripción, grado académico, años de experiencia frente a grupo, horas de capacitación en evaluación, mediante el análisis multivariante de la varianza (manova).
• Fase 4. Factores asociados al nivel de literacidad de los docentes. Se buscó establecer la asociación de diversos factores con un mayor o menor nivel de literacidad evaluativa mediante un análisis de regresión logística multinomial. A partir de lo anterior se determinó si el nivel general de literacidad tiene variables predictivas como: capacitación docente, años de experiencia frente a grupo, edad, grado académico, nivel socioeconómico y sexo.
Aspectos éticos
En la investigación se cumplieron los siguientes criterios éticos de la investigación: 1) todos los participantes firmaron un consentimiento antes de completar los instrumentos; 2) los participantes podían retirarse en cualquier momento, y 3) hubo protección de los datos personales de todos los participantes, de acuerdo con la ley mexicana de protección de datos personales.
Resultados
Nivel de literacidad evaluativa de los docentes de educación básica
El nivel de literacidad evaluativa en los docentes, en general, estuvo por arriba del nivel mínimo esperado, que era el nivel medio (3.0). Lo anterior se puede observar en la Tabla 1, en donde se muestra la puntuación media obtenida en cada uno de los ítems. La puntuación más baja obtenida fue de 3.465, referida a los conocimientos y habilidades que los docentes dicen tener con respecto a las evaluaciones externas actualizadas y disponibles; mientras que la puntuación más alta (4.302) se refiere a los conocimientos y habilidades que dicen tener para establecer límites de confidencialidad con respecto a los resultados de la evaluación.
| Factor | Ítem | Media (DE) | V | P | r | |
| 1. Asignación y uso de calificaciones. | 33 34 35 36 37 38 39 40 | 3.676(±0.761) 3.686(±0.720) 3.667(±0.776) 3.752(±0.793) 3.648(±0.860) 3.619(±0.800) 3.752(±0.797) 3.915(±0.792) | 2.238e +28 8.705e +30 4.673e +27 3.253e +30 9.938e +22 7.910e +23 7.576e +29 6.771e +35 | < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 | 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 | |
| 2. Conocimiento y uso de evaluaciones estandarizadas | 7 11 13 14 15 16 17 20 22 23 25 26 | 3.865(±0.731) 3.616(±0.865) 3.849(±3.849) 3.814(±0.826) 3.465(±0.846) 3.519(±0.873) 3.711(±0.836) 3.893(±0.775 3.774(±0.778) 3.673(±0.758) 3.774(±0.933) 3.896(±0.761) | 4.938e +37 3.502e +21 1.393e +33 5.002e +31 6.342e +14 4.233e +16 7.887e +26 2.216e +36 5.659e +31 5.838e +28 1.073e +25 9.431e +36 | < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 | 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 | |
| 3. Evaluación formativa | 4 5 18 19 21 24 27 28 29 30 31 32 | 4.302(±0.747) 3.865(±0.832) 4.035(±0.712) 3.890(±0.760) 3.918(±0.774) 4.038(±0.769) 4.013(±0.749) 3.950(±0.739) 3.987(±0.758) 4.022(±0.759) 4.101(±0.685) 3.698(±0.804) | 4.774e +45 3.866e +32 1.008e +43 7.748e +36 1.896e +37 1.684e +40 4.771e +40 1.087e +39 7.635e +39 1.603e +40 1.490e +45 2.911e +27 | < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 | 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 | |
| 4. Uso de la evaluación | 1 2 3 6 8 9 10 12 | 4.160(±0.647) 3.918(±0.786) 3.994(±0.774) 3.843(±0.758) 4.101(±0.872) 3.981(±0.741) 3.965(±0.842) 3.808(±0.735) | 7.349e +47 3.724e +36 1.204e +39 1.852e +35 3.429e +37 1.731e +40 1.648e +35 2.553e +35 | < .001 < .001 < .001 < .001 < .001 < .001 < .001 < .001 | 1.000 1.000 1.000 1.000 1.000 1.000 1.000 1.000 | |
Diferencias entre las cuatro dimensiones evaluadas con el instrumento
El nivel de literacidad de los docentes en cada una de las dimensiones evaluadas se encuentra en la Tabla 2. El desempeño más bajo se observó en dos dimensiones: 1) conocimiento y uso de evaluaciones estandarizadas, que se refiere a entender e interpretar los informes de dichos procesos de evaluación y usar sus resultados para explicarlos a otros destinatarios como los padres de familia y realizar ajustes en su planeación didáctica; 2) asignación y uso de calificaciones, referida a los conocimientos y habilidades que tiene el docente para establecer criterios de calificación pertinentes, el uso que da a las calificaciones para mejorar la enseñanza y aprendizaje, como un método para ayudar a los estudiantes, motivarlos a aprender y que estas reflejen los aprendizajes logrados.
| Dimensión | Media | DE |
| 1. Asignación y uso de calificaciones | 3,85 | 0,790 |
| 2. Conocimiento y uso de evaluaciones estandarizadas | 3,68 | 0,908 |
| 3. Evaluación formativa | 4,04 | 0,773 |
| 4. Uso de la evaluación | 4,00 | 0,82 |
De acuerdo con estos resultados, los docentes reconocen que tienen mayores conocimientos y habilidades relacionadas con la evaluación formativa: proporcionar retroalimentación oportuna a los estudiantes ofreciéndoles comentarios útiles para la mejora de su aprendizaje, desarrollar un plan de enseñanza a partir de la información obtenida, involucrando a los estudiantes en el proceso de evaluación, y lograr que sus evaluaciones sean justas, confiables y que proporcionen información válida. En segundo lugar, el uso que se le da a la evaluación: seleccionar diferentes métodos de evaluación en el aula de acuerdo con un propósito específico, aplicar evaluaciones de seguimiento a sus alumnos; explicar a colegas y/o padres de familia los resultados de las evaluaciones que realiza para orientar la toma de decisiones; así como reconocer el uso inadecuado y poco ético de la evaluación.
Diferencias entre los docentes en función de sus años de experiencia frente a grupo, horas de capacitación recibida, edad, formación académica, condiciones económicas y nivel educativo que atienden (preescolar, primaria y secundaria)
Se llevó a cabo un análisis de los datos mediante la prueba de Kolmogórov-Smirnov para muestras mayores a 50, la cual ayuda a determinar si los datos recolectados tienen una distribución normal (Ramírez y Polack, 2019; Romero, 2016). Los resultados obtenidos en las cuatro dimensiones del instrumento mostraron un valor inferior a 0,05, por lo cual se concluyó que los datos tienen una distribución no normal.
Se realizó un manova para conocer la existencia de diferencias significativas entre los conocimientos que tienen los docentes sobre la asignación y uso de calificaciones, la evaluación estandarizada, la evaluación formativa y el uso de la evaluación según la experiencia docente frente a grupo. Los resultados obtenidos del test indican una diferencia estadísticamente significativa entre los años de experiencia frente a grupo y la asignación y uso de calificaciones, donde F (16, 947) = 1,896, p = 0,018, Lambda de Wilks = 0,908, h2 parcial = 0,024 y potencia observada = 0,878. Las pruebas post hoc muestran que los docentes que tienen de 6 a 10 años de experiencia frente a grupo (M = 28,51) muestran menor conocimiento y habilidad en la asignación y uso de las calificaciones que los docentes con más de 30 años de experiencia (M = 31,68, p = 0,020). Por otro lado, las pruebas post hoc evidenciaron que los docentes con más de 30 años de experiencia frente a grupo tienen un mayor nivel de conocimientos y habilidades en el uso de las evaluaciones estandarizadas (M = 43,33, p = 0,009) que los docentes que tienen de 1 a 5 años de experiencia (M = 38,07). Asimismo, los docentes con más de 30 años de experiencia (M = 33,22) mostraron diferencias con los docentes que tienen de 1 a 5 años de experiencia (M =29,89, p = 0,011) con respecto al uso de la evaluación. En lo que respecta a los conocimientos sobre la evaluación formativa no se encontraron diferencias estadísticamente significativas con respecto a los años de experiencia docente.
También se encontraron diferencias estadísticamente significativas entre los conocimientos y habilidades de los docentes (asignación y uso de calificaciones, evaluación estandarizada, evaluación formativa y uso de la evaluación) con respecto a la capacitación recibida en los dos años previos a la encuesta (Tabla 3). Los resultados del test señalaron una diferencia estadísticamente significativa entre las horas de capacitación docente y sus conocimientos y habilidades evaluadas con el instrumento, donde F (20, 1025) = 2,166, p = 0,002, Lambda de Wilks = 0,872, h2 parcial = 0,034 y potencia observada = 0,976. En los cuatro factores evaluados se encontraron diferencias estadísticamente significativas que favorecen a los docentes que tienen de 40 a 80 y de 81 a 120 horas de capacitación en los dos años más recientes.
| Variable dependiente | Subgrupos de la variable independiente | Media | F | Sig. | ƞ2 | Potencia observada |
| LE1: Asignación y uso de calificaciones | Ninguna | 28,53 | 5,207 | 0,000 | 0,077 | 0,987 |
| 1 a 39 h. | 28,98 | |||||
| 40 a 80 h | 31,48 | |||||
| 81 a 120 h | 34,54 | |||||
| 121 a 140 h. | 26,00 | |||||
| Más de 140 h. | 30,68 | |||||
| LE2: Conocimiento y uso de evaluaciones estandarizadas | Ninguna | 39,18 | 5,788 | 0,000 | 0,085 | 0,993 |
| 1 a 39 h. | 39,90 | |||||
| 40 a 80 h | 43,73 | |||||
| 81 a 120 h | 47,27 | |||||
| 121 a 140 h. | 38,50 | |||||
| Más de 140 h. | 42,50 | |||||
| LE3: Evaluación formativa | Ninguna | 46,45 | 5,756 | 0,000 | 0,084 | 0,993 |
| 1 a 39 h. | 46,70 | |||||
| 40 a 80 h | 50,41 | |||||
| 81 a 120 h | 54,36 | |||||
| 121 a 140 h. | 41,50 | |||||
| Más de 140 h. | 48,56 | |||||
| LE4: Uso de la evaluación | Ninguna | 30,36 | 5,377 | 0,000 | 0,079 | 0,989 |
| 1 a 39 h. | 31,38 | |||||
| 40 a 80 h | 33,22 | |||||
| 81 a 120 h | 35,81 | |||||
| 121 a 140 h. | 26,50 | |||||
| Más de 140 h. | 32,56 |
Adicionalmente, se encontraron diferencias estadísticamente significativas entre los conocimientos y habilidades de los docentes (asignación y uso de calificaciones, evaluación estandarizada, evaluación formativa y uso de la evaluación) con respecto a la edad (Tabla 4). Los resultados del test señalaron una diferencia estadísticamente significativa entre la edad de los docentes y sus conocimientos y habilidades evaluadas con el instrumento, donde F (16, 947) = 1,913, p = 0,016, Lambda de Wilks = 0,907, h2 parcial = 0,024 y potencia observada = 0,881. Las diferencias estadísticamente significativas se encontraron únicamente en los tres primeros factores y favorecen a los docentes de 51 a 60 años de edad. En el factor 4 (evaluación formativa) no se encontraron diferencias significativas entre los grupos de edad.
| Variable dependiente | Subgrupos de la variable independiente | Media | F | Sig. | ƞ2 | Potencia observada |
| LE1: Asignación y uso de calificaciones | 18 a 30 años | 28,90 | 3,169 | 0,014 | 0,039 | 0,820 |
| 31 a 40 años | 29,09 | |||||
| 41 a 50 años | 28,91 | |||||
| 51 a 60 años | 31,30 | |||||
| Más de 60 años | 30,33 | |||||
| LE2: Conocimiento y uso de evaluaciones estandarizadas | 18 a 30 años | 39,16 | 3,257 | 0,012 | 0,040 | 0,832 |
| 31 a 40 años | 40,44 | |||||
| 41 a 50 años | 39,88 | |||||
| 51 a 60 años | 43,04 | |||||
| Más de 60 años | 42,66 | |||||
| LE3: Evaluación formativa | 18 a 30 años | 48,20 | 2,983 | 0,019 | 0,037 | 0,793 |
| 31 a 40 años | 46,87 | |||||
| 41 a 50 años | 46,54 | |||||
| 51 a 60 años | 49,59 | |||||
| Más de 60 años | 50,08 |
Finalmente se encontraron diferencias estadísticamente significativas entre los conocimientos y habilidades de los docentes (asignación y uso de calificaciones, evaluación estandarizada, evaluación formativa y uso de la evaluación) con respecto a las condiciones económicas (Tabla 5). Los resultados del test señalaron una diferencia estadísticamente significativa entre las condiciones económicas y sus conocimientos y habilidades evaluadas con el instrumento, donde F (16, 947) = 2,580, p = 0,001, Lambda de Wilks = 0,878, h2 parcial = 0,032 y potencia observada = 0,967. En los cuatro factores evaluados se encontraron diferencias significativas en favor de los docentes que refieren tener condiciones económicas buenas o excelentes.
| Variable dependiente | Subgrupos de la variable independiente | Media | F | Sig. | ƞ2 | Potencia observada |
| LE1: Asignación y uso de calificaciones | Muy baja | 29,33 | 9,262 | 0,000 | 0,837 | 1 |
| Baja | 27,28 | |||||
| Aceptable | 29,25 | |||||
| Buena | 32,02 | |||||
| Excelente | 37,20 | |||||
| LE2: Conocimiento y uso de evaluaciones estandarizadas | Muy baja | 43,00 | 7,033 | 0,000 | 0,841 | 0,995 |
| Baja | 38,64 | |||||
| Aceptable | 40,25 | |||||
| Buena | 43,84 | |||||
| Excelente | 50,40 | |||||
| LE3: Evaluación formativa | Muy baja | 47,00 | 7,604 | 0,000 | 0,879 | 0,997 |
| Baja | 45,06 | |||||
| Aceptable | 47,18 | |||||
| Buena | 50,74 | |||||
| Excelente | 56,80 | |||||
| LE4: Uso de la evaluación | Muy baja | 31,00 | 6,527 | 0,000 | 0,879 | 0,991 |
| Baja | 30,26 | |||||
| Aceptable | 31,32 | |||||
| Buena | 33,60 | |||||
| Excelente | 37,40 |
En este análisis no se encontraron diferencias significativas en las variables dependientes con relación al grado académico, adscripción (preescolar, primaria y secundaria) y sexo de los docentes.
Variables predictoras del nivel de literacidad evaluativa de los docentes
Se llevó a cabo una regresión logística multinomial para investigar la relación entre el nivel de literacidad evaluativa y varias variables predictoras. La literacidad evaluativa fue codificada como “1” para un nivel bajo, “2” para un nivel medio y “3” como un nivel alto; siguiendo la recomendación de Aguayo (2007), cuando se tienen variables ordinales o categóricas con más de dos categorías se puede tomar la decisión de reducir sus dimensiones antes de introducirlas en el modelo. El modelo de regresión logística “por pasos” seleccionó las tres variables de interés dentro del modelo final. La prueba de Chi-cuadrado demostró que el modelo es significativo, que las tres variables representan y se relacionan con la variable dependiente de nivel de literacidad evaluativa de los docentes con una significancia de 0,001. Del mismo modo, el valor de R cuadrado de Nagelkerke indicó que el modelo propuesto predice en un 20% los cambios en la variable dependiente. Con base en ello se encontró que la capacitación recibida en los últimos dos años, la edad y el nivel socioeconómico predicen el nivel general de literacidad evaluativa de los docentes (Tabla 6).
| Variables Predictoras | B | Desv. Error. | Wald | gl | Sig. | Exp (B) | IC 95% Exp(B) | ||
| Lím. inferior | Lím. superior | ||||||||
| Literacidad baja vs literacidad alta | Intersección | -34,451 | 5339,349 | ,000 | 1 | ,995 | |||
| Capacitación últimos 2 años | -2,532 | 1,275 | 3,944 | 1 | ,047 | ,080 | ,007 | ,967 | |
| Edad: 18 a 30 años | 18,570 | 1,590 | 136,376 | 1 | ,000 | 116073619,739 | 5142820,580 | 2619785191,936 | |
| Edad:41 a 50 años | 16,736 | 1,473 | 129,062 | 1 | ,000 | 18543906,047 | 1033394,334 | 332764018,748 | |
| Literacidad media vs literacidad alta | Intersección | -,596 | ,786 | ,575 | 1 | ,448 | |||
| Capacitación últimos 2 años | -,465 | ,134 | 12,098 | 1 | ,001 | ,628 | ,483 | ,816 | |
| Condición Económica baja | 1,744 | ,444 | 15,421 | 1 | ,000 | 5,719 | 2,395 | 13,656 | |
| Condición Económica aceptable | 1,493 | ,356 | 17,636 | 1 | ,000 | 4,452 | 2,218 | 8,939 | |
La capacitación en evaluación recibida en los últimos cinco años, el grado académico y los años de experiencia frente a grupo no se asociaron significativamente con el nivel de literacidad evaluativa.
Discusión y conclusiones
Nivel de literacidad evaluativa de los docentes de educación básica
En esta investigación al indagar sobre la literacidad de los docentes de educación básica se encontró que el nivel de literacidad reportado por los docentes, en términos generales, estuvo por encima del nivel mínimo esperado. Esto quiere decir que los docentes señalan contar con los conocimientos y habilidades adecuados para realizar los procesos de evaluación en el aula. Los anteriores resultados difieren con los estudios revisados, en los que se encontró que los docentes no tienen una literacidad evaluativa (Akayuure, 2021; Popham, 2018; Tagele y Bedilu, 2015), o es insuficiente (Coombs et al., 2021; Qotboddin et al., 2020). Bajo lo referido anteriormente, los docentes se perciben de manera general con buen nivel de literacidad evaluativa, lo cual contrast
Diferencias entre las cuatro dimensiones evaluadas con el instrumento
En el presente estudio al investigar las diferencias entre las cuatro dimensiones evaluadas con el instrumento se encontró que las puntuaciones más bajas se relacionan con el conocimiento y uso de las evaluaciones estandarizadas y la asignación y uso de las calificaciones. Por su parte, las puntuaciones más altas se encontraron en evaluación formativa y uso de las evaluaciones. Esto significa que los docentes se perciben con menores conocimientos y habilidades para asignar y usar las calificaciones, así como de reconocer las posibilidades de las evaluaciones estandarizadas para su beneficio en el aula. Por el contrario, consideran que sus mayores conocimientos y habilidades están relacionados con la realización de procesos de retroalimentación a los alumnos y con el uso que le dan a la evaluación. Lo anterior contrasta con el estudio de Mertler (2003), quien encontró que los resultados más altos de los docentes en servicio estuvieron relacionados con administrar, interpretar y calificar resultados de la evaluación; en cuanto a los resultados más bajos Ahmedi (2019) encontró en su investigación que el 64% de los docentes tienen una actitud positiva hacia la evaluación formativa, pero no la llevan a la práctica. Al analizar dichos resultados confirmamos que los docentes reconocen mayores dificultades en la asignación y uso de las calificaciones e identificar a la evaluación estandarizada como un procedimiento válido y confiable para recabar información sobre el desempeño de los alumnos.
Diferencias entre los docentes en función de sus años de experiencia frente a grupo, horas de capacitación recibida, edad, formación académica, condiciones económicas y nivel educativo que atienden (preescolar, primaria y secundaria)
En la presente investigación al analizar si existen diferencias entre los docentes en función de sus años de experiencia frente a grupo, horas de capacitación recibida, edad, formación académica, condiciones económicas y nivel educativo que atienden (preescolar, primaria y secundaria), se encontró que los que tienen más de 30 años de servicio reportaron tener mayor conocimiento y habilidades en tres de las dimensiones evaluadas: asignar y usar las calificaciones, uso de la evaluación y uso de las evaluaciones estandarizadas. En cuanto a la capacitación recibida en los últimos dos años en el tema de la evaluación, las cuatro dimensiones evaluadas presentaron diferencias significativas en favor de los docentes que tienen de 81 a 120 horas de capacitación. Con respecto a la edad de los docentes, en tres de las cuatro variables evaluadas (asignación y uso de calificaciones, conocimiento y uso de evaluaciones estandarizadas y evaluación formativa) las diferencias favorecen a los docentes con 51 años o más de edad. Con respecto a la condición económica de los docentes hubo diferencias estadísticamente significativas en las cuatro dimensiones evaluadas, favoreciendo a los que reportaron tener una condición excelente. Esto quiere decir que los únicos aspectos que no presentan diferencias significativas en cuanto a las dimensiones evaluadas son el grado académico, adscripción (preescolar, primaria o secundaria) y sexo de los docentes.
Los resultados encontrados concuerdan con lo reportado por Qotboddin et al. (2020), quienes reportaron que la edad y la experiencia están relacionadas con la capacidad de los profesores para evaluar, señalan que los más jóvenes tienen menor habilidad en el tema; del mismo modo Tagele y Bedilu (2015) encontraron que los docentes que tomaron un curso de capacitación en evaluación y medición lograron puntajes estadísticamente significativos más altos que los que no tomaron el curso. Los anteriores resultados refuerzan también lo señalado por Adamson (2020) en el sentido de que los maestros requieren una formación en evaluación que reduzca la brecha en literacidad evaluativa. Bajo lo referido anteriormente, la información proporcionada por los participantes de este estudio ayuda a orientar decisiones en el sentido de proporcionar capacitación en el tema de la evaluación a los profesores en formación y en servicio.
Variables predictoras del nivel de literacidad evaluativa de los docentes
En este estudio se encontraron hallazgos importantes, sin embargo se debe reconocer como una limitación que el uso del auto-reporte para conocer el nivel de literacidad evaluativa de los docentes no necesariamente refleja sus prácticas reales. Dado que existen diferentes formas de aproximarse al estudio de la literacidad evaluativa de los docentes (Howell, 2013), se sugiere realizar estudios cualitativos que permitan confrontar la información recabada mediante el auto-reporte, en los que se valore, en la práctica, el conocimiento y uso que hacen los docentes de la evaluación, por ejemplo, mediante el análisis de instrumentos de evaluación elaborados por ellos, planeación didáctica, entrevista semiestructurada, entre otros. Como señala Andrade (2020), se puede explorar en qué medida se concreta en los hechos lo señalado por los docentes. Asimismo en estos estudios deberá considerarse a otros actores de la educación, ya que en un sentido amplio esta literacidad involucra también a otras figuras como asesores, directivos y planificadores de políticas educativas (Huang y He, 2016).
En esta investigación al identificar si existen variables predictoras del nivel de literacidad evaluativa de los docentes se encontró un modelo con tres variables predictoras que predice en un 20% los cambios en la literacidad evaluativa; dichas variables son: la capacitación recibida en los dos años recientes, la edad y el nivel socioeconómico. Al respecto se puede decir que: 1) pertenecer al grupo de los profesores que han recibido capacitación en los últimos dos años relacionada con la evaluación educativa aumenta la posibilidad de tener un nivel alto de literacidad, en lugar de un nivel bajo o medio; 2) pertenecer a los grupos de edad de 18 a 30 años y de 41 a 50 años aumenta la posibilidad de tener un nivel bajo de literacidad evaluativa, en lugar de uno alto; 3) pertenecer al grupo de condiciones económicas bajas y aceptables aumenta las posibilidades de que los profesores tengan un nivel de literacidad media, en lugar de un nivel alto.
Esto significa principalmente que la capacitación de los docentes en el tema de la evaluación durante los dos años recientes es relevante para tener un buen nivel de literacidad evaluativa. Estos resultados son corroborados por Soodmand y Ranjbar (2021), quienes encontraron que uno de los mejores predictores fueron los cursos de capacitación. En esta misma idea, Alkharusi (2011), mediante el análisis de regresión logística, encontró que la capacitación en evaluación en el servicio y la experiencia docente fueron predictores confiables.
Este estudio concluye que es fundamental implementar procesos de formación continua para los docentes en servicio para fortalecer sus conocimientos y habilidades referidos a la evaluación que se realiza en el aula para atender las demandas actuales que plantean las reformas curriculares en México. Estos procesos se pueden organizar como talleres que contemplen más de 80 horas.
Es importante contar con diagnósticos referidos al nivel de literacidad evaluativa de los docentes para implementar estrategias especificas tendientes a su mejora. El instrumento utilizado en este estudio puede adaptarse para ser utilizado por el personal que acompaña estos procesos de formación.
Es necesario continuar aportando evidencias de validez de instrumentos que puedan ser utilizados en instituciones formadoras de docentes para valorar su nivel de literacidad evaluativa.
En este estudio se encontraron hallazgos importantes, sin embargo se debe reconocer como una limitación que el uso del auto-reporte para conocer el nivel de literacidad evaluativa de los docentes no necesariamente refleja sus prácticas reales. Dado que existen diferentes formas de aproximarse al estudio de la literacidad evaluativa de los docentes (Howell, 2013), se sugiere realizar estudios cualitativos que permitan confrontar la información recabada mediante el auto-reporte, en los que se valore, en la práctica, el conocimiento y uso que hacen los docentes de la evaluación, por ejemplo, mediante el análisis de instrumentos de evaluación elaborados por ellos, planeación didáctica, entrevista semiestructurada, entre otros. Como señala Andrade (2020), se puede explorar en qué medida se concreta en los hechos lo señalado por los docentes. Asimismo en estos estudios deberá considerarse a otros actores de la educación, ya que en un sentido amplio esta literacidad involucra también a otras figuras como asesores, directivos y planificadores de políticas educativas (Huang y He, 2016).
Referencias
Adamson, C. (2020). New teacher assessment literacy: Determining and narrowing the gaps. Emerging Perspectives, 4(2), 89-105. https://journalhosting.ucalgary.ca/index.php/ep/article/view/43175
Aguayo, M. (2007). Cómo hacer una regresión logística con SPSS© “paso a paso” (I). DocuWeb Fabis, 0702012. http://metodos-avanzados.sociales.uba.ar/wp-content/uploads/sites/216/2014/03/Regres_log_AGUAYO-otros.pdf
Ahmedi, V. (2019). Teachers’ attitudes and practices towards formative assessment in primary schools. Journal of Social Studies Education Research, 10(3), 161-175. https://www.scopus.com/inward/record.uri?eid=2-s2.0-85073470000&partnerID=40&md5=37a5f12686df73458db628cf4b211943
Akayuure, P. (2021). Classroom assessment literacy levels of Mathematics teachers in Ghanaian senior high schools. Contemporary Mathematics and Science Education, 2(2), 2-9. https://doi.org/10.30935/conmaths/11286
Alkharusi, H. (2011). A logistic regression model predicting assessment literacy among in-service teachers. Journal of Theory and Practice in Education, 7(2), 280-291. https://doi.org/10.17244/eku.94261
Alkharusi, H., Aldhafri, S., Alnabhani, H., y Alkalbani, M. (2014). Classroom assessment: Teacher practices, student perceptions, and academic self-efficacy beliefs. Social Behavior and Personality, 42(5), 835-856. https://doi.org/10.2224/sbp.2014.42.5.835
Andrade, H. (2020). Dimensiones ética y técnica en la literacidad de evaluación de lenguas. Mextesol Journal, 44(1). https://www.mextesol.net/journal/public/files/aa81efa3e840ab003c6990c4e2c52853.pdf
Arce-Ferrer, A., Cab, V., y Cisneros-Cohernour, E. (2001). Teachers’ assessment competencies. https://eric.ed.gov/?id=ED455280
Brookhart, S. (2011). Educational assessment knowledge and skills for teachers. Educational Measurement: Issues and Practice, 30(1), 3-12. https://doi.org/10.1111/j.1745-3992.2010.00195.x
Centro Universitario CIFE (2015). Instrumento “Cuestionario factores sociodemográficos”. https://Cife.Edu.Mx/Recursos/2018/09/28/Instrumentos-de-Evaluacion-y-Diagnostico/
Chappuis, S., Commodore, C., y Stiggins, R. (2016). Balanced assessment systems and student learnig. En Balanced assessment systems: Leadership, quality, and the role of classroom assessment. Corwin Press.
Coombe, C., Vafadar, H., y Mohebbi, H. (2020). Language assessment literacy: What do we need to learn, unlearn, and relearn? Language Testing in Asia, 10. https://doi.org/10.1186/s40468-020-00101-6
Coombs, A., Ge, J., y DeLuca, C. (2021). From sea to sea: The Canadian landscape of assessment education. Educational Research, 63(1), 9-25. https://doi.org/10.1080/00131881.2020.1839353
Daniel, L., y King, D. (1998). Knowledge and use of testing and measurement literacy of elementary and secondary teachers. Journal of Educational Research, 91(6), 331-344. https://doi.org/10.1080/00220679809597563
DeLuca, C., LaPointe-McEwan, D., y Luhanga, U. (2016). Teacher assessment literacy: A review of international standards and measures. Educational Assessment, Evaluation and Accountability, 28(3), 251-272. https://doi.org/10.1007/s11092-015-9233-6
Gudiño, A. (2015). Metodología para determinar las competencias evaluativas de los docentes. Educ@ción en Contexto, 1(2), 56-79. https://dialnet.unirioja.es/servlet/articulo?codigo=6296645
Hailaya, W., Alagumalai, S., y Ben, F. (2014). Examining the utility of Assessment Literacy Inventory and its portability to education systems in the Asia Pacific region. Australian Journal of Education, 58(3), 297-317. https://doi.org/10.1177/0004944114542984
Howell, C. (2013). Development and analysis of a measurement scale for teacher assessment literacy [Tesis de Maestría]. East Carolina University. https://thescholarship.ecu.edu/bitstream/handle/10342/1800/Howell_ecu_0600M_10903.pdf?sequence=1&isAllowed=y
Huang, J., y He, Z. (2016). Exploring assessment literacy. Higher Education of Social Science, 11(2), 18-27. https://doi.org/10.3968/8727
Iqbal, Z., Saleem, K., y Arshad, H. (2020). Measuring teachers’ knowledge of student assessment: Development and validation of an MCQ test. Educational Studies, 49(1), 166-183. https://doi.org/10.1080/03055698.2020.1835615
Liu, X. (2008). Assessing measurement invariance of the teachers’ perceptions of grading practices scale across cultures. Nera Conference Proceedings 2008. 3, 1(20), 70-80.
Looney, A., Cumming, J., van Der Kleij, F., y Harris, K. (2018). Reconceptualising the role of teachers as assessors: Teacher assessment identity. Assessment in Education: Principles, Policy and Practice, 25(5), 442-467. https://doi.org/10.1080/0969594X.2016.1268090
Mertler, C. (2003). Preservice versus inservices teachers’ assessment literacy: Does classroom experience make a difference? Ponencia presentada en la Annual Meeting of the Mid-Western Educational Research Association, Columbus, OH, 2-27. http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.556.4217&rep=rep1&type=pdf
Mertler, C. (2009). Teachers’ assessment knowledge and their perceptions of the impact of classroom assessment professional development. Improving Schools, 12(2), 101-113. https://doi.org/10.1177/1365480209105575
Mertler, C., y Campbell, C. (2005). Measuring teachers’ knowledge & application of classroom assessment concepts: Development of the “Assessment Literacy Inventory”. Ponencia presentada en la Annual Meeting of the American Educational Research Association, Montreal, Quebec.
Morán, R., Cardoso, E., Cerecedo, M., y Ortíz, J. (2015). Evaluación de las competencias docentes de profesores formados en instituciones de educación superior: el caso de la asignatura de tecnología en la enseñanza secundaria. Formacion Universitaria, 8(3), 57-64. https://doi.org/10.4067/S0718-50062015000300007
Muhammad, N., Ali, N., Zamani, S., Yamin, N., e Ismail, N. (2020). Examining assessment literacy: A study of technical teacher. European Journal of Molecular and Clinical Medicine, 7(8), 705-717.
Nikmard, F., y Mohamadi, Z. (2020). Designing and validating a potential assessment inventory for assessing ELTs’ assessment literacy. Language Testing in Asia, 10(1). https://doi.org/10.1186/s40468-020-00106-1
Pérez, J., y López, M. (2022a). Escala para evaluar la literacidad evaluativa en docentes de educación básica. Transdigital, 3(6), 1-27. https://doi.org/10.56162/transdigital159
Pérez, J., y López, M. (2022b). Factores que inciden en la calificación que los docentes asignan a los alumnos. Horizontes. Revista de Investigación en Ciencias de la Educación, 6(24), 1120-1130. https://doi.org/10.33996/revistahorizontes.v6i24.401
Plake, B., Impara, J., y Fager, J. (1993). Assessment competencies of teachers: A national survey. Educational Measurement: Issues and Practice, 12(4), 10-12. https://doi.org/10.1111/j.1745-3992.1993.tb00548.x
Popham, W. (2018). Assessment literacy for educators in a hurry. ASCD.
Qotboddin, M., Khodabakhshzadeh, H., y Motallebzadeh, K. (2020). Assessment literacy of Iranian EFL teachers: A review of recent studies. Journal of Asia TEFL, 17(2), 689-698. https://doi.org/10.18823/asiatefl.2020.17.2.27.689
Ramírez, A., y Polack, A. (2019). Estadística inferencial. Elección de una prueba estadística no paramétrica en investigación científica. Horizonte de la Ciencia, 7(13), 139-148. https://doi.org/10.26490/uncp.horizonteciencia.2017.13.360
Ramón, P., Aquino, S., y Alejandro, M. (2017). Evaluación de las competencias docentes de profesores de educación media superior del estado de Tabasco, México. Sinéctica, 48, 18.
Romero, M. (2016). Pruebas de bondad de ajuste a una distribución normal. Enfermería del Trabajo, 6(3), 105-114. https://dialnet.unirioja.es/servlet/articulo?codigo=5633043
Soodmand, H., y Ranjbar, N. (2021). EAP teachers’ assessment literacy: From theory to practice. Studies in Educational Evaluation, 70, 101042. https://doi.org/10.1016/j.stueduc.2021.101042
Stiggins, R. (1991). Assessment literacy. Phi Delta Kappan, 72(7), 34-39.
Stiggins, R. (2017). The perfect assessment system. ASCD.
Tagele, A., y Bedilu, L. (2015). Teachers competence in the educational assessment of students: The case of secondary school teachers in the Amhara National Regional State. The Ethiopian Journal of Education, 35(2), 163-191.
Yamtim, V., y Wongwanich, S. (2014). A study of classroom assessment literacy of primary school teachers. Procedia - Social and Behavioral Sciences, 116, 2998-3004. https://doi.org/10.1016/j.sbspro.2014.01.696
Zhang, Z., y Burry-Stock, J. (1997). Assessment practices inventory?: A multivariate analysis of teachers’ perceived assessment competency. Ponencia presentada en la Annual Meeting of the National Council on Measurement in Education, Chicago, IL.
Author notes
Additional information
redalyc-journal-id: 5216