Introducción

En la Universidad Jorge Tadeo Lozano se ha implementado, en los dos últimos años, la modalidad de clase con grupos grandes en varias de las asignaturas del plan de estudio de diferentes programas. Una de ellas es Pensamiento Matemático, asignatura diri­gida a una importante cantidad de programas académicos de la Universidad y que nor­malmente se cursa en los primeros semes­tres. Dentro de los aspectos positivos de las clases con grupos grandes, está el hecho de que se han logrado homogeneizar los conte­nidos para los 6 grupos de la asignatura, conformados en promedio por 100 estu­diantes cada uno, divididos en aproximada­mente 27 grupos de 24 estudiantes para el ta­ller, espacio en el cual se resuelven dudas y los estudiantes son evaluados.

Otro aspecto que interesa homogeneizar es la evaluación que se realiza en esta asig­natura. Para lograrlo se planteó, en el marco de una Convocatoria de Innovación Peda­gógica lanzada por la Universidad en el año 2015, un proyecto de investigación en la lí­nea de pedagogía y evaluación, para elabo­rar una base de preguntas con retroalimentación que facilite la apropiación y afianza­miento de los contenidos matemáticos de los estudiantes, que está disponible en un en­torno digital en línea.

En una primera experiencia piloto, se te­nía una base de preguntas que no estaba di­señada atendiendo a los parámetros de ela­boración de preguntas cerradas, pues las opciones de respuesta no respondían a una razón específica para incluirla y no contaban con retroalimentación. El proyecto plante­ado concentró su atención en dos puntos im­portantes; el primero atendió al hecho de que cada opción de respuesta surgiera de una po­sible dificultad, error o duda que pudieran tener los estudiantes, y el segundo, a incluir en cada opción de respuesta una retroalimentación que le indicara al estudiante dónde es­taban las fallas y qué podía hacer para supe­rar el error o duda.

Así se elaboraron cerca de 350 preguntas con retroalimentación, las cuales se crearon con base en los objetivos de aprendizaje de cada uno de los tres momentos en que está dividido el semestre. Las preguntas estuvie­ron a disposición de los estudiantes para la preparación de los exámenes de los mo­mentos II y III del segundo semestre de 2015 y de los tres momentos del primer semestre de 2016. El entorno digital en línea que se utilizó fue la plataforma Moodle de la Uni­versidad, Ambiente de Aprendizaje Tadeísta -AVATA-, donde los estudiantes encontraron un modelo de examen (ME) que incluyó los contenidos del momento correspondiente; pudieron acceder a este examen las veces que quisieron, desde cualquier parte y con diferentes tipos de dispositivos gracias al diseño web-responsive de la plataforma. Cada vez que el estudiante realizaba un nuevo intento, podía obtener preguntas di­ferentes sobre los temas que debía repasar.

Para evaluar los resultados de la implementación del proyecto se realizaron dife­rentes acciones: recolección de datos rela­cionados con los resultados, tanto de los ME para ejercitación como de los exámenes que presentaron los estudiantes en cada mo­mento, junto con las notas definitivas del momento y del curso. Se organizaron reu­niones con estudiantes en grupos focales para recibir de primera mano las observa­ciones que tenían sobre la base de preguntas y se hicieron entrevistas y encuestas a estu­diantes del curso y a profesores que están a cargo de los grupos de taller.

Al observar la base de preguntas a través del grupo focal y de las entrevistas a los es­tudiantes, se obtuvieron diferentes percep­ciones que permitieron mejorar la forma de presentar la retroalimentación y observar qué es lo que más favorece a los estudiantes de las retroalimentaciones, y cómo facili­tarlas para su comprensión.

Con el análisis de la información reco­gida, se presentan los efectos que tiene en el desempeño en la asignatura, el acceso a esta base de preguntas con retroalimentación para preparar los exámenes. De igual manera se proponen algunas recomendaciones con el fin de fortalecer en número y calidad el banco de preguntas, al igual que incluir en la retroalimentación otros formatos para lle­gar al estudiante.

Los ME se continuarán ofreciendo a los estudiantes como apoyo a la preparación de las evaluaciones del semestre. El análisis estadístico de los resultados junto con las valoraciones cualitativas que emitan los estu­diantes se emplearán para realizar los ajustes correspondientes, de modo que la base continúe siendo utilizada.

La evaluación formativa en matemática y el uso de recursos digitales

La evaluación en matemática ha tomado diferentes matices con el paso del tiempo. A comienzos del siglo XX se consideraba que el uso de pruebas técnicas y cuantitativas era útil para mejorar los resultados y para diag­nosticar y clasificar a los estudiantes según sus necesidades de aprendizaje (Symonds, 1927; Thorndike, 1913). Sin embargo, al fi­nal del siglo XX había un nuevo enfoque que pensaba en la evaluación como una he­rramienta del proceso de aprendizaje, útil para mejorar la comprensión del estudiante (Black & William, 1998; Gipps, 1999; She­pard, 2000), promoviendo así la evaluación formativa.

La revisión constante de la comprensión que los estudiantes tienen de los temas abor­dados hace que los profesores refuercen y adecúen el proceso de aprendizaje eficaz­mente, y permite que ellos asuman la res­ponsabilidad de reflexionar y supervisar su propio proceso. Un análisis de Black y Wi­lliam (1998) determinó que la evaluación formativa produce mejores beneficios que otras herramientas de enseñanza, como por ejemplo, la enseñanza intensiva de lectura, las clases particulares, entre otras.

Sadler (1989) señaló que no es suficiente que los profesores den una retroalimentación simple a sus estudiantes, en la cual se indi­que si la respuesta es correcta o incorrecta. Para que una retroalimentación sea efectiva, debe estar relacionada con los objetivos de aprendizaje del curso y mostrar al estudiante posibles estrategias de mejoramiento. At­kin, Black y Coffey (2001) incluyeron pre­guntas clave para evaluar el proceso de aprendizaje: ¿a dónde tratas de ir? (obje­tivo), ¿dónde estás ahora? (dificultades), ¿cómo puedes llegar ahí? (estrategias de me­joramiento), las cuales dieron una orienta­ción diferente a la evaluación.

En el proceso de la creación de recursos para la evaluación formativa existen algunos elementos fundamentales (Shepard, 2006): (a) selección del contenido, (b) establecer criterios, (c) progresiones del aprendizaje, (d) evaluación del conocimiento previo, (e) criterios explícitos y el uso de guías de ca­lificación (rúbricas), (f) retroalimentación.

El modelo de evaluación formativa de­muestra que la retroalimentación es más efi­caz cuando se centra en cualidades particu­lares del trabajo del estudiante en relación con criterios establecidos y presenta una guía sobre qué hacer para mejorar (Shepard, 2006). Esto implica que la retroalimentación debe ocurrir durante el proceso de aprendizaje, y tanto el profesor como los estudiantes deben comprender que la finali­dad de la retroalimentación es facilitar el aprendizaje y puede significar que la califi­cación queda en suspenso durante la etapa formativa (Kluger & DeNisi, 1996).

En un estudio de intervención, Elawar & Corno (1985) encontraron que los profeso­res mejoraban extraordinariamente la efica­cia de la retroalimentación cuando se con­centraban en estas preguntas: ¿cuál es el error principal? ¿Cuál es la razón probable de que el estudiante cometiera este error? ¿Cómo puedo guiar al estudiante para que evite el error en un futuro? Así se logró en­tender la retroalimentación como una expe­riencia que incrementa el aprendizaje, nece­saria en el aula para comprobar la compren­sión de los estudiantes y asegurar que ellos se orienten para no persistir en los mismos errores (Elawar & Corno, 1985).

La evaluación formativa basada en la de­finición de Black y William (2009) se puede adaptar al contexto de aprendizaje en línea. La retroalimentación puede llegar a reali­zarse en un espacio de interés como las pla­taformas virtuales para crear un acerca­miento más directo por parte de los estu­diantes con los contenidos de las asignatu­ras. Los beneficios que se pueden identificar incluyen el aumento en la participación del estudiante y centralidad en el proceso como factores claves, incluyendo la posibilidad de desarrollo de una comunidad de aprendi­zaje.

Según Gikandi y colaboradores (2011), la evaluación formativa en línea puede fun­cionar como una estrategia pedagógica in­novadora mediante las siguientes posibili­dades: retroalimentación formativa e inme­diata, compromiso con la crítica de los pro­cesos de aprendizaje y promoción de la edu­cación equitativa. Estas proporcionan a los estudiantes, con una variedad de necesidades individuales, diversas oportunidades de aprendizaje, en las que ellos centren su in­terés en conocerse, observarse y reflexionar sobre su aprendizaje y no en obtener una buena calificación (Díaz Barriga Cásales & Pacheco Méndez, 1997). La retroalimenta­ción formativa puede promover el compro­miso del estudiante, así como mejorar su motivación para aprender (Sancho-Vinuesa & Escudero Viladoms, 2012).

Diversos resultados se han reportado en relación con el uso de bancos de preguntas en línea como herramienta de apoyo a la evaluación formativa. En el trabajo de Blanco y Ginovart (2012) se concluye que los quizzes construidos en Moodle para es­tudiantes de primer año en cursos de Mate­mática pueden ser considerados como una herramienta adecuada para informar a los es­tudiantes sobre su desempeño a lo largo de su proceso de aprendizaje, contribuyendo además a la promoción de su autorregula­ción y trabajo frecuente durante el período académico. Otro de los aspectos de gran va­loración fue que se permitió llevar a cabo una evaluación formativa para grupos gran­des de estudiantes sin sobrecargar a los pro­fesores.

En otros contextos de aprendizaje por fuera de la educación universitaria, los pro­cesos de evaluación formativa a través de herramientas en línea han mostrado también interesantes resultados, como es el caso del trabajo de Lawton y colaboradores (2012), donde el análisis de dos cursos de aprendi­zaje en línea para un ambiente de trabajo en ingeniería mostró que la posibilidad de con­tar con evaluación formativa apoyada por retroalimentación con recursos tipo video, así como un diseño instruccional detallado, re­presenta una diferencia sustancial y favora­ble en el aprendizaje, sin tanta dependencia del conocimiento previo.

Por otro lado, una de las dificultades identificadas en el uso y apropiación de he­rramientas en línea para la evaluación for­mativa se relaciona con que el acceso a es­tos recursos aún no sucede de forma espon­tánea por parte de los aprendices (Lawton et al., 2012), dejando abierto un campo de aná­lisis para las formas de promoción de estas herramientas que favorezcan su uso.

Como recurso de diagnóstico para el di­seño curricular, la evaluación formativa apo­yada por recursos en línea también ha mos­trado resultados destacables. En el trabajo realizado por Tempelaar y colaboradores (2012), se indica cómo la aplicación de la evaluación formativa en cursos de matemá­tica durante los primeros años de universi­dad ha permitido identificar los diferentes estados de preparación de los estudiantes, brindando así importante información para atender esta franja preparatoria y mostrando mejores resultados en quienes participan de estos cursos.

En el estudio que se presenta, la aten­ción se centró en el fortalecimiento de la evaluación formativa, haciendo que el banco de preguntas diseñado llegara a un público amplio de estudiantes, les permitiera reco­nocer sus dificultades y les diera la posibi­lidad de reflexionar sobre su proceso de aprendizaje con el fin de llegar mejor pre­parados al momento evaluativo de los obje­tivos de aprendizaje propuestos.

Participantes

La población considerada para el pre­sente estudio está conformada por todos los estudiantes de la asignatura Pensamiento Matemático del tercer periodo de 2015 (2015-III) y del primer periodo de 2016 (2016-I). Un segmento de estos estudiantes respondió una encuesta^[1] que permitió ca­racterizar la población objeto de estudio, con el propósito de conseguir un diseño del banco de preguntas pertinente para la au­diencia objetivo. En el 2015-III se inscri­bieron al curso 587 estudiantes, de los cua­les 504 (85.9%) participaron en la encuesta, en tanto que de los 601 estudiantes inscritos en el primer semestre de 2016, 342 (56%) lo hicieron. En la Tabla 1 se muestran algunas características de la población de estudian­tes de los dos semestres considerados en el estudio. La Tabla 2 muestra otros aspectos académicos de la población objeto de estu­dio, incluidos en la encuesta. En ambos pe­riodos de investigación, las actividades que más realizaban eran: leer, comunicarse por internet y navegar por internet.

Aunque la población que respondió la encuesta en el 2016-I fue solo del 56%, las características son muy similares en los dos semestres, como lo muestran las descripcio­nes anteriores.

Instrumento

Diseño del banco de preguntas en línea.

Dado que la plataforma AVATA de la Uni­versidad J.T. Lozano permite apoyar el pro­ceso enseñanza-aprendizaje entre estudian­tes y profesores para integrar a toda la comunidad por medio del uso de tecnología, y además promueve la autonomía del estu­diante para las diferentes actividades acadé­micas en sus estudios, el proyecto se enfocó en crear una base de preguntas con retroalimentación utilizando AVATA.

Esta base de preguntas se construyó en relación con los contenidos de la asignatura Pensamiento Matemático, que están distri­buidos en tres momentos y que desarrollan el concepto de función, sus generalidades, ti­pos de función y problemas de aplicación. Para su desarrollo se hizo una revisión de los objetivos de aprendizaje de la asignatura para establecer sobre cuáles se elaborarían preguntas que fueran útiles, tanto para la preparación de los exámenes de cada mo­mento como para el afianzamiento y conso­lidación conceptual de la matemática.

La base de preguntas se elaboró a partir de las directrices del Instituto Nacional para la Evaluación de la Educación en México (INEE, 2005) para el diseño de preguntas ce­rradas. Se creó un formato de hoja de vida para cada pregunta en el cual se mencionan aspectos fundamentales de cada una, como dominio conceptual, dominio cognitivo, tipo de pregunta, fecha de construcción, persona responsable, fecha de última revisión, per­sona que la revisa, clave de la pregunta, enunciado de la pregunta, opciones de res­puesta, justificación del porqué de cada op­ción, información y ayudas a incluir en la retroalimentación de cada opción de respuesta. Cada pregunta tiene cuatro opciones de res­puesta, cada una de las cuales responde al análisis realizado para los diferentes conte­nidos, información plasmada en su hoja de vida, que orientó la elaboración de la retroalimentación de cada opción.

Una vez acordados los temas sobre los cuales se iban a elaborar las preguntas, se es­tableció la cantidad de preguntas atendiendo a los dominios conceptuales y a los niveles de dificultad. Se ingresaron las preguntas para cada uno de los contenidos de los tres momentos en que se divide el semestre, ela­boradas con el formato, las imágenes y los textos necesarios. En la retroalimentación se explicaba al estudiante el tipo de error que cometía al marcar una respuesta incorrecta; se utilizaron imágenes, en las cuales se pre­sentaban ejemplos similares o ideas básicas del concepto estudiado, para que pudiera re­lacionar los procesos y conceptos vistos con la pregunta que debía responder.

En la Figura 1 se muestra el ejemplo de una pregunta publicada en AVATA y su res­pectiva retroalimentación.

Procedimiento

La elaboración de esta base de preguntas en línea con retroalimentación tenía como objetivo observar su efecto, por un lado, so­bre el desempeño de los estudiantes en las evaluaciones aplicadas durante el semestre, y por otro, sobre la consolidación de estruc­turas conceptuales matemáticas en ellos.

Todas las preguntas, alrededor de 350, se publicaron en la plataforma AVATA de la Universidad y se pusieron a disposición de los estudiantes dos semanas antes de la fecha de presentación del examen de cada mo­mento o periodo. Se diseñaron modelos de examen que incluían los temas a evaluar en cada momento y a los cuales era posible ac­ceder las veces que lo desearan; estos exá­menes se programan para ser calificados en línea y para emitir la nota correspondiente tan pronto se envía el examen.

En el 2015-III se dispusieron en la plata­forma cinco modelos de examen: cuatro en el momento dos (M2) y uno en el momento tres (M3). De los cuatro modelos de examen del M2, uno se elaboró incluyendo todos los temas vistos y los otros tres por temas se­parados. En el M3 se diseñó un solo examen atendiendo a una solicitud hecha por los es­tudiantes de trabajar un único modelo de examen con todos los temas para realizar un mayor número de intentos sobre la misma prueba y estudiar así todo lo que se incluiría en el examen. En el 2016-I se diseñaron cuatro exámenes; uno para el momento uno (M1), dos para el segundo y uno para el ter­cero, que incluyeron los temas vistos en cada periodo del semestre.

El análisis de información que permitió identificar los cambios que se dieron en el desempeño y percepción de los estudiantes a partir del uso del banco de preguntas en lí­nea, se hizo desde un enfoque mixto que consideró aspectos cualitativos y cuantitati­vos para enriquecer el análisis (Bishop­Clark & Dietz-Uhler, 2012). De un lado, a través de grupos focales, encuestas y entre­vistas con estudiantes que accedieron o no a los ME, y de otro lado, por medio de los re­sultados obtenidos por los estudiantes en los ME y en las evaluaciones que presentaban en cada momento. Las calificaciones obte­nidas en los exámenes en línea se obtuvieron directamente de la plataforma AVATA y las demás, de los registros de notas que hicieron los profesores en cada momento. Para pro­cesar la información obtenida tanto cualita­tiva como cuantitativa, se pidió el consenti­miento informado a los estudiantes en cada instancia en que se obtenía información.

Resultados y discusión

Resultados de desempeño obtenidos por los estudiantes en la asignatura Pensa­miento Matemático en 2015-III y 2016-I

En la Figura 2 se muestran los resultados de las evaluaciones parciales y definitiva de cada momento, al igual que la del curso, tanto del semestre 2015-III como del 2016- I. Se observa que en ambos semestres hay una tendencia a obtener mejores resultados cuando los estudiantes acceden a los mode­los de exámenes disponibles en AVATA, que cuando no los utilizan.

Para los nueve ME que se dispusieron en AVATA se realizaron diferentes análisis cuantitativos para establecer las caracterís­ticas de cada uno. La nota promedio obteni­da en cada examen, el porcentaje de aproba­ción, el porcentaje de intentos que obtuvie­ron cero, el número de intentos realizados y finalizados, al igual que el número de estu­diantes que realizó por lo menos un intento en cada evaluación, se describen en las Ta­blas 3 y 4.

Entre los aspectos a destacar que se se­ñalan en las Tablas 3 y 4, está el promedio obtenido por los estudiantes que aprobaron el examen, el cual se encuentra en el rango 3.6-3.8. Cerca de la mitad de los intentos, en ambos periodos estudiados, tienen una nota aprobatoria (mayor o igual que 3.0). En cuanto al número total de intentos realizados en los diferentes exámenes, se observa una variabilidad entre 349 y 1743. Para el M2 de 2015-III se realizaron en total 1875 intentos repartidos entre los cuatro exámenes dis­puestos en AVATA, en tanto que en el M1 del 2016-I en una sola evaluación se reali­zaron 1470.

La diferencia entre el número de intentos registrados y finalizados está en la cantidad de estudiantes que inicia el examen y lo ter­mina. Algunos estudiantes entran, miran el examen y contestan una o dos preguntas pero no lo envían; de esta forma no queda registrada la nota y por lo tanto no se conta­biliza dentro de los intentos finalizados. En el 2016-I se observó que el número de in­tentos iniciados y finalizados, en tres de los cuatro exámenes puestos a disposición de los estudiantes, coincide; en esos casos, to­dos los estudiantes entraron, y aunque res­pondieron muy pocas preguntas, lo finaliza­ron y enviaron. Por ello, se registran más no­tas entre 0 y 1 en el periodo 2016-I, y así el promedio disminuye. En el 2015, la fre­cuencia de intentos registrados con notas en el rango 0-1.0 fue de 14.8%, en tanto que en el 2016-I dicha frecuencia fue de 17%.

Por otro lado, se realizó un análisis esta­dístico de las notas obtenidas en los parcia­les y definitivas de cada uno de los tres mo­mentos de los dos semestres que se inclu­yeron en el estudio. Con la ayuda del pro­grama Statgraphics, para análisis de datos, se compararon estas notas entre los estu­diantes que utilizaron los modelos de par­ciales y los que no accedieron a ellos. Se aplicó una prueba de Bondad-de-Ajuste en la cual se encontró que las notas obtenidas en los parciales y en las definitivas de los dos periodos analizados, tienen una distri­bución normal con un 95% de confianza.

En el análisis estadístico realizado, al comparar las notas de los parciales de quie­nes utilizaron el modelo de examen con las de quienes no lo utilizaron, se encontró que en cada uno de los momentos tanto del 2015-III como del 2016-I la nota promedio con modelo supera a la nota promedio sin modelo. La prueba t permitió concluir que con una probabilidad del .95 se estima que el valor verdadero de la diferencia entre el promedio de nota del parcial del momento 2 con modelo de examen (PM2_CME) y el promedio de nota del parcial del momento 2 sin modelo de examen (PM2_SME) está en­tre .13 y .45, es decir que la nota promedio con modelo supera a la nota promedio sin modelo entre .13 y .45.

Comparación de medias:

Intervalos de confianza del 95% para la media de PM2_CME: 2.74487 +/- .0994525 [2.64542; 2.84432]

Intervalos de confianza del 95% para la media de PM2_SME: 2.45417 +/- .129649 [2.32452; 2.58382]

Intervalos de confianza del 95% para la diferencia de medias suponiendo varianzas iguales: .290705 +/- .162133 [.128572; .452838]

Prueba t para comparar medias:

Hipótesis nula: media PM2_CME1 = me­dia PM2_SME

Hipótesis Alterna: media PM2_CME1 > media PM2_SME

Suponiendo varianzas iguales: t = 3.52272 valor-P = .000233066

Se rechaza la hipótesis nula para alfa = .05.

El análisis anterior se realizó para todos los resultados obtenidos en los parciales, y dado que cumplen con los supuestos del procedimiento estadístico de un intervalo de confianza y una prueba de hipótesis (igualdad de varianzas y normalidad en cada muestra), las estimaciones hechas son váli­das a nivel estadístico, es decir, los resulta­dos obtenidos por los estudiantes que sí uti­lizaron el examen modelo como apoyo para la preparación de los parciales es significa­tivamente mayor que los de aquellos que no accedieron a dichos exámenes; esto se veri­fica en los dos semestres del estudio.

Frecuencia del uso del banco de pre­guntas.

Se realizó el análisis de la frecuencia del número de intentos para cada ME y se se­leccionaron los resultados del ME-M3 de 2015-III y ME-M1 de 2016-I para ilustrar el comportamiento general, los cuales se mues­tran en la Figura 3. En general, en todos los exámenes se presentaron las mayores fre­cuencias entre uno y cinco intentos, siendo siempre muy superior, un solo intento. En ambos semestres se exhibieron casos de es­tudiantes que accedieron al examen más de 8 veces, con dos casos a destacarse: un es­tudiante que realizó el ME-M1 de 2016-I, 27 veces, y otro estudiante que realizó 31 veces el ME-M2 de 2016-I.

Porcentaje de nota.

La nota obtenida en todos los intentos de cada ME se analizó a través de histogramas de frecuencia para establecer el porcentaje de nota obtenida en cada uno de los 5 rangos que se determinaron para el análisis. Los resultados en ambos periodos señalan mayor cantidad en los rangos 2.0-3.0 y 3.0-4.0; su­mados los dos rangos se obtiene más del 55%. El mayor porcentaje se presentó en uno de los ME aplicados en el M2 de 2015- III, con un 42.1% en el rango de 3.0-4.0. Los registros en el rango de 4.0-5.0 estuvieron entre el 5.5% y 18.4% de los intentos reali­zados en cada examen. Solo se presentaron dos casos en los que los resultados del mo­delo de examen entre 0 y 1.0 tiene el mayor porcentaje entre los cinco rangos estableci­dos; ME-M2 de 2015-III con 26.1% y ME- M2 de 2016-I con 26.7%. En la Figura 4 se muestra el histograma de frecuencias para los rangos de las notas obtenidas en dos de los modelos de examen.

Nota promedio de cada número de in­tento en los modelos de examen.

En la Figura 5 se incluye las notas pro­medio obtenidas en cada uno de los intentos realizados para ME-M3 de 2016-I; una línea trazada señala el promedio de nota de todos los intentos para dicho examen. La nota pro­medio de todos los ME puestos a disposición de los estudiantes para el 2015 fue 2.7 y para el 2016, 2.4. En la nota promedio de los exámenes del 2016-I se observó una mejora a medida que los estudiantes realizaban más intentos, contrario a lo observado en los exá­menes del 2015-III en los que no hay cam­bio entre las notas promedio de los cuatro primeros intentos. Por otro lado, no es con­cluyente el hecho de que si hacen más de 8 intentos la nota sea mejor; en algunos exá­menes se observan mejores resultados cuan­do aumenta el número de intentos, pero en otros hay resultados bajos cuando hacen múltiples intentos.

¿Cómo se percibe el banco de preguntas por diferentes grupos de estudiantes?

Durante la implementación del banco de preguntas en el primer semestre de 2016 se aplicaron instrumentos de valoración cuali­tativa a diferentes segmentos de estudiantes, respondiendo al número de veces que acce­dieron al banco de preguntas. Para el caso de un grupo de estudiantes que nunca accedie­ron, se aplicó una entrevista personal para indagar sobre las posibles razones; para un grupo de estudiantes que accedieron entre una y seis veces, que fue el rango general identificado, se aplicó un grupo focal que también buscaba caracterizar las razones vinculadas con el uso del recurso; final­mente se aplicó una encuesta en línea para un grupo de estudiantes que accedieron más de 6 veces.

Para participar de este ejercicio, los estu­diantes fueron notificados sobre la inten­ción de un grupo de profesores de observar los posibles efectos de usar un banco de pre­guntas sobre Pensamiento Matemático en su desempeño en la asignatura. Dicha noti­ficación fue realizada de forma verbal en espacios definidos dentro del horario de clase y acompañada por un consentimiento informado.

Estudiantes que no accedieron al banco de preguntas.

Para este caso se contó con la participa­ción de 14 estudiantes que atendieron a una entrevista individual (o en parejas) en la que se indagó por las razones de no acceso al banco de preguntas. En la generalidad de los casos, los estudiantes manifiestan que care­cen de tiempo para ingresar al banco de pre­guntas. En algunos casos, las asignaturas propias de la carrera fueron priorizadas so­bre el uso del banco de preguntas de Pensa­miento Matemático y finalmente, algunos estudiantes infieren que no es necesario in­gresar a los ME, pues las preguntas son per­cibidas con niveles diferentes (más sencillas o más difíciles) que las del examen califica­ble y, por lo tanto, poco útiles como herra­mienta de estudio.

Estudiantes que accedieron al banco de preguntas entre 1 y 6 veces.

Se contó con la participación de 18 estu­diantes que atendieron a una sesión de grupo focal en donde inicialmente fueron invitados a responder unas preguntas de manera es­crita y posteriormente a compartir sus res­puestas a modo de plenario. Para ellos, el banco de preguntas es considerado como una herramienta útil de estudio, incluso como una alternativa en ocasiones en las cuales no se puede asistir a algunas sesiones de clase. Además, califican la experiencia de usuario como sencilla y consideran positivo ue se brinden retroalimentaciones a partir el error o del acierto. Por otro lado, opinan que el banco de preguntas hace evidente la importancia que tiene el reconocimiento del lenguaje matemático.

Asimismo, estos estudiantes sugieren me­jorar la calidad de las descripciones en las retroalimentaciones, especialmente en cuan­to a la claridad del texto y el nivel de pro­fundidad de las explicaciones, revisar la ali­neación entre el estilo y nivel de comple­jidad de las preguntas del banco y las pre­guntas del examen oficial y dejar disponible el banco con una mayor anticipación al exa­men oficial.

Estudiantes que accedieron al banco de preguntas más de 6 veces.

Participaron 19 estudiantes que respon­dieron a una encuesta en línea que fue dis­puesta a través de AVATA y enviada a través de sus correos electrónicos. La mayoría de estos estudiantes está de acuerdo que hacer varias veces los modelos de examen dispo­nibles, afecta positivamente su nota de los exámenes oficiales. Algunos de ellos consi­deran conveniente que el profesor reitere con frecuencia durante la clase la existencia del banco de preguntas y su carácter forma­tivo.

Conclusiones y recomendaciones

Los cambios registrados en las califica­ciones de los estudiantes en relación con el acceso a los modelos de examen, reflejaron en promedio un mejor comportamiento para los estudiantes que accedieron por lo menos una vez a alguno de los exámenes. Entre un 37% y un 60% de los estudiantes respon­dieron alguno de los modelos de examen puestos a disposición en la plataforma AVATA en los semestres en los que se rea­lizó el estudio. Se hicieron entre 349 y 1473 intentos y el mayor número se ubicó en el examen del momento 1 del 2016-I con 1470 intentos finalizados de los 1473 iniciados. Una nota mayor que 3.0 se obtuvo en cerca de la mitad de los intentos de los exámenes realizados; el promedio de la nota aproba­toria se localizó entre 3.6 y 3.8.

Al realizar el análisis de los resultados obtenidos en cada examen se encontró que el número de intentos realizados por cada es­tudiante varió entre 1 y 31, observando ma­yor proporción en los intentos del 1 al 5, des­tacándose en todos los modelos de examen un solo intento. Muy pocos estudiantes hi­cieron entre 15 y 31 intentos para resolver algún modelo de examen.

En los rangos de nota de 2.0-3.0 y 3.0-4.0 se encontraron la mayor cantidad de regis­tros; la suma del porcentaje obtenido en los dos rangos supera el 45% de los intentos de cada examen. Los registros de nota en el rango 4.0-5.0 tienen el más bajo porcentaje; entre el 5.5% y 18.4%. La nota promedio de todos los modelos de examen en el 2015-III fue de 2.7 y en el 2016-I de 2.4. A pesar de ser más baja la nota promedio del 2016-I, por influencia del número de notas registra­das por debajo de 1.0, se notó una mejora en la nota promedio a medida que los estu­diantes realizaban más intentos, contrario a lo observado en el 2015-III en donde en los cuatro primeros intentos no hubo un cambio importante.

Si bien solo un segmento reducido de los estudiantes participa en la encuesta, la en­trevista y el grupo focal, es de interés que sus percepciones están alineadas con dichos resultados, siendo especialmente relevante el concepto favorable sobre la posibilidad de recibir retroalimentación en los casos donde tenían tanto respuestas correctas como incorrectas.

Dentro de las percepciones de los estudiantes fue recurrente encontrar la aprecia­ción de que los profesores no fueron persis­tentes en recordarles la existencia de los modelos de examen o que no era clara la uti­lidad de su uso. Esto resalta el papel relevante del profesor como facilitador de la apropiación y uso de este tipo de recursos de aprendizaje y la importancia de ser reitera­tivo de su disponibilidad, especialmente considerando que se trata de una población que está comenzando su proceso de forma­ción en la Universidad y necesita pautas para la regulación inicial de su autonomía.

La comunicación verbal durante las cla­ses o vía correo electrónico, como principa­les medios de comunicación, así como la presencia explícita de estos recursos en el plan de la asignatura que los estudiantes re­ciben al inicio del semestre, son algunas de las acciones pertinentes para este propósito. Igualmente, el acceso por parte del profesor al banco de preguntas en algunas sesiones de clase puede detonar el interés de aquellos es­tudiantes que aún no han accedido al re­curso y anticipar posibles inquietudes.

En adición a esto, sería recomendable que estos modelos de examen fueran intro­ducidos dentro de la asignatura como una herramienta de autodiagnóstico que invite a los estudiantes a reconocer su nivel de pre­paración para los exámenes oficiales, sin la presión que implica una actividad grupal en clase o un examen calificable.

El factor manejo del tiempo es también una razón presentada por algunos estudian­tes para omitir el acceso al modelo de exa­men. En contraste, esta misma razón podría convertirse en una oportunidad para promo­ver su uso como una alternativa de manejo autónomo de su tiempo, con la posibilidad de ser accedido desde cualquier lugar y en su propia disponibilidad horaria.

En los semestres siguientes al estudio se espera continuar con la utilización del banco de preguntas para preparar los parciales que se programan para evaluar la asignatura. Con base en los resultados tanto cualitativos como cuantitativos que se obtuvieron del estudio, se realizarán ajustes al banco de preguntas (corrigiendo algunas, incluyendo otras, adecuando la retroalimentación, etc.), igualmente mejorar los canales de comuni­cación con los estudiantes y profesores, de modo que los primeros estén enterados de la disponibilidad de los modelos de examen y los segundos apoyen esta actividad en be­neficio de la apropiación y afianzamiento de los conocimientos matemáticos por parte de los estudiantes que cursan Precálculo.

Para futuros semestres se puede conti­nuar con el análisis estadístico de las pre­guntas con el fin de determinar el grado de dificultad y de confiabilidad de cada ítem o pregunta y la validez y confiabilidad de los exámenes modelo.

Tablas y figuras

Tabla 1

Tabla 1

Tabla 2

Tabla 2

Tabla 3

Tabla 3

Tabla 4

Tabla 4

Figura 1
Figura 1

Figura 2
Figura 2

Figura 3
Figura 3

Figura 4
Figura 4

Figura 5
Figura 5

Referencias bibliográficas

Atkin, J.M., Black, P., & Coffey, J. (2001). Classroom Assessment and the National Science Education Standards. Washington, D.C.: National Academy Press. doi: 10. 17226/9847

Bishop-Clark, C., & Dietz-Uhler, B. (2012). Engaging in the scholarship of teaching and learning: A guide to the process, and how to develop a project from start to finish. Virginia, USA: Stylus publishing, LLC.

Black, P., & Wiliam, D. (2009). Developing the theory of formative assessment. Educational Assessment, Evaluation and Accountability, 21(1), 5-31. doi: 10.1007/s11092-008-9068-5

Black, P., & William, D. (1998). Assessment and classroom learning. Assessment in Education: Principles, Policy, and Practice, 5(1), 7-74. doi: 10.1080/096959598005 0102

Blanco, M., & Ginovart, M. (2012). On how moodle quizzes can contribute to the forma­tive e-assessment of first-year engineering students in mathematics courses. Revista de Universidad y Sociedad del Conocimiento (RUSC), 9(1), 354-370.

Díaz Barriga Cásales, A.R., & Pacheco Mén­dez, T. (1997). Universitarios: institucionalización académica y evaluación. México: UNAM-CESU: Pensamiento Universitario.

Elawar, M.C., & Corno, L. (1985). A factorial experiment in teachers’ written feedback on student homework: Changing teacher beha­vior a little rather than a lot. Journal of Educational Psychology, 77(2), 162-173.

Gikandi, J.W., Davis, N., & Morrow, D. (2011). Online formative assessment in higher edu­cation: A review of the literature. Computers & Education, 57(4), 2333-2351.

Gipps, C. (1999). Socio-cultural aspects of as­sessment. Review of Research in Education, 24(1), 355-392. doi: 10.3102/0091732X024 001355

Kluger, A.N., & DeNisi, A. (1996). The effect of feedback interventions on performance: A historical review, a meta-analysis, and a preliminary feedback intervention theory. Psychological Bulletin, 119(2), 254-284.

Lawton, D., Vye, N., Bransford, J., Sanders, E., Richey, M., French, D., & Stephens, R. (Abril de 2012). Online Learning Based on Essential Concepts and Formative Assess­ment. Journal of Engineering Education, 101(2), 244-287. doi: 10.1002/j.2168-9830. 2012.tb00050.

Sadler, R. (1989). Formative assessment and the design of instructional assessments. Instructional Science, 14, 119-144.

Sancho-Vinuesa, T., & Escudero Viladoms, N. (2012). ¿Por qué una propuesta de evalua­ción formativa con feedback automático en una asignatura de matemáticas en línea? RUSC. Universities and Knowledge Society Journal, 9(2), 59-79.

Shepard, L.A. (2000). The role of assessment in a learning culture. Educational Research­er, 29(7), 4-14.

Shepard, L.A. (2006). Class Assessment. En R.L. Brennan (Ed.), Educational Measure­ment (4th ed.). Westport: American Council on Education / Praeger.

Symonds, P.M. (1927). Measurement in secondary education. Nueva York: The Macmillan Company.

Tempelaar, D., Kuperus, B., Cuypers, H., Van der Kooij, H., & Van de Vrie, E.H. (2012). The Role of Digital, Formative Testing in e­Learning for Mathematics: A Case Study in the Netherlands. RUSC. Universities and Knowledge Society Journal, 9(1), 92. doi: 10.7238/rusc.v9i1.1272

Thorndike, E.L. (1913). An introduction to the theory of mental and social measurements. Nueva York: Teacher's College, Columbia University.

Notas