Introducción

Existe una amplia bibliografía dedicada a la aplicación en la docencia de estadística de las Tecnologías de la Información y las Comunicaciones (TIC). Uno de los trabajos más recientes (Boyle y otros, 2014) es una revisión narrativa sobre diversos sistemas (basados en juegos, animaciones y simulaciones) aplicados a estadística y métodos de investigación, entre las cuales se cita a e-status. En general, los trabajos de investigación publicados son muy favorables al uso de las TIC, aunque son pocos los que exponen una metodología rigurosa para mostrar su eficacia en el aprendizaje teniendo en cuenta las limitaciones del contexto educativo para poner en marcha diseños experimentales. Se ha enfatizado que una docencia efectiva de la estadística precisa un entorno apropiado para desarrollar el razonamiento estadístico (Ben-Zvi, 2000; Garfield and Ben-Zvi, 2009), entorno en el que las herramientas tecnológicas juegan un papel central.

E-status es un sistema de e-learning que brinda un conjunto de funcionalidades específicas para la resolución de problemas en entornos universitarios del ámbito científico/técnico y que se basa completamente en la web y en herramientas Open Source. Fue desarrollada para favorecer el aprendizaje a partir de la generación y corrección automática de problemas que implican cálculo numérico. Permite al docente el diseño de ejercicios que implican cálculos estadísticos o numéricos, con parte del enunciado parametrizado.

Inicialmente e-status fue desarrollado por un grupo del Departamento de Investigación Operativa de la Universidad Politécnica de Cataluña (González; Muñoz, 2006; González et al, 2010), y en la actualidad este grupo está trabajando conjuntamente con un equipo del Departamento de Ingeniería e Investigaciones Tecnológicas de la Universidad Nacional de la Matanza para llevar a cabo actualizaciones de la plataforma.

Descripción de la plataforma

E-status fue desarrollado para favorecer el aprendizaje a partir de la generación y corrección automática de problemas que implican mayormente cálculo numérico, una necesidad no satisfactoriamente cubierta por las plataformas existentes. Permite al docente el diseño de ejercicios que implican cálculos estadísticos o numéricos, con parte del enunciado parametrizado para dar una propuesta diferente en cada ejecución de los estudiantes. Para la corrección de un problema, e-status ejecuta el código asociado en el software R (http://www.r-project.org) y el resultado obtenido se compara con la solución proporcionada por el alumno. Esto constituye un aporte a la interacción con el usuario: e-status varía las condiciones de cada problema, permite al docente dar sugerencias u orientación en caso de respuestas incorrectas (feedback) y también asignar problemas diferenciados, según criterios pedagógicos y de modo flexible en el tiempo. La plataforma está planteada como una herramienta para fomentar el aprendizaje activo e interactivo por parte del estudiante, facilitando el seguimiento por parte del docente de todo el trabajo realizado por sus estudiantes, aún en grupos numerosos. De esta manera, e-status proporciona autoevaluación, promueve la realimentación (comparar resultados, medir su propio progreso, etc) y el control efectivo del trabajo desarrollado por cada estudiante. Todos los accesos e intentos de resolución de problemas en la plataforma e-status quedan registrados en la base de datos permitiendo análisis posteriores del desempeño de los estudiantes y del material didáctico.

Algunas funcionalidades disponibles en la plataforma

E-status permite presentar a los estudiantes ejercicios que deben resolver y responder, ofreciendo entonces la corrección automática de tales respuestas. Cada ejercicio se compone de un enunciado, datos, y preguntas. En la Fig. 1 se muestra la vista de un problema desde la perspectiva de un estudiante.

Fig. 1
Vista de un problema a resolver por un estudiante

Cada estudiante tiene acceso a su histórico de uso de e-status y a su situación en el conjunto de la clase. Asimismo, los profesores tienen acceso al histórico de todos sus estudiantes, y a herramientas de análisis de las ejecuciones de cada problema. La Fig. 2 muestra una vista de estadísticas de un problema desde la perspectiva de profesor. La ilustración representa una pantalla en la que se describe la tasa de éxito de las diferentes preguntas de un problema sobre todas las realizaciones efectuadas por los estudiantes de cierto curso.

Fig. 2
Vista desde la perspectiva de profesor de estadísticas de un problema

Utilización de e-status en la asignatura Probabilidad y Estadística

En la asignatura Probabilidad y Estadística (PyE) del Departamento de Ingeniería e Investigaciones Tecnológicas (DIIT-UNLaM) se utiliza la plataforma como herramienta de apoyo al aprendizaje, progresivamente desde 2012.

Esencialmente, la plataforma identifica tres perfiles de trabajo: el administrador de la misma, quien gestiona usuarios y permisos, el perfil docente y el perfil estudiante. Estos últimos son los que generan la interacción particular que se destaca aquí de la plataforma.

Para trabajar en la plataforma cada estudiante tiene usuario y contraseña habilitados por el administrador de la plataforma. Es así como la plataforma permite obtener información del uso de la misma por parte de cada usuario, brindando ciertos indicadores. Algunos de estos son:

- Cantidad de ejercicios/problemas seleccionados y trabajados por estudiante.

- Cantidad de repeticiones o ejecuciones realizadas por estudiante por cada problema seleccionado. Corresponde a la cantidad de veces que un estudiante realizó actividades en la plataforma, sin tener en cuenta si las mismas fueron en un problema particular o en varios.

- Nota obtenida en cada problema por cada estudiante.

- Nota media del estudiante, es un promedio de todas las notas obtenida en el total de ejecuciones de problemas realizadas.

Desde el perfil docente, el usuario diseña ejercicios de índole práctica o teórica, donde una de las características principales es la posibilidad de parametrizar los datos que se brindan. En caso de que la respuesta ingresada por un alumno sea incorrecta, la plataforma permite sugerir u orientar al estudiante mediante un feedback en cada ítem de un ejercicio. Los problemas diseñados pueden ser agrupados por los temas que abordan y se puede indicar la dificultad del mismo y asignar determinado intervalo de tiempo para resolverlo. Por último, el docente puede realizar un seguimiento de los estudiantes en relación a notas obtenidas en ejercicios, cantidad de ejecuciones realizadas, entre otros indicadores. Esto permite realizar, además de un seguimiento individual, un análisis más profundo de algún grupo de estudiantes (los de un curso particular, los de un turno en particular, los estudiantes que recursan, etc).

Desde el perfil alumno, el usuario puede seleccionar los ejercicios que desea resolver entre los propuestos por el docente. Un alumno puede trabajar sobre los temas que desee fortalecer y resolver varias veces el mismo problema. En cada ejecución, los datos del problema serán distintos debido a la parametrización del ejercicio programada por el dicente. El alumno puede saber al instante si sus cálculos u opciones de respuesta fueron correctos, y en caso de no serlo, puede obtener un feedback de la plataforma.

El equipo docente de PyE propone distintos tipos de ejercicios y/o problemas. Algunos ejercicios son de índole estrictamente práctica, es decir, de aplicación de modelos estadísticos y cálculos numéricos, y también se ha visto la necesidad de plantear problemas de índole teórica para revisión de conceptos de modo de presentar situaciones donde los estudiantes identifiquen verdaderos o falsos o seleccionen entre respuestas múltiples. Tomando esta línea, se diseñaron e implementaron cerca de 60 problemas en el período 2012 – 2017. Estos problemas van desde los cálculos iniciales de probabilidad hasta complejos problemas sobre inferencia estadística y toma de decisiones.

Materiales y métodos

En este trabajo se presenta un análisis descriptivo de los indicadores de uso de la plataforma y se comparan dichos indicadores con la condición final de los estudiantes de la asignatura PyE durante el primer cuatrimestre del año 2017. Además, se comparan estos resultados con los obtenidos para el primer cuatrimestre del año 2016.

La muestra de análisis está compuesta por 276 estudiantes de la asignatura PyE que cursaron durante el primer cuatrimestre del año 2017 y que además utilizaron la plataforma e-status durante ese período. Esto es, no se consideran aquí los estudiantes que tenían la condición de ausente al final del cuatrimestre. La muestra considerada corresponde a seis cursos distintos, de horarios de mañana, tarde y noche.

Los estudiantes tenían 34 problemas disponibles para resolver en la plataforma. Los datos de la interacción de cada estudiante con la plataforma se sumaron a la información académica disponible para los cursos del primer cuatrimestre del 2017, desde donde se registró la condición de aprobación final alcanzada por cada estudiante. La misma se considera según las siguientes definiciones:

- Ausente: No se registran notas de parciales ni ejecuciones en e-status con lo cual se asume que el estudiante no se presentó a cursar la materia.

- Desaprobado: Son los estudiantes que, si bien registran actividades en la plataforma, desaprobaron ambos exámenes o abandonaron la cursada.

- Cursado: La nota final alcanzada por el estudiante esta entre 4 y 6 (inclusive).

- Aprobado: La nota final alcanzada por el estudiante es por lo menos 7.

Para el análisis realizado no se consideraron los estudiantes en condición ausente dado que no poseen datos de uso de la plataforma e-status y por lo tanto no pertenecen a la muestra seleccionada.

Resultados

Indicadores de la asignatura PyE

Respecto de la condición final en la asignatura PyE de los estudiantes analizados, se observa en la Fig. 3 el alto porcentaje de abandono y desaprobación, aproximadamente la mitad de los estudiantes. La condición de ausente no fue considerada porque, como se dijo anteriormente, no se tiene registro de uso de la plataforma.

Fig. 3
Clasificación de la muestra estudiada según su condición académica

Indicadores de la plataforma e-status

Se seleccionaron tres indicadores a analizar de la plataforma: la cantidad de ejecuciones (realizaciones de problemas) realizadas por los estudiantes, la cantidad de problemas trabajados y la nota media obtenida por cada estudiante. Además, se definió una nueva variable: cociente entre la cantidad de ejercicios realizados por un estudiante y la cantidad de problemas trabajados por el mismo. Con esta nueva variable, podemos ver si los estudiantes realizan muchas repeticiones con relación a la cantidad de problemas que trabajan. En la Tabla 1 se muestran algunas medidas resúmenes de estas variables.

Tabla 1
Análisis descriptivo de los indicadores obtenidos de la plataforma

Para analizar el impacto que tiene el uso de la plataforma en el rendimiento o condición final en la asignatura, el análisis descriptivo de los indicadores explorados anteriormente se clasificó según la condición final académica alcanzada por los estudiantes.

El análisis descriptivo de la cantidad de problemas trabajados según la condición final de los 276 estudiantes bajo análisis, muestra que los que aprobaron la materia realizaron, en media, 9.8 problemas, los estudiantes que alcanzaron la condición de “cursada” (adeuda examen final) realizaron en media 8 problemas y, por último, los que desaprobaron o abandonaron la asignatura realizaron en media menos de 5 problemas.

También se observó que el 50% de los casos que obtienen Aprobado o Cursado realizan al menos 9.75 y 8 (respectivamente) ejercicios/problemas distintos, mientras que el 50% de los casos que obtienen Desaprobado o Abandono realizan a lo sumo 3 ejercicios distintos.

Se destaca también que los casos que obtienen Aprobado o Cursado realizaron entre 2 y 34 ejercicios distintos, mientras que los casos de desaprobado o abandono realizaron entre 1 y 25 ejercicios distintos.

En la Figura 4 se puede apreciar lo mencionado anteriormente, graficado en un diagrama de cajas de la cantidad de ejercicios/problemas trabajados particionado según la condición final del estudiante. Se observa que los casos de condición final Aprobado o Cursado realizan una mayor cantidad de ejercicios/problemas distintos que los casos de desaprobación o abandono. Se destaca que el 75% de los casos de promoción/regularización (de condición final Aprobado o Cursado) realizan aproximadamente más de 5 problemas distintos. En general se observa casos atípicos con varios estudiantes que realizan más ejercicios que la mayoría de los que obtuvieron la misma condición de aprobación final.

Fig. 4
Diagrama de cajas de la cantidad de problemas trabajados según la condición final de los estudiantes.

Con relación a la cantidad de repeticiones de los ejercicios/problemas (ejecuciones) de los estudiantes según la condición final de los estudiantes, se analizaron medidas resúmenes según la condición final del estudiante. En cuanto a la cantidad de ejecuciones por estudiante, se observó que es mayor en los casos que obtienen la condición final de Aprobado,con un promedio de 14,3 aunque también con una mayor dispersión. Los que desaprobaron presentan una cantidad de ejecuciones promedio menor con un valor de 6,8. Sin embargo ambos grupos coinciden en que el 50% de los casos realizaron más de aproximadamente 10 ejecuciones, mientras que el 50% de los desaprobados llegan a las 5 ejecuciones. En total, los casos promoción/regularización realizaron entre 2 ejecuciones y 55 ejecuciones, mientras que los que abandonaron o desaprobaron realizaron entre 1 y 32 ejecuciones. Estos resultados se muestran en la Figura 5, diagrama de cajas de la cantidad de ejecuciones por estudiante particionado por la condición final del estudiante.

Fig. 5
Diagrama de cajas de la cantidad de ejecuciones según la condición final de los estudiantes

Nuevamente, se puede apreciar gráficamente que la cantidad de ejecuciones realizadas por aquellos estudiantes que promocionaron o regularizaron la asignatura es superior a aquellos que abandonaron o desaprobaron. Podemos notar que el 75% de los casos promoción/regularización realizaron más de aproximadamente 6 ejecuciones.

Finalmente, el análisis descriptivo de la relación entre cantidad de ejecuciones y cantidad de problemas trabajados según la condición final de los estudiantes permitió observar una diferencia respecto a las variables individuales analizadas anteriormente. Al ver la relación, observamos que no se presentan fuertes diferencias entre los distintos casos (Cursado, Aprobado, Desaprobado). Se puede ver que el promedio de esta relación se mantiene similar entre los 3 casos de condición final (alrededor de 1.4) al igual que su dispersión (alrededor de 0.5), siendo que los casos de desaprobación los que presentan mayor variabilidad de valores. Esto nos indica que, en promedio, los estudiantes realizan un 50% más de ejecuciones que de problemas distintos. También se observa que el valor máximo de esta relación es mayor en los casos de Desaprobado y Cursado que en los casos de Aprobado o promoción. En los primeros, se observa que hay estudiantes que llegaron a hacer hasta 3.8 veces ejecuciones por problemas, mientras que en los casos de promoción se llega hasta un 2.7 veces de ejecuciones por problemas.

En la Figura 6 se presenta un diagrama de cajas del cociente de ejecuciones por problema particionado por la condición final del estudiante. Se puede apreciar que los casos de Desaprobado presentan mayor variabilidad de valores que los restantes. También se puede apreciar que la mediana de los casos de Cursado es la mayor, con valor 1.4, lo que significa que el 50% de aquellos estudiantes que regularizaron la asignatura realizaron más de 1.4 veces de ejecuciones o repeticiones que problemas distintos.

Fig. 6
Diagrama de cajas de la cantidad de ejecuciones según la condición final de los estudiantes

Para la nota media de los estudiantes, el análisis según la condición final de los estudiantes no muestra diferencias tan pronunciadas entre las tres categorías de condición final, siendo que los casos de Aprobado (promoción) tienen una mayor nota media promedio de 7,4 puntos y una mediana de 7,8 puntos, lo que indica que el 50% de estos estudiantes obtuvieron una nota media mayor a 7,8. Por otro lado el rango de valores observados en los casos de desaprobación va de 0 a 10. En los casos de promoción, ese rango está acotado a 3.8 y 9.6, no hay estudiantes que hayan conseguido menor nota media que 3.8.

En la Figura 7 se observa un diagrama de cajas de las notas medias en e-status de los estudiantes particionado por la condición final del estudiante.

Fig. 7
Diagrama de cajas de la nota media en e-status según la condición final de los estudiantes

Comparación del uso de e-status en cursos del 2016 y 2017

Con el fin de realizar un seguimiento de la utilización de la plataforma e-status, se analizaron los casos de aprobado o cursado (esto es, que debe aún el examen final) de los estudiantes de los cursos de primeros cuatrimestres de los años 2016 y 2017.

Los resultados mostraron que para el año 2016, sobre 60 estudiantes que terminaron el curso con la condición de aprobado o cursado, los estudiantes trabajaron en media aproximadamente 8 problemas de los 30 disponibles, realizando en promedio 9,18 ejecuciones y obteniendo una nota media de 6,91 puntos. Debe aclararse, siendo que las distribuciones son asimétricas, los valores más representativos corresponden a medianas mostrando estas que la mitad de los estudiantes ejercitaron 6 o más problemas, con 6 o más ejecuciones en total y con nota media obtenida de al menos 7,18 puntos.

Para el año 2017, se observaron un total de 86 estudiantes en condición de aprobado o cursado, para los que los indicadores dieron una cantidad promedio de poco menos de 8 problemas realizados, con un valor de mediana de 6,5 problemas. Para la cantidad total de ejecuciones realizadas, el promedio fue de casi 12 con un valor de mediana de 9,5. Respecto de las notas medias obtenidas, se observó un valor promedio de 6,95 con una mediana de 7 puntos. Estos resultados comparativos pueden observarse representados en las Figuras 8.a),b) y c).

Fig. 8. a)
Diagrama de cajas comparativo de la cantidad de problemas trabajados en 2016 y 201
Elaboración propia

Fig. 8. b)
Diagrama de cajas comparativo de la cantidad de ejecuciones realizadas en 2016 y 2017
Elaboración propia

Fig. 8. c)
Diagrama de cajas comparativo de la nota media obtenida en la plataforma en 2016 y 2017
Elaboración propia

En estas figuras no se observa una diferencia entre los indicadores analizados, lo que habla de un comportamiento similar de los estudiantes de ambos años en cuanto al hábito de utilización de esta tecnología como soporte y acompañamiento. Estos indicadores motivaron algunos cambios propuestos en cuanto a la utilización de la plataforma e-status: la modificación de contenidos disponibles, una mejor difusión de la plataforma entre docentes y estudiantes involucrados, entre otras estrategias.

Conclusiones

El análisis exploratorio realizado sobre los indicadores que brinda la plataforma y el indicador de razón calculado a partir de ellos, y su comparación con las condiciones finales de los estudiantes en la asignatura PyE durante el primer cuatrimestre del año 2017, permite apreciar la tendencia de los estudiantes que aprobaron la asignatura en invertir un mayor esfuerzo y dedicación al uso de la plataforma.

De los indicadores analizados la diferencia más pronunciada se puede observar en la cantidad de ejecuciones realizadas por los estudiantes. Quienes promocionaron o regularizaron (cursaron) la asignatura realizaron una mayor cantidad de ejecuciones que los demás estudiantes, lo que nos indica que estos estudiantes se tomaron tiempo repitiendo distintos ejercicios para, por ejemplo, reforzar conceptos o probar distintos cálculos. El indicador de cantidad de problemas trabajados es muy importante para notar que, aquellos estudiantes que promocionaron/regularizaron la asignatura trabajaron en una cantidad mayor de distintos ejercicios, lo cual les permite abarcar distintos temas de la asignatura en forma práctica y teórica. Se destaca también el cálculo de la razón entre la cantidad de problemas y cantidad de ejecuciones. En promedio, los estudiantes realizan 1.5 ejecuciones por cada problema.

Es importante notar también que si bien los puntajes obtenidos por quienes abandonaron o desaprobaron la asignatura son menores al resto, son considerablemente altos. Esto nos demuestra que existen distintos factores, externos a la plataforma, que resultan influyentes en los estudiantes.

Los datos ponen en evidencia un alto grado de abandono y desaprobación que, aunque mejoran en relación a valores históricos (Giuliano et al, 2015), resultan preocupantes. Esto motiva la búsqueda e implementación de distintas herramientas, como e-status, que permitan un mejor seguimiento de los estudiantes

Referencias bibliográficas

BEN-ZVI, D. (2000). Toward understanding the role of technological tools in ttatistical learning. Mathematical Thinking and Learning, 2(2), 127-155. Mahwah NJ: Lawrence Erlbaum Associates, Inc.

BOYLE, E.A, MACARTHUR, E.W., Connolly, T.M., Hainey, T., Manea, M., Kärki, A., van Rosmalen, P. (2014). A narrative literature review of games, animations and simulations to teach research methods and statistics. Computers & Education, Vol. 74, May 2014, 1-14.

DAGGER, D., O'CONNOR, A., LAWLESS, S. (2007). Service-oriented e-learning platforms: from monolithic systems to flexible services. IEEE Internet Computing, Vol.11, 3. 28-35.

GARFIELD, J.; BEN-ZVI, D. (2009). Helping students develop statistical reasoning: implementing a statistical reasoning learning environment. Teaching Statistics, 31: 72-77.

GIULIANO, M.; PÉREZ, S.; GARCÍA, M. (2016). Teaching probability and statistics with e-status. Trabajo publicado en el International Congress on Mathematical Education. ICME-13. Universidad de Hamburgo.

GIULIANO, M.; PEREZ, S.; GIL, M. ; Defusto, S. (2015). Propuestas docentes y preferencias de los estudiantes en el nivel universitario. Trabajo publicado en las Segundas Jornadas virtuales en Didáctica de la Estadística, Probabilidad y Combinatoria. (www.jvdiesproyco.es). Recuperado de http://www.estadis.net/3/actas/

GONZÁLEZ, J.A.; JOVER, L.; COBO, E.; MUÑOZ, P. (2010). A Web-based Learning Tool Improves Student Performance In Statistics: A Randomized Masked Trial. Computers & Education. V55(2), 704-713

GONZÁLEZ, J.A.; MUÑOZ, P. (2006). E-status: An Automatic Web-based Problem generator – Applications to Statistics, Computer Applications In Engineering Education. V14(2), 151-159

Notas de autor