Evaluación de estudiantes en la era digital: Revisión sistemática en América Latina

How to evaluate students in the digital age? : Systematic review in Latin America

En esta investigación se pretende dar a conocer las herramientas de evaluación que se aplican en las instituciones de américa Latina y conocer su impacto en el aprendizaje y satisfacción de los estudiantes. El tema de la evaluación en la educación, que se define como la acción de “estimar los conocimientos, aptitudes y rendimiento de los alumnos” (Real Academia Española, 2020). Es así que la evaluación hace referencia a la valoración de conocimientos adquiridos luego de un determinado lapso de tiempo en el cual el estudiante lleva recibiendo clases de una temática en particular, además, siendo un proceso dinámico, abierto y contextualizado, y no como una acción puntual o aislada.

La característica principal de la evaluación es que utiliza procedimientos e instrumentos de recogida de información, los cuales deben ser válidos educativamente. Sin embargo, ocurre a menudo, que las evaluaciones de los estudiantes suelen ser elaboradas con grados de dificultad mayores a lo enseñado en clase, además, no se toma en cuenta un tiempo adecuado para su realización o desarrollo, a su vez, la percepción del docente acerca de los buenos resultados en las evaluaciones motiva a subir el nivel de dificultad del mismo, y en caso contrario, el nivel se mantiene en muchos casos y no se emiten acciones que permitan mejorar los resultados obtenidos, es decir, no hay acciones de mejora en las evaluaciones. En ese sentido, se debe enfatizar que la evaluación consiste en emitir un juicio de valor a partir de un conjunto de informaciones sobre los resultados de un alumno (Maccario, 1989) con el fin de tomar una decisión correctiva (De La Orden Hoz y Meliá, 2012). También, Medina (2016), afirma que el juicio de valor es importante aplicarlo en los procesos de enseñanza y de aprendizaje y es pieza clave en la búsqueda de calidad de los procesos y la innovación de la tarea educativa (Pons y Sonsoles De Soto, 2020). Sin embargo, las evaluaciones preparadas por los docentes o instituciones no permiten que los estudiantes puedan comunicar sus ideas o sus formas de resolver un determinado ejercicio (Allen y Tanner, 2006), ya que están enfocadas solo en el aspecto cognitivo para decidir si un estudiante alcanzó el logro del aprendizaje (Tacca et al., 2019). Entonces, se debe realizar una adecuada capacitación a los docentes acerca de la elaboración de evaluación, la cual debe pasar por un diseño y validación (Restrepo-Palacio y Segovia, 2020) antes de ser aplicado a los estudiantes. Es así que, el modelo de evaluación centrado en la calificación y resultados (Glynn et al., 2006) se debe cambiar y buscar que esté dirigido hacia una formación integral (Delahoz-Dominguez et al., 2020), al mismo tiempo enfocado a mejorar los aprendizajes. Para ello, se requiere de una planificación y uso de estrategias adecuadas por el docente que permita el desarrollo del estudiante con un dictado de clases focalizadas en el aprendizaje (Manzoni et al., 2020), adicionalmente se debe aplicar una evaluación formativa (Pérez-Pueyo et al., 2017).

En este contexto de la era digital, en la que se utiliza el espacio virtual llamado internet, algunas instituciones educativas empezaron a utilizar las tecnologías (Sailer et al., 2020) aplicar sus evaluaciones, sin embargo, para poder prepararla es necesario realizar una evaluación diagnóstica (Restrepo-Palacio y Segovia, 2020) que permitirá conocer las habilidades de los estudiantes en el uso de la tecnología, de lo contrario provoca ansiedad en los estudiantes tanto por el uso de sus equipos móviles o la computadora (Maki et al., 2000) como por la evaluación en sí; sin embargo, esta ansiedad no solo aplica en los estudiantes sino también en los docentes, quienes son duramente evaluados por los estudiantes en las encuestas académicas (Ochoa y Moya, 2018). En ese sentido, es necesario que el docente posea conocimiento en las Tecnologías de la Información y Comunicación (TIC) (Arévalo y González-Castaño, 2020; Basso-Aránguiz et al., 2018; Bohórquez et al., 2018; Herrera et al., 2018; Morales, 2018; Moreno-Fernández y Moreno-Crespo, 2018), el cual debe ser apoyado por capacitaciones constantes que le permitan conocer nuevas herramientas digitales y las pueda aplicar tanto en la metodología de clase como en las evaluaciones.

Herrera et al. (2018) menciona que algunos docentes poseen competencias digitales a pesar que no participaron de alguna capacitación de TIC. Sin embargo, no basta solo con tener este conocimiento sino que es necesario poder verificar el conocimiento adquirido de estas herramientas (Sailer et al., 2020) y de las actitudes que tienen los mismo docentes con respecto al uso de las tecnologías digitales (Sailer et al., 2020). El conocimiento adecuado de las TIC junto con la capacitación de los docentes en el diseño de su evaluación, puede permitir que tanto los docentes como los estudiantes se sientan conformes con las evaluaciones, las cuales no solo deben ser preparadas para un examen final, sino también usar ser evaluaciones formativas, es así que, Marín-Díaz et al. (2020) afirma que el uso de las TIC en los procesos de aprendizaje están vinculados con el uso de parte de docente, quien determinará el uso de unos recursos sobre otros tanto en lo que respecta a las metodologías, material didáctico (Ramírez et al., 2019) como a las evaluaciones en la modalidad virtual (Mendoza et al., 2019) como por ejemplo el uso rúbricas (Bruna et al., 2019; Chao y Durand, 2019; Garriga, 2016; Gómez et al., 2019), juegos de rol (Pons y Sonsoles De Soto, 2020) e incluso brindar una retroalimentación usando las TIC (Chao y Durand, 2019). Por esta razón, es necesario que luego de tener preparada una evaluación contar con examinar como contenido, tecnología, actividades, trabajo final y formato. Asimismo, se debe realizar una autoevaluación respecto a las herramientas utilizadas para poder mejorarlas dependiendo de los resultados obtenidos (Fernández, 2019; Guerrero-Mosquera et al., 2018).

Desde otra perspectiva, Boumadan et al. (2020) indica que para algunos docentes la aplicación de las TIC no es relevante en la enseñanza o metodología aplicada en los cursos. Esta afirmación es compartida por varios docentes quienes continúan aplicando metodologías tradicionales y no desean cambiar dado que aún les está dando buenos resultados.

En el periodo de emergencia sanitaria, las instituciones educativas se vieron obligadas a brindar una educación a distancia (Alanya, 2020; Luis y Alvarez, 2020; Obando, 2019; Romero, 2020) aplicar evaluaciones virtuales, y ese sentido las evaluaciones se prepararon de acuerdo al grado de capacitación y conocimiento de cada uno de los docentes, quienes en algunos casos plantearon las evaluaciones de la misma forma que en una sesión presencial, generando la insatisfacción de los estudiantes y no logrando alcanzar los objetivos de aprendizaje.

Por esta razón, la presente investigación tiene como objetivo presentar a la comunidad científica la sistematización de los estudios que han implementado herramientas de evaluación virtual en los diferentes niveles y carreras en las instituciones educativas de América Latina y conocer su impacto en el aprendizaje.

El método que se ha utilizado para esta revisión sistémica, ha sido el método heurístico en un primer momento para recopilar toda la información de diferentes revistas indexadas como lo son Redalyc, Scielo y Scopus y el método hermenéutico para analizar, profundizar, clasificar y describir los hallazgos encontrados. La revisión se realizó en varias fases durante los meses de octubre del 2020 hasta diciembre del 2020.

La primera fase consistió en el uso de la heurística, para lo cual se aplicaron los criterios de inclusión y exclusión. Entre los criterios de inclusión se utilizaron la búsqueda en las bases de datos Redalyc, Scielo y Scopus, conjuntamente se contempló la búsqueda en investigaciones recientes, por lo que se consideró la literatura científica entre el año 2018 y el 2020. Así también, la búsqueda en artículos originales publicados en América Latina, no incluye Canadá, Estados Unidos ni los países que forman parte del Caribe. Además, los artículos debieron ser de contenido o acceso abierto (Open Access). Asimismo, la búsqueda fue en diferentes idiomas como inglés, español y portugués. Por otro lado, para los criterios de exclusión fueron considerados las notas, artículos de revisión, memorias de congresos, cartas al editor, editoriales y resúmenes cortos. En la base de datos de Scopus, se realizaron las consultas en los campos: título de artículo, resumen y palabras clave. Esta búsqueda fue realizada en inglés y se utilizó los siguientes términos de búsqueda: education, student, virtual y digital, además de aplicar los criterios de inclusión y exclusión. El motor de búsqueda quedó definido de la siguiente manera:

( TITLE-ABS-KEY ( evaluation ) AND TITLE-ABS-KEY ( education ) AND TITLE-ABS-KEY ( digital ) OR TITLE-ABS-KEY ( virtual ) ) AND DOCTYPE ( ar ) AND ACCESSTYPE ( OA ) AND PUBYEAR > 2017 AND ( LIMIT-TO ( LANGUAGE , "English" ) OR LIMIT-TO ( LANGUAGE , "Spanish" ) OR LIMIT-TO ( LANGUAGE , "Portuguese" ) )

En esta consulta, en la base de datos Scopus, se encontraron 75 resultados.

De igual manera en la base de datos SCIELO, se realizaron las consultas en todos los campos y usó los términos de búsqueda: evaluacion digital, evaluacion virtual y estudiante. El motor de búsqueda quedó definido de la siguiente manera:

(evaluacion digital) OR (evaluacion virtual) AND (student) AND year_cluster:("2018" OR "2019" OR "2020")

Luego, se complementó la aplicación de los criterios de inclusión y exclusión faltantes usando los filtros de la base de datos. En esta consulta, se encontraron 16 resultados.

De igual manera en la base de datos REDALYC, se realizaron las consultas en todos los campos y se usó los términos de búsqueda: evaluación, además de aplicar los criterios de inclusión y exclusión. En esta consulta se obtuvieron 48 resultados.

Finalizada la primera fase de búsqueda de información, se identificó una cantidad de 139 artículos, donde 75 fueron de Scopus, 16 de Scielo y 48 de Redalyc

Como segunda fase se procedió a una primera depuración de la información, para ello se procedió con la lectura de los títulos y resumen de cada uno de los artículos encontrados y se descartaron 82 por su tipo de estudio o por problemas de acceso, quedándose con 57 artículos potenciales.

Como tercera fase se procedió con la lectura completa de cada uno de los 57 artículos potenciales. En esta fase se descartaron 37 artículos, dado que se encontraron artículos repetidos, es decir, que se encontraban en diferentes bases de datos; además, algunas investigaciones solo mostraron el prototipo y no contaban con aplicación ni muestra. Finalmente, 20 artículos quedaron como potencialmente relevantes, y serán utilizados en la revisión sistemática de esta investigación. En la Figura 1, se muestra el detalle de la selección de los artículos. Por otro lado, cabe mencionar que el proceso de selección de los artículos estuvo a cargo de tres autores de la investigación quienes realizaron una revisión ciega de manera independiente.

Figure 1
Identificación de Artículos y Proceso de Selección

El almacenamiento de los documentos y la información de las referencias de los 20 artículos potencialmente relevantes se realizó usando el motor de redacción Mendeley. Asimismo, se utilizó el Microsoft Excel para ordenar la información y agruparlos según la base de datos donde se encontraba, idioma, autor, título, año de publicación, objetivo, herramienta utilizada para realizar la evaluación, país o países donde se aplicaron, nivel educativo donde se realizó la investigación, facultad o área de estudio, cantidad de muestra, y conclusiones obtenidas.

De los 20 artículos potencialmente relevantes para la revisión sistemática, 12 de ellos fueron publicados en idioma en inglés, 7 en español y 1 en portugués. Estas investigaciones se caracterizaron por mostrar las herramientas virtuales usadas durante las clases y las cuales fueron utilizadas tanto en la evaluación formativa como en la evaluación sumativa.

En la Figura 2, se muestran las herramientas virtuales aplicadas a la evaluación utilizadas en estos estudios y son de los: laboratorios virtuales, herramientas en la nube, gamificación, foros virtuales, feedback virtuales, exámenes virtuales de conocimientos, cuestionarios con múltiples intentos, coevaluaciones, blog virtuales y rúbricas de evaluación. Asimismo, se puede observar que las herramientas más usadas en el 2018 corresponden al examen virtual de conocimientos y al cuestionario; ambas relacionadas directamente al modelo tradicional de evaluación en un aula presencial. Por otro lado, se puede observar que el foro virtual es la única herramienta que se usó en la literatura analizada entre 2018 y 2020.

Figure 2
Cantidad de herramientas utilizadas por año de publicación

En la Tabla 1, se muestra los objetivos planteados por cada autor de cada uno de los artículos potenciales leídos a profundidad, donde la mayoría busca evaluar la opinión de los estudiantes y profesores respecto a la herramienta digital utilizada para cada estudio. Además, algunos objetivos busca mejorar el aprendizaje de los estudiantes haciendo uso de la plataforma o laboratorio virtual.

Table 1
Objetivos Planteados por cada Autor

En la Tabla 2, se muestra el detalle de las herramientas utilizadas para evaluar por país. Se observa que en Brasil, Chile y Colombia se encuentra mayor diversidad del uso en herramientas para una evaluación, por lo contrario sucede en Panamá, que solo presenta un estudio relacionado con la coevaluación.

Table 2
Herramienta Utilizada para Evaluar por País

En la Tabla 3, se muestra el detalle del uso de las herramientas utilizadas para evaluar cada nivel educativo. Se observa que, en los estudios identificados, en el nivel Pregrado se usó mayor diversidad en el uso de herramientas para una evaluación, por lo contrario sucede, en la educación básica que solo presenta un solo estudio relacionado con la gamificación.

Table 3
Herramienta Utilizada para Evaluar por Nivel Educativo

En la Tabla 4, se muestra el detalle de las herramientas utilizadas para evaluar por facultad o área identificada. Se observa que, en los estudios identificados, en la facultad de Medicina se presenta un mayor uso de las herramientas para una evaluación usando los foros virtuales. Por lo contrario, Ciencias Forestales se presenta la menor cantidad de estudios usando el cuestionario de intentos múltiples.

Table 4
Herramienta Utilizada para Evaluar por Facultad o Área

En la Tabla 5, se muestra el detalle de la cantidad de muestra trabajada en cada una de las herramientas utilizadas y separadas por autor. Se observa que, los estudios que utilizaron la gamificación y las herramientas en la nube usaron la mayor cantidad de muestras, mientras la menor cantidad de muestras en promedio se presenta en el uso del foro virtual.

Table 5
Muestra trabajada en cada Herramienta Utilizada para evaluar

En la Tabla 6, se muestra los resultados o conclusiones obtenidos por cada uno de los autores que estuvieron relacionadas con la satisfacción, la percepción y las actitudes de los estudiantes hacia el empleo de las herramientas virtuales para la evaluación; además brinda alguna sugerencias o aspectos a mejorar para su implementación en la sesión de clase.

Table 6
Resultados o Conclusiones Obtenidas por cada Autor

Los investigadores consultados en esta revisión sistemática consideraron de gran importancia aplicar nuevos métodos para realizar evaluaciones usando diferentes herramientas virtuales. Es relevante indicar que la mayor cantidad de estudios realizados en América Latina fue encontrada en inglés en la base de datos de alto impacto como Scopus, lo que indica que la investigación de este tema es considerado relevante para la comunidad científica. Sin embargo, son escasos los estudios, en América Latina, que mostraron cómo y qué herramientas se han usado para evaluar a los estudiantes en la era digital. En ese sentido, los objetivos que se plantearon están orientados en fortalecer los conocimientos de los estudiantes y en identificar las percepciones de los estudiantes y docentes acerca de estas herramientas de evaluación

Se identificó que en el 2018 se utilizaron en su mayoría los cuestionarios y los exámenes de conocimientos, los cuales están relacionadas con la forma en la que se evalúa en una modalidad presencial o en aula. Asimismo, el uso del foro virtual es constante en la literatura analizada entre los tres años 2018 y 2020. El nivel educativo donde se presentó la menor cantidad de estudios fue en la Educación Básica, y la mayor cantidad de estudios fue a nivel Pregrado, es decir con los estudiantes que están cursando una carrera profesional. En ese sentido, la carrera de Medicina fue la más trabajada en la literatura y se observó que las herramientas aplicadas allí son variadas; sin embargo, existe poca evidencia científica en las carreras de ciencias forestales, educación y psicología. En cuenta a las conclusiones o resultados, los estudios indicaron que se debe tener una adecuada planificación y preparación de los docentes en la aplicación de las herramientas de evaluación para poder alcanzar una mejora en el desempeño académico de los estudiantes, el cual se relaciona con su percepción de las herramientas usadas.

En cuanto a las limitaciones de esta investigación se encuentra el sesgo de descriptores realizado en la búsqueda de la información en las bases de datos Redalyc, Scielo y Scopus, no obstante, como una primera aproximación fue suficiente dado que se consideró la literatura de mayor impacto científico. Asimismo, otra limitación fue el criterio de selección de los artículos, sin embargo, se consideró investigar los artículos más recientes y realizados en América Latina.

Luego de realizar la revisión sistemática de literatura, se concluye que, en América Latina, pocos autores decidieron analizar los efectos y la percepción de los estudiantes acerca de la implementación de las herramientas virtuales de evaluación. Sin embargo, en base a la revisión sistemática realizada, se pudo recoger información importante en los 20 estudios analizados, los cuales permiten poner de conocimiento a la comunidad científica que existen diferentes formas para evaluar a los estudiantes y son de utilidad en futuras investigaciones para seguir recabando información sobre esta importante y relevante línea de investigación.